【機器學習從零到一】 Day1: 建立 GCP 機器 — VM 執行個體

PJ Wang
6 min readJun 30, 2019

--

從學生時期開始接觸機器學習,當初以為的 Machine learning 就只要會處理資料、訓練模型、得到比較高的準確率,然後就此結束,但出社會後發現,從 Jupyter 到 Production 的路還有段距離,那該怎麼辦呢?

因此,接下來將會分幾個章節來介紹:

  1. 建立 GCP 機器 — VM 執行個體
  2. 建立機器學習環境 (GPU environment)
  3. Pytorch 介紹與範例 (image classification)
  4. Data science 的版控 → DVC 的建立與使用
  5. 利用 Flask 部署機器學習套件
  6. 利用Docker 建立機器學習容器

架設機器

這次選擇的平台是 Google Cloud Platform (GCP) ,目前只要一註冊登入後,即享有 300 美元的免費試用額度,並且也提供了完整的服務以及流程。

圖(一): GCP免費方案

Step 1:建立專案

註冊登入後,由於GCP 是一個以專案為主的環境,不管是在建立機器或者操作 Bucket 等等,都需要先「選擇專案」,建立專案的方法也很簡單如圖(二)以及圖(三)所示。

圖(二):GCP 建立專案 — 1
圖(三):GCP 建立專案 — 2

(Step 2: 升級帳號)

如果需要開啟GPU,需要先將Quota打開,打開方式如下:

圖(四):升級帳號

點擊升級帳戶,並且輸入個人資料,如圖(五)、圖(六)所示

圖(五):升級帳戶

升級後即可編輯你的配額,我們這次是將原本 GPU 配額為 0 的項目改為 1

圖(六):修改配額

編輯配額還需要填寫基本資訊

圖(七):升級帳戶 — 填寫資料
圖(八):升級帳戶 — 填寫資料

編輯好送出後會跳出訊息:系統處理好後會再寄信到你的 Email 通知你,約等待兩個小時,就被通知同意了。

圖(九):通知

Step 3: 建立 VM 執行個體

建立好專案後,開機器的方式如下

  1. 選擇左方 Compute Engine
  2. 再進一步選擇 VM 執行個體
圖(十):GCP 開機器的步驟
圖(十一):建立 VM 執行個體

點擊免費申請試用後,會需要先輸入一些基本個資,並且 Google 承諾並不會在免費試用過後自動扣款,如圖(十二)所示,填完個資送出後,約等個3~5分鐘後就會自動跳轉頁面,如圖(十三)所示。

圖(十二):免費試用
圖(十三):啟動計費功能

點擊「啟用計費功能」後,會看到圖(十四),會需要等待約3~5分鐘,啟用後即可點擊「建立」。

圖(十四):啟用 Compute engine
  1. OS: Ubuntu 16.04 LTS
  2. Hard Disk: 20 GB
  3. CPU: 4 顆
  4. Memory: 15 GB
  5. GPU: 1 顆 Tesla K80 (在不同的區域的 GPU 設備也有可能不同)
圖(十五):VM 配備

成功後會如同下圖所示

圖(十六):成功後顯示

Step 4:ssh 連線

在連線之前,需要加入本機端的 ssh key,才可以進一步連線,而本機端的 ssh key 在哪裡呢? 參考:生成 SSH 公開金鑰

產生好 ssh key 之後,可以直接將全部複製 ssh-rsa ….. MacBook-air 整段複製到 GCP 當中,並且按儲存即可。

$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAA ... SeTR pj@PJs-MacBook-Air
圖(十七):編輯 VM

完成後,即可從 local 連線上去,IP 為下圖的外部 IP

圖(十八):外部 IP
$ ssh 34.83.140.188

成功後如下圖所示

圖(十九):成功連線

Next…

下一章,會來開始安裝大家最苦惱的環境問題,當中會介紹如何建立 GPU 環境、虛擬環境、Jupyter notebook 遠端連線、套件…等

Day 2: 建立機器學習環境 (GPU environment)

Error Message

若出現 Quota ‘GPUS_ALL_REGIONS’ exceeded. Limit: 0.0 globally.等相關錯誤,請返回步驟二。

如果喜歡我的文章內容,請幫我多多鼓掌

1 個鼓掌:喜歡這篇的內容

10個鼓掌:期待這一系列的課程

30個鼓掌:希望未來能有更多相關文章

--

--

PJ Wang

台大資工所碩畢 / 設計思考教練 / 系統思考顧問 / 資料科學家 / 新創 / 科技 + 商業 + 使用者