datalab and colaboratory
TRANSCRIPT
Hi there!
● Hayato Yoshikawa @hayatoy @hayatoy82
● Publication!「Google Cloud Platformではじめる機
械学習と深層学習」という本を書きまし
た。
Cloud Datalabとは
● Jupyter Notebookのクラウド版
● ブラウザ上でインタラクティブに
PythonコードやBigQueryのクエリが走る
● GCPのリソースに簡単アクセス
Datalabにライブラリを追加するには?
startup.shに”pip install xxx”などを記載
startup.sh自体はPDにある。コンテナ起動時に/root配下にコピー&実行される
例:xgboostをインストール
apt-get updateapt-get install build-essential
git clone --recursive https://github.com/dmlc/xgboostcd xgboost; make -j4
この2つを忘れずに
Swapfile
DatalabはPDにVMメモリと同じサイズのswapfileを生成するPDのサイズを小さくしていると、すぐ容量が足りなくなる
mem_total_line=`cat /proc/meminfo | grep MemTotal`mem_total_value=`echo "${mem_total_line}" | cut -d ':' -f 2`memory_kb=`echo "${mem_total_value}" | cut -d 'k' -f 1 | tr -d '[:space:]'`swapfile="${MOUNT_DIR}/swapfile"
Custom metadataにスクリプトがあるので書き換えればOKかも
Colaboratoryって?
● https://colab.research.google.com/● 機械学習の勉強と研究用のJupyter● 複数人同時編集できる(Google Docsみたいに)
● NotebookはGoogle Driveに保存
● カーネルはGCEで実行
● Python2のみ
*現時点(2017年11月)では無料で利用可能、ただし許可制