Re:ゼロから始めるML生活

どちらかといえばエミリア派です

機械学習用の自分用Dockerfileをまとめる

f:id:nogawanogawa:20190320190051p:plain

今回は特に新しいことはありません。完全に自分用メモです。

最近ローカルPCで機械学習をやりすぎて環境が汚くなりすぎてしまい、いろいろおかしくなってきました。(バージョンとか)

ということで、前々からやろうとしていた環境のDocker完全移行のためのDockerfile(とその周辺一式)を淡々とメモっていきます。

ただそれだけの記事です。

※不定期に勝手に更新するので、その点ご了承ください。

自然言語処理

ElasticSearch関係

分析とは直接関係ないですが、自然言語処理関係で検索エンジンを取り扱うことがあったので念の為。

フォルダ構成はこんな感じ。

.
├── Elasticsearch
│   ├── Dockerfile
├── Kibana
│   └── Dockerfile
└── docker-compose.yml

ElasticSearch

Kibana

こっちもついでに。

docker-compose.yml

Tensorboardとか

TensorBoardとかSudachiとか使いたかったとき。

DeepLearning

TensorFlow

普通に使うやーつ。

Python3

ガッツリ回したいとき用。

notebook

ササッと回したいとき。

Pytorch

こっちの方が意外と好きなやーつ。

Python3

ガッツリ回したいとき用。

GPU使いたいとき

GPU使いたいとき用。

tsunotsuno.hatenablog.com

その他分析計

kaggleのレジストリから使用。イメージが重たいから事前にpullしておくこと。

console.cloud.google.com

Python使いたいとき

イメージのダウンロードは

docker pull gcr.io/kaggle-images/python

jupyter-notebookの実行は

docker run -v $PWD:/tmp/working -w=/tmp/working -p 8888:8888 --rm -it gcr.io/kaggle-images/python jupyter notebook --no-browser --ip="0.0.0.0" --notebook-dir=/tmp/working --allow-root

R使いたいとき

イメージのダウンロードは

docker pull gcr.io/kaggle-images/rstats

jupyter-notebookの実行は

docker run -v $PWD:/tmp/working -w=/tmp/working -p 8888:8888 --rm -it gcr.io/kaggle-images/rstats jupyter notebook --no-browser --ip="0.0.0.0" --notebook-dir=/tmp/working --allow-root

powershellだとディレクトリの環境変数PWDが使えないようなので、下記のようにします。

docker run -v C:\<フルバス>:/tmp/working -w=/tmp/working -p 8888:8888 --rm -it gcr.io/kaggle-images/rstats jupyter notebook --no-browser --ip="0.0.0.0" --notebook-dir=/tmp/working --allow-root

ブラウザで入るには、下記では入れます。コンソールに表示されるurlだとlocalhostになっていないのでそこを変更します。

http://localhost:8888/?token=<表示されたtoken>

感想

特になし。本当にただのメモです。

随所にemacsが入っているのは宗教上の理由です。