Re:ゼロから始めるML生活

どちらかといえばエミリア派です

MLOps

小さいMLOpsってこんなもんかと思ってやってみる

この間はMetaflowを使ってみました。 www.nogawanogawa.com ワークフロー管理+実験管理が可能なように、Metaflow + MLFlowを使ってコードを書いてみたいと思います。 多分、これだけでもMLOpsのごくごく一部は対応できていると思うので、今回はそのメモです。

Metaflowを使ってみた

結構前に、ワークフローライブラリをいくつか使ってみてました。 www.nogawanogawa.com www.nogawanogawa.com 今回は、たまたまmetaflowについて調べる機会があり、せっかくなので使ってみたのでそのメモです。

Neptune.aiを使ってみた

この前はcomet.mlを使った実験管理を試してみてました。 www.nogawanogawa.com 今回は、類似のサービスであるNeptune.aiを使ってみたのでそのメモです。

Comet.mlを使ってみた

前に、Weights & Biasesを使って実験管理する方法をやってみました。 www.nogawanogawa.com 最近のkaggle強い方々のtweetを見る限り、mlflowで実験管理をするのが徐々に普及している感じがしますが、その流れもあってかwandbなどの実験管理サービスを使用す…

機械学習アプリケーションにおけるテストについて

機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが…

Weights & Biasesを使ってみた

機械学習をやっていると、実験管理は避けては通れないと思います。 一方で、その環境を整備する工数はなるべく削減して、分析・実装に対して時間を割きたいものです。 より効率的に実験を管理すべく、Weights & Biases(wandb)というサービスがあります。 w…

ローカル環境のmlflowの記録をGCPに残す

前回までこんなことやってました。 www.nogawanogawa.com www.nogawanogawa.com mlflowの使い方がだんだん分かってきたので、実験の結果をgcp上に保存してみたいと思います。 参考にさせていただいたのはこちらの記事です。 towardsdatascience.com それでは…

mlflow+optunaでチューニングを管理してみる

この前はmlflowの使い方を確認してました。 www.nogawanogawa.com 今回はもうちょっと進んで、mlflowに加えてoptunaを使ってハイパーパラメータのチューニングを管理してみたいと思います。

mlflowを使ってみた

最近こちらの記事を拝見しました。 ymym3412.hatenablog.com 読んでて、mlflowってなんじゃい??ってなったので、今回はmlflowの使い方を勉強してみたのでそのメモです。

gokartを使ってみる

この前はluigiを使ってみてました。 www.nogawanogawa.com この前参加したの勉強会で登壇者のみなさんがgokart激推しだったので、今回はエムスリーさんで開発されているgokartを使ってみたいと思います。 (エムスリーさん主催の勉強会で、登壇者の半分がエ…

ゆるふわMLOps入門

MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。 とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。 という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍…

ゆるふわMLOps入門(Netflix)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はNetflixの事例です。 こちらについては、プラットフォームの名前が見当たらなかったので、単純にML基盤という位置づけなんでしょうか。 なんにせよ、テックブログが公開されて…

ゆるふわMLOps入門(Facebook : FBLearner)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はFacebookのFBLearnerです。 この辺を参考にしました。 engineering.fb.com https://s3-us-west-2.amazonaws.com/com.cloudpulsestrat/public/TWIML_ML_Platforms.pdf https://…

ゆるふわMLOps入門(Airbnb:Bighead)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はAirbnbのBigheadです。 こちらについては、テックブログとか見つかればよかったんですが、見当たらなかったのでスライドとかカンファレンスの資料で見ていきたいと思います。 …

ゆるふわMLOps入門(Uber:Michelangelo)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はUberのMichelangeloについて勉強しました。 eng.uber.com MichelangeloはUberの社内で使用されるプライベートなMLプラットフォームのようです。 Michelangeloは、機械学習にお…

luigiを使ってみた

先日MLOpsの勉強会に出てました。 www.nogawanogawa.com その場では、「ワークフローライブラリ使ってるとなんかイケてるんだなあ」くらいにしか思ってなかったんですが、機械学習の実験をしていて必要性を感じる場面があったので、試しに使ってみることにし…

【参加録】MLOps勉強会 #mlops_jp

MLOpsは個人的に最近非常に興味があるトピックで、MLOps事例 & ライブラリ・フレームワークなどを語る勉強会「MLOps勉強会」に参加しました。 m3-engineer.connpass.com せっかく参加したので、備忘録として残しておきます。

機械学習系開発におけるCD (CD4ML)

Twitter見てたら、こちらを見かけました。 Continuous Delivery for Machine LearningAutomating the end-to-end lifecycle of Machine Learning applicationshttps://t.co/411c9l8e4d— u++ (@upura0) 2019年9月13日 気になるタイトルだったので、最近全然英…