Re:ゼロから始めるML生活

どちらかといえばエミリア派です

Optunaを使ってみる

結構前にmlflowを使ってOptunaのチューニングの過程を可視化することをやってみてました。 その時はmlflowの勉強の意図だったので、Optunaについてはあんまりわかってませんでした。 今回は、Optunaの使い方を中心に勉強してみたいと思います。

タスク固有に追加学習したBERTのEmbeddingをLightGBMに突っ込んで使用する

この前は学習済みのBERTをから取り出したEmbeddigを使ってLightGBMに突っ込んでみるところまでやってみました。 その時は特にタスク個別にBERTを学習させていなかったので、今回はタスク向けに転移学習させたBERTをモデルを使用して、そのEmbeddingをLightGB…

学習済みのBERTからEmbeddingを取得する

最近はちょいちょいBERTとかを使って遊んでたりします。 今回は、学習済みのBERTのモデルを使って、文書Embedgingを取得してみたいと思います。 参考にさせていただいたのはこちらの記事です。 yag-ays.github.io 毎度のことながら、やることは上の記事とほ…

LightGBMで含意関係認識をしてみる

この前はBERTを使って含意関係認識をやってみました。 前回は何も考えずにとにかくBERTに突っ込んで、とりあえずやってみたって感じでした。 今回は、もう少し泥臭い方法で含意関係認識をやってみたいと思います。 今回参考にさせていただいたのはこちら。 w…

BERTを用いて含意関係認識をやってみる

この前は、BERTを使って文章の空欄を埋めるタスクをやってみました。 今回はBERTの勉強がてら含意関係認識(Recognizing Textual Entailment, RTE)というタスクをやってみたいと思います。 今回非常に参考にさせていただいたのはこちらの記事です。 hironsan.…

GiNZAを使って係り受け解析をやってみる

結構前にGiNZAを使った固有表現抽出で遊んでました。 www.nogawanogawa.com GiNZAは固有表現抽出の他にも、自然言語処理の様々な機能を備えており、今回はその中の係り受け解析で遊んでみたいと思います。

BERTの学習済みモデルを使って穴埋め問題を解く

最近ではBERTやその派生が自然言語処理の多くのタスクでSOTAを更新していて、非常に話題になっています。 そんなBERTですが、日本語の学習済みモデルも非常に多く公開される様になっており、計算資源が乏しい私でも使用するだけなら不自由なく使えるようにな…

小さいMLOpsってこんなもんかと思ってやってみる

この間はMetaflowを使ってみました。 www.nogawanogawa.com ワークフロー管理+実験管理が可能なように、Metaflow + MLFlowを使ってコードを書いてみたいと思います。 多分、これだけでもMLOpsのごくごく一部は対応できていると思うので、今回はそのメモです。

テキスト生成をやってみる

自然言語処理のタスクの一つにテキスト生成があります。 質問文に対する応答を生成したり、長文を短く要約したり、和文英訳したりと、テキスト生成は自然言語処理の応用の様々なところで使用されます。 今回は、このテキスト生成についてやってみたのでその…

Metaflowを使ってみた

結構前に、ワークフローライブラリをいくつか使ってみてました。 www.nogawanogawa.com www.nogawanogawa.com 今回は、たまたまmetaflowについて調べる機会があり、せっかくなので使ってみたのでそのメモです。

BERTScoreで文章の類似性を測定してみた

最近こんな記事を見かけました。 ai-scholar.tech 機械翻訳や機械要約のタスクでは、自然文を生成することになりますが、その際に生成された文がどれほど良いかについて評価する必要が出てきます。 ICLRで発表されたBERTScoreはこれを従来の評価指標より正し…

Neptune.aiを使ってみた

この前はcomet.mlを使った実験管理を試してみてました。 www.nogawanogawa.com 今回は、類似のサービスであるNeptune.aiを使ってみたのでそのメモです。

Comet.mlを使ってみた

前に、Weights & Biasesを使って実験管理する方法をやってみました。 www.nogawanogawa.com 最近のkaggle強い方々のtweetを見る限り、mlflowで実験管理をするのが徐々に普及している感じがしますが、その流れもあってかwandbなどの実験管理サービスを使用す…

GiNZAを使って固有表現のマスキングをやってみる

最近GiNZAを使って固有表現抽出するという記事をよく見かける気がします。具体的には、この辺りの記事を見てました。 acro-engineer.hatenablog.com qiita.com www.ai-shift.jp ということで、なんだか面白そうで、自分でもやってみたのでそのメモです。

数字で見るバスケットボール

最近Sports Analyst Meetupの発表を聞かせて頂いて、毎回非常に面白いLTばかりで、自分でもやってみたくなりました。 とはいうものの、分析・機械学習ですらまともにやったことがなく、スポーツに関する分析に至っては何から手をつけていいのかわかりません…

機械学習アプリケーションにおけるテストについて

機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが…

Weights & Biasesを使ってみた

機械学習をやっていると、実験管理は避けては通れないと思います。 一方で、その環境を整備する工数はなるべく削減して、分析・実装に対して時間を割きたいものです。 より効率的に実験を管理すべく、Weights & Biases(wandb)というサービスがあります。 w…

ローカル環境のmlflowの記録をGCPに残す

前回までこんなことやってました。 www.nogawanogawa.com www.nogawanogawa.com mlflowの使い方がだんだん分かってきたので、実験の結果をgcp上に保存してみたいと思います。 参考にさせていただいたのはこちらの記事です。 towardsdatascience.com それでは…

mlflow+optunaでチューニングを管理してみる

この前はmlflowの使い方を確認してました。 www.nogawanogawa.com 今回はもうちょっと進んで、mlflowに加えてoptunaを使ってハイパーパラメータのチューニングを管理してみたいと思います。

mlflowを使ってみた

最近こちらの記事を拝見しました。 ymym3412.hatenablog.com 読んでて、mlflowってなんじゃい??ってなったので、今回はmlflowの使い方を勉強してみたのでそのメモです。

gensimでword2vecの学習するときに再現性をとる時のメモ

gensimのword2vecを使ってembeddingを計算するときに再現性が取れなくて悩んでいたんですが、こちらのツイートを拝見しました。 NotebookでgensimのWord2Vecの学習を再現するには、重みの初期化に使われるハッシュ関数を自作して再現するものに変えれば良い…

gokartを使ってみる

この前はluigiを使ってみてました。 www.nogawanogawa.com この前参加したの勉強会で登壇者のみなさんがgokart激推しだったので、今回はエムスリーさんで開発されているgokartを使ってみたいと思います。 (エムスリーさん主催の勉強会で、登壇者の半分がエ…

ゆるふわMLOps入門

MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。 とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。 という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍…

ゆるふわMLOps入門(Netflix)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はNetflixの事例です。 こちらについては、プラットフォームの名前が見当たらなかったので、単純にML基盤という位置づけなんでしょうか。 なんにせよ、テックブログが公開されて…

ゆるふわMLOps入門(Facebook : FBLearner)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はFacebookのFBLearnerです。 この辺を参考にしました。 engineering.fb.com https://s3-us-west-2.amazonaws.com/com.cloudpulsestrat/public/TWIML_ML_Platforms.pdf https://…

ゆるふわMLOps入門(Airbnb:Bighead)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はAirbnbのBigheadです。 こちらについては、テックブログとか見つかればよかったんですが、見当たらなかったのでスライドとかカンファレンスの資料で見ていきたいと思います。 …

ゆるふわMLOps入門(Uber:Michelangelo)

最近MLOpsに関して勉強していて、その一環で具体例の調査をしていました。 今回はUberのMichelangeloについて勉強しました。 eng.uber.com MichelangeloはUberの社内で使用されるプライベートなMLプラットフォームのようです。 Michelangeloは、機械学習にお…

確率分布について最近見かけたもののメモ

最近ベイズとかを勉強していく中で、いろんな確率分布を見かけました。 正直どれがどれだかわかんなくなってきて、だんだん全部いっしょに見えてきました。 そこで、最近勉強しててよく見かける確率分布だけでも理解のために整理しようと思ったのでそのメモ…

例題で見るベイズモデリング(一般化線形混合モデル)

この前はベイズモデリングの中でも一般化線形モデルを勉強していました。 www.nogawanogawa.com 今回は、階層ベイズを使ったモデリングである一般化線形混合モデルについて勉強していきたいと思います。 今回も主に参考にさせていただいたのはこちらです。 …

例題で見るベイズモデリング(一般化線形モデル)

最近ベイズモデリングについて勉強中です。 しかし、数式ばかり追いかけてしまって分かったようなわかんないような、、、という状況です。 ということで、今回は実際にモデリングして、これまで数式で勉強してきた内容の復習をしようと思います。 参考にさせ…