Re:ゼロから始めるML生活

どちらかといえばエミリア派です

タスク固有に追加学習したBERTのEmbeddingをLightGBMに突っ込んで使用する

f:id:nogawanogawa:20200818100857p:plain

この前は学習済みのBERTをから取り出したEmbeddigを使ってLightGBMに突っ込んでみるところまでやってみました。 その時は特にタスク個別にBERTを学習させていなかったので、今回はタスク向けに転移学習させたBERTをモデルを使用して、そのEmbeddingをLightGBMに突っ込んでみたいと思います。

続きを読む

学習済みのBERTからEmbeddingを取得する

f:id:nogawanogawa:20200818021319p:plain

最近はちょいちょいBERTとかを使って遊んでたりします。

今回は、学習済みのBERTのモデルを使って、文書Embedgingを取得してみたいと思います。

参考にさせていただいたのはこちらの記事です。

yag-ays.github.io

毎度のことながら、やることは上の記事とほとんど変わりませんが、自分の勉強のためにやってみたいと思います。

続きを読む

LightGBMで含意関係認識をしてみる

f:id:nogawanogawa:20200814230237p:plain

この前はBERTを使って含意関係認識をやってみました。

前回は何も考えずにとにかくBERTに突っ込んで、とりあえずやってみたって感じでした。 今回は、もう少し泥臭い方法で含意関係認識をやってみたいと思います。

今回参考にさせていただいたのはこちら。

watlab-blog.com

こちらの記事を参考にやっていきたいと思います。

続きを読む