Re:ゼロから始めるML生活

どちらかといえばエミリア派です

PyTorch

PyTorch Metric Learningの使い方を眺める

良質なEmbeddingを作成したくなることがあって、Deep Metric Learningを試してみることにしました。 やってみたら意外と使い方にハマったので、備忘の意味で記録していこうと思います。

PyTorch Lightningでcross validationを書こうと思ったら失敗した話

前にこんな感じのことをつぶやいていました。 pytorch lightningでcross validation書くときって、こんな感じに書かなきゃダメなの?もっとシンプルに書けるもんなのか?(全然わかってない顔)https://t.co/R3OzpZC0lq— 野川の側 (@nogawanogawa) 2022年11…

【備忘録】PyTorchのOptimizerとSchedulerの挙動

PyTorch書いてて、ちょっとわからなくなってしまったので、調べたことを備忘として残しておくメモです。

Microsoft Vision Model ResNet-50 を使ってみる

先日、こちらのツイートを拝見しました。 https://t.co/LUuVrYQo7nMicrosoftが非常に高性能な学習済みResNet50のモデルを公開。複数の大規模なデータセットでマルチタスク学習を行なっている。GoogleのBig Transfer, OpenAIのClipを超える転移学習の性能をし…

EfficientNetを使ってみたメモ

普段あまり画像をデータを取り扱うことがないんですが、最近ちょっといじってたりします。 www.nogawanogawa.com そんなことをやってるところに、何やらEfficientNetなどという代物があるということを見かけました。 更に調べてみると結構すごいやつというこ…

ResNetのPyTorch学習済みモデルをfine tuneして使うときのメモ

普段画像データを使って機械学習をすることがあまりないんですが、色々あって最近ちょくちょく触っています。 そんなわけで、画像認識で使うニューラルネットワークの勉強をしていて、最近では画像認識のベースラインとして使用されることもあるResNetについ…

タスク固有に追加学習したBERTのEmbeddingをLightGBMに突っ込んで使用する

この前は学習済みのBERTをから取り出したEmbeddigを使ってLightGBMに突っ込んでみるところまでやってみました。 その時は特にタスク個別にBERTを学習させていなかったので、今回はタスク向けに転移学習させたBERTをモデルを使用して、そのEmbeddingをLightGB…

学習済みのBERTからEmbeddingを取得する

最近はちょいちょいBERTとかを使って遊んでたりします。 今回は、学習済みのBERTのモデルを使って、文書Embedgingを取得してみたいと思います。 参考にさせていただいたのはこちらの記事です。 yag-ays.github.io 毎度のことながら、やることは上の記事とほ…

BERTを用いて含意関係認識をやってみる

この前は、BERTを使って文章の空欄を埋めるタスクをやってみました。 今回はBERTの勉強がてら含意関係認識(Recognizing Textual Entailment, RTE)というタスクをやってみたいと思います。 今回非常に参考にさせていただいたのはこちらの記事です。 hironsan.…

BERTの学習済みモデルを使って穴埋め問題を解く

最近ではBERTやその派生が自然言語処理の多くのタスクでSOTAを更新していて、非常に話題になっています。 そんなBERTですが、日本語の学習済みモデルも非常に多く公開される様になっており、計算資源が乏しい私でも使用するだけなら不自由なく使えるようにな…

テキスト生成をやってみる

自然言語処理のタスクの一つにテキスト生成があります。 質問文に対する応答を生成したり、長文を短く要約したり、和文英訳したりと、テキスト生成は自然言語処理の応用の様々なところで使用されます。 今回は、このテキスト生成についてやってみたのでその…

自然言語処理について勉強してみた(その5:Seq2Seq・Attention)

この前はLSTMについて勉強してみました。 tsunotsuno.hatenablog.com 今回はもうちょっと進んで、seq2seqとAttentionを見ていきます。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メーカー: オ…

自然言語処理について勉強してみた(その4:LSTM)

この前は基本的なRNNの仕組みについて勉強していました。 tsunotsuno.hatenablog.com 今回は、現在RNNの中でも代表的なモデルの一つであるLSTMについて勉強します。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者:…

自然言語処理について勉強してみた(その3:RNN)

この前はword2vecの勉強をしていました。 tsunotsuno.hatenablog.com 今回はもうちょっと突っ込んだRNN (Recurrent Neural Networks)について勉強してみます。 参考にしたのはこちら。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メ…

GCPでPyTorch(GPU)を使えるようにするまでにやったことのメモ

だいぶ期間が空いてしまいましたが、結構前にGoogle Cloud Platformの使い方を勉強していました。 (別に諦めてたわけではなく、単純にAWSでいろいろやることがあったので、そっちを使ってただけです) tsunotsuno.hatenablog.com 当初の目的としては、GPUを使…

tensorboardXを使っていろいろ眺めてみる

前回はtensorboardX導入までして、なんとなく動いてそうなことを確認しました。 tsunotsuno.hatenablog.com 今回はもうちょっといじくり回して見たいと思います。

tensorboardXの導入メモ

最近PyTorchを勉強中なんですが、TensorFlowっぽくstatsを確認したいと思い始めました。 TensorBoard自体は結構便利なので、そのまま使えたら良いなーとか思って探してみたらこんなのありました。 qiita.com なるほどtensorboardXなるものがあるんですね。 g…

PyTorchを使ってみた

最近いろいろ忙しかったのですが、一段落ついたのでまたブログを再開します。 ここのところのディープラーニング界隈では、PyTorchなるものがなんだか流行っている感じがあって、今回はそれを使ってみます。

【実装:StackGAN】StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks

だいぶ前にStackGANの実装をサボっていました。 tsunotsuno.hatenablog.com 理論云々は上の記事を見てもらうとして、実装にフォーカスします。 ネットワークの概念図 実装サンプル Condition Augmentation Trainer Stage-Ⅰ Stage-Ⅱ 実際に動かしてみた結果 6…