Re:ゼロから始めるML生活

どちらかといえばエミリア派です

ニューラルネットワーク

PyTorch Lightningでcross validationを書こうと思ったら失敗した話

前にこんな感じのことをつぶやいていました。 pytorch lightningでcross validation書くときって、こんな感じに書かなきゃダメなの?もっとシンプルに書けるもんなのか?(全然わかってない顔)https://t.co/R3OzpZC0lq— 野川の側 (@nogawanogawa) 2022年11…

推薦システムにおけるニューラルネットワークの活用について読んだ論文をゆるくまとめる

ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧な…

"Attention is All You Need" は本当か調べる

”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらま…

Neural Network Consoleの解説動画でニューラルネットワークの復習する

最近何やらSONYさんのNeural Network Consoleのyoutube動画が充実してると耳にしました(目にした?)。 qiita.com youtubeチャンネルはこちら。 www.youtube.com 今回はDNNの復習も兼ねて視聴してみたので、そのメモです。

自然言語処理について勉強してみた(その5:Seq2Seq・Attention)

この前はLSTMについて勉強してみました。 tsunotsuno.hatenablog.com 今回はもうちょっと進んで、seq2seqとAttentionを見ていきます。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メーカー: オ…

自然言語処理について勉強してみた(その4:LSTM)

この前は基本的なRNNの仕組みについて勉強していました。 tsunotsuno.hatenablog.com 今回は、現在RNNの中でも代表的なモデルの一つであるLSTMについて勉強します。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者:…

自然言語処理について勉強してみた(その3:RNN)

この前はword2vecの勉強をしていました。 tsunotsuno.hatenablog.com 今回はもうちょっと突っ込んだRNN (Recurrent Neural Networks)について勉強してみます。 参考にしたのはこちら。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メ…

自然言語処理について勉強してみた(その2:word2vec)

この前は自然言語処理の基本を勉強していました。 tsunotsuno.hatenablog.com 今回は、今どきの自然言語処理で普通に使われているword2vecについて勉強していきます。 今回もこちらの本を使って勉強しました。 ゼロから作るDeep Learning ? ―自然言語処理編…

【論文メモ:OpenPose】OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

いつもとは若干嗜好を変えてみます。 こちらが面白そうだったので、その論文のメモです。 難しそうな数学の式がいっぱい出てきますが、頑張って読んでみます。。。

【論文メモ:Airbnb search engine】Applying Deep Learning To Airbnb Search

論文 著者 背景 検索モデルの変遷 Simple NN Lambdarank NN Decision Tree/Factorization Machine NN Deep NN 失敗談 Listing ID Multi-task learning 特徴エンジニアリング 正規化 分散 バグの局所化 一般化 特徴量の完全性確認 カテゴリーに関する濃度 シ…

【論文メモ:GraphGAN】GraphGAN: Graph Representation Learning with Generative Adversarial Nets

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 GraphGAN Framework Discriminator Optimization Generator Optimization Graph Softmax関数 評価 評価環境 データセット 比較対象 その他 Empirical Study Link Prediction Node Classification …

【論文メモ:Pinterest recommendation model】Graph Convolutional Neural Networks for Web-Scale Recommender Systems

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 Graph Convolutional Networkの概要 問題設定 Model Archtecture Localized graph convolutions ランダムウォークによる近傍探索 畳み込みの多層化 学習 Loss function ミニバッチの設計 Producer…

【論文メモ:StarGAN】StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

論文 https://arxiv.org/abs/1711.09020 著者 Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo 背景 近年のimage-to-image translationの進歩がめざましい一方で、拡張性に乏しい問題がある。 特に、2種類以上の変換にはペア…

【論文メモ:InfoGAN】InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

論文 著者 背景 目的とアプローチ 目的 アプローチ Information Maximizing Generative Adversarial Networks (InfoGAN) GANの原理 潜在変数を含む相互情報 評価 収束の効率化 表現力に関する評価 結論 感想 論文 https://arxiv.org/abs/1606.03657 著者 Xi …

【論文メモ:DiscoGAN】Learning to Discover Cross-Domain Relations with Generative Adversarial Networks

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 DiscoGAN ネットワーク設計 Loss Generative Adversarial Loss Reconstruction Loss 評価 単純評価 実画像の評価 CAR to CAR FACE to FACE 多数の特徴が共通する場合の変換 完全に別のものを角度…

GCPでPyTorch(GPU)を使えるようにするまでにやったことのメモ

だいぶ期間が空いてしまいましたが、結構前にGoogle Cloud Platformの使い方を勉強していました。 (別に諦めてたわけではなく、単純にAWSでいろいろやることがあったので、そっちを使ってただけです) tsunotsuno.hatenablog.com 当初の目的としては、GPUを使…

【論文メモ:AttnGAN】AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 AttnGAN Attentional Generative Network Attention Model Loss Deep Attentional Multimodal Similarity Model (DAMSM) Text Encoder Image Encoder Matching score DAMSM loss 評価 評価条件 デ…

PyTorchを使ってみた

最近いろいろ忙しかったのですが、一段落ついたのでまたブログを再開します。 ここのところのディープラーニング界隈では、PyTorchなるものがなんだか流行っている感じがあって、今回はそれを使ってみます。

【論文メモ:HDGAN】Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 HDGAN Multi-purpose adversarial losses Architecture Design Generator Discriminator 評価 Experimental Setup Dataset Evaluation metric 先行研究との比較 文を書き換えによるstyle transfer…

【論文メモ:PGGAN】Progressive Growing of GANs for Improved Quality, Stability, and Variation

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 PGGAN(Progressive Growing of GANs) ミニバッチ標準偏差を活用した多様性の向上 補足 GeneratorとDiscriminatorの正規化 Equalized learning rate Pixelwise feature vector normalization in …

【実装:StackGAN】StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks

だいぶ前にStackGANの実装をサボっていました。 tsunotsuno.hatenablog.com 理論云々は上の記事を見てもらうとして、実装にフォーカスします。 ネットワークの概念図 実装サンプル Condition Augmentation Trainer Stage-Ⅰ Stage-Ⅱ 実際に動かしてみた結果 6…

Google Cloud Platformの導入メモ

この前はGoogle Colabを使って見たんですが、どうやらGANをやるには不向きな感じでした。 tsunotsuno.hatenablog.com こうなったら、やはり本家だろうということでGoogle Cloud Platform (GCP)を使って機械学習をやる方法を調べてみました。 参考にさせてい…

Google Colabを使ってみた

ちょっと前にこんなブログが話題になってました。 karaage.hatenadiary.jp 無料でクラウドのGPUを使える日がついに来たようです。 機会学習を始めたころから、すごーく使いたかったんです。 というわけで、使ってみました。 Google Colabとは 使い方 google …

【論文メモ:StackGAN】StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 Stage-Ⅰ GAN その他 補足 Stage-Ⅱ GAN 実装のパラメータ アップサンプリングブロック ダウンサンプリングブロック パラメータ他 評価 データセット 比較対象 評価指標 Inception Score Human Rank…

【論文メモ:CycleGAN】Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 学習プロセス 補足 Adversarial Loss Cycle Consistency Loss 実装 ネットワーク構造 その他 評価 評価指標 AMT perceptual studies FCN score Semantic segmentation metrics 比較対象 先行研究…

【論文メモ:BEGAN】BEGAN: Boundary Equilibrium Generative Adversarial Networks

論文 著者 背景 目的とアプローチ 提案手法 収束の測定 補足 評価 結論 実装 実行結果 i = 0 i = 2000 × 20 i = 2000 × 40 i = 2000 × 60 i = 2000 × 80 i = 2000 × 100 i = 2000 × 120 i = 2000 × 140 i = 2000 × 160 i = 2000 × 180 i = 2000 × 200 i = 20…

【論文メモ:DCGAN】Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 ネットワーク構成 その他 初期化 LeakyReLU 最適化 評価 CIFER-10 SVHN Discriminator Generator 実装 実行結果 i=0 i=5 i=55 i=109 感想 論文 [1511.06434] Unsupervised Representation Learnin…

【写経】TensorFlowを使ったCGANの実装

前回はとりあえずTensorFlowを使ってGANを書くところをやってみました。 tsunotsuno.hatenablog.com 今回もこちらの本を参考にGANの別のモデルをやってみます。 https://www.amazon.co.jp/Learning-Generative-Adversarial-Networks-Ganguly/dp/1788396413 …

【写経】TesnorFlowを使ったGANの実装

最近は年度末が近づいたのもあって、なかなかブログを更新できていませんでしたが、少しずつ書いていきます。 前回は雑でもなんでもGANの仕組みを理解しようということで、numpyだけでGANを書いていました。 まともに動かなかったけど。。。 tsunotsuno.hate…

簡易版のGANを書いてみた

この前はCNNを書いてみました。 tsunotsuno.hatenablog.com 今回はちょっぴりCNNの応用のGANってやつをやってみます。 今回参考にさせていただいたのはこちら。 elix-tech.github.io めちゃくちゃ分かりやすかったです。 ありがとうございます。 こういうい…