ニューラルネットワーク
前にこんな感じのことをつぶやいていました。 pytorch lightningでcross validation書くときって、こんな感じに書かなきゃダメなの？もっとシンプルに書けるもんなのか？（全然わかってない顔）https://t.co/R3OzpZC0lq— 野川の側 (@nogawanogawa) 2022年11…
ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧な…
”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらま…
最近何やらSONYさんのNeural Network Consoleのyoutube動画が充実してると耳にしました（目にした？)。 qiita.com youtubeチャンネルはこちら。 www.youtube.com 今回はDNNの復習も兼ねて視聴してみたので、そのメモです。
この前はLSTMについて勉強してみました。 tsunotsuno.hatenablog.com 今回はもうちょっと進んで、seq2seqとAttentionを見ていきます。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メーカー: オ…
この前は基本的なRNNの仕組みについて勉強していました。 tsunotsuno.hatenablog.com 今回は、現在RNNの中でも代表的なモデルの一つであるLSTMについて勉強します。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者:…
この前はword2vecの勉強をしていました。 tsunotsuno.hatenablog.com 今回はもうちょっと突っ込んだRNN (Recurrent Neural Networks)について勉強してみます。 参考にしたのはこちら。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メ…
この前は自然言語処理の基本を勉強していました。 tsunotsuno.hatenablog.com 今回は、今どきの自然言語処理で普通に使われているword2vecについて勉強していきます。 今回もこちらの本を使って勉強しました。 ゼロから作るDeep Learning ? ―自然言語処理編…
いつもとは若干嗜好を変えてみます。 こちらが面白そうだったので、その論文のメモです。 難しそうな数学の式がいっぱい出てきますが、頑張って読んでみます。。。
論文 著者 背景 検索モデルの変遷 Simple NN Lambdarank NN Decision Tree/Factorization Machine NN Deep NN 失敗談 Listing ID Multi-task learning 特徴エンジニアリング 正規化 分散 バグの局所化 一般化 特徴量の完全性確認 カテゴリーに関する濃度 シ…
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 GraphGAN Framework Discriminator Optimization Generator Optimization Graph Softmax関数 評価 評価環境 データセット 比較対象 その他 Empirical Study Link Prediction Node Classification …
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 Graph Convolutional Networkの概要 問題設定 Model Archtecture Localized graph convolutions ランダムウォークによる近傍探索 畳み込みの多層化 学習 Loss function ミニバッチの設計 Producer…
論文 https://arxiv.org/abs/1711.09020 著者 Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo 背景 近年のimage-to-image translationの進歩がめざましい一方で、拡張性に乏しい問題がある。 特に、2種類以上の変換にはペア…
論文 著者 背景 目的とアプローチ 目的 アプローチ Information Maximizing Generative Adversarial Networks (InfoGAN) GANの原理 潜在変数を含む相互情報 評価 収束の効率化 表現力に関する評価 結論 感想 論文 https://arxiv.org/abs/1606.03657 著者 Xi …
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 DiscoGAN ネットワーク設計 Loss Generative Adversarial Loss Reconstruction Loss 評価 単純評価 実画像の評価 CAR to CAR FACE to FACE 多数の特徴が共通する場合の変換 完全に別のものを角度…
だいぶ期間が空いてしまいましたが、結構前にGoogle Cloud Platformの使い方を勉強していました。 (別に諦めてたわけではなく、単純にAWSでいろいろやることがあったので、そっちを使ってただけです) tsunotsuno.hatenablog.com 当初の目的としては、GPUを使…
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 AttnGAN Attentional Generative Network Attention Model Loss Deep Attentional Multimodal Similarity Model (DAMSM) Text Encoder Image Encoder Matching score DAMSM loss 評価 評価条件 デ…
最近いろいろ忙しかったのですが、一段落ついたのでまたブログを再開します。 ここのところのディープラーニング界隈では、PyTorchなるものがなんだか流行っている感じがあって、今回はそれを使ってみます。
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 HDGAN Multi-purpose adversarial losses Architecture Design Generator Discriminator 評価 Experimental Setup Dataset Evaluation metric 先行研究との比較 文を書き換えによるstyle transfer…
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 PGGAN（Progressive Growing of GANs） ミニバッチ標準偏差を活用した多様性の向上 補足 GeneratorとDiscriminatorの正規化 Equalized learning rate Pixelwise feature vector normalization in …
だいぶ前にStackGANの実装をサボっていました。 tsunotsuno.hatenablog.com 理論云々は上の記事を見てもらうとして、実装にフォーカスします。 ネットワークの概念図 実装サンプル Condition Augmentation Trainer Stage-Ⅰ Stage-Ⅱ 実際に動かしてみた結果 6…
この前はGoogle Colabを使って見たんですが、どうやらGANをやるには不向きな感じでした。 tsunotsuno.hatenablog.com こうなったら、やはり本家だろうということでGoogle Cloud Platform (GCP)を使って機械学習をやる方法を調べてみました。 参考にさせてい…
ちょっと前にこんなブログが話題になってました。 karaage.hatenadiary.jp 無料でクラウドのGPUを使える日がついに来たようです。 機会学習を始めたころから、すごーく使いたかったんです。 というわけで、使ってみました。 Google Colabとは 使い方 google …
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 Stage-Ⅰ GAN その他 補足 Stage-Ⅱ GAN 実装のパラメータ アップサンプリングブロック ダウンサンプリングブロック パラメータ他 評価 データセット 比較対象 評価指標 Inception Score Human Rank…
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 学習プロセス 補足 Adversarial Loss Cycle Consistency Loss 実装 ネットワーク構造 その他 評価 評価指標 AMT perceptual studies FCN score Semantic segmentation metrics 比較対象 先行研究…
論文 著者 背景 目的とアプローチ 提案手法 収束の測定 補足 評価 結論 実装 実行結果 i = 0 i = 2000 × 20 i = 2000 × 40 i = 2000 × 60 i = 2000 × 80 i = 2000 × 100 i = 2000 × 120 i = 2000 × 140 i = 2000 × 160 i = 2000 × 180 i = 2000 × 200 i = 20…
論文 著者 背景 目的とアプローチ 目的 アプローチ 提案手法 ネットワーク構成 その他 初期化 LeakyReLU 最適化 評価 CIFER-10 SVHN Discriminator Generator 実装 実行結果 i=0 i=5 i=55 i=109 感想 論文 [1511.06434] Unsupervised Representation Learnin…
前回はとりあえずTensorFlowを使ってGANを書くところをやってみました。 tsunotsuno.hatenablog.com 今回もこちらの本を参考にGANの別のモデルをやってみます。 https://www.amazon.co.jp/Learning-Generative-Adversarial-Networks-Ganguly/dp/1788396413 …
最近は年度末が近づいたのもあって、なかなかブログを更新できていませんでしたが、少しずつ書いていきます。 前回は雑でもなんでもGANの仕組みを理解しようということで、numpyだけでGANを書いていました。 まともに動かなかったけど。。。 tsunotsuno.hate…
この前はCNNを書いてみました。 tsunotsuno.hatenablog.com 今回はちょっぴりCNNの応用のGANってやつをやってみます。 今回参考にさせていただいたのはこちら。 elix-tech.github.io めちゃくちゃ分かりやすかったです。 ありがとうございます。 こういうい…
