Re:ゼロから始めるML生活

どちらかといえばエミリア派です

例題で見るベイズモデリング(一般化線形混合モデル)

この前はベイズモデリングの中でも一般化線形モデルを勉強していました。 www.nogawanogawa.com 今回は、階層ベイズを使ったモデリングである一般化線形混合モデルについて勉強していきたいと思います。 今回も主に参考にさせていただいたのはこちらです。 …

例題で見るベイズモデリング(一般化線形モデル)

最近ベイズモデリングについて勉強中です。 しかし、数式ばかり追いかけてしまって分かったようなわかんないような、、、という状況です。 ということで、今回は実際にモデリングして、これまで数式で勉強してきた内容の復習をしようと思います。 参考にさせ…

MCMCについてのメモ

前回までなんとなくベイズ統計について勉強していました。 www.nogawanogawa.com いろいろ勉強していく中で、ちょいちょいMCMCという手法が出てきたので、今回はMCMCについて勉強してみたメモです。 主に参考にさせていただいたのはこちら。 しくみがわかる…

luigiを使ってみた

先日MLOpsの勉強会に出てました。 www.nogawanogawa.com その場では、「ワークフローライブラリ使ってるとなんかイケてるんだなあ」くらいにしか思ってなかったんですが、機械学習の実験をしていて必要性を感じる場面があったので、試しに使ってみることにし…

トピックモデルとlivedoor ニュースコーパスで遊ぶ

この前は全然分からないなりに、トピックモデルの雰囲気だけ勉強をしました。 www.nogawanogawa.com 今回は、理論の復習しながら、実装してみます。 参考にしたのは今回もこちら。 トピックモデル (機械学習プロフェッショナルシリーズ)作者:岩田 具治出版社…

【参加録】MLOps勉強会 #mlops_jp

MLOpsは個人的に最近非常に興味があるトピックで、MLOps事例 & ライブラリ・フレームワークなどを語る勉強会「MLOps勉強会」に参加しました。 m3-engineer.connpass.com せっかく参加したので、備忘録として残しておきます。

EMアルゴリズムについてのメモ

最近この辺りの本を読んでいるんですが、その中にEMアルゴリズムというものが登場します。 推薦システム: 統計的機械学習の理論と実践作者:Deepak K. Agarwal,Bee‐Chung Chen出版社/メーカー: 共立出版発売日: 2018/04/21メディア: 単行本 トピックモデル (…

最尤推定/MAP推定/ベイズ推定についてのメモ

最近はこの辺の本を読んだりして機械学習の勉強してます。 トピックモデル (機械学習プロフェッショナルシリーズ)作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー) 推薦システム: 統計的機械学習の理論と実践作者:…

GCPのCloud Translation API v3を使う

翻訳用APIがどんなもんなのか、使ってみたのでそのメモです。いや、ほんとにただのメモなんでご了承くださいませ。

Neural Network Consoleの解説動画でニューラルネットワークの復習する

最近何やらSONYさんのNeural Network Consoleのyoutube動画が充実してると耳にしました(目にした?)。 qiita.com youtubeチャンネルはこちら。 www.youtube.com 今回はDNNの復習も兼ねて視聴してみたので、そのメモです。

トピックモデルついて勉強する

推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。 トピックモデル (機械学習プロフェッショナルシリーズ)作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソ…

尤度についてのメモ

R

最近こちらの本を読んでいて、尤度という言葉が出てきました。 トピックモデル (機械学習プロフェッショナルシリーズ)作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー) ※トピックモデルに関しては、それだけでちゃ…

Elasticsearchで画像検索をやってみる

この記事は 情報検索・検索エンジン Advent Calendar 2019 - Qiita 16日目の記事です。 初日から非常に勉強になる記事を拝見させていただいて日々勉強しております。レベルが高すぎて内心ビクビクしてます。。。 何も考えずこのカレンダーに登録した1ヶ月前…

近傍探索ライブラリFaissを使ってみた

最近、レコメンデーション系のことをやっている関係で色々調べてます。 以前はNGTを使って近傍探索を試していました。 www.nogawanogawa.com Embeddingとかを使った検索やレコメンデーションには近傍探索ライブラリは非常に重要です。 ちょっと調べてみると…

推薦システム入門(その1:古典的手法)

最近こちらの本を購入しました。 推薦システム: 統計的機械学習の理論と実践作者: Deepak K. Agarwal,Bee‐Chung Chen,島田直希,大浦健志出版社/メーカー: 共立出版発売日: 2018/04/21メディア: 単行本この商品を含むブログ (1件) を見る レコメンデーション…

機械学習系開発におけるCD (CD4ML)

Twitter見てたら、こちらを見かけました。 Continuous Delivery for Machine LearningAutomating the end-to-end lifecycle of Machine Learning applicationshttps://t.co/411c9l8e4d— u++ (@upura0) 2019年9月13日 気になるタイトルだったので、最近全然英…

gensimで学習済みモデルに更に追加学習する

今や単語分散表現に関する学習済みのモデルはたくさん公開されています。 ただ、その多くはwikipediaやニュース記事をベースにしたものになっており、より突っ込んだトピックを取り扱おうとすると、そこからモデルを独自にカスタマイズする必要が出てきます。…

SudachiPyでユーザー辞書を使う

気がついたら、前回のブログからだいぶ空いてしまいました。 これまで、Sudachiを使ってユーザー辞書を使おうとした場合には、Sudachi(Java)を使用する必要がありました。 それが最近何やらSudachiPyのリリースがあったらしく、SudachiPyでユーザー辞書が…

livedoor ニュースコーパスで遊んでみる(4回目)

この前はtf-idfとwikipedia仕込みのword2vecを組み合わせる事で、文書ベクトルを3次元空間にマッピングして可視化しました。 tsunotsuno.hatenablog.com 今回は単語の加減算を使用して、概念を使用した検索機能を作ってみたいと思います。

Tensorboardの実装を眺め、弄る

最近何かとお世話になっているTensorboardですが、こちらはGoogleからオープンソースで提供されているので、内容を自由に改変していくことができます。 ※ライセンスはApache 2.0です github.com ということで、何を血迷ったか、Tensorboard自体の実装を弄っ…

自然言語処理で遊んでみる(その3:テキスト分類)

NLP

しばらく大幅に脱線していましたが、以前こんな感じのことをやっていました。 tsunotsuno.hatenablog.com 今回も参考にさせていただいたのはこちら。 Pythonで動かして学ぶ 自然言語処理入門作者: 柳井孝介,庄司美沙出版社/メーカー: 翔泳社発売日: 2019/01/…

livedoor ニュースコーパスで遊んでみる(3回目)

この前はこんな感じにやってました。 tsunotsuno.hatenablog.com 画面にラベルが出てきたものの、中身を見てみると悲惨なことになっていました。 文書分類の本来の趣旨からいえば、全くダメでした。 ということで、今回はちょっとデータサイエンスチックなや…

機械学習用の自分用Dockerfileをまとめる

今回は特に新しいことはありません。完全に自分用メモです。 最近ローカルPCで機械学習をやりすぎて環境が汚くなりすぎてしまい、いろいろおかしくなってきました。(バージョンとか) ということで、前々からやろうとしていた環境のDocker完全移行のためのD…

livedoor ニュースコーパスで遊んでみる(2回目)

前回はDoc2Vecを動かしてみました。 tsunotsuno.hatenablog.com 動いてはいたものの、ところどころうまく行かなかったので、今回はそのリベンジです。

livedoor ニュースコーパスで遊んでみる

前回はこんなことやっていました。 tsunotsuno.hatenablog.com すでにベクトル化されていたので、やりやすかったですが、実際はベクトル化されていません。 今回はベクトル化されていないデータセットで遊んでみます。 日本語系のデータセットはこの辺をご参…

日本語wikipediaで遊んでみる

最近、自然言語処理を絶賛勉強中なので、その兼ね合いでちょっと遊んでみます。 過去にこんなことやってました。 tsunotsuno.hatenablog.com tsunotsuno.hatenablog.com 今回は日本語のwikipediaを使用して単語の相関を確認してみます。 word2vecについては…

自然言語処理で遊んでみる(その2:テキストデータの解析)

この前はこんなことをやっていました。 tsunotsuno.hatenablog.com 今回は実際に溜め込んだデータを見ていきます。 今回も参考にしたのはこちらの本です。 Pythonで動かして学ぶ 自然言語処理入門作者: 柳井孝介,庄司美沙出版社/メーカー: 翔泳社発売日: 201…

自然言語処理で遊んでみる(その1:テキストデータの準備)

この前までは、ディープラーニングという切り口で自然言語処理を勉強していました。 tsunotsuno.hatenablog.com しかし、自然言語処理はもっと多くのタスクをカバーする学問分野で、必ずしもディープラーニングが出てくるとは限りません。 そんなわけで、今…

自然言語処理について勉強してみた(その5:Seq2Seq・Attention)

この前はLSTMについて勉強してみました。 tsunotsuno.hatenablog.com 今回はもうちょっと進んで、seq2seqとAttentionを見ていきます。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者: 斎藤康毅出版社/メーカー: オ…

自然言語処理について勉強してみた(その4:LSTM)

この前は基本的なRNNの仕組みについて勉強していました。 tsunotsuno.hatenablog.com 今回は、現在RNNの中でも代表的なモデルの一つであるLSTMについて勉強します。 今回も参考にしたのはこちらの本です。 ゼロから作るDeep Learning ? ―自然言語処理編作者:…