最近こちらの記事を見てました。
内容は独自にCoding Agentを作る話なんですが、興味深かったです。 自分は「オレオレCoding Agentを作ってやるぜ！！」とまでは思ってないんですが、話題のCoding Agent CLIについて、原始的なものでも作れるのか試してみたので今回はそのメモです。
続きを読むLangGraphでAIエージェントづくりをひとめぐり
2025年はどうやらAIエージェントの年らしいので、AIエージェントの作り方について絶賛勉強中だったりします。 そんなこんなもあって、最近こちらの書籍を購入してみまして、AIエージェントについて絶賛勉強中です。
本を読むだけでは身につかない部分もあると思うので、色々ガチャガチャ作りながら勉強してみようと思います。
続きを読むLangChainでGeminiの明示的Context Cacheを使う
前回までプロンプトキャッシングについて調べたりコード書いたりしていました。
似たような機能で、Geminiにも明示的Context Cacheという機能があります。
公式ドキュメントにも、
- 暗黙的なキャッシュ保存（自動、費用削減は保証されない）
- 明示的なキャッシュ保存（手動、費用削減保証）
とあるので、コンテキストキャッシュを使って費用削減しようと思ったら、明示的にやるのが良さそうではあります。
LangChainでそれをやっている文献が見当たらなかったので、今回試しにやってみたのでそのメモです。・
続きを読むLangChainでPrompt Cachingが利用されていることを確認する
この前はプロンプトキャッシュについて調べていました。
実際に各種生成AIサービスを利用する際にはLangChainを利用することが多いと思うので（諸説あり）、今回はLangChainを使いつつちゃんとプロンプトキャッシュが効いていることを確認したいと思います。
続きを読むOpenAI, Claude, Geminiのプロンプトキャッシュについて調べる
プロンプトキャッシングについて調査してみた記録です。
生成AI系のAPIはたくさんあると思うんですが、そのコスト削減策について調べていました。 少し調べてみるとわかったこととして、2024年ごろからプロンプトのキャッシュを効かせる機能が登場したようで、このキャッシュを上手に使うとコストを下げられるようでした。
今回はその仕様について調べてみたのでそのメモです。
続きを読むvllmで埋め込みモデルの推論を高速化する
小ネタです。
transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであるかと思いますが、このembedding作成もそこそこ時間を食ったりします。
可能であれば埋め込みを計算するときも高速化したいので、今回はvllmで高速化してみたいと思います。
続きを読むtorchtuneを使ってカスタムデータセットでLlama 3.1をfinetuneする
最近LLMをいじってるんですが、LLMのfinetuneをコードを自分で書いて実行するのはまだまだ不安です。 処理も重たくGPU必須なのでそれなりにコストがかかるのに、変にバグらせるとショックもでかいです。 なので、できればコマンドだけでぱぱっとできると嬉しい気がしてきました。
そんなときにtorchtuneというツールを見つけました。 どうやらLLMをコマンドと設定ファイルを書くだけでfinetuneできるようで、試してみることにしました。 ということで、今回はそのtorchtuneを使ってみたメモです。
続きを読むvast.aiを使ってみる
最近LLMを使って自力で学習とか回していたんですが、最近のNLP系のコンペはLLMがほぼ必須になっており庶民でも気軽に使えるColab ProにあるA100 ではメモリ40GBしかないのでどうにもならないことがあります。
AWSとかGCPにあるハイエンドGPUインスタンスを使える人はそれでも全然いいんですが、自分の経験上性能が高いGPUは使用申請してもなかなか承認が通らなかったりしたりしてその段階でLLMの学習を回せなくて詰むということもありえます。
そんな状況ではあるんですが、世の中にはGPUをOn-demandで利用させてくれるサービスがあったりします。 お金はかかりますが、それでも通常では絶対使用できないGPUを使えるというメリットがあるので、いざとなったら必要になります。
今回はそんな、On-demandで利用できるGPUのサービスの一つであるvast.aiを使ってみたので今回はそのメモです。
続きを読むTabMの使い方のメモ
軽めのネタです。
ちょっと前にCMIコンペに出てまして、そこでテーブルデータに大してNNを適用させる実験をしていました。
この実験で色々試しているときに、なにやら別のコンペでTabMというNNの手法が効いたという話を耳にしたのでCMIコンペでも試してみました。 CMIコンペも終わったので、今回はそのTabMを試しに使ってみたときのメモを放流しようと思います。
続きを読む