2025-01-01から1年間の記事一覧
最近こちらの記事を見てました。 martinfowler.com 内容は独自にCoding Agentを作る話なんですが、興味深かったです。 自分は「オレオレCoding Agentを作ってやるぜ！！」とまでは思ってないんですが、話題のCoding Agent CLIについて、原始的なものでも作れ…
2025年はどうやらAIエージェントの年らしいので、AIエージェントの作り方について絶賛勉強中だったりします。 そんなこんなもあって、最近こちらの書籍を購入してみまして、AIエージェントについて絶賛勉強中です。 現場で活用するためのAIエージェント実践…
前回までプロンプトキャッシングについて調べたりコード書いたりしていました。 www.nogawanogawa.com www.nogawanogawa.com 似たような機能で、Geminiにも明示的Context Cacheという機能があります。 ai.google.dev 公式ドキュメントにも、 暗黙的なキャッ…
この前はプロンプトキャッシュについて調べていました。 www.nogawanogawa.com 実際に各種生成AIサービスを利用する際にはLangChainを利用することが多いと思うので（諸説あり）、今回はLangChainを使いつつちゃんとプロンプトキャッシュが効いていることを…
プロンプトキャッシングについて調査してみた記録です。 生成AI系のAPIはたくさんあると思うんですが、そのコスト削減策について調べていました。 少し調べてみるとわかったこととして、2024年ごろからプロンプトのキャッシュを効かせる機能が登場したようで…
（雑記です） 表題の件について、ちょっと気になって夜も眠れなくなってしまったのでブログに書いてみます。
小ネタです。 transformersの埋め込みモデルを使ってembeddingを作りたいことは割といろんなところであるかと思いますが、このembedding作成もそこそこ時間を食ったりします。 可能であれば埋め込みを計算するときも高速化したいので、今回はvllmで高速化し…
最近LLMをいじってるんですが、LLMのfinetuneをコードを自分で書いて実行するのはまだまだ不安です。 処理も重たくGPU必須なのでそれなりにコストがかかるのに、変にバグらせるとショックもでかいです。 なので、できればコマンドだけでぱぱっとできると嬉し…
最近LLMを使って自力で学習とか回していたんですが、最近のNLP系のコンペはLLMがほぼ必須になっており庶民でも気軽に使えるColab ProにあるA100 ではメモリ40GBしかないのでどうにもならないことがあります。 AWSとかGCPにあるハイエンドGPUインスタンスを使…
