前回までプロンプトキャッシングについて調べたりコード書いたりしていました。 www.nogawanogawa.com www.nogawanogawa.com 似たような機能で、Geminiにも明示的Context Cacheという機能があります。 ai.google.dev 公式ドキュメントにも、 暗黙的なキャッ…

この前はプロンプトキャッシュについて調べていました。 www.nogawanogawa.com 実際に各種生成AIサービスを利用する際にはLangChainを利用することが多いと思うので（諸説あり）、今回はLangChainを使いつつちゃんとプロンプトキャッシュが効いていることを…

プロンプトキャッシングについて調査してみた記録です。 生成AI系のAPIはたくさんあると思うんですが、そのコスト削減策について調べていました。 少し調べてみるとわかったこととして、2024年ごろからプロンプトのキャッシュを効かせる機能が登場したようで…