前回までプロンプトキャッシングについて調べたりコード書いたりしていました。
似たような機能で、Geminiにも明示的Context Cacheという機能があります。
公式ドキュメントにも、
- 暗黙的なキャッシュ保存(自動、費用削減は保証されない)
- 明示的なキャッシュ保存(手動、費用削減保証)
とあるので、コンテキストキャッシュを使って費用削減しようと思ったら、明示的にやるのが良さそうではあります。
LangChainでそれをやっている文献が見当たらなかったので、今回試しにやってみたのでそのメモです。・
続きを読む