最近諸事情がありまして、プライベートでLLMをガチャガチャいじっていたんですがChatGPTの請求がとんでもないことになっていました。 流石にコストかかり過ぎだということで、コストが安いGemini 1.5 Flashを使うことを検討しています。
LlamaIndexでGemini 1.5 Flashを使うという文献があまり見つからなかったので、今回はLlamaIndexでGemini 1.5 Flashを使ってみたやり方の備忘録です。
続きを読む
最近諸事情がありまして、プライベートでLLMをガチャガチャいじっていたんですがChatGPTの請求がとんでもないことになっていました。 流石にコストかかり過ぎだということで、コストが安いGemini 1.5 Flashを使うことを検討しています。
LlamaIndexでGemini 1.5 Flashを使うという文献があまり見つからなかったので、今回はLlamaIndexでGemini 1.5 Flashを使ってみたやり方の備忘録です。
続きを読む
前にRAGの評価をいい感じにできないか試行錯誤してみてました。
ただ、その後使ってみてやっぱりArize Phoenixに依存するとなにかとしんどい感じがしたので、特にツールを使用せず普通のコードだけで評価をいい感じにできるように色々やってみようと思います。
続きを読む
以前Arize Phoenixを使ってたりしました。
そんなArize Phoenixですが、どうやらLlamaCloudでLlamaTraceという名前で使えるようになっているらしいです。
We’re excited to feature LlamaTrace - a collaborative effort with @arizeai to introduce advanced LLM tracing, observability, and evaluation for any LLM application workflows 🦙🔥
— LlamaIndex 🦙 (@llama_index) 2024年7月11日
There are of course many great tools for LLM tracing/evals, and we have great integrations with many… pic.twitter.com/tjd93G8YK6
ということで使ってみたいと思います。
続きを読む小ネタです。
Gemini-ProやGemini-flashを使っているときに、安全性に関するメッセージとともにエラーになることがあります。
このときの対処方法について調べてみたのでそのメモです。
続きを読む
前回はLlamaIndexのvector searchでFaissを使ってみました。
今回は、検索部分についてメジャーな改善手法であるHybrid SearchをLlamaIndexで試してみたいと思います。
続きを読むこの前は、LlamaIndexのプロンプトテンプレートを日本語にしてたりしました。
今回はretrivalの部分をちょっとカスタマイズをしようと思い、デフォルトの検索方法を変えてFaissを使うようにしたいと思います。
続きを読む
「2つのテキストが一致していること」を判定しようとすると結構苦労することがあります。 "わかりやすく", "微妙に"違ってる、くらいだと良いんですが、現実の問題を考えるとそんなわかりやすい状況のほうが珍しいということに気が付きます。
今回はそんな意外と大変なテキスト間の一致度を評価する方法についてあれこれ考えてみたのでそのメモです。
続きを読む
RAGをやっていて精度検証用データセットの作成で困ったことはないですか?
精度評価用のデータセットなんて作成することだけでも超めんどくさそうじゃないですか? ということで、今回はこの簡易精度評価に使うデータセット作成をやってみようと思います。
続きを読む