前にRAGの評価をいい感じにできないか試行錯誤してみてました。 www.nogawanogawa.com ただ、その後使ってみてやっぱりArize Phoenixに依存するとなにかとしんどい感じがしたので、特にツールを使用せず普通のコードだけで評価をいい感じにできるように色々…

以前Arize Phoenixを使ってたりしました。 www.nogawanogawa.com www.nogawanogawa.com そんなArize Phoenixですが、どうやらLlamaCloudでLlamaTraceという名前で使えるようになっているらしいです。 We’re excited to feature LlamaTrace - a collaborative…

小ネタです。 Gemini-ProやGemini-flashを使っているときに、安全性に関するメッセージとともにエラーになることがあります。 このときの対処方法について調べてみたのでそのメモです。

最近こんな記事を見かけました。 zenn.dev zenn.dev zenn.dev 自分もRAGとかちょろっと勉強してたりしてLLMアプリケーションの評価周りはずっと気になるところではあったので、上記の記事を見てちょっと勉強してみる気になりました。 せっかくなので、色々作…

前にArize Phoenixを使ってみてました。 www.nogawanogawa.com Arize Phoenixを使うときに実験の記録が永続化できると非常に便利なんで、試しにやってみたのでそのメモです。

前回はLlamaIndexのvector searchでFaissを使ってみました。 今回は、検索部分についてメジャーな改善手法であるHybrid SearchをLlamaIndexで試してみたいと思います。

この前は、LlamaIndexのプロンプトテンプレートを日本語にしてたりしました。 www.nogawanogawa.com 今回はretrivalの部分をちょっとカスタマイズをしようと思い、デフォルトの検索方法を変えてFaissを使うようにしたいと思います。

「2つのテキストが一致していること」を判定しようとすると結構苦労することがあります。 "わかりやすく", "微妙に"違ってる、くらいだと良いんですが、現実の問題を考えるとそんなわかりやすい状況のほうが珍しいということに気が付きます。 今回はそんな意…

RAGをやっていて精度検証用データセットの作成で困ったことはないですか？ 精度評価用のデータセットなんて作成することだけでも超めんどくさそうじゃないですか？ ということで、今回はこの簡易精度評価に使うデータセット作成をやってみようと思います。

以前LlamaIndexを使っていました。 www.nogawanogawa.com LlamaIndexで質問を入力するとき、デフォルトだと英語のプロンプトが混じっています。 これをすべて日本語で動かすときにいつもやり方を忘れてしまうので今回はそのメモです。

OpenAIからChatGPT-4oが発表されましたが、皆さんガンガンつかっていますでしょうか？ さて、このChatGPT-4oですが、テキスト以外のデータも使用できるようになっているという特徴があります。 普通にテキストでのやり取りをしつつも画像データを扱えるとい…

このまえArize Phoenixを使ってトラッキングを試してみました。 www.nogawanogawa.com PhoenixにはSaaS版のArizeがあるので、今回はそっちを使ってみたいと思います。

RAGの評価についてちょこちょこ調べたりしてましたが、今回はRAGの改善方法について調べたいと思います。 正直、今でもいたるところで手法が提案されているので追いかけきれませんが、包括的なレポートで言及されている考え方くらいは調べてみたいと思います…

最近、というかこのGW中はRAGしかやってません。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com そんなRAGをやっているんですが、実はLlamaIndexについてはちゃんと勉強してなかったことに気がついたので、今更なが…

最近RAGについて勉強しています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 今回はRAGアプリケーションの開発フローについて勉強してみようと思います。

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLl…

この前はPhoenixを使ってRAGの実験管理をしてみました。 とはいうものの、Phoenixに事前定義された機能で評価をしただけなので、今回改めてRAGアプリケーションの精度評価について考えてみようと思います。 RAGの評価周りでよく知られたツールとしてRagasが…

最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。

2023年くらいからLLMがブームになってますが、自分はというとChatGPTをそのまま使っていたくらいで、それ以上はLLMに特に触っていませんでした。 正直そんなに興味はなかったんですが、まったく知らないのはそれはそれでまずいと思うようになりました。 とい…