この記事は （1人で）基礎から学ぶ推薦システム Advent Calendar 2022の7日目の記事です。
前回に引き続きrecsys-pythonをやっていきます。
今回は13章をやっていきたいと思います。
第13章 推薦順位に基づく正確性
前回は、回帰・分類で推薦の質について評価をしていました。
多くのサービスで、「アイテムが優先度順に並んでいる」というランキング形式のUIを採用してたりします。 こういったUIの特性上、やろうと思えばユーザーはすべてのアイテムを見ることができます。 実際には、ユーザーはすべてのアイテムを見ることなく、ランキングの途中まで見て離脱します。
この場合、ユーザーは何番目までアイテムを探索するかわかりません。 表示されているので見つけることはできますが、スクロールしないと見つからないのはユーザーとしてはストレスが溜まったりします。 こういった場合は、前回やった「好き嫌い分類」に基づく評価ではなく、ランキングの並び自体の良さを評価したほうが良いことがあります。
このように、評価が高いアイテムがランキング上で上位に配置されているかを評価する指標として、
- MRR(平均逆順位)
- MAP(平均適合率)
- nDCG
などが使用されたりします。
やってみる
参考文献
下記の文献を参考にさせていただきました。
感想
「やらなきゃ…」とずっと思っていたrecsys-python、完走です🎉🎉🎉 ひとまずやりきれてよかったです。
