- Links
Evaluating Stochastic Rankings with Expected Exposure: equity of exposure principle 제안, exploiting the stochasticity of rankings to lead...
Probability Ranking Principle 에 의하면 top-K items 을 greedy 하게 rank 하는것이 optimal 함
implicit feedback 을 Learning-to-Rank 방식에 학습할 때 발생하는 bias (e.g., position bias) 를 줄이기 위해 counterfactual inference framework 를 제안
현재 production policy \pi_p 그리고 test policy \pi_t X: contextual feature 에 대한 random variable \pi(A\mid X) 는 action A 에 대한 확률 분포
offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다. 여기서 만족하는 속성들은 good metric 이라면 만족해야만 하는...
(a) investigate evaluation bias of AOA(Average-Over-All) evaluator (b) an unbiased and practical offline evaluator for implicit MNAR datasets 를 제안 the...
selection bias, which occurs because clicked documents are reflective of what documents have been shown to the user in the first place. propose new counterfactual approaches...
추천 시스템을 온라인 A/B 테스트 없이 오프라인에서 평가하는 방법론. Logging policy로 수집된 편향된 데이터에서 새로운 policy의 성능을 unbiased하게 추정하는 것이 핵심 과제다.
Reference paper: https://dl.acm.org/doi/pdf/10.1145/3240323.3240372 cailbration 의 목적 In the recommended list of items, calibration ensures that the various (past) areas of...
papers/recommender system/Online learning to rank for information retrieval