1 min read
Links paper: arxiv.org/pdf/2004.13157.pdf .
Abstract implicit feedback 을 Learning-to-Rank 방식에 학습할 때 발생하는 bias (e.g., position bias) 를 줄이기 위해 counterfactual inference framework 를 제안 In contrast to most conventional...
Paper link Abstract (a) investigate evaluation bias of AOA(Average-Over-All) evaluator (b) an unbiased and practical offline evaluator for implicit MNAR datasets 를 제안 the...
Notation 현재 production policy \pi p 그리고 test policy \pi t X: contextual feature 에 대한 random variable \pi(A\mid X) 는 action A 에 대한 확률 분포 Offline A/B Test 테스트를 수행하기 위해서는...
Abstract offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다.
핵심 요약 추천 시스템을 온라인 A/B 테스트 없이 오프라인에서 평가하는 방법론. Logging policy로 수집된 편향된 데이터에서 새로운 policy의 성능을 unbiased하게 추정하는 것이 핵심 과제다.
References slide: staff.fnwi.uva.nl/m.derijke/wp-content/uploads/sigir2016-tutorial.pdf .
paper link.
paper link.
paper link .