최초 작성 마지막 수정 읽는 데 1분
노트 편집 ↗- Links - paper: https://arxiv.org/pdf/2004.13157.pdf
implicit feedback 을 Learning-to-Rank 방식에 학습할 때 발생하는 bias (e.g., position bias) 를 줄이기 위해 counterfactual inference framework 를 제안
(a) investigate evaluation bias of AOA(Average-Over-All) evaluator (b) an unbiased and practical offline evaluator for implicit MNAR datasets 를 제안 the...
offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다. 여기서 만족하는 속성들은 good metric 이라면 만족해야만 하는...
현재 production policy \pi_p 그리고 test policy \pi_t X: contextual feature 에 대한 random variable \pi(A\mid X) 는 action A 에 대한 확률 분포
slide: https://staff.fnwi.uva.nl/m.derijke/wp-content/uploads/sigir2016-tutorial.pdf
추천 시스템을 온라인 A/B 테스트 없이 오프라인에서 평가하는 방법론. Logging policy로 수집된 편향된 데이터에서 새로운 policy의 성능을 unbiased하게 추정하는 것이 핵심 과제다.