...trol)을, 다른 그룹에는 새 로직(B, 실험군 treatment)을 같은 기간에 보여 준 뒤 지표를 비교하는 실험이다. 추천 시스템에서는 실제 사용자의 반응으로 모델을 평가하는 online evaluation 의 대표적인 방법이다. offline 지표로 고른 후보를 서비스에 낼지는 보통 A/B Test 로 마지막에 결정한다. Deep Neural Networks for YouTube R...
Related online evaluation
A/B Test 는 사용자를 무작위로 두 그룹으로 나눠, 한 그룹에는 기존 로직(A, 대조군 control)을, 다른 그룹에는 새 로직(B, 실험군 treatment)을 같은 기간에 보여 준 뒤 지표를 비교하는 실험이다. 추천 시스템에서는 실제 사용자의 반응으로 모델을 평가하는 online evaluation 의...
https://github.com/hongleizhang/RSPapers
현실에 직접 적용하는 대신 정해진 데이터셋에서 성능 평가를 하는 것
Exposure bias 는 사용자가 모든 item 을 본 것이 아니라, 노출된 item 에 대해서만 feedback 을 남긴다는 데서 생기는 bias 다. 특히 implicit feedback 에서는 관측되지 않은 item 을 negative 로 단순 처리하면 실제로 싫어한 것인지, 그냥 노출되지 않은 것인지...
대화형 추천 시스템: 사용자와 실제 대화를 통해 사용자의 성향을 파악하여 추천을 진행함
Unlike interactive recommendation methods that generate recommendations based on the user’s feedback via constant interactions, sequential recommender systems predict the...
단점 새로운 아이템에 대해서는 추천을 제공할 수 없음 popularity bias 가 존재함 (NLP 문제에서 많이 나오는 단어에 대해 반복적으로 등장함)
추천 시스템에서 발생할 수 있는 문제점들
배경 To remedy the selection bias in evaluation, some recent work considers a recommendation as an intervention analogous to treating a patient with a specific drug. In both...
popularity bias 를 해결하는데 사용한다.