Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다.
아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다.
아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
Bias in Recommendation Collection: Bias in Data Data Bias 정의 Data Bias 참고 Selection Bias (from Explicit feedback) selection bias 는 사용자가 어떤 아이템을 평가할 것인지에서 비롯된다. 그래...
Blindly fitting the data without considering the inherent biases will result in many serious issues, e.g., the discrepancy between offline evaluation and online metrics,...
데이터를 만들어내는 확률분포가 시간에 따라 변하는 상황을 말한다. 반대로 분포가 시간이 지나도 그대로면 stationary 다.
Exposure bias 는 사용자가 모든 item 을 본 것이 아니라, 노출된 item 에 대해서만 feedback 을 남긴다는 데서 생기는 bias 다. 특히 implicit feedback 에서는 관측되지 않은 item 을 negative 로 단순 처리하면 실제로 싫어한 것인지, 그냥 노출되지 않은 것인지...
유명한 아이템은 더 많이 노출되어서 학습 데이터의 밸런스가 더욱 무너지는 현상
추천 시스템에서 학습 또는 평가를 위한 데이터는 대부분 selection bias 에 취약하다.
Reference paper: https://dl.acm.org/doi/pdf/10.1145/3240323.3240372 cailbration 의 목적 In the recommended list of items, calibration ensures that the various (past) areas of...
Tags Matthew effect
“ 만약 사용자에게 강제로 영화를 보게 만든다면 어떻게 평가할 것인가?”: causal inference question
popularity bias 를 해결하는데 사용한다.
covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다.