Zzong's Notes

inverse propensity score

2 min read

정의

Importance sampling 이라고 불리며, IPS 는 expectation 을 계산하고자 하는 확률 분포  의 PDF 를 알고있지만 샘플들을 생성하기 어려울 때, 비교적 쉬운 PDF 인  에서 샘플을 생성하여  의 기댓값을 계산하는 방법이다.

A.1) 추천 시스템 맥락에서의 정의

Logging policy 가 해당 action 을 선택할 확률을 기준으로 삼고, test policy 가 해당 action 을 선택할 확률을 상대적인 가중치로 활용하여 expected weighted reward 을 계산

  • : product(logging) policy 가 context 에서 action 를 선택할 확률
  • : test policy 가 를 선택할 확률

B) 특징

  1. 를 구하는게 쉽지 않음

  2. low bias and high variance

    • 특히 두 policy 가 다를 수록, 가 크게 바뀌므로 variance 가 커짐

  3. Low variance 를 위한 capped importance sampling

\displaystyle\hat{\mathcal{R}}

링크된 언급

8
exposure bias

... 고려한다. 실무에서는 offline metric 과 online A/B test 간 괴리가 exposure bias 때문에 생기는지 자주 확인해야 한다. D) Related inverse propensity score popularity bias position bias

importance sampling

... 많을 경우 계산 비용이 많이드는 단점이 있다. 또한, 우리는 전체 분포에 대해서 알 필요가 없이, 어떤 확률 분포의 기댓값에 대해서만 관심이 있는 경우가 많다. a.k.a. inverse propensity score Importance sampling 은 기댓값 을 계산하고자 하는 확률 분포 f(x) 의 확률 밀도 함수 p 를 알고있지만 샘플들을 생성하기 어려울 때, 비교적 쉬운 pdf ...

Offline AB testing for Recommender Systems

...gging policy 로 얻은 reward 를 이용해서 target policy 의 expected reward 를 추정하는 방법이 importance sampling 또는 inverse propensity score 라고 불리는 방법이다. C) Related D) References arxiv.org/pdf/1801.07030.pdf

Pessimistic Reward Models for Off-Policy Learning in Recommendation

...loop off policy learning 에서 biased data 로 부터 unbiased learning 을 지향하는 방법에는 importance sampling or Inverse Propensity Score (IPS) weighting 이 존재함 value based models 1.1. Contributions off policy recommendation 을 위한 reward...

value-based method

... 크게 영향을 받을때 A.2) 특징 importance sampling 보다 일반적으로 variance 가 낮지만, 일반적으로 biased 하다. Comparison with inverse propensity score and value based method \displaystyle\widehat{V} {\mathrm{IPS}}(\pi,\mathcal{D})=\sum {(c,a,r)\in\...

추천시스템에서 Unbiased Offline Evaluation

... } p a \neq \frac{1}{K} p a: 해당 arm a가 뽑힐 확률 p i / p {max} 확률로 데이터 포함 여부 결정 p i가 자주 변하면 비효율적 C.3) Inverse Propensity Score (IPS) Replay Method의 개선: Non uniform logging policy에서도 사용 가능 \hat{V} {\text{IPS}}^{\pi} = \frac{1...