Zzong's Notes

online evaluation

1 min read

직접 현실에 적용해 실시간으로 모델을 평가하는 것으로, 이상적인 RS 의 평가 방법이다.

Reference

offline evaluation

링크된 언급

2
AB Test

...이다. 즉, 일부 사용자들에게는 A 로직을 보여주고 다른 일부 사용자들에게 B 로직을 보여주면서 더 반응이 좋은 로직이 무엇인지 비교하는 것이다. 주로 모델의 성능을 측정하기 위한 online evaluation 방법 중 하나로 사용된다. A.1) 유의할 점 A/B Test 는 동시에 추천 결과를 노출하는 것이 중요하다. 왜냐하면, 순간적인 유행의 변화, 새로운 콘텐츠의 등장, 요일이나 시...

offline evaluation

... 사용하는 오프라인 테스트 환경이다. 다음 두 가지를 포함한다고 한다. counterfactual serving simultation reward estimation Related online evaluation References