... 예제로 풀어 쓴 입문 설명과 베타 분포를 쓰는 베이지안 A/B Test 는 통계적 유의성 계산법 에 있다. 클릭률처럼 0 또는 1 이 아닌 지표(체류 시간, 구매 금액)는 Student’s t-test 로 평균을 비교하거나, 분포를 가정하지 않고 두 그룹의 라벨을 섞어 보는 Permutation Test 를 쓴다. 신뢰구간으로 차이가 얼마나 큰지 본다
t-test
sample size 가 충분해야 하고 (n>30), 모집단의 분산 값을 알아야 한다. 만약 그렇지 않다면 z-test 보다는 Student’s t-test 가 더 적절하다. 각 데이터 포인트가 서로 독립적이다. 데이터 분포가 Gaussian distribution 를 따라야 한다. 만약 그렇지 않더라도 데이터 사이즈가 충분하다면 central ...
Z-test (Z- 검정) 는 test statistic 의 분포가 null hypothesis 의 가정 아래 Gaussian distribution 으로 근사화될 수 있는지 확인하는 hypothesis test 를 의미한다.
특정 그룹이 더 성능이 좋것나 나쁠것으로 가정하는 검정. 즉, 결과가 한쪽으로 분명할 것으로 가정하는 검정 방법이다.
비모수 통계 기법 중 순열 검정 (permutation test) 을 이용하면 데이터의 모집단 분포가 정규분포를 따르지 않거나 특이한 통계량을 사용하더라도 표본 집단간 비교를 수행할 수 있다
A/B Test 는 사용자를 무작위로 두 그룹으로 나눠, 한 그룹에는 기존 로직(A, 대조군 control)을, 다른 그룹에는 새 로직(B, 실험군 treatment)을 같은 기간에 보여 준 뒤 지표를 비교하는 실험이다. 추천 시스템에서는 실제 사용자의 반응으로 모델을 평가하는 online evaluation 의...
연구자들은 연구하고자 하는 대상이 나타내는 현상을 관찰한 후에, 그 현상을 설명하는 가설을 설정한다.
p-value 는 귀무가설 (null hypothesis) H_0 이 참이라고 가정했을 때, 표본으로부터 얻어지는 통계치 (예: 표본 평균) 가 나타날 (관측될) 확률값이다. 이 확률이 희박하면 희박할수록, 귀무가설이 틀렸다고 말할 만한 강한 근거가 된다.
현상을 설명하는 가설을 수립하고, 이 가설에 의한 예측이 들어맞는지를 검증하기 위해 실험을 설계한다는 점은 공통적이다.
귀무가설 (null hypothesis) H_0 은 모집단의 특성에 대해 옳다고 제안하는 잠정적인 주장을 의미한다. In other words, 우리가 관찰한 어떤 효과가 특별한 것이 아니고 우연에 의해 발생한 것이라는 주장을 의미한다.
hypothesis test 에서 결과가 통계적으로 유의 (statistical significance) 하다 라는 의미는 null hypothesis 를 가정했을 때, 이러한 결과가 일어나기 힘들 것으로 보인다는 의미이다.
null hypothesis 이 참이라고 가정했을 때, null hypothesis 를 기각할 확률 이 값은 데이터 수집 전에 미리 결정되고, 통상적으로 5% (\alpha=0.05) 또는 그 미만으로 정해진다.