AB Test 개념 정리

• Notation
• 통계적 검정
• 수식: Z-검정
  • 수식 해석

CTR(Click-Through Rate) 예측 기반 A/B 테스트에서 A 로직이 B 로직보다 통계적으로 유의미하게 우수함을 증명하려면?

A와 B의 CTR 차이가 통계적으로 유의미한지 확인 (예: 95% 신뢰수준).

• 대상: 무작위로 분할된 사용자 그룹 (A/B 그룹).

Notation

• $CTR_A$ = A 그룹 클릭 수 / A 그룹 노출 수
• $CTR_B$ = B 그룹 클릭 수 / B 그룹 노출 수

통계적 검정

• 귀무가설 (H₀): $CTR_A = CTR_B$ (A와 B의 성능 차이 없음).
• 대립가설 (H₁): $CTR_A > CTR_B$ (A가 B보다 우수함).

수식: Z-검정

Z-검정은 표본 분포가 정규분포를 따른다는 가정 아래 수행됩니다. CTR과 같은 비율 데이터는 본질적으로 이항분포(Binomial Distribution)를 따르지만, 중심극한정리(Central Limit Theorem) 덕분에 표본 크기가 충분히 클 경우 정규분포로 근사할 수 있습니다.

\[z=\frac{(\mathrm{A} \text { 의 CTR }-\mathrm{B} \text { 의 CTR) }}{\text { 표준 오차(Standard Error) }}=\frac{C T R_A-C T R_B}{\sqrt{p_{\text {pooled }} \cdot\left(1-p_{\text {pooled }}\right) \cdot\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}}\]

• $p_{\text {pooled }}=\frac{\text { 클릭 총합}}{\text { 노출 총합}}=\frac{C_A+C_B}{N_A+N_B}$
  • $p_{\text {pooled }} \cdot\left(1-p_{\text {pooled }}\right)$ : CTR의 분산 (비율의 변동성).
• $n_A, n_B: \mathrm{A} / \mathrm{B}$ 그룹 노출 수
  • $\frac{1}{n_A}+\frac{1}{n_B}$ : 표본 크기가 클수록 분산이 작아짐.

수식 해석

• 분자: A와 B의 CTR 차이 (실제 관측된 차이).
• 분모: “우연히 발생할 수 있는 차이의 평균적인 크기” (표준 오차). → Z값이 크다 = 관측된 차이가 우연보다 의미 있다!
  • 표준 오차는 “비율 차이가 우연히 변동할 수 있는 정도”를 나타냅니다.
  • 두 그룹의 데이터가 많을수록(표본 크기 ↑), 표준 오차는 작아집니다.
• Z값은 표준 정규 분포 (평균 0, 표준편차 1)와 비교됩니다.
  • 임계값: 95% 신뢰수준에서 1.645 (단측 검정 기준).
  • 즉, Z값이 1.645 보다 크면 귀무가설 기각 성공 (A와 B의 차이는 통계적으로 유의미하다).