null hypothesis 이 참이라고 가정했을 때, null hypothesis 를 기각할 확률
이 값은 데이터 수집 전에 미리 결정되고, 통상적으로 5% () 또는 그 미만으로 정해진다.
일 경우 95% 신뢰 수준으로 표현하기도 한다.
null hypothesis 이 참이라고 가정했을 때, null hypothesis 를 기각할 확률
이 값은 데이터 수집 전에 미리 결정되고, 통상적으로 5% (α=0.05) 또는 그 미만으로 정해진다.
α=0.05 일 경우 95% 신뢰 수준으로 표현하기도 한다.
...실제 차이가 없는데 “차이가 있다” 고 판정할 확률의 상한 (1종 오류)0.05검정력 1-β실제 차이가 MDE 만큼 있을 때 “차이가 있다” 고 판정할 확률0.8 유의수준의 정의는 significance level 에 있다. 비율 지표에서 그룹당 표본 크기는 다음 식으로 근사한다.
...개요 추천 모델 A, B 가 있다. A 에서는 195 명 중 41 명이 추천된 아이템을 클릭했고, B 에서는 605 명중 351 명이 클릭했다. B 는 A 보다 통계적으로 유의미하게 좋은가? 유의 수준 α=0.05 에서 판단하라. - Refer link: (1) Solution 두 모델의 전환율을 먼저 계산한. A = 41/195=0.21, B=351/605=0.58 각 전환율에 해당하는 ...
hypothesis test 에서 결과가 통계적으로 유의 (statistical significance) 하다 라는 의미는 null hypothesis 를 가정했을 때, 이러한 결과가 일어나기 힘들 것으로 보인다는 의미이다.
귀무가설 (null hypothesis) H_0 은 모집단의 특성에 대해 옳다고 제안하는 잠정적인 주장을 의미한다. In other words, 우리가 관찰한 어떤 효과가 특별한 것이 아니고 우연에 의해 발생한 것이라는 주장을 의미한다.
연구자들은 연구하고자 하는 대상이 나타내는 현상을 관찰한 후에, 그 현상을 설명하는 가설을 설정한다.
p-value 는 귀무가설 (null hypothesis) H_0 이 참이라고 가정했을 때, 표본으로부터 얻어지는 통계치 (예: 표본 평균) 가 나타날 (관측될) 확률값이다. 이 확률이 희박하면 희박할수록, 귀무가설이 틀렸다고 말할 만한 강한 근거가 된다.
A/B Test 는 사용자를 무작위로 두 그룹으로 나눠, 한 그룹에는 기존 로직(A, 대조군 control)을, 다른 그룹에는 새 로직(B, 실험군 treatment)을 같은 기간에 보여 준 뒤 지표를 비교하는 실험이다. 추천 시스템에서는 실제 사용자의 반응으로 모델을 평가하는 online evaluation 의...
특정 그룹이 더 성능이 좋것나 나쁠것으로 가정하는 검정. 즉, 결과가 한쪽으로 분명할 것으로 가정하는 검정 방법이다.
Z-test (Z- 검정) 는 test statistic 의 분포가 null hypothesis 의 가정 아래 Gaussian distribution 으로 근사화될 수 있는지 확인하는 hypothesis test 를 의미한다.
현상을 설명하는 가설을 수립하고, 이 가설에 의한 예측이 들어맞는지를 검증하기 위해 실험을 설계한다는 점은 공통적이다.
비모수 통계 기법 중 순열 검정 (permutation test) 을 이용하면 데이터의 모집단 분포가 정규분포를 따르지 않거나 특이한 통계량을 사용하더라도 표본 집단간 비교를 수행할 수 있다
중심 극한 정리 (central limit theorem) 는 다음과 같이 설명할 수 있다.