특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
TrueNegative+FalsePositiveTrueNegative...PR (True Positive Rate, 민감도 = Recall): 실제 positive 중 모델이 positive 로 맞춘 비율 FPR (False Positive Rate, 1 − Specificity): 실제 negative 중 모델이 positive 로 잘못 판정한 비율
precision: 예측 positive 중 실제 positive의 비율 Recall: 실제 positive 중 positive로 예측한 비율 Specificity: 전체 population 의 negative 에서 negative 예측을 맞춘 비율
Specificity 가 실제 negative 를 negative 로 맞힌 비율이라면, FPR 은 그 반대 방향의 오류율이다.
...ation metric 을 볼 때는 먼저 “무엇을 positive 로 정의했는가”를 확인해야 한다. Positive class 를 어떻게 잡느냐에 따라 Recall, precision, Specificity 의 해석이 달라진다. Sensitivity 와 Specificity Sensitivity 는 실제 positive 중 모델이 positive 로 맞힌 비율이다. 같은 값을 Recall ...
AUC 는 ROC 곡선 아래의 면적이다. ROC 곡선이 임계값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 "임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가" 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서...
FPR(False Positive Rate)은 실제 negative 중에서 모델이 positive 로 잘못 예측한 비율이다.
실제 레이블과 예측 레이블을 교차해 센 표다. 클릭 예측에서는 노출되어 클릭 여부를 관측한 샘플에 threshold를 적용해 판정을 비교한다. 노출하지 않은 아이템은 클릭 여부를 알 수 없으므로 단순히 TN이나 FN으로 세면 안 된다. 지표를 직접 계산하는 예제는 분류 모델의 학습과 평가에서 설명한다.
모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?
Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.
ROC(Receiver Operating Characteristic) curve 는 classification 의 모델의 성능을 표현하기 위한 curve 이다.
스팸 탐지를 예로 들면, 스팸은 찾으려는 클래스인 positive이고 정상 메일은 negative다. 분류 모델은 보통 이 판정을 바로 출력하지 않는다. 먼저 각 클래스에 속할 확률이나 점수를 계산한다. 그다음 threshold(판정 기준값)를 적용해 positive와 negative를 나눈다. 예를 들어 스팸...
lift 규칙은 다음과 같이 정의된다.
콜모고로프 - 스미르노프 지표.
Confidence는 association rule이 얼마나 자주 참이 되는지 보는 지표다. 규칙 X \Rightarrow Y가 있을 때, X를 포함한 transaction 중에서 Y도 함께 포함하는 비율을 뜻한다.