모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?
Recall과의 분모 차이, threshold를 바꿀 때의 변화, F1으로 묶는 방법은 분류 모델의 학습과 평가에서 같은 예제로 비교한다.
precision γ 은 variance 의 역이다: γ=σ21
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
Vs. Precision 클래스 비율이 치우치면 높은 Accuracy만으로 positive를 잘 찾는지 알 수 없다. 분류 모델의 학습과 평가에서는 Precision·Recall과 함께 지표를 해석하는 예제를 다...
추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 을 찾으면 되기 때문이다. anomaly dete...
... 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서 자유롭다는 것이 AUC 의 성격이다. ROC 곡선에 대한 면적임을 명시할 때는 AUROC (Area Under the Receiver Operating Chara...
precision: 예측 positive 중 실제 positive의 비율 Recall: 실제 positive 중 positive로 예측한 비율 Specificity: 전체 population 의 negat...
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
... Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross-entropy, pairwise loss, contrastive loss 같은 surrogate loss 를 ...
추천 결과를 집합으로 생각하는 Precision 과 달리, MAP 는 순서를 고려하여 Precision 을 계산할 수 있음
지표분모질문precisionpredicted positivepositive 라고 한 것들이 얼마나 맞았나Recallactual positive실제 positive 를 얼마나 찾았나 두 지표를 함께 보고 싶을 때는 F...
지표보는 관점질문Recall실제 positive 기준positive를 얼마나 놓치지 않았나precision예측 positive 기준positive라고 한 것 중 얼마나 맞았나
...같은데, 문제는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 precision 이 감...
Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.
스팸 탐지를 예로 들면, 스팸은 찾으려는 클래스인 positive이고 정상 메일은 negative다. 분류 모델은 보통 이 판정을 바로 출력하지 않는다. 먼저 각 클래스에 속할 확률이나 점수를 계산한다. 그다음 threshold(판정 기준값)를 적용해 positive와 negative를 나눈다. 예를 들어 스팸...
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다.
AUC 는 ROC 곡선 아래의 면적이다. ROC 곡선이 임계값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 "임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가" 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서...
실제 레이블과 예측 레이블을 교차해 센 표다. 클릭 예측에서는 노출되어 클릭 여부를 관측한 샘플에 threshold를 적용해 판정을 비교한다. 노출하지 않은 아이템은 클릭 여부를 알 수 없으므로 단순히 TN이나 FN으로 세면 안 된다. 지표를 직접 계산하는 예제는 분류 모델의 학습과 평가에서 설명한다.
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다.
특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다.