Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.

Recall = TPR = \frac{TP}{TP + FN} = 1 - FNR

TP(True Positive): 실제 positive를 positive로 예측한 경우
FN(False Negative): 실제 positive를 negative로 놓친 경우

왜 중요한가

Recall은 “놓치면 안 되는 positive를 얼마나 잘 잡는가”를 본다. 사기 탐지, 질병 진단, 검색/추천 candidate generation처럼 놓친 positive의 비용이 큰 문제에서 특히 중요하다.

다만 threshold를 낮추면 recall은 올라가지만 FPR도 함께 올라갈 수 있다. 그래서 precision, specificity, ROC curve 같은 지표와 같이 읽어야 한다.

Precision과의 차이

지표	보는 관점	질문
Recall	실제 positive 기준	positive를 얼마나 놓치지 않았나
precision	예측 positive 기준	positive라고 한 것 중 얼마나 맞았나

링크된 언급

10

anomaly detection

추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 을 찾으면 되기 때문이다. anomaly detection vs s...

Area Under Curve

...선은 이 trade-off 를 임계값 전 구간에 대해 그린 그림이고, AUC 는 그 그림을 한 숫자로 줄인 것이다. 곡선을 직접 보면 실제 응용에서 쓸 임계값을 어디로 잡을지 판단할 수 있다. TPR 과 FPR ROC 곡선의 두 축은 다음과 같다.

confusion matrix

precision: 분류된 결과 중 predicted positive 의 negative 와 positive 만 신경 씀 Recall: predicted positive 에서 positive 만 신경 씀 Specificity: 전체 population 의 negative 에서 negative 예측을 맞춘 비율

f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.

False Positive Rate

주의할 점은 FPR 이 1 - Sensitivity 가 아니라는 것이다. Sensitivity 는 실제 positive 를 기준으로 하고, FPR 은 실제 negative 를 기준으로 한다. False Positive 와의 관계 Fals...

... Popularity Opportunity Bias (POB) 를 적용하여 popularity bias 를 수식화 할 수 있다. 해당 수식은 인기 아이템과 비 인기 아이템이 동일한 true positive rate(CTR) 를 가지는지의 여부를 고려한다.

...추는지 Loss 와 Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross-entropy, pairwise loss, contrastive loss 같은 surrogat...

지표분모질문precisionpredicted positivepositive 라고 한 것들이 얼마나 맞았나Recallactual positive실제 positive 를 얼마나 찾았나 두 지표를 함께 보고 싶을 때는 F1 Score 를 사용한다.

위 그림에서 TPR 은 True Positive Rate, 그리고 False Positive Rate 은 False Positive Rate 를 의미한다. ROC Curve 에서 TPR 과 FPR 의 의미 일반적으로 binary 분류기는...

...책이 될 수 있을것 같은데, 문제는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 pre...