1 min read
recall 은 전체 positive example 중, 모델이 얼마나 positive example 을 잘 찾아내는가를 나타내는 척도이다.
TPR=PTP=TP+FNTP=1−FNRSensitivity 는 medical diagnosis 나 binary test 문맥에서 쓰는 Recall / TPR 의 다른 이름이다.
... 과 test set 의 anomalous 비율이 normal 에 비해 매우 작으므로 올바른 성능을 평가하기 힘들기 때문이다. 추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold \varepsilon 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 \varepsilon 을 찾으면 되기 때문이다...
...때, 사용자가 그 아이템을 무시한 것 (i.e. vimp) B) 예시 precision: 분류된 결과 중 predicted positive 의 negative 와 positive 만 신경 씀 Recall : predicted positive 에서 positive 만 신경 씀 Specificity: 전체 population 의 negative 에서 negative 예측을 맞춘 비율
F1 Score f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다. \displaystyle\text{F1Score}=2\times\frac{\text{Precision}\time...
...ative 를 negative 로 맞힌 비율이라면, FPR 은 그 반대 방향의 오류율이다. \mathrm{FPR} = 1 \mathrm{Specificity} 주의할 점은 FPR 이 1 Sensitivity 가 아니라는 것이다. Sensitivity 는 실제 positive 를 기준으로 하고, FPR 은 실제 negative 를 기준으로 한다. B) False Positive 와의 관계 F...
... Popularity Opportunity Bias (POB) 를 적용하여 popularity bias 를 수식화 할 수 있다. 해당 수식은 인기 아이템과 비 인기 아이템이 동일한 true positive rate(CTR) 를 가지는지의 여부를 고려한다. \operatorname{Gini}=\frac{\sum {i \in \mathcal{I}}(2 i M 1) T P R {i}}{M \sum...
... C) Loss 와 Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross entropy, pairwise loss, contrastive loss 같은 surrogat...
...B) Sensitivity 와 Specificity Sensitivity 는 실제 positive 중 모델이 positive 로 맞힌 비율이다. 같은 값을 Recall 또는 TPR(True Positive Rate)이라고도 부른다. Specificity 는 실제 negative 중 모델이 negative 로 맞힌 비율이다. medical diagnosis 문맥에서는 질병이 없는 사람을 정상으...
...미한다고 생각할 수 있다. 즉, 좌상단에 가까운 커브에 해당하는 분류기는 positive 와 negative 클래스를 더 잘 구별할 수 있다는 의미가 된다. 위 그림에서 TPR 은 True Positive Rate, 그리고 False Positive Rate 은 False Positive Rate 를 의미한다. C) ROC Curve 에서 TPR 과 FPR 의 의미 일반적으로 binary 분...
...있을것 같은데, 문제는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. A.2.1) 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 pre...
True Positive Rate True Positive Rate(TPR)는 실제 positive 중 모델이 positive 로 맞힌 비율이다. 같은 개념을 Recall 또는 sensitivity 라고도 부른다....