1 min read
Vs. Precision precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다....
추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 을 찾으면 되기 때문이다. anomaly dete...
... 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서 자유롭다는 것이 AUC 의 성격이다. ROC 곡선에 대한 면적임을 명시할 때는 AUROC (Area Under the Receiver Operating Chara...
precision: 분류된 결과 중 predicted positive 의 negative 와 positive 만 신경 씀 Recall: predicted positive 에서 positive 만 신경 씀 ...
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
... Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross-entropy, pairwise loss, contrastive loss 같은 surrogate loss 를 ...
추천 결과를 집합으로 생각하는 Precision 과 달리, MAP 는 순서를 고려하여 Precision 을 계산할 수 있음
지표분모질문precisionpredicted positivepositive 라고 한 것들이 얼마나 맞았나Recallactual positive실제 positive 를 얼마나 찾았나 두 지표를 함께 보고 싶을 때는 F...
지표보는 관점질문Recall실제 positive 기준positive를 얼마나 놓치지 않았나precision예측 positive 기준positive라고 한 것 중 얼마나 맞았나
...같은데, 문제는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 precision 이 감...
Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.
Accuracy 란 Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다. 여기서 AP 는 각 query(User) 의 추천 결과에 대해서 계산할 수 있는 모든 precision 의 평균을 의미한다.
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
AUC AUC 는 ROC 곡선 아래의 면적이다. ROC 곡선이 임계값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다.
Terminology True Positive (TP) A test result that correctly indicates the presence of a condition or characteristic 예시 1) 실제로 병이 있는 환자를 병이 있다고 정확히 예측한 것 예시 2) 어떤 아이템을 추천했을 때,...
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다. \displaystyle\frac{\text{TrueNegative}}{\text{TrueNegative+FalsePositive}}.
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다. 아래는 Pearson correlation 계산 식을 나타낸다.