1 min read
모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?
precision γ 은 variance 의 역이다: γ=σ21
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
...TrueNegative}}{\text{TruePositive}+\text{TrueNegative}+\text{FalsePositive}+\text{FalseNegative}} B) Vs. Precision precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다....
...ation set 과 test set 의 anomalous 비율이 normal 에 비해 매우 작으므로 올바른 성능을 평가하기 힘들기 때문이다. 추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold \varepsilon 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 \varepsilon 을 찾...
...e is absent 예시 1) 실제로 병이 있는 환자를 건강하다고 잘못 예측한 것 예시 2) 어떤 아이템을 추천했을 때, 사용자가 그 아이템을 무시한 것 (i.e. vimp) B) 예시 precision: 분류된 결과 중 predicted positive 의 negative 와 positive 만 신경 씀 Recall : predicted positive 에서 positive 만 신경 씀...
F1 Score f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다. \displaystyle\text{F1Score}=2\times\frac{\text{Precision}\times\text{Rec...
... Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross entropy, pairwise loss, contrastive loss 같은 surrogate loss 를 ...
Mean Average Precision Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다. 여기서 AP 는 각 query(User) 의 추천 결과에 대해서 계산할 수 있는 모든 precis...
...cs Classification metric 을 볼 때는 먼저 “무엇을 positive 로 정의했는가”를 확인해야 한다. Positive class 를 어떻게 잡느냐에 따라 Recall, precision, Specificity 의 해석이 달라진다. B) Sensitivity 와 Specificity Sensitivity 는 실제 positive 중 모델이 positive 로 맞힌 비율이다...
...는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. A.2.1) 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 precision 이 감...