1 min read
모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?
precision γ 은 variance 의 역이다: γ=σ21
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
B) Vs. Precision precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다....
추천하는 evaluation metrics: precision, Recall, F1 Score 평가 이후, threshold 을 계산할 수 있는데, 그 이유는 높은 성능을 내는 system 이 사용한 을 찾으면 되기 때문이다. anomaly dete...
precision: 분류된 결과 중 predicted positive 의 negative 와 positive 만 신경 씀 Recall: predicted positive 에서 positive 만 신경 씀 ...
F1 Score f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
... Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross-entropy, pairwise loss, contrastive loss 같은 surrogate loss 를 ...
추천 결과를 집합으로 생각하는 Precision 과 달리, MAP 는 순서를 고려하여 Precision 을 계산할 수 있음
지표분모질문precisionpredicted positivepositive 라고 한 것들이 얼마나 맞았나Recallactual positive실제 positive 를 얼마나 찾았나 두 지표를 함께 보고 싶을 때는 F...
...는 ” 어떻게 “ 없던 데이터를 생성하느냐 입니다. 오버 샘플링 방식으로 SMOTE 가 있다. A.2.1) 주의점 오버 샘플링을 고려할때 주의해야 할 것이 있습니다. 바로 Recall 과 precision 이다. positive 데이터가 negative 데이터보다 훨씬 부족한 데이터로 예를 들었을때, 오버 샘플링을 하게 되면 양성으로 예측하는 비율이 높아지기 때문에 precision 이 감...
Accuracy 란 Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Mean Average Precision Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다. 여기서 AP 는 각 query(User) 의 추천 결과에 대해서 계산할 수 있는 모든 precision 의 평균을 의미한다.
F1 Score f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
Confusion Matrix A.1) Terminology A.1.1) True Positive (TP) A test result that correctly indicates the presence of a condition or characteristic 예시 1) 실제로 병이 있는 환자를 병이 있다고 정확히...
Variance variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
Specificity 특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
Recall recall 은 전체 positive example 중, 모델이 얼마나 positive example 을 잘 찾아내는가를 나타내는 척도이다.
Residual Sum of Squares estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
Correlation 두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다. 아래는 Pearson correlation 계산 식을 나타낸다.
ROC Curve ROC(Receiver Operating Characteristic) curve 는 classification 의 모델의 성능을 표현하기 위한 curve 이다.