Accuracy 란
Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Vs. Precision
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
1 min read
Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Accuracy=TruePositive+TrueNegative+FalsePositive+FalseNegativeTruePositive+TrueNegativeprecision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
Evaluating an Anomaly Detection System accuracy 와 같은 평가 방법은 좋지않다. 왜냐하면 cross-validation set 과 test set 의 anomalous 비율이 normal 에 비해 매우 작으므로 올바른 성능을 평가하기 힘...
...값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서 자유롭다는 것이 AUC 의 성격이다. ROC 곡선에 대한 면적임을 명시할 때는 AUROC (Area Under the Receiver Oper...
굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다. 여러 딥러닝 모델들이 제안되어 왔고 산업적 CTR 예측...
... 결과를 활용하여 F1-score 를 계산하는 방식이다. 결과적으로 micro 평균 방식은 전체 관측 데이터 중 올바르게 분류된 관측 데이터의 비율을 계산하는 것과 동일하다. 즉, 전반적인 accuracy 를 고려하는 것과 같다. 추가적으로 micro-recall 또는 micro-precision 방식도 micro F1-score 와 동일한 값을 가지게 된다. 간단히 정리하면 이렇다.
...하게 나눠진 데이터 구간을 fold 로 정해서 사용한다. OOF 예측은 크게 1) 평가, 2) 앙상블 에 활용된다. 평가 (Evaluation) 각 OOF 에 대하여 metric (e.g. accuracy) 을 구한다음 평균내거나, 아니면 예측 결과들을 리스트 같은곳에 모은뒤에 한번에 계산하는 방법이 있다. 앙상블 stacking 이라고 부르며, 다음과 같은 단계로 진행된다.
Related precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
Abstract offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다. 여기서 만족하는 속성들은 ...
Laymen 정의 모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가? Formulation \displaystyle\frac{\text{True Positive}}{\text{True Positive + False Positive}} In Statistic...
Terminology True Positive (TP) A test result that correctly indicates the presence of a condition or characteristic 예시 1) 실제로 병이 있는 환자를 병이 있다고 정확히 예측한 것 예시 2) 어떤 아이템을 추천했을 때,...
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
AUC AUC 는 ROC 곡선 아래의 면적이다. ROC 곡선이 임계값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다.
특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다. \displaystyle\frac{\text{TrueNegative}}{\text{TrueNegative+FalsePositive}}.
Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.
Problem Statement of the Anomaly Detection \begin{aligned} &\text { Dataset: }\left\{x^{(1)}, x^{(2)}, \ldots, x^{(m)}\right\}\\ &\text { Is } x {\text {test}} \ \text...
ROC(Receiver Operating Characteristic) curve 는 classification 의 모델의 성능을 표현하기 위한 curve 이다. 어떻게 활용하냐에 따라서 multi-class 또는 multi-label 분류기의 성능 측정까지 가능하다.
굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.
Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다. 여기서 AP 는 각 query(User) 의 추천 결과에 대해서 계산할 수 있는 모든 precision 의 평균을 의미한다.