Accuracy 란
Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
B) Vs. Precision
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
1 min read
Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Accuracy=TruePositive+TrueNegative+FalsePositive+FalseNegativeTruePositive+TrueNegativeprecision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
G) Evaluating an Anomaly Detection System accuracy 와 같은 평가 방법은 좋지않다. 왜냐하면 cross-validation set 과 test set 의 anomalous 비율이 normal 에 비해 매우 작으므로 올바른 성능을 평가하기 힘...
CTR Prediction 굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다. 여러 딥러닝 모델들이 제안되어 왔고 산업적 CTR 예측...
... 결과를 활용하여 F1-score 를 계산하는 방식이다. 결과적으로 micro 평균 방식은 전체 관측 데이터 중 올바르게 분류된 관측 데이터의 비율을 계산하는 것과 동일하다. 즉, 전반적인 accuracy 를 고려하는 것과 같다. 추가적으로 micro-recall 또는 micro-precision 방식도 micro F1-score 와 동일한 값을 가지게 된다. 간단히 정리하면 이렇다.
...진 데이터 구간을 fold 로 정해서 사용한다. OOF 예측은 크게 1) 평가, 2) 앙상블 에 활용된다. A.1) 평가 (Evaluation) 각 OOF 에 대하여 metric (e.g. accuracy) 을 구한다음 평균내거나, 아니면 예측 결과들을 리스트 같은곳에 모은뒤에 한번에 계산하는 방법이 있다. A.2) 앙상블 stacking 이라고 부르며, 다음과 같은 단계로 진행된다.
B) Related precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다. C) References
Abstract offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다. 여기서 만족하는 속성들은 ...
Precision A.1) Laymen 정의 모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?...
Confusion Matrix A.1) Terminology A.1.1) True Positive (TP) A test result that correctly indicates the presence of a condition or characteristic 예시 1) 실제로 병이 있는 환자를 병이 있다고 정확히...
F1 Score f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
Specificity 특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
Recall recall 은 전체 positive example 중, 모델이 얼마나 positive example 을 잘 찾아내는가를 나타내는 척도이다.
ROC Curve ROC(Receiver Operating Characteristic) curve 는 classification 의 모델의 성능을 표현하기 위한 curve 이다.
CTR Prediction 굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.
AUROC Area Under the Receiver Operating Characteristic Curve The AUROC score summarizes the ROC curve into an single number that describes the performance of a model for...
Mean Average Precision Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다. 여기서 AP 는 각 query(User) 의 추천 결과에 대해서 계산할 수 있는 모든 precision 의 평균을 의미한다.
Abstract offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다.