Accuracy(정확도) 는 전체 데이터 중 정답으로 분류되는 비율을 의미한다.
Accuracy=TruePositive+TrueNegative+FalsePositive+FalseNegativeTruePositive+TrueNegative클래스 비율이 치우치면 높은 Accuracy만으로 positive를 잘 찾는지 알 수 없다. 분류 모델의 학습과 평가에서는 Precision·Recall과 함께 지표를 해석하는 예제를 다룬다.
precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
Evaluating an Anomaly Detection System accuracy 와 같은 평가 방법은 좋지않다. 왜냐하면 cross-validation set 과 test set 의 anomalous 비율이 normal 에 비해 매우 작으므로 올바른 성능을 평가하기 힘...
...값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 “임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가” 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서 자유롭다는 것이 AUC 의 성격이다. ROC 곡선에 대한 면적임을 명시할 때는 AUROC (Area Under the Receiver Oper...
굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다. 여러 딥러닝 모델들이 제안되어 왔고 산업적 CTR 예측...
...과를 활용하여 F1-score 를 계산하는 방식이다. 각 샘플에 정답과 예측 클래스가 하나씩인 single-label multiclass에서 모든 클래스를 포함해 평가하면 micro 평균은 accuracy와 같다. Multilabel이나 일부 클래스만 평가하는 경우에는 일반적으로 성립하지 않는다. 추가적으로 micro-recall 또는 micro-precision 방식도 micro F1-sc...
...하게 나눠진 데이터 구간을 fold 로 정해서 사용한다. OOF 예측은 크게 1) 평가, 2) 앙상블 에 활용된다. 평가 (Evaluation) 각 OOF 에 대하여 metric (e.g. accuracy) 을 구한다음 평균내거나, 아니면 예측 결과들을 리스트 같은곳에 모은뒤에 한번에 계산하는 방법이 있다. 앙상블 stacking 이라고 부르며, 다음과 같은 단계로 진행된다.
Related precision 은 positive example 에 집중해서 평가를 진행하는 반면, accuracy 는 positive 와 negative 한 example 모두를 고려한다는 점이다.
Abstract offline evaluation 평가에서 중요한건 accuracy 인데, diversity 도 중요하다. 그래서 이 논문에서는 둘을 통합한 metric 을 만들었다. 그리고 제안한 metric 이 일부 속성들을 만족함을 보였다. 여기서 만족하는 속성들은 ...
평가 대상대표 지표확인하는 것예측 확률Cross-entropy / Log loss정답에 얼마나 높은 확률을 부여했는가특정 threshold의 판정Accuracy, Precision, Recall, F1실제로 선택한 기준에서 무엇을 맞히고 놓쳤는가threshold를 바꿔 가며 본 순위ROC-AUC, PR curve, APpositive를 높은 점수 ...
모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?
실제 레이블과 예측 레이블을 교차해 센 표다. 클릭 예측에서는 노출되어 클릭 여부를 관측한 샘플에 threshold를 적용해 판정을 비교한다. 노출하지 않은 아이템은 클릭 여부를 알 수 없으므로 단순히 TN이나 FN으로 세면 안 된다. 지표를 직접 계산하는 예제는 분류 모델의 학습과 평가에서 설명한다.
스팸 탐지를 예로 들면, 스팸은 찾으려는 클래스인 positive이고 정상 메일은 negative다. 분류 모델은 보통 이 판정을 바로 출력하지 않는다. 먼저 각 클래스에 속할 확률이나 점수를 계산한다. 그다음 threshold(판정 기준값)를 적용해 positive와 negative를 나눈다. 예를 들어 스팸...
f1 score 는 Recall 과 precision 에 대한 조화 평균 (harmonic mean) 점수다.
AUC 는 ROC 곡선 아래의 면적이다. ROC 곡선이 임계값을 0 에서 1 까지 훑으면서 그려지는 곡선이므로, 그 아래 면적은 "임계값을 어디에 두든 평균적으로 얼마나 잘 구분하는가" 를 한 숫자로 요약한 값이 된다. 임계값을 하나 고정해야 하는 accuracy 나 precision 과 달리 임계값 선택에서...
Recall은 실제 positive example 중에서 모델이 positive로 찾아낸 비율이다. binary classification에서는 True Positive Rate(TPR), medical diagnosis에서는 sensitivity라고도 부른다.
특이도 (Specificity) 는 negative example 을 얼마나 잘 찾아내는가를 나타내는 척도이다.
ROC(Receiver Operating Characteristic) curve 는 classification 의 모델의 성능을 표현하기 위한 curve 이다.
Fraud Detection x^{(i)} is features of user i‘s activities Model p(x) from data: p(x)\lt\varepsilon 인 경우를 체크하여 비정상적인 활동을 감지 Monitoring computers in a data center x^{(i)} is features of machine i...
Mean Average precision(MAP) 는 AP 의 평균을 계산하는 방법이다.