Area Under Curve

AUC

AUC 는 ROC 곡선 아래의 영역을 의미한다. 즉, AUC 가 높다는 사실은 클래스를 구별하는 모델의 성능이 휼륭하다는 것을 의미한다.

위 그림에서 두 class 분포가 완전히 겹칠 경우, ROC 곡선이 선형이 되면서 AUC 값이 $0.5$ 가 되는데, 이 경우 해당 모델은 이진 분류기의 능력을 완전히 상실했다는 의미가 된다.

반대로, AUC 값이 $1$ 에 가까울수록, 높은 성능을 보이는 것이라 생각할 수 있다.

---

ROC(Receiver Operating Characteristic) 커브는 이진 분류 모델의 성능을 평가하는 중요한 지표입니다.

이 곡선은 다양한 임계값에서 True Positive Rate(TPR)과 False Positive Rate(FPR)의 관계를 보여줍니다.

A.1.1) ROC 커브의 기본 개념

• TPR(민감도/재현율): 실제 양성 중 모델이 양성으로 정확하게 예측한 비율
• FPR(1-특이도): 실제 음성 중 모델이 잘못하여 양성으로 예측한 비율
• AUC(Area Under Curve): ROC 커브 아래 면적으로, 모델의 전반적인 성능을 나타내는 단일 지표
  • 1에 가까울수록 좋은 성능
  • 0.5는 랜덤 예측과 동일한 성능

ROC 커브는 모델이 양성과 음성을 얼마나 잘 구분하는지를 시각적으로 보여주며, 다양한 임계값에서의 모델 성능을 한눈에 파악할 수 있게 해줍니다.

ROC 커브의 장점은 클래스 불균형에 강하고 다양한 임계값에서의 성능을 한눈에 볼 수 있다입니다.

단점으로는 모델이 예측을 잘못했을 때 발생하는 실제 비즈니스 비용이나 영향을 고려하지 않는다는 점과, 클래스 비율이 매우 불균형한 경우 해석이 어려울 수 있다는 점이 있습니다.

특히 매우 작은 클래스에서의 작은 변화가 비율상 큰 변동을 일으킬 수 있어 해석에 주의가 필요합니다. 예를 들어, 양성 클래스가 100개 중 단 2개인 경우, 1개의 예측 차이로도 TPR이 50% 변할 수 있어 곡선이 불안정해질 수 있습니다.

A.1.2) 임계값(Threshold)의 의미

이진 분류에서 임계값은 매우 중요한 개념입니다:

• 대부분의 분류 모델은 0~1 사이의 확률값을 출력합니다. 임계값은 이 확률을 양성/음성으로 나누는 기준점입니다.
• 예: 임계값이 0.5일 때
  • 모델 출력이 0.7이면 양성으로 분류
  • 모델 출력이 0.3이면 음성으로 분류

임계값 조정의 효과:

• 임계값을 높이면 (예: 0.7): 양성 판정이 더 엄격해져서 False Positive가 줄어들지만, True Positive도 감소할 수 있습니다.
• 임계값을 낮추면 (예: 0.3): 양성 판정이 더 관대해져서 True Positive가 증가하지만, False Positive도 증가할 수 있습니다.

이러한 trade-off 관계를 ROC 커브가 잘 보여주기 때문에, 실제 응용에서 최적의 임계값을 결정하는 데 매우 유용합니다.