KS
콜모고로프 - 스미르노프 지표.
예측 모델을 검증하는 데 사용되는 가장 중요한 메트릭 중 하나입니다.
특히 Banking, Financial services and Insurance (BFSI) 도메인에서 자주 사용됩니다.
K-S 통계량은 우량 집단과 불량집단의 누적 분포 (CDF) 의 차이를 나타내는 지표로 신용평가모형의 변별력 평가 시 주요 판별 통계량으로 활용됩니다.
간단하게 말하면, 2 개의 집단이 동일한 분포를 이루고 있는 지를 검증하는 검증 지표이다. 즉, 두 집단의 분포가 얼마가 차이가 나는 지를 통계적으로 알 수 있고, 이것을 통해 두 집단을 얼마나 잘 구별할 수 있는 지를 이해할 수 있다.
B) Application
KS 통계량 같은 경우 신용 평가 모형에 대한 성능 측정 지표로 사용
신용 평가 모형이란?
- 과거의 신용 거래 행위를 기반으로 빌린 돈을 미래에 잘 상환할 가능성을 예측하는 모형
- (NICE 기준) 신용 평점 모형은 개인의 과거와 현재의 신용정보를 바탕으로 향후 1 년내 90 일 이상 장기연체 등 신용위험이 발생할 가능성을 예측하는 모형
- 좋은 신용평가 모형이라는 것은
- 미래에 돈을 갚지 않은 고객들은 신용점수가 낮은 부분에 집중되어 있어야 하고,
- 미래에 돈을 잘 갚은 고객들은 신용점수가 높은 부분에 집중되어야 합니다.
C) 통계량에 따른 등급 (일반적 사용)
| 기준 | 등급 |
|---|---|
| 0.2 이하 | 판별력 낮은 모형 |
| 0.2 ~ 0.4 | 적정한 모형 |
| 0.4 ~ 0.5 | 판별록이 좋은 모형 |
| 0.5 이상 | 판별력이 아주 좋은 모형 |
정규 분포를 가정해서 한 것이기 때문에, 실제 현실 분포랑은 많은 괴리가 있는 판단 기준일 수 있다.