- Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.
정보 이득(Information Gain) 계산법
information gain information value
피셔 정보는 어떤 정보의 양을 측정하는 방법이다. 그 정보란, 랜덤 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다.
Decision Trees(DT, 의사결정나무)는 비모수(non-parametric)적인 supervised learning 방법으로, 주로 classification과 regression 문제에 사용됩니다. 이 기법의 목적은 데이터의 feature로부터 유도된 간단한 결정 규칙을 학습하여, target 변수의...
통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함
entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Mutual Information(MI)은 두 random variable이 얼마나 많은 정보를 공유하는지 를 측정한다. 조금 더 직관적으로 말하면, X를 알게 되었을 때 Y에 대한 불확실성이 얼마나 줄어드는지를 보는 값이다.
Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표
시간 t 에 대한 RIG 값은 다음과 같다.
Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다
모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?