Information Gain
- Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.
1 min read
정보 이득(Information Gain) 계산법
information gain information value
Fisher Information 피셔 정보는 어떤 정보의 양을 측정하는 방법이다. 그 정보란, 랜덤 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다.
Decision Tree란 Decision Trees(DT, 의사결정나무)는 비모수(non-parametric)적인 supervised learning 방법으로, 주로 classification과 regression 문제에 사용됩니다.
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.
Feature Selection 1.1. Filtering Method 통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함 t-test \chi^2-test information gain information value 1.2.
Entropy entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Shannon Entropy Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended,...
Relative Information Gain 시간 t 에 대한 RIG 값은 다음과 같다.
Joint Entropy Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
Precision A.1) Laymen 정의 모델이 positive 하다고 예측한 것들 중에서, 얼마나 많은 true positive 가 존재하는가?...
Information Value Related References A Sub-linear, Massive-scale Look-alike Audience Extension System (yahoo, 2016) .