- Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.
1 min read
정보 이득(Information Gain) 계산법
information gain information value
피셔 정보는 어떤 정보의 양을 측정하는 방법이다. 그 정보란, 랜덤 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다.
Decision Tree란 Decision Trees(DT, 의사결정나무)는 비모수(non-parametric)적인 supervised learning 방법으로, 주로 classification과 regression 문제에 사용됩니다.
Filtering Method 통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함 t-test \chi^2-test information gain information value Wrapper Method Forward Greedy Backward Greedy Genetic Search...
entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Mutual Information(MI)은 두 random variable이 얼마나 많은 정보를 공유하는지 를 측정한다. 조금 더 직관적으로 말하면, X를 알게 되었을 때 Y에 대한 불확실성이 얼마나 줄어드는지를 보는 값이다.
Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended, and \log n when...
시간 t 에 대한 RIG 값은 다음과 같다.
Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다 \displaystyle\mathrm{H}(Y\mid X)=-\sum {x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)\log\frac{p(x,y)}{p(x)}...
References A Sub-linear, Massive-scale Look-alike Audience Extension System (yahoo, 2016) .