Zzong's Notes

information gain

1 min read

Information Gain

  • Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.

링크된 언급

2
Decision Tree

...한 클래스의 데이터가 대부분이다. (e.g., 테니스 침: 9, 안 침: 1) 트리의 목표는 분할을 통해 불순도를 최대한 많이 감소시키는 것입니다. 이 “불순도 감소량”을 정보 이득(information gain) 이라고 부릅니다. 즉, 정보 이득이 가장 큰 특징(질문)을 찾아 분할 기준으로 삼습니다. E.1.2.1) 불순도 측정 지표 (대표적인 2가지) 지니 불순도 (Gini Impurit...

feature selection

Feature Selection 1.1. Filtering Method 통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함 t test \chi^2 test information gain information value 1.2. Wrapper Method Forward Greedy Backward Greedy Genetic Search 1.3. Embedded Met...