References
- A Sub-linear, Massive-scale Look-alike Audience Extension System (yahoo, 2016)
information gain information value
통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함
Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.
피셔 정보는 어떤 정보의 양을 측정하는 방법이다. 그 정보란, 랜덤 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다.
시간 t 에 대한 RIG 값은 다음과 같다.
Permutation Importance 는 feature importance 를 측정하기 위한 방법으로,모델을 학습시킨 뒤 특정 feature 의 데이터를 shuffle 했을 때, 검증 데이터 셋에 대한 예측성능을 확인하고 feature importance 를 계산한다.
서로 다른 성격 (도메인) 을 지닌 feature 를 섞어서 하나의 context 로 표현하는 것
값이 순서 없는 몇 개의 범주 중 하나인 feature 다. 색상( red / blue ), 지역 코드, 사용자 등급 같은 것이 여기 들어간다. 값 사이에 크기 비교가 성립하지 않으므로 숫자로 그냥 바꿔 넣으면 모델이 없는 순서를 학습한다. 그래서 Label Encoding 이나 one-hot 처럼 표현 방식을...
Hash-based embedding은 ID를 임베딩 테이블의 몇 번째 줄에 대응시킬지를 사전(dictionary)이 아니라 해시 함수로 정하는 방식이다. 서로 다른 해시 함수를 여러 개 써서 한 ID당 여러 줄을 뽑고, 그 줄들을 합쳐 하나의 표현으로 쓴다.
Hashing trick(feature hashing)은 범주형 값을 정수 인덱스로 바꿀 때, 값과 번호를 짝지어 둔 사전(vocabulary) 대신 해시 함수를 쓰는 방법이다. 해시 함수의 출력을 칸 수로 나눈 나머지가 그 값의 인덱스가 된다.
데이터를 정규 분포 에 가깝게 만들어 주는 변환 방법