Zzong's Notes

feature selection

1 min read

Filtering Method

통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함

  1. t-test
  2. -test
  3. information gain
  4. information value

Wrapper Method

  1. Forward Greedy
  2. Backward Greedy
  3. Genetic Search

Embedded Method

  1. Lasso
  2. Ridge

어느게 좋은가

Filtering Method: Information value

선택 이유들

  • 선택된 feature 의 해석이 쉬움
  • User selection 효과
  • 처리 시간이 짧다.

함께 보면 좋은 글

manifold

manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정 Natural data...

hashing trick

Hashing trick은 범주형 값을 해시 함수에 통과시켜 나온 나머지를 그대로 feature 인덱스로 쓰는 방법이다. 값과 인덱스를 짝지어 놓은 사전(vocabulary)을 유지하지 않아도 되고, 처음 보는 값도 계산만으로 자리를 얻는다.

information value

References A Sub-linear, Massive-scale Look-alike Audience Extension System (yahoo, 2016) .

permutation importance

Permutation Importance 는 feature importance 를 측정하기 위한 방법으로,모델을 학습시킨 뒤 특정 feature 의 데이터를 shuffle 했을 때, 검증 데이터 셋에 대한 예측성능을 확인하고 feature importance 를 계산한다.

dimension reduction

데이터의 차원수를 줄이는 방법 Lesson Learned 가장 보편적인 방식은 PCA, UMAP, t-SNE 가 있다. 선형 변환 방식인 PCA 은 비선형 변환 방식인 UMAP 또는 t-SNE 와 비교하진 않고, 서로 조합하면서 사용하는 것 같다.

feature engineering

1. 누락 데이터(결측값) 처리 결측값 처리는 데이터 전처리 단계에서 매우 중요합니다. 대표적인 접근 방식은 다음과 같습니다.

categorical feature

값이 순서 없는 몇 개의 범주 중 하나인 feature 다. 색상(red/blue), 지역 코드, 사용자 등급 같은 것이 여기 들어간다. 값 사이에 크기 비교가 성립하지 않으므로 숫자로 그냥 바꿔 넣으면 모델이 없는 순서를 학습한다.

feature crosses

서로 다른 성격 (도메인) 을 지닌 feature 를 섞어서 하나의 context 로 표현하는 것 (예시) 어느 사람이 바나나를 샀고, 요리책을 샀다면 믹서기를 살 확률이 높다.

overfitting

Overfitting 이란 모델이 특정 데이터 셋에 과도하게 적합된 것을 의미 Overfitting 문제를 완화하기 위한 접근들 더 많은 training data Data Augmentation regularization dropout Early Stopping .

curse of dimensionality

데이터의 차원이 증가할수록, 해당 공간의 크기 (부피) 가 기하급수적으로 증가하기 때문에, 동일한 개수의 데이터의 밀도는 차원이 증가할수록, 급속도로 희박해진다.