1 min read
Feature Crosses 서로 다른 성격 (도메인) 을 지닌 feature 를 섞어서 하나의 context 로 표현하는 것 (예시) 어느 사람이 바나나를 샀고, 요리책을 샀다면 믹서기를 살 확률이 높다.
Hashing Trick the Hashing Trick is not parameter-free; the hashing space size must be decided beforehand.
누락 데이터(결측값) 처리 결측값 처리는 데이터 전처리 단계에서 매우 중요합니다. 대표적인 접근 방식은 다음과 같습니다.
Categorical Feature sklearn.compose.ColumnTransformer : 각 열의 값들을 개별적으로 어떻게 transformation 할지 정할 수 있다.
Permutation Importance Permutation Importance 는 feature importance 를 측정하기 위한 방법으로,모델을 학습시킨 뒤 특정 feature 의 데이터를 shuffle 했을 때, 검증 데이터 셋에 대한 예측성능을 확인하고 feature importance 를 계산한다.
Dimension Reduction 데이터의 차원수를 줄이는 방법 B) Lesson Learned 가장 보편적인 방식은 PCA, UMAP, t-SNE 가 있다.
Manifold manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정...
Box-cox Transformation 데이터를 정규 분포 에 가깝게 만들어 주는 변환 방법 x>0 에 대하여 box-cox 변환은 다음을 만족하도록 한다.
UMAP t-SNE 랑 비슷한 non-linear dimension reduction 방식 일반적으로 t-SNE 보다 훨씬 빠르다고 한다.
Feature Selection 1.1. Filtering Method 통계적 기법이나 알고리즘을 이용하여 feature 간 상관 관계를 계산함 t-test \chi^2-test information gain information value 1.2.