Zzong's Notes

One Hot Encoding

1 min read

One Hot Encoding

Numerical 데이터로 바꿀 때, 0 또는 1 만을 사용하는 방법을 의미한다.

A.1) 예시

예 1) [‘apple’, ‘dog’, ‘cat’] = [[0, 0, 1], [0, 1, 0], [1, 0, 0]]
예 2, Word Representation)
|500

이렇게 하면 모든 데이터가 orthogonal vector space 에 존재하는 vector 들로 표현된다.

B) 특징

B.1) 장점

  • 데이터 간 관계성을 없앰으로써, Label Encoding 의 단점을 해결한다.

B.2) 단점

  • high cardinality -> feature space 가 굉장히 빠르게 증가하므로 차원의 저주를 해결해야 한다.
  • Word Embedding 을 위해 One Hot Encoding 을 사용할 경우, 각 단어 간 관계를 유추하기 어렵다.

C) Notes

일반적으로 One Hot Encoding 이후 Principal Component Analysis 를 적용하는 과정을 거치면 좋다.

D) Related

E) References

링크된 언급

6
collinearity

...BM 을 통해 최적의 상호작용 항들을 걸러내는 전략을 사용할 수 있다 (벌점을 부여하는 방식의 회귀 방식). A.1) 다중공선성 발생 원인 오류로 인해 한 변수가 여러번 포함된 경우 One Hot Encoding 을 통해 P 1 개가 아닌 P 개의 가변수가 만들어진 경우 두 변수가 서로 거의 완벽하게 상관성이 있는 경우 B) 완전 다중공선성 완전 다중공선성은 한 예측 변수가 다른 변수들의 선...

CTR prediction

...e 하다.예를 들어 구글 플레이에서는 billions 샘플 개수에 millions 수준의 features 을 가지고 있다. 이렇게 대부분의 feature 가 spare 하기 때문에, One Hot Encoding 이나 multi hot encoding 을 적용한 이후에 발생하는 고차원 feature 에 대해서는 feature embedding 을 적용하여 저차원 dense vector 들도 ...

embedding matrix

Embedding Matrix 란 Word Embedding 에서 One Hot Encoding 벡터를 dense vector 로 변환하기 위해 사용하는 matrix 입니다. B) Embedding Matrix 적용 방법 n\times k 크기의 embedding matrix ...

Label Encoding

...= 1 위와 같은 단점에도 불구하고, tree based model 인 Decision Tree 또는 random forest 와 같은 모델에는 잘 적용될 수 있다. Pros 장점: One Hot Encoding 에 비해 저장 공간을 적게 필요로 한다. C) References

Recurrent Neural Network

...}^{<t>}=g\left(W {y a} a^{<t>}+b {y}\right) \end{gathered} 문장의 t 번째를 나타내는 x^{<t>} 는 One Hot Encoding 또는 Word Embedding 의 결과 vector 인데 ,예를 들면 아래와 같다. a^{<t>} 에서 사용하는 activation function 은 tanh func...

Word Embedding

Word Embedding 각 단어에 대한 n 차원 feature 를 만들고 적절한 값을 부여하는 방식을 의미한다. A.1) 예시 One Hot Encoding 을 통해서도 Word Embedding 이 가능하긴 하다. Word Embedding 은 convolution Layer (CNN 참고) 의 동작 방식과 유사하다. 즉, Convol...