Zzong's Notes

One Hot Encoding

1 min read

Numerical 데이터로 바꿀 때, 0 또는 1 만을 사용하는 방법을 의미한다.

예시

예 1) [‘apple’, ‘dog’, ‘cat’] = [[0, 0, 1], [0, 1, 0], [1, 0, 0]]
예 2, Word Representation)
|

이렇게 하면 모든 데이터가 orthogonal vector space 에 존재하는 vector 들로 표현된다.

특징

장점

  • 데이터 간 관계성을 없앰으로써, Label Encoding 의 단점을 해결한다.

단점

Notes

일반적으로 One Hot Encoding 이후 machine_learning/Principal Component Analysis 를 적용하는 과정을 거치면 좋다.

링크된 언급

6
collinearity

오류로 인해 한 변수가 여러번 포함된 경우 machine_learning/NLP/One Hot Encoding 을 통해 P-1 개가 아닌 P 개의 가변수가 만들어진 경우 두 변수가 서로 거의 완벽하게 상관성이 있는 경우

CTR prediction

...e 하다.예를 들어 구글 플레이에서는 billions 샘플 개수에 millions 수준의 features 을 가지고 있다. 이렇게 대부분의 feature 가 spare 하기 때문에, One Hot Encoding 이나 multi-hot encoding 을 적용한 이후에 발생하는 고차원 feature 에 대해서는 feature embedding 을 적용하여 저차원 dense vector 들도 ...

embedding matrix

Embedding Matrix 란 Word Embedding 에서 machine_learning/NLP/One Hot Encoding 벡터를 dense vector 로 변환하기 위해 사용하는 matrix 입니다. Embedding Matrix 적용 방법

Label Encoding

...tree based model 인 Decision Tree 또는 random forest 와 같은 모델에는 잘 적용될 수 있다. Pros 장점: machine_learning/NLP/One Hot Encoding 에 비해 저장 공간을 적게 필요로 한다.

Recurrent Neural Network

문장의 t 번째를 나타내는 x^<t> 는 machine_learning/NLP/One Hot Encoding 또는 Word Embedding 의 결과 vector 인데,예를 들면 아래와 같다.

Word Embedding

machine_learning/NLP/One Hot Encoding 을 통해서도 Word Embedding 이 가능하긴 하다. Word Embedding 은 convolution Layer (CNN 참고) 의 동작 방식과 유사하다. 즉, Convol...

함께 보면 좋은 글

Word Embedding

각 단어에 대한 n 차원 feature 를 만들고 적절한 값을 부여하는 방식을 의미한다. 예시 machine learning/NLP/One Hot Encoding 을 통해서도 Word Embedding 이 가능하긴 하다.

Label Encoding

Numerical 데이터로 바꿀 때, 0 이상의 정수를 사용하는 방법을 의미한다.

bag of words

단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도 (frequency) 에만 집중하는 텍스트 데이터의 수치화 표현 방법 장점 간단하다. 단점 단어 간 순서의 정보를 잃게 된다. bag of n-grams 모델을 사용하면, 순서 이슈를 어느정도 해소할 수 있다.

Word2Vec

Word2Vec 은 shallow neural network 를 통해 단어를 저차원 vector space 로 임베딩 하는 모델이다. 모델의 학습 결과로 얻어지는 vector 간 거리가 가깝다는 것은 단어 간 의미가 서로 비슷함을 의미한다.

Recurrent Neural Network

Recurrent Neural Networks (RNN) 왜 RNN 을 사용하는가 일반 neural network(DNN) 보다 RNN 을 사용하는 이유는 무엇일까? 그 이유는 DNN 은 RNN 과 달리 parameter sharing 이 가능하지 않기 때문이다.

CBOW

CBOW 는 주변단어 (Context) 를 통해서 주어진 단어 (target) 가 무엇인지 찾는 것이다. 정확히는 앞뒤로 \frac{c}{2} 개의 단어를 (총 c 개) 통해 주어진 단어를 예측한다는 것이 CBOW 의 아이디어이다.

Named Entity Recognition

NER (Named Entity Recognition, 개체명 인식) 은 텍스트에서 의미 있는 개체(entity)를 식별하고 분류하는 NLP 태스크이다. 문장 속 단어들이 사람, 조직, 장소, 날짜 등 어떤 카테고리에 속하는지 태깅하는 것이 목표.

skip-gram

Skip Gram Skip Gram 은 중심 단어를 통해 주변단어를 예측하는 Word Embedding 모델이다.

embedding matrix

Embedding Matrix 란 Word Embedding 에서 machine learning/NLP/One Hot Encoding 벡터를 dense vector 로 변환하기 위해 사용하는 matrix 입니다.

LDA

LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.