Zzong's Notes

GloVe

1 min read

링크된 언급

1

함께 보면 좋은 글

Word Embedding

각 단어에 대한 n 차원 feature 를 만들고 적절한 값을 부여하는 방식을 의미한다. 예시 machine learning/NLP/One Hot Encoding 을 통해서도 Word Embedding 이 가능하긴 하다.

Doc2Vec

문서 내 단어를 벡터로 임베딩하는 Word2Vec 과 달리, 전체 문서를 벡터로 임베딩하는 모델이다. 일반적으로 Paragraph Vector model 이라 불리며, Word2Vec 에서 얻어지는 벡터를 평균내는 방식보다 효과가 좋다고 알려져있다.

CBOW

CBOW 는 주변단어 (Context) 를 통해서 주어진 단어 (target) 가 무엇인지 찾는 것이다. 정확히는 앞뒤로 \frac{c}{2} 개의 단어를 (총 c 개) 통해 주어진 단어를 예측한다는 것이 CBOW 의 아이디어이다.

n-gram

연속한 n 개의 단위를 하나로 묶은 것이다. 단위는 문맥에 따라 단어일 수도 문자일 수도 있다.

Natural Language Process

Natural Language Processing 사람이 쓰는 말과 글을 컴퓨터가 다루게 만드는 분야다. 번역, 요약, 질의응답, 감성 분석, 개체명 인식처럼 겉보기에 다른 작업들이 모두 여기 들어간다.

Word2Vec

Word2Vec 은 shallow neural network 를 통해 단어를 저차원 vector space 로 임베딩 하는 모델이다. 모델의 학습 결과로 얻어지는 vector 간 거리가 가깝다는 것은 단어 간 의미가 서로 비슷함을 의미한다.

bag of words

단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도 (frequency) 에만 집중하는 텍스트 데이터의 수치화 표현 방법 장점 간단하다. 단점 단어 간 순서의 정보를 잃게 된다. bag of n-grams 모델을 사용하면, 순서 이슈를 어느정도 해소할 수 있다.

General Language Understanding Evaluation

NLP 모델에 대한 일반적인 언어의 “이해”를 측정하기 위한 평가 방식으로, 9 개의 Tasks 들에 대한 점수의 평균을 구하는 것으로 모델을 평가한다. 아래는 GLUE 점수를 구하는 것을 시각화한 것이다.

skip-gram

Skip Gram Skip Gram 은 중심 단어를 통해 주변단어를 예측하는 Word Embedding 모델이다.

FastText

Word2Vec 과 비슷한 임베딩 모델이다. 주요 차이점은 FastText 의 경우 문자 레벨에서 동작하고, Word2Vec 은 단어 레벨에서 동작한다는 점이다.