Zzong's Notes

GloVe

최초 작성 마지막 수정 읽는 데 1분

노트 편집 ↗

링크된 언급

1

함께 보면 좋은 글

Word Embedding

각 단어에 대한 n 차원 feature 를 만들고 적절한 값을 부여하는 방식을 의미한다.

Doc2Vec

문서 내 단어를 벡터로 임베딩하는 Word2Vec 과 달리, 전체 문서를 벡터로 임베딩하는 모델이다.

CBOW

CBOW 는 주변단어 (Context) 를 통해서 주어진 단어 (target) 가 무엇인지 찾는 것이다. 정확히는 앞뒤로 \frac{c}{2} 개의 단어를 (총 c 개) 통해 주어진 단어를 예측한다는 것이 CBOW 의 아이디어이다.

Word2Vec

Word2Vec 은 shallow neural network 를 통해 단어를 저차원 vector space 로 임베딩 하는 모델이다.

n-gram

연속한 n 개의 단위를 하나로 묶은 것이다. 단위는 문맥에 따라 단어일 수도 문자일 수도 있다.

bag of words

단어들의 순서는 전혀 고려하지 않고, 단어들의 출현 빈도 (frequency) 에만 집중하는 텍스트 데이터의 수치화 표현 방법

Natural Language Process

사람이 쓰는 말과 글을 컴퓨터가 다루게 만드는 분야다. 번역, 요약, 질의응답, 감성 분석, 개체명 인식처럼 겉보기에 다른 작업들이 모두 여기 들어간다.

General Language Understanding Evaluation

NLP 모델에 대한 일반적인 언어의 “이해”를 측정하기 위한 평가 방식으로, 9 개의 Tasks 들에 대한 점수의 평균을 구하는 것으로 모델을 평가한다.

skip-gram

Skip Gram 은 중심 단어를 통해 주변단어를 예측하는 Word Embedding 모델이다.

FastText

Word2Vec 과 비슷한 임베딩 모델이다. 주요 차이점은 FastText 의 경우 문자 레벨에서 동작하고, Word2Vec 은 단어 레벨에서 동작한다는 점이다.