documents 의 모음을 나타낸다. 여기서 document 는 문장을 의미한다. 즉, 문장들의 모음을 corpus 라 부른다.
Usage in Gensim
Gensim 에서 corpus 는 모델의 학습 데이터로 사용된다.
documents 의 모음을 나타낸다. 여기서 document 는 문장을 의미한다. 즉, 문장들의 모음을 corpus 라 부른다.
Gensim 에서 corpus 는 모델의 학습 데이터로 사용된다.
이 확률 벡터는 corpus 내 고유 단어 개수인 n 차원의 벡터이며, 각 단어가 context 에 기반해 선택될 확률을 나타냅니다.
Example: large corpus of English text
여기서 f (wᵢ) 는 각 단어 wᵢ 가 corpus 에서 출현하는 횟수입니다. 즉, 자주 등장하는 단어일수록 확률값이 줄어들게 됩니다. 그리고 t 는 parameter 값으로 10^−5 을 추천합니다.
Gensim 은 문서를 semantic vector 로 효율적으로 표현하기 위한 파이썬 라이브러리이다.
분석을 하는 것에 있어서 큰 도움이 되지 않는 단어들
STS 는 텍스트가 서로 유사한지를 구하는 task 이다.
일반 neural network(DNN) 보다 RNN 을 사용하는 이유는 무엇일까?
문서 내 단어를 벡터로 임베딩하는 Word2Vec 과 달리, 전체 문서를 벡터로 임베딩하는 모델이다.
사람이 쓰는 말과 글을 컴퓨터가 다루게 만드는 분야다. 번역, 요약, 질의응답, 감성 분석, 개체명 인식처럼 겉보기에 다른 작업들이 모두 여기 들어간다.
global vectors for word representation
The Korean Question Answering Dataset
카카오 브레인에서 만든 자연어 처리 모델
NLP 모델에 대한 일반적인 언어의 “이해”를 측정하기 위한 평가 방식으로, 9 개의 Tasks 들에 대한 점수의 평균을 구하는 것으로 모델을 평가한다.