Zzong's Notes

corpus

1 min read

Corpus

documents 의 모음을 나타낸다. 여기서 document 는 문장을 의미한다. 즉, 문장들의 모음을 corpus 라 부른다.

B) Usage in Gensim

Gensim 에서 corpus 는 모델의 학습 데이터로 사용된다.

C) References

링크된 언급

3
embedding matrix

...다. C) Word Embedding Matrix 학습 과정 학습 과정은 다음과 같습니다: Word Embedding 모델의 weights 인 E 는 처음에 랜덤하게 초기화됩니다. 그런 다음 corpus 에서 한 문장을 선택합니다 (예: “I want a glass of orange”). 선택한 문장에서 context 와 target 을 정합니다. 여기서 context 는 입력 데이터이고, ...

Recurrent Neural Network

...ing with an RNN training 및 sampling of language model Training set 으로 주어진 문장들을 tokenize 한다. Example: large corpus of English text 각각의 단어들을 one hot vector 로 변환시키고, 마지막에 <EOS> 구문을 넣음위 문장은 <EOS> 를 포함하여 총 9 개의 to...

Subsampling Frequent words

...laystyle P\left(w {i}\right)=1 \sqrt{\frac{t}{f\left(w {i}\right)}} 여기서 f\left(w {i}\right) 는 각 단어 w {i} 가 corpus 에서 출현하는 횟수입니다. 즉, 자주 등장하는 단어일수록 확률값이 줄어들게 됩니다. 그리고 t 는 parameter 값으로 10^{−5} 을 추천합니다.