Gensim
Gensim 은 문서를 semantic vector 로 효율적으로 표현하기 위한 파이썬 라이브러리이다.
Gensim 은 구조화 되어있지 않은 plain text 를 unsupervised learning 알고리즘을 통해 처리한다. Gensim 에서 지원하는 비지도 학습 알고리즘은 Word2Vec, FastText, LDA, LSA 등 이 있다.
1 min read
Gensim 은 문서를 semantic vector 로 효율적으로 표현하기 위한 파이썬 라이브러리이다.
Gensim 은 구조화 되어있지 않은 plain text 를 unsupervised learning 알고리즘을 통해 처리한다. Gensim 에서 지원하는 비지도 학습 알고리즘은 Word2Vec, FastText, LDA, LSA 등 이 있다.
Corpus documents 의 모음을 나타낸다. 여기서 document 는 문장을 의미한다. 즉, 문장들의 모음을 corpus 라 부른다. B) Usage in Gensim Gensim 에서 corpus 는 모델의 학습 데이터로 사용된다. C) References
FastText Word2Vec 과 비슷한 임베딩 모델이다. 주요 차이점은 FastText 의 경우 문자 레벨에서 동작하고, Word2Vec 은 단어 레벨에서 동작한다는 점이다.
Latent Semantic Analysis 는 잠재 의미 분석 (Latent Semantic Indexing, LSI) 이라고 부르기도 함 LSA 는 기본적으로 DTM 이나 TF-IDF 행렬에 절단된 Singular Value Decomposition(truncated SVD) 를 사용하여 차원을 축소시키고,...
Word2Vec Word2Vec 은 shallow neural network 를 통해 단어를 저차원 vector space 로 임베딩 하는 모델이다. 모델의 학습 결과로 얻어지는 vector 간 거리가 가깝다는 것은 단어 간 의미가 서로 비슷함을 의미한다.
Corpus documents 의 모음을 나타낸다. 여기서 document 는 문장을 의미한다. 즉, 문장들의 모음을 corpus 라 부른다. B) Usage in Gensim Gensim 에서 corpus 는 모델의 학습 데이터로 사용된다. C) References.
Doc2Vec 문서 내 단어를 벡터로 임베딩하는 Word2Vec 과 달리, 전체 문서를 벡터로 임베딩하는 모델이다. 일반적으로 Paragraph Vector model 이라 불리며, Word2Vec 에서 얻어지는 벡터를 평균내는 방식보다 효과가 좋다고 알려져있다.
PLSI PLSI(Probabilistic Latent Semantic Indexing)는 document 와 word 의 co-occurrence 를 latent topic 으로 설명하는 topic modeling 방법이다.
LDA LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.
GloVe global vectors for word representation \operatorname{minimize}\sum {i=1}^{V}\sum {j=1}^{V}f\left(X {ij}\right)\left(\theta {i}^{T}e {j}+b {i}+b {j}^{\prime}-\log X...
clustering K-means DBSCAN anomaly detection One-class support vector machine Isolation Forest dimensionality reduction Principal Component Analysis Kernel PCA Locally Linear...
FastChat LLM 파인 튜닝 용 라이브러리 B) Arguments Description tf32 C) Related D) References.