Zzong's Notes

Home

❯

machine_learning

❯

NLP

❯

topic modeling

topic modeling

2026년 9월 04일1 min read

  • Tags
    • coherence score
  • Related paper

링크된 언급

7
Collaborative Topic Regression

collaborative filtering 과 topic modeling 을 합친 모델을 의미

Latent Dirichlet Allocation

Related LDA, topic modeling, JMLR 03, TF-IDF

LDA

topic modeling PLSI papers/collaborative_filtering/Latent Dirichlet Allocation

PLSI

PLSI(Probabilistic Latent Semantic Indexing)는 document 와 word 의 co-occurrence 를 latent topic 으로 설명하는 topic modeling 방법이다. LSA 를 probabilistic model 로 해석한 흐름에 가깝다. LDA 와의 차이 LDA 는 document-topic distribution 에 prior 를 둔...

Probabilistic latent Semantic Indexing

새로운 document 에 대해서 topic modeling 정확도가 낮음

Scalable Recommendation with Poisson Factorization

...를 approximate 할 수 잇는 a variational algorithm 을 제안했다. 실험에서 non-negative matrix factorization 이나 PMF 그리고 topic modeling 대상으로 모두 성능상 우위를 보인다고 한다. Introduction Poisson factorization is a probabilistic model of users and item...

Singular Value Decomposition

Truncated SVD Truncating 과정에서 몇개의 k 를 남길것인지는 topic modeling 에서 얼마나 많은 k 를 남길것인지와 유사한 관점이다.

함께 보면 좋은 글

LDA

LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.

PLSI

PLSI(Probabilistic Latent Semantic Indexing)는 document 와 word 의 co-occurrence 를 latent topic 으로 설명하는 topic modeling 방법이다.

Collaborative Topic Regression

collaborative filtering 과 topic modeling 을 합친 모델을 의미 Approaches naive r {ij}\sim\mathcal{N}\left(u {i}^{T}\theta {j},c {ij}^{-1}\right) The Generative Process for CTR 각 사용자 i...

Tokenizers(huggingface)

References Tokenizers .

Probabilistic latent Semantic Indexing

단어와 문서 사이를 잇는, 우리 눈에 보이지 않는 잠재구조가 있다는 가정 하에, 단어와 문서 출현 확률을 모델링한 확률모형 \displaystyle P(w,d)=\sum {c}P(c)P(d\mid c)P(w\mid c)=P(d)\sum {c}P(c\mid d)P(w\mid c) pLSI(Probabilistic...

summarization

Korean Models GitHub - seujung/KoBART-summarization: Summarization module based on KoBART Survey Abstractive Meeting Summarization: A Survey | Transactions of the Association...

Latent Dirichlet Allocation

paper link: www.jmlr.org/papers/volume3/blei03a/blei03a.pdf Abstract LDA 는 이산 데이터 콜렉션을 위한 generative probabilistic model 이다.

Gensim

Gensim 은 문서를 semantic vector 로 효율적으로 표현하기 위한 파이썬 라이브러리이다. Gensim 은 구조화 되어있지 않은 plain text 를 unsupervised learning 알고리즘을 통해 처리한다.

Doc2Vec

문서 내 단어를 벡터로 임베딩하는 Word2Vec 과 달리, 전체 문서를 벡터로 임베딩하는 모델이다. 일반적으로 Paragraph Vector model 이라 불리며, Word2Vec 에서 얻어지는 벡터를 평균내는 방식보다 효과가 좋다고 알려져있다.

Transformer(huggingface)

Pipeline AutoModelForSequenceClassification 은 뭐하는 거지..? Tranining Model from Scratch This is a good approach to take if you have a lot of data and it is very different from...