Zzong's Notes

방문

Home

❯

머신러닝

❯

NLP

❯

Pororo

Pororo

최초 작성 2026-06-14마지막 수정 2026-09-05읽는 데 1분

노트 편집 ↗

카카오 브레인에서 만든 자연어 처리 모델

SentenceFactory

  • sentence transformers 라이브러리 사용
  • 한국어 모델의 경우 brainsbert.base.ko.kornli.korsts 를 사용중임
  • brainsbert 의 경우 사용가능한 모델은 RoBERTa 밖에 없음

References

  • GitHub - kakaobrain/pororo: PORORO: Platform Of neuRal mOdels for natuRal language prOcessing

함께 보면 좋은 글

RoBERTa

Pretrained model on English language using a masked language modeling (MLM) objective.

sentence transformers

문장이 배치로 주어지면, 문장 길이가 가장 짧은 순서대로 문장을 정렬해서 배치로 가져온다.

ALBERT

BERT 모델의 크기는 줄이고 성능은 높임.

korean nlp model

한국어 자연어 처리에 대한 모델을 정리한다.

polyglot

한글 LLM 맛보기 : 네이버 블로그

KorQuAD

The Korean Question Answering Dataset

Tokenizers(huggingface)

Electra

ICLR 2020 에서 구글 리서치 팀은 새로운 pre-training 기법을 적용한 language model, ELECTRA ( E fficiently L earning an E ncoder that C lassifies T oken R eplacements A ccurately) 를 발표

BART

BERT와 GPT의 구조를 결합한 모델로, 특히 summarization(요약) 작업에서 우수한 성능을 보인 것으로 알려져 있습니다. MASS와 달리, BART는 Encoder에 다양한 Noise를 추가하는 방식으로 더욱 뛰어난 성능을 기록하였습니다.

Transformer(huggingface)

AutoModelForSequenceClassification 은 뭐하는 거지..?

  • SentenceFactory
  • References