1 min read
BART란 BERT와 GPT의 구조를 결합한 모델로, 특히 summarization(요약) 작업에서 우수한 성능을 보인 것으로 알려져 있습니다. MASS와 달리, BART는 Encoder에 다양한 Noise를 추가하는 방식으로 더욱 뛰어난 성능을 기록하였습니다.
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive summarization In prior work (BERT, GPT-2, etc.), the self-supervised objectives used in pre-training have...
한국어 모델 Eos Token 이슈 한글 LLM 맛보기 : 네이버 블로그.
The Korean Question Answering Dataset github site: korquad.github.io/ KorQuAD 2.0 은 KorQuAD 1.0 에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension...
카카오 브레인에서 만든 자연어 처리 모델 SentenceFactory sentence transformers 라이브러리 사용 한국어 모델의 경우 brainsbert.base.ko.kornli.korsts 를 사용중임 brainsbert 의 경우 사용가능한 모델은 RoBERTa 밖에 없음 References...
Text-to-Text Transfer Transformer 라서 T5 로 불린다. 모든 task 에 대해서 동일한 모델, loss function, hyperparameter, 학습 방식을 적용한다. 다만, 각 task 에 대해서 서로 다른 prefix 를 적용한다.
한국어 자연어 처리에 대한 모델을 정리한다. KcELECTRA 공개된 한국어 Transformer 계열 모델들은 대부분 한국어 위키, 뉴스 기사, 책 등 잘 정제된 데이터를 기반으로 학습한 모델입니다.
Pipeline AutoModelForSequenceClassification 은 뭐하는 거지..? Tranining Model from Scratch This is a good approach to take if you have a lot of data and it is very different from...
Tokenization 요약 huggingface: 토크나이저 요약 사전 학습된 모델은 훈련 데이터와 동일한 규칙으로 토큰화된 입력을 제공해야만 제대로 작동합니다.
DialogLM이란 DialogLM은 긴 대화를 이해하고 요약하기 위해 사전 학습된 인코더-디코더 기반 신경망 모델입니다. 기존 연구의 한계 지금까지의 연구는 주로 짧은 길이의 1:1 대화 상황에 집중되어 있었습니다.