1 min read
MPNet - Masked and Permuted Pre-training for Language Understanding Abstract BERT 과 XLNet 의 장점을 가지면서 단점을 극복한 pre-training 학습 모델.
Roberta Pretrained model on English language using a masked language modeling (MLM) objective. B) Vs.
Self-Rewarding Language Models Self-Rewarding Language Models, where the language model itself is used via LLM-as-a-Judge prompting to provide its own rewards during training.
Chain of Hindsight Aligns Language Models with Feedback B) SFT 사전 학습된 언어 모델을 미세 조정하는 데 사용됩니다. 인간이 주석을 달아준 데이터와 긍정적으로 평가된 모델 생성에 의존합니다.
BERT Google 에서 만든 language representation model. BERT 는 미리 학습된 (pre-trained) 언어 모델이다.
LIMA 특정 태스크 수행 능력을 위해 소량의 잘 검수된 데이터가 조금이라도 들어가면 도움이 된다는것이지만, 질이 떨어지는 데이터도 대량으로 있으면 역시 성능 향상에 도움이 된다는점인것 같습니다.
paper link Abstract skip-gram 모델의 extension 을 제안함으로써 학습 속도와 vector quality 상승을 보였다.
DialogLM이란 DialogLM은 긴 대화를 이해하고 요약하기 위해 사전 학습된 인코더-디코더 기반 신경망 모델입니다. A.1) 기존 연구의 한계 지금까지의 연구는 주로 짧은 길이의 1:1 대화 상황에 집중되어 있었습니다.
Information Noise-Contrastive Estimation InfoNCE (Information Noise-Contrastive Estimation) 손실은 대조 학습 (contrastive learning) 에서 널리 사용되는 손실 함수 비지도 학습 방식 InfoNCE 손실은 양의 쌍...
Abstract transformer 구조를 제안: attention 메커니즘에 기반한 구조로, convolution 또는 recurrence 에 적용 가능 B) Introduction 기존 Gated Recurrent Unit, Long Short-Term Memory 같은 recurrent model 은...