MPNet - Masked and Permuted Pre-training for Language Understanding
Pretrained model on English language using a masked language modeling (MLM) objective.
Self-Rewarding Language Models, where the language model itself is used via LLM-as-a-Judge prompting to provide its own rewards during training.
특정 태스크 수행 능력을 위해 소량의 잘 검수된 데이터가 조금이라도 들어가면 도움이 된다는것이지만, 질이 떨어지는 데이터도 대량으로 있으면 역시 성능 향상에 도움이 된다는점인것 같습니다.
skip-gram 모델의 extension 을 제안함으로써 학습 속도와 vector quality 상승을 보였다.
DialogLM은 긴 대화를 이해하고 요약하기 위해 사전 학습된 인코더-디코더 기반 신경망 모델입니다.
Google 에서 만든 language representation model. BERT 는 미리 학습된 (pre-trained) 언어 모델이다. BERT is designed to pre-train deep bidirectional representations from unlabeled...
transformer 구조를 제안: attention 메커니즘에 기반한 구조로, convolution 또는 recurrence 에 적용 가능
최근 NVIDIA 연구진은 structured weight pruning 과 knowledge distillation 을 결합한 방법이, 대형 언어 모델을 점차적으로 더 작은 모델로 압축하는 데 매우 효과적이라는 사실을 밝혔습니다. 이 방법으로 만들어진 대표적인 작은 모델로는 NVIDIA Minitron 8B 와...
사전 학습된 언어 모델을 미세 조정하는 데 사용됩니다. 인간이 주석을 달아준 데이터와 긍정적으로 평가된 모델 생성에 의존합니다.