Zzong's Notes

permuted language modeling

1 min read

Permuted Language Modeling

B) Related

C) References

링크된 언급

1
MPNet

... 문장의 포지션 정보를 전체적으로 활용하지 못한다. 그래서 pre training 과 fine tuning 간 위치적 불일치 (position discrepancy) 가 생긴다. MPNet 은 PLM 방식을 통해 예측된 토큰간의 의존성을 활용한다. 그리고 auxiliary 위치 정보를 모델의 입력으로 받아서 전체 문장을 보아 위치적 불일치를 줄인다. B) Discussion Kaggle 대...