Electra

ICLR 2020 에서 구글 리서치 팀은 새로운 pre-training 기법을 적용한 language model, ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 를 발표

기존 BERT 에서 masked language modeling 방식에서, 학습 효율을 향상시키기 위해 **Replaced Token Detection (RTD)**이라는 새로운 pre-training 태스크를 제안

B) Related

C) References

• 꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰 – 스캐터랩 기술 블로그: 친절한 설명이 포함되어 있어서 좋다.
• beomi/KcELECTRA-base-v2022 · Hugging Face