SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실
SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실
...인 instruction following 형식을 먼저 잡아준다. 주의할 점 SFT data가 너무 좁거나 품질이 낮으면 모델이 원래 갖고 있던 일반 능력을 잃을 수 있다. 이 현상을 alignment tax처럼 볼 수 있으며, 실무에서는 data mixture, learning rate, epoch 수를 조심해서 잡는다. References
Supervised Fine-Tuning(SFT)은 pretrained language model을 instruction-response 형식의 labeled data로 추가 학습하는 단계다. foundation model이 “다음 token을 잘 예측하는 모델”에서, 사용자의 지시를 따르는 assistant처럼...
MUMU: BOOTSTRAPPING MULTIMODAL IMAGE GENERATION FROM TEXT-TO-IMAGE DATA
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
GKD(Generalized Knowledge Distillation, Google DeepMind 2023)는 autoregressive LM을 위한 지식 증류 기법으로, 고정된 데이터셋이 아니라 학생이 직접 생성한 문장 위에서 교사의 토큰별 분포를 배우게 한다(on-policy). Gemma, Qwen 같은...
Generative Adversarial Network 의 RL/value function
On-policy distillation은 학생이 직접 생성한 문장 위에서, 교사가 매 토큰을 채점하는 증류 방식이다. 교사가 미리 써놓은 정답지를 베끼는 기존 방식(off-policy)과 달리, 학생이 실제로 헤매는 지점에서 교정이 들어온다.
DPO(Direct Preference Optimization)는 chosen/rejected 답변 쌍을 이용해 LLM을 선호도에 맞게 미세조정하는 방법이다. 핵심은 RLHF에서 따로 처리하던 reward model 학습과 PPO 단계를, 하나의 preference loss로 직접 최적화한다는 데 있다.
단순한 next token prediction loss 와 같은 loss function 은 좋은 언어 모델을 학습하는데 제한적이다. 이를 보완하기 위해서 사용자의 선호도를 직접 모델에 알려줄 수 있는 강화 학습 방식을 적용할 수 있다.
M-REWARDBENCH: Evaluating Reward Models in Multilingual Settings
Reference: 대규모 언어 모델의 핵심 기술 LLMOps를 알아보자! | KT Enterprise