Paper List
M-REWARDBENCH: Evaluating Reward Models in Multilingual Settings
- RewardBench 데이터셋을 번역하여 기존 모델들을 다시 테스트함.
- 언어에 따라 모델 성능 차이가 존재함.
- 모든 모델이 영어 벤치마크에서의 성능에 비해, 다국어 벤치마크에서는 낮은 성과를 보임.
M-REWARDBENCH: Evaluating Reward Models in Multilingual Settings
reward model이 결국 “두 답변 중 어느 쪽이 더 좋은가”를 구분하려는 것이라면, 굳이 reward model을 따로 만들지 말고 그 비교 목표를 language model loss 안에 직접 넣으면...
...tool calling, 한국어만 쓰기, 금칙어 회피처럼 reward를 비교적 안정적으로 만들 수 있는 부분은 RL로 따로 분리해볼 수 있다. Reward를 쓴다면 이렇게 쪼갠다 하나의 reward model에게 “자연스러운가?”를 한 번에 판단하게 하면 불안정하다. 차라리 reward를 여러 축으로 나누는 편이 낫다.
DPO(Direct Preference Optimization)는 chosen/rejected 답변 쌍을 이용해 LLM을 선호도에 맞게 미세조정하는 방법이다. 핵심은 RLHF에서 따로 처리하던 reward model 학습과 PPO 단계를, 하나의 preference loss로 직접 최적화한다는 데 있다.
2026년 기준 LLM post-training의 핵심은 DPO 같은 알고리즘 하나를 고르는 데 있지 않다. 먼저 좋은 cold-start SFT로 행동과 말투의 기준선을 잡고, verifiable reward가 있는 영역은 GRPO 계열 RL로 다룬다. 반대로 자연스러운 한국어처럼 보상을 깔끔하게 정의하기 어려운...
단순한 next token prediction loss 와 같은 loss function 은 좋은 언어 모델을 학습하는데 제한적이다. 이를 보완하기 위해서 사용자의 선호도를 직접 모델에 알려줄 수 있는 강화 학습 방식을 적용할 수 있다.
SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실
DAPO(Decoupled Clip and Dynamic sAmpling Policy Optimization)는 GRPO를 그대로 돌렸을 때 실제로 터지는 문제 네 가지를 각각 고친 RL 레시피다.
Self-Rewarding Language Models, where the language model itself is used via LLM-as-a-Judge prompting to provide its own rewards during training.
GRPO(Group Relative Policy Optimization)는 LLM의 추론 능력을 강화하기 위해 쓰는 policy optimization 방법이다.
GKD(Generalized Knowledge Distillation, Google DeepMind 2023)는 autoregressive LM을 위한 지식 증류 기법으로, 고정된 데이터셋이 아니라 학생이 직접 생성한 문장 위에서 교사의 토큰별 분포를 배우게 한다(on-policy). Gemma, Qwen 같은...
일반적으로 PPO를 사용하여 액터(actor) 모델을 학습하는 동안 보상(reward) 모델은 학습하지 않고 고정(frozen)된 상태로 유지됩니다.
GSPO(Group Sequence Policy Optimization)는 대규모 언어 모델(LLM)의 강화학습에서 답변 전체(sequence)를 하나의 기본 단위로 보고 policy를 업데이트하는 알고리즘 이다.