1 min read
GPT B) Related C) References.
Llama B) Llama 2 모델 사이즈 7, 13, 34, 70 billion and a Llama chat variant with the same sizes B.1) 기존 모델과 비교 increased the size of the pretraining corpus by 40% doubled the...
배경 Qwen2.5 의 72b 급 대용량 모델을 학습하는 방법에 대해 조사해보자.
llm as classifier 왜 전통적인 분류 모델을 사용하지 않고, LLM 을 통해 분류 문제를 해결하려 할까? B) LLM 만의 장점 학습 데이터셋이 많지 않은 경우, 빅 모델이 성능 면에서 더 효율적일 수 있다.
Prompt 종류 A.1) Instruction Prompt Extract the name of the author from the quotation below.
DistributedDataParallel a batch is sent to each GPU worker which has its own copy of the model.
T5 Text-to-Text Transfer Transformer 라서 T5 로 불린다. 모든 task 에 대해서 동일한 모델, loss function, hyperparameter, 학습 방식을 적용한다.
한줄 요약 GKD(Generalized Knowledge Distillation, Google DeepMind 2023)는 autoregressive LM을 위한 지식 증류 기법으로, 고정된 데이터셋이 아니라 학생이 직접 생성한 문장 위에서 교사의 토큰별 분포를 배우게 한다(on-policy).
DPO를 한 문장으로 잡기 DPO(Direct Preference Optimization)는 chosen/rejected 답변 쌍을 이용해 LLM을 선호도에 맞게 미세조정하는 방법이다.
한줄 요약 GRPO(Group Relative Policy Optimization)는 LLM의 추론 능력을 강화하기 위해 쓰는 policy optimization 방법이다.