Fine-tuning
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
해당 학습과 다른 방식으로는 linear probing 방식이 있다.
1 min read
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
해당 학습과 다른 방식으로는 linear probing 방식이 있다.
Alpaca OpenAI InstructGPT(GPT3.5) 로 Instruct Set 52k 개 제작후, Llama 7B 모델을 full fine tuning 한 모델 단순히 말을 잇는 것이 아닌, Instruct 에 맞게 행동하는 LM: “모델은 이미 수많은 정보를 알고 있지만, 어떻게 말할지 모를 뿐” 2. KoAlpaca 한국어 Inst...
FastChat LLM 파인 튜닝 용 라이브러리 B) Arguments Description
FINE-TUNING CAN DISTORT PRETRAINED FEATURES AND UNDERPERFORM OUT-OF-DISTRIBUTION
언어 모델을 사전 학습 (pretraining) 데이터를 모아서 리워드 모델을 학습 강화 학습을 통해 LM 모델을 파인 튜닝
Feed-forward hidden layer 에서 ReLU 대신 GeGLU activation function 을 사용 pre-train 과정에서 dropout 을 끄고, fine tuning 과정에서 dropout 을 다시 킴
Linear Probing transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다. 이 학습 방식과 다른 방식은 fine tuning 이 존재한다.
Layer Normalization Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.
FastChat LLM 파인 튜닝 용 라이브러리 B) Arguments Description tf32 C) Related D) References.
RLHF 단순한 next token prediction loss 와 같은 loss function 은 좋은 언어 모델을 학습하는데 제한적이다. 이를 보완하기 위해서 사용자의 선호도를 직접 모델에 알려줄 수 있는 강화 학습 방식을 적용할 수 있다.
Alpaca OpenAI InstructGPT(GPT3.5) 로 Instruct Set 52k 개 제작후, Llama 7B 모델을 full fine tuning 한 모델 단순히 말을 잇는 것이 아닌, Instruct 에 맞게 행동하는 LM: “모델은 이미 수많은 정보를 알고 있지만, 어떻게 말할지 모를 뿐” 2.
Parameter 관측 불가능한 variables 의 집합 (반대: data) B) In Statistic 모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
T5 Text-to-Text Transfer Transformer 라서 T5 로 불린다. 모든 task 에 대해서 동일한 모델, loss function, hyperparameter, 학습 방식을 적용한다.
Deep Learning Related References.
Machine Learning deep Learning 과 달리 structured data 가 필요한 학습 모델 2.
Overfitting 이란 모델이 특정 데이터 셋에 과도하게 적합된 것을 의미 B) Overfitting 문제를 완화하기 위한 접근들 더 많은 training data Data Augmentation regularization dropout Early Stopping C) Related D) References.