SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실
1 min read
SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실
...인 instruction following 형식을 먼저 잡아준다. 주의할 점 SFT data가 너무 좁거나 품질이 낮으면 모델이 원래 갖고 있던 일반 능력을 잃을 수 있다. 이 현상을 alignment tax처럼 볼 수 있으며, 실무에서는 data mixture, learning rate, epoch 수를 조심해서 잡는다. References
Supervised Fine-Tuning(SFT)은 pretrained language model을 instruction-response 형식의 labeled data로 추가 학습하는 단계다.
2406.18790 MUMU: BOOTSTRAPPING MULTIMODAL IMAGE GENERATION FROM TEXT-TO-IMAGE DATA.
GAN Generative Adversarial Network 의 RL/value function \displaystyle\min {G}\max {D}V(D,G)=\mathbb{E} {x\sim\operatorname{P {data(x)}}}[\log D(x)]+\mathbb{E} {z\sim P...
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
Multimodal Learning Multimodal learning은 text, image, audio, video, tabular feature처럼 서로 다른 modality의 정보를 함께 사용하는 학습 설정이다.
Variational Autoencoder(VAE)는 autoencoder 를 확률 모델로 확장한 generative model 이다.
lambdal/text-to-pokemon – Run with an API on Replicate Stable Diffusion fine-tuning GitHub - justinpinkney/stable-diffusion 키워드 광고.
LLMOps vs. MLOps Reference: 대규모 언어 모델의 핵심 기술 LLMOps를 알아보자! | KT Enterprise LLMOps 와 MLOps 는 머신러닝 모델을 효율적으로 운영하고 관리하기 위해 존재합니다. 목적은 같지만, 명확한 차이점이 있는데요.
CLIP(Contrastive Language-Image Pre-training)은 image encoder 와 text encoder 를 함께 학습해서, 이미지와 텍스트를 같은 embedding space 에 맞추는 multimodal model 이다.
Fine-tuning 파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다. 해당 학습과 다른 방식으로는 linear probing 방식이 있다.