Zzong's Notes

Generate Image from AI

최초 작성 마지막 수정 읽는 데 1분

노트 편집 ↗

함께 보면 좋은 글

stable diffusion

MUMU: BOOTSTRAPPING MULTIMODAL IMAGE GENERATION FROM TEXT-TO-IMAGE DATA

gradient checkpoint

GitHub - cybertronai/gradient-checkpointing: Make huge neural nets fit in memory

generative model

Refer link https://statproofbook.github.io/D/gm generative model 이란 training data 가 주어졌을 때, 이 training data 에 대한 분포와 같은 분포에서 sampling 하는 Machine Learning Model 을 의미한다. Consider...

TensorFlow

Custom Dataset 만들기 (from generator)

alignment tax

SFT 모델과 너무 멀어지면 SFT 에서 학습한 능력이 소실

Batch Decoding

LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법

Alpaca

OpenAI InstructGPT(GPT3.5) 로 Instruct Set 52k 개 제작후, Llama 7B 모델을 full fine tuning 한 모델