1 min read
Batch Decoding LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법 일종의 프롬프트 엔지니어링 처럼 해결하는 것으로 보임 PROMPT = """\ 다양한 작업에 대한 답변을 생성해주세요, 이러한 작업 지침은 ChatGPT 모델에 주어지며,...
GPT B) Related C) References.
Prompt Engineering Related References.
RankNet B) Related C) References.
Probability Calibration B) Related C) References.
FastChat LLM 파인 튜닝 용 라이브러리 B) Arguments Description tf32 C) Related D) References.
TrainerCallback Huggingface 의 경우 on init end, on train begin, on step end, ..등등으로 callback 의 method 들이 훈련하는 도중에 특정 시점에 호출이 됩니다. 2.
RLHF 단순한 next token prediction loss 와 같은 loss function 은 좋은 언어 모델을 학습하는데 제한적이다. 이를 보완하기 위해서 사용자의 선호도를 직접 모델에 알려줄 수 있는 강화 학습 방식을 적용할 수 있다.
Adam B) Related C) References.
Polyglot 한국어 모델 2. Eos Token 이슈 한글 LLM 맛보기 : 네이버 블로그 3. Related 4. References.