1 min read
... 맨땅에서 학습을 진행하는데요. 초거대언어모델 (LLM) 은 기존의 모델을 기반으로 특정 분야의 성능을 높이기 위해 추가 데이터를 학습하는 파인튜닝이라는 작업을 거칩니다. A.3) Prompt Engineering & RAG 일반 MLOps 와 차별을 가지는 부분이 있음. PE 도 버저닝이 필요하고, RAG 방식 역시 버저닝이 필요하다. A.4) 하이퍼파라미터 조정의 목적 비용 절감과...
..., GRPO 계열 RL의 역할을 나눠 보는 편이 좋다. 이 관점은 LLM Post-Training for Natural Korean에 정리해둔다. B.1) 더 나은 프롬프트 방식 (Prompt Engineering) 모델이 주어진 명령을 제대로 수행하지 못하거나 문제를 잘 못푼다고 해서 그걸 진짜 못하는건 아니다. 프롬프트 엔지니어링으로 해결할 수 있다. 예를 들어, 수학 문제를 푸는경우 L...
Hallucination B) Related C) References.
Prompt 종류 A.1) Instruction Prompt Extract the name of the author from the quotation below.
Tokenizers(huggingface) Related References Tokenizers .
Batch Decoding LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법 일종의 프롬프트 엔지니어링 처럼 해결하는 것으로 보임 PROMPT = """\ 다양한 작업에 대한 답변을 생성해주세요, 이러한 작업 지침은 ChatGPT 모델에 주어지며,...
Deep Learning Related References.
GPT B) Related C) References.
Permuted Language Modeling B) Related C) References.
LLMOps vs. Reference: 대규모 언어 모델의 핵심 기술 LLMOps를 알아보자! | KT Enterprise LLMOps 와 MLOps 는 머신러닝 모델을 효율적으로 운영하고 관리하기 위해 존재합니다. 목적은 같지만, 명확한 차이점이 있는데요.
한줄 요약 Prompt Compression은 LLM에 넣는 prompt를 더 짧게 줄이되, 답변에 필요한 정보는 최대한 남기려는 input 최적화 방법이다.
Masked Language Modeling.