내부적으로는 생성될 토큰의 확률(logit)을 조정하여 스키마에 맞는 토큰만 샘플링하도록 유도하는 방식으로 동작하는 것
내부적으로는 생성될 토큰의 확률(logit)을 조정하여 스키마에 맞는 토큰만 샘플링하도록 유도하는 방식으로 동작하는 것
LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법
LLM의 추론 과정은 크게 두 단계로 나뉩니다.
빔 서치는 매 시점마다 가장 확률이 높은 단어 하나만을 선택하는 그리디 서치(Greedy Search)와 달리, 확률이 높은 상위 k개의 후보(빔)를 동시에 유지하면서 문장을 생성하는 방식입니다.
Prefill은 LLM이 사용자의 prompt를 처음 한 번 읽는 단계다. 이때 모델은 prompt token 전체를 Transformer에 통과시키고, 이후 decode에서 재사용할 KV Cache를 만든다.
FP8 Quantization은 LLM의 weight, activation tensor, 때로는 KV cache를 8-bit floating point로 낮춰 inference 비용을 줄이는 방법이다.
Prompt Compression은 LLM에 넣는 prompt를 더 짧게 줄이되, 답변에 필요한 정보는 최대한 남기려는 input 최적화 방법이다. 긴 RAG context나 대화 기록을 그대로 넣으면 Prefill 비용과 input token 비용이 커지므로, 불필요하거나 중복된 token을 제거해 정보 밀도를 높인다.
AWQ는 QAT(양자화 인식 훈련)가 아닌 PTQ(훈련 후 양자화) 방식에 속합니다. 모델을 처음부터 다시 훈련할 필요 없이, 이미 훈련된 모델에 작은 보정용 데이터셋(calibration dataset)을 사용하여 양자화를 진행하기 때문입니다.
LLMLingua 는 긴 prompt에서 덜 중요한 token을 제거해 LLM 입력을 짧게 만드는 prompt compression 계열 방법이다. 모델 파라미터를 건드리지 않고 일반 텍스트 prompt를 더 짧은 텍스트 prompt로 바꾼다 는 점이 핵심이다. 그래서 GPT 계열 API처럼 내부...
양자화와 이진화는 기존의 신경망의 부동 소수점 수를 줄이는 데 그 목적이 있으며, 양자화 (Quantization) 의 경우 특정 비트 수만큼으로 줄 여서 계산하는 방식이다.
2026년 7월 기준으로 "문장 압축"은 예전처럼 사람이 읽기 좋은 짧은 문장을 만드는 기술이라기보다, LLM이 답하는 데 필요한 정보만 남겨 context budget, Prefill latency, input token 비용, KV Cache memory를 관리하는 기술 로 발전하고 있다.