Zzong's Notes

KV Cache

1 min read

KV Cache는 Transformer decoder가 autoregressive generation을 할 때 이전 token들의 key/value tensor를 저장해두는 cache다. 다음 token을 만들 때 과거 token의 key/value를 다시 계산하지 않아도 되므로 LLM inference latency를 크게 줄인다.

왜 필요한가

Autoregressive decoding은 token을 하나씩 생성한다. 매 step마다 전체 prefix를 다시 Transformer에 통과시키면 계산이 중복된다. KV Cache는 이전 step에서 계산한 attention key/value를 보관하고, 새 token의 query만 추가로 계산해 attention을 수행한다.

trade-off

속도는 빨라지지만 sequence length와 batch size가 커질수록 GPU memory를 많이 쓴다. 그래서 vLLM의 PagedAttention처럼 KV Cache를 효율적으로 관리하는 기법이 LLM serving에서 중요해진다.

링크된 언급

4
LLMLingua - Prompt Compression for LLM Inference

...tency가 늘 수 있다. 왜 필요한가 LLM inference 비용은 output token만으로 결정되지 않는다. 긴 prompt를 넣으면 모델은 먼저 input token 전체를 읽고 KV Cache를 만든다. 이 구간이 Prefill 이고, RAG나 agent처럼 context를 많이 붙이는 서비스에서는 첫 token이 늦게 나오는 주요 원인이 된다. 긴 prompt -> pre...

Positional Encoding

...다. 위치 m 에 따라 query/key 벡터를 각도 m 만큼 회전시키는데, 회전된 두 벡터의 내적은 회전각의 차이 m-n 에만 의존한다. 적용 자체는 토큰마다 독립적인 절대 위치 연산이라 KV Cache 가 그대로 동작하고, 결과적으로 attention 이 보는 것은 상대 거리다. 지금 나오는 대부분의 LLM (LLaMA, Qwen, Mistral 계열) 이 이 방식을 쓴다. Referen...

Prefill

...et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving KV Cache FP8 Quantization

Prompt Compression Trends - From Token Pruning to Context Engineering

...예전처럼 사람이 읽기 좋은 짧은 문장을 만드는 기술이라기보다, LLM이 답하는 데 필요한 정보만 남겨 context budget, Prefill latency, input token 비용, KV Cache memory를 관리하는 기술 로 발전하고 있다. 초기에는 LLMLingua처럼 덜 중요한 token을 제거하는 hard prompt compression이 중심이었다. 최근에는 질문에 맞춰...

함께 보면 좋은 글

Prefill

한줄 요약 Prefill은 LLM이 사용자의 prompt를 처음 한 번 읽는 단계다. 이때 모델은 prompt token 전체를 Transformer에 통과시키고, 이후 decode에서 재사용할 KV Cache를 만든다.

Prompt Compression Trends - From Token Pruning to Context Engineering

한줄 요약 2026년 7월 기준으로 “문장 압축”은 예전처럼 사람이 읽기 좋은 짧은 문장을 만드는 기술이라기보다, LLM이 답하는 데 필요한 정보만 남겨 context budget, Prefill latency, input token 비용, KV Cache memory를 관리하는 기술 로 발전하고 있다.

Prompt Compression

한줄 요약 Prompt Compression은 LLM에 넣는 prompt를 더 짧게 줄이되, 답변에 필요한 정보는 최대한 남기려는 input 최적화 방법이다.

vllm

LLM의 추론 과정은 크게 두 단계로 나뉩니다. Prefill(프리필) 단계 이 단계에서는 사용자가 입력한 프롬프트(문장)를 처음으로 처리합니다.

FP8 Quantization

한줄 요약 FP8 Quantization은 LLM의 weight, activation tensor, 때로는 KV cache를 8-bit floating point로 낮춰 inference 비용을 줄이는 방법이다.

Batch Decoding

LLM API 콜 할때 시간/비용이 많이 요구되는 이슈를 해결하기 위해 사용하는 방법 일종의 프롬프트 엔지니어링 처럼 해결하는 것으로 보임 PROMPT = """\ 다양한 작업에 대한 답변을 생성해주세요, 이러한 작업 지침은 ChatGPT 모델에 주어지며, ChatGPT 모델이 지침을...

LLMOps

LLMOps vs. MLOps Reference: 대규모 언어 모델의 핵심 기술 LLMOps를 알아보자! | KT Enterprise LLMOps 와 MLOps 는 머신러닝 모델을 효율적으로 운영하고 관리하기 위해 존재합니다. 목적은 같지만, 명확한 차이점이 있는데요.

Trainer(huggingface)

언어 모델을 학습하기 위해 사용하는 허깅페이스 클래스. 주로 LLM 을 학습할때 사용한다. Training Arguments steps: 데이터셋에 포함된 배치 개수를 의미.

Positional Encoding

attention 은 토큰 사이의 유사도만 보고 값을 섞는다. 입력 토큰의 순서를 바꿔도 각 토큰이 받는 결과는 그대로 따라 움직일 뿐, 값 자체가 달라지지 않는다. 즉 attention 만으로는 “나는 밥을 먹었다” 와 “밥은 나를 먹었다” 를 구분할 근거가 없다.