검색어가 들어오면 후보 상품 수백 개를 골라 딥러닝 랭킹 모델로 점수를 매기고, 점수 순으로 정렬해 돌려준다고 하자.

  • 검색 결과 화면 전체에 쓸 수 있는 시간은 정해져 있다.
  • 그중 랭킹 모델이 쓸 수 있는 몫이 예를 들어 30 ms 라고 하자.
  • 학습할 때 쓴 PyTorch 코드를 그대로 서빙하면 이 시간을 넘기기 쉽다.

응답 시간이 쓰이는 자리

랭킹 모델이 점수를 내는 시간은 크게 네 군데에서 나간다.

  1. 곱셈 · 덧셈 자체: 모델이 크고 후보가 많을수록 연산이 늘어난다.
  2. 메모리에서 숫자를 읽고 쓰는 시간: GPU 는 계산보다 메모리에서 weight 와 중간 결과를 가져오는 데서 먼저 막히는 경우가 많다.
  3. GPU 에 일을 시키는 횟수: 작은 연산을 하나씩 따로 실행하면 실행마다 붙는 준비 시간이 쌓인다.
  4. 다 채우지 못한 GPU: 요청 하나만으로는 GPU 의 연산 장치를 다 채우지 못한다.

모델 밖에서도 시간이 든다.

  • 피처 조회, 네트워크 왕복, 결과 정렬도 같은 예산 안에서 쓰인다.
  • 무거운 모델에 넣는 후보 수 자체를 줄이는 방법도 있다. Cascade Ranking System 은 가벼운 모델로 후보를 먼저 줄이고, 무거운 모델에는 상위 후보만 넣는다.

기법과 적용 단계

추론을 빠르게 하는 기법은 모델을 만드는 단계부터 서빙하는 단계까지 차례로 걸린다.

flowchart LR
  M["학습된 큰 모델"] --> S["작은 모델<br/>distillation · pruning"]
  S --> Q["낮은 정밀도 모델<br/>quantization"]
  Q --> E["GPU 에 맞춘 실행 엔진<br/>컴파일"]
  E --> B["서빙 서버<br/>동적 배치"]

각 기법이 위 네 자리 중 어디를 줄이는지는 다음과 같다.

  • knowledge distillation · pruning: 모델을 작게 만들어 1 과 2 를 줄인다. 재학습이 필요하다.
  • Quantization: 숫자 하나를 담는 바이트를 줄여 2 를 줄이고, 낮은 정밀도 전용 연산 장치로 1 을 빠르게 한다.
  • 컴파일: 연산을 합치고 GPU 에 맞는 구현을 골라 2 와 3 을 줄인다. ONNX, TensorRT, torch.compile 이 여기에 속한다.
  • 동적 배치: 여러 요청을 묶어 한 번에 실행해 4 를 줄인다.

이 기법들은 서로 대신하는 관계가 아니라 겹쳐 쓰는 관계다.

  • distillation 으로 만든 작은 모델을 INT8 로 양자화하고, TensorRT 로 컴파일한 엔진을 Triton 서버에 올려 동적 배치로 서빙할 수 있다.
  • 양자화가 컴파일 안에서 같이 일어나기도 한다. TensorRT 는 엔진을 만들 때 층마다 정밀도를 고른다.

latency 와 throughput

latency 는 요청 하나가 응답을 받기까지 걸린 시간이고, throughput 은 초당 처리한 요청 수다.

  • 응답 예산은 latency 로 지킨다.
  • 서버를 몇 대 둘지는 throughput 이 정한다.

대부분 기법은 둘을 함께 좋게 만들지만, 동적 배치는 둘을 맞바꾼다.

  • 연산을 줄이면 요청 하나도 빨라지고, 같은 GPU 로 더 많은 요청을 처리한다.
  • 동적 배치는 요청을 모으려고 기다리는 시간만큼 latency 가 늘 수 있다. 대신 throughput 이 크게 오른다.

응답 예산은 평균이 아니라 느린 쪽 끝으로 지킨다.

  • 평균이 10 ms 여도 100 번 중 한 번이 50 ms 면, 그 한 번의 사용자는 느린 화면을 본다.
  • 그래서 latency 는 보통 p99 로 측정한다. 요청 100 개 중 99 개가 이 시간 안에 끝난다는 뜻이다.

적용 순서

재학습이 필요 없는 것부터 해 본다.

  1. 어디서 시간이 드는지 먼저 측정한다: 피처 조회가 병목이면 모델을 아무리 줄여도 응답은 그대로다.
  2. FP16 · BF16 과 컴파일: 학습을 다시 하지 않고, 대부분 모델에서 정확도 차이가 작다.
  3. 동적 배치: 서빙 서버 설정만 바꾼다.
  4. INT8 PTQ: calibration 데이터만 있으면 된다. 원본과 정확도를 나란히 비교해야 한다.
  5. QAT · distillation · pruning: 위로 모자랄 때 쓴다. 재학습 비용이 든다.

한눈에 보기

  • 시간은 연산 · 메모리 이동 · 실행 횟수 · 다 채우지 못한 GPU 네 군데서 쓰인다: 기법마다 줄이는 자리가 다르다.
  • 모델을 작게 하는 것은 distillation 과 pruning 이다: 재학습이 필요하다.
  • 숫자를 작게 하는 것은 quantization 이다: FP32 를 FP16 · INT8 로 바꿔 메모리 이동을 줄이고 빠른 연산 장치를 쓴다.
  • 실행을 다듬는 것은 컴파일이다: 연산을 합치고 GPU 에 맞는 구현을 골라 엔진으로 만든다.
  • GPU 를 채우는 것은 동적 배치다: 짧게 기다려 요청을 묶고, 기다리는 시간에 상한을 둔다.
  • 모델에 넣는 후보 수를 줄이는 것도 같은 목적이다: 가벼운 모델로 먼저 거르는 cascade 구조를 쓴다.