One Token to Fool LLM-as-a-Judge

대형 언어모델(LLM)을 ‘심판’으로 쓸 때 발생하는 치명적 허점과 해결책

A.1) LLM 심판이 쉽게 속는 이유

‘LLM-as-a-Judge’(생성형 보상 모델)란 무엇인가?

사람이 하나씩 AI 답변을 채점하는 대신, GPT-4o 같은 강력한 대형 언어모델(LLM)을 ‘심판’으로 활용해 답변의 옳고 그름을 자동 평가합니다. 이러한 방식은 강화학습(RLHF, RLVR)에서 AI에게 보상을 제공하는 핵심 역할을 담당합니다.

발견된 취약점: ‘마스터 키(Master Keys)’ 공격

연구진은 LLM 심판이 실제 답변의 품질보다 표면적 형식이나 특정 문구에 지나치게 의존한다는 사실을 밝혔습니다. 즉, 아무 의미 없는 오답이라도 앞에 특정 단어나 기호(일명 ‘마스터 키’)를 붙이면 LLM 심판이 이를 정답으로 잘못 인식하는 현상이 크게 늘어났습니다.

• 대표적인 ‘마스터 키’ 예시:
  • 추론 시작 문구: “Thought process:”, “Let’s solve this problem step by step.”, “Solution”, 중국어 ‘解’, 일본어 ‘かいせつ’ 등
  • 단순 기호: ”.”, ”:”, ”,”, 혹은 공백(” ”)

문제의 심각성: Figure 1 그래프를 보면 Qwen, LLaMA3, GPT-4o 등 최신 모델조차 이런 마스터 키 공격에 최대 80~90%까지 속아 넘어갑니다. 즉 오답의 80~90%를 정답으로 잘못 평가한 것입니다.

A.2) 실험 결과 및 증거

• 전반적인 취약성: 이 문제는 특정 모델이나 데이터셋에만 국한되지 않고, 다양한 최신 LLM에서 공통적으로 드러나는 시스템적인 결함임이 확인되었습니다.

• 모델 크기와 취약성(Figure 4): 흥미롭게도 모델 크기를 키운다고 해서 문제가 단순히 해결되지 않았습니다. 오히려 파라미터 수가 $1.5B\sim 3B$ 구간에서 가장 취약성이 커졌다가 이후 감소했다가, 다시 $32B$나 $72B$처럼 초대형 모델에서 다시 증가하는 예측 불가능한 패턴을 보였습니다.

• 새로운 마스터 키 자동 생성(Table 3): 기존 마스터 키와 유사한 표현(“Thought experiment” 등)을 자동으로 찾아내 공격 도구로 쓰는 것이 가능함도 실험적으로 입증되었습니다. 즉 공격 방법은 얼마든지 다양하게 늘릴 수 있습니다.

A.2.1.1) 데이터 증강 기반 방어책: ‘Master-RM’ 개발

핵심 아이디어: LLM 심판이 이런 속임수에 더 이상 휘둘리지 않도록 데이터 증강(data augmentation) 전략을 적용했습니다.

• 훈련 과정 요약

  1. 기존 정답·오답 데이터셋 약 $16$만 개를 준비합니다.
  2. 문제 해결과 무관하게 마스터 키 문장만 집어넣은 가짜 오답 데이터 $2$만 개를 별도로 만듭니다.
  3. 이 가짜 오답들에는 반드시 “오답(NO)” 라벨을 붙입니다.
  4. 기존 데이터와 합쳐 새로운 LLM 심판용 평가 모델을 재학습시킵니다.

• 결과: 강력한 방어 성능

새로 만든 Master-RM(마스터 보상 모델)은 Table 1 맨 왼쪽 열에서 볼 수 있듯 모든 종류의 마스터 키 공격에 대해 *거의 오류율 $0\%$*로 완벽히 방어했습니다.

Table 2에서도 확인되듯 Master-RM은 속임수만 잘 분별할 뿐 아니라 일반적인 답변 평가 능력 역시 GPT-4o 수준으로 유지했습니다—보안과 성능 모두 잡은 것입니다.

핵심은 **새로운 모델(‘Master-RM’)을 만들기 위해 사용된 ‘훈련용 데이터’**와, 이 모델을 포함한 **여러 모델들의 취약점을 ‘테스트’하기 위해 사용된 ‘벤치마크 데이터’**를 구분하는 것입니다.

A) 주인공 모델: Master-RM (본 연구에서 개발한 새로운 모델)

이 논문에서 제안하는 ‘해킹 방어용’ LLM 심판 모델입니다.

• 기반 모델 (Base Model): Qwen2.5-7B-Instruct 모델을 기반으로 만들어졌습니다. Qwen은 알리바바 그룹에서 개발한 강력한 오픈소스 언어 모델이며, ‘7B’는 파라미터(매개변수)가 70억 개임을 의미합니다. ‘Instruct’는 지시사항을 잘 따르도록 미세 조정된 버전임을 뜻합니다.
• 훈련 방식: 아래 ‘2. 학습 데이터’에서 설명할 **특별히 조작된 훈련 데이터(18만 개)**를 사용하여 미세 조정(fine-tuning)되었습니다. 이를 통해 ‘마스터 키’와 같은 속임수를 ‘오답’으로 인지하도록 학습했습니다.
• 공개 정보: 이 모델과 훈련 데이터는 누구나 사용할 수 있도록 허깅페이스(Hugging Face)에 공개되어 있습니다.
  • 모델: huggingface.co/sarosavo/Master-RM
  • 데이터셋: huggingface.co/datasets/sarosavo/Master-RM

A.2.1.2) 특수 목적 LLM 심판 모델 (Specialized LLM Judges)

Master-RM처럼 답변을 평가하는 ‘심판’ 역할에 이미 특화된 다른 모델들입니다. Master-RM의 성능을 비교하기 위해 사용되었습니다.

• Multi-sub RM: Master-RM의 기반이 된 아이디어를 제공한 이전 연구의 모델입니다.
• General-Verifier: 역시 검증(verification)을 목적으로 튜닝된 모델입니다.
• Omni-Judge: 수학 문제 채점 등 특정 목적에 더 최적화된 심판 모델입니다.

A.2.2) 학습 데이터 (Data)

데이터 역시 크게 두 종류로 나뉩니다.

A.2.2.1) A) Master-RM을 위한 ‘훈련용 데이터’ (Training Data)

Master-RM을 ‘해킹 방지용’으로 만들기 위해 특별히 구성된 데이터셋입니다.

• 기반 데이터셋 (16만 개): Su et al. (2025)의 연구에서 사용된 기존 훈련 데이터 16만 개를 사용했습니다. 이 데이터는 (질문, 정답, AI의 답변, 채점 결과(YES/NO)) 형태로 구성되어 있습니다.

• 데이터 증강 (2만 개 추가): 이 논문의 핵심 아이디어입니다.

  1. 기존 데이터에서 무작위로 2만 개의 질문을 뽑습니다.
  2. GPT-4o-mini 모델을 이용해 이 질문들에 대한 의도적으로 상세한 풀이 과정(chain-of-thought)이 포함된 답변을 생성합니다.
  3. 생성된 답변에서 딱 첫 번째 문장만 잘라냅니다. 이 문장들은 보통 “이 문제를 풀기 위해…”, “먼저 방정식을…” 과 같은 실제 풀이와는 관련 없는 ‘마스터 키’와 유사한 문장이 됩니다.
  4. 이렇게 잘라낸 2만 개의 ‘가짜 오답’ 문장에 전부 ‘NO(오답)‘라는 라벨을 붙입니다.

• 최종 훈련 데이터셋 (18만 개): 기반 데이터 16만 개와 새로 만든 ‘가짜 오답’ 데이터 2만 개를 합쳐 총 18만 개의 데이터셋을 구성하여 Master-RM 훈련에 사용했습니다.

A.2.2.2) B) 모델들을 위한 ‘테스트용 벤치마크’ (Benchmark Datasets)

다양한 모델들이 ‘마스터 키’ 공격에 얼마나 취약한지 성능을 시험(test)하기 위해 사용된 표준 데이터셋들입니다. (논문의 Table 5에 명시됨)

• Multi-subject RLVR: 상식, 사실 등 다양한 주제를 다루는 일반적인 질문 데이터셋입니다.
• NaturalReasoning: 사람이 자연스럽게 질문하는 형식의 개방형 질의응답 데이터셋입니다.
• GSM8K: 초등학교 수준의 수학 응용 문제 데이터셋입니다.
• MATH: 고등학교 수준의 복잡한 수학 문제 데이터셋입니다.
• AIME 1983-2024: 미국 수학 올림피아드 수준의 매우 어려운 수학 문제 데이터셋입니다.

이처럼 일반 상식부터 매우 어려운 수학 문제까지 다양한 종류의 데이터셋을 사용함으로써, ‘마스터 키’ 취약점이 특정 분야에 국한되지 않는 광범위한 문제임을 증명했습니다.

A.2.2.3) 결론 및 시사점

1. 현행 LLM 심판 신뢰 곤란: 현재 널리 쓰이는 LLM-as-a-Judge 방식은 매우 단순한 속임수에도 쉽게 뚫립니다. 따라서 AI 성능 평가나 학습 과정에서 무조건적으로 사용해서는 안 됩니다.

2. 데이터 증강의 실효성: 공격 패턴을 명시적으로 “오답”으로 학습시키는 것만으로도 LLM의 견고함(robustness)을 크게 높일 수 있습니다.

3. 신뢰 가능한 AI 개발 필수: AI 스스로 지식을 배우고 발전시키는 시대에는 정확한 ‘심판’ 역할이 무엇보다 중요합니다. 만일 심판 시스템이 잘못된 판단 기준을 가지면, AI는 실제 정답 대신 속이는 방법만 익힐 위험이 높으므로 신뢰할 수 있는 평가체계 개발이 시급합니다.

요약하면, 대형 언어모델(LLM)을 답변 평가용 ‘자동 채점관’으로 쓸 때 간단한 트릭(“Solution”, “Thought process:” 등)에 쉽게 속아 오답도 정답처럼 채점한다는 치명적 허점을 발견했고, 이를 데이터 증강 방식으로 효과적으로 막아내는 해법(Master-RM)을 제시한 연구입니다.