MT-Bench

대화의 다음 턴까지 평가하는 벤치마크

MT-Bench는 대화형 LLM의 답변 품질과 지시 이행 능력을 평가하는 80개 2턴 질문 세트 다. Zheng et al.이 2023년 발표한 Judging LLM-as-a-judge with MT-Bench and Chatbot Arena에서 소개했다. 평가 대상 모델이 답변을 만들고 별도의 LLM이 그 답변을 채점한다. 이렇게 LLM을 평가자로 쓰는 방법을 LLM-as-a-judge 라고 한다.

보통 GPT-4 같은 judge가 각 턴에 1–10점을 매기고 평균을 낸다. MT-Bench 점수는 정해진 질문과 채점 기준 아래에서 얻은 답변 품질 점수이며, 정답률과는 다르다. 논문, 공식 평가 안내

80개 질문의 구성

공개된 원본 질문은 영어이며, 8개 범주마다 10개 대화가 있다. 각 대화는 사용자 질문 두 개로 구성된다. 모델 하나가 모든 질문에 답하면 답변은 총 160개가 된다.

범주	평가하는 과제
Writing	글 작성과 조건에 맞춘 수정
Roleplay	주어진 역할과 말투 유지
Extraction	주어진 내용에서 정보 추출
Reasoning	조건을 따지는 추론
Math	수학 문제 풀이
Coding	코드 작성과 변경
STEM	과학·기술·공학·수학 지식
Humanities	인문·사회과학 지식

예를 들어 공개 질문 question_id=81은 첫 턴에 하와이 여행 블로그 글을 쓰게 하고, 두 번째 턴에는 앞선 글의 모든 문장을 알파벳 A로 시작하도록 다시 쓰게 한다. 첫 답변의 내용뿐 아니라 대화 맥락을 이어받아 새 제약을 지키는지도 평가하는 구조다. 질문 데이터

답변 생성에서 점수 집계까지

평가에는 답변을 만드는 대상 모델 과 점수를 매기는 judge 모델 이 참여한다. 두 역할의 모델과 설정을 따로 기록해야 결과를 비교할 수 있다.

1. 대상 모델에 첫 질문을 입력해 답변을 생성한다.
2. 첫 질문과 해당 모델의 답변을 대화 이력에 넣고 두 번째 질문의 답변을 생성한다.
3. Judge가 첫 턴과 두 번째 턴을 각각 채점한다. 두 번째 턴에서는 전체 2턴 대화를 제공하되, 채점 대상은 두 번째 답변이다.
4. 턴별 점수를 저장하고 모델별 평균을 계산한다.

공식 single-answer 프롬프트는 유용성, 관련성, 정확성, 깊이, 창의성, 상세함을 고려하도록 지시한다. Judge는 짧은 평가 이유를 쓴 뒤 점수를 이중 대괄호로 감싸 출력한다. 이유와 점수를 함께 저장하면 낮은 점수가 나온 답변을 다시 살펴볼 수 있다. Judge 프롬프트

기본 점수는 160개 채점 결과의 평균

모든 질문의 두 턴을 한 번씩 정상 채점했을 때 공식 집계 방식은 다음과 같다.

$$S=\frac{1}{2N}\sum _{i=1}^N\sum _{t=1}^2{s}_{i,t},N=80$$

기호	의미
$N$	대화 수, 원본 MT-Bench에서는 80
$i$	대화의 번호
$t$	첫 번째 또는 두 번째 턴
$s_{i,t}$	해당 답변에 judge가 부여한 1–10점
$S$	전체 평균 점수

예를 들어 1턴 평균이 8.0, 2턴 평균이 6.0이고 각각 80개 평가가 모두 있다면 전체 점수는 7.0이다. 전체 평균과 턴별 평균을 함께 보면 후속 질문에서 품질이 떨어지는지도 드러난다.

다만 공식 show_result.py는 실패 점수 -1을 제외하고 남은 행의 평균을 계산한다. 평가가 누락되면 위 식처럼 160개를 평균한 결과가 아니다. 유효 점수 수와 실패 수를 함께 확인하고, 범주별 평균도 따로 살펴보는 편이 좋다. 집계 코드

개별 채점과 답변 쌍 비교

방식	Judge가 하는 일	결과
Single-answer grading	답변 하나를 독립적으로 채점	1–10점과 평균 점수. 공식 기본 방식
Pairwise comparison	같은 질문에 대한 두 모델의 답변을 비교	승리·패배·무승부와 승률
Reference-guided grading	참고 답안을 함께 보고 채점	개별 채점이나 쌍 비교에 결합

Reference-guided grading은 별도의 점수 척도가 아니다. Judge가 풀이의 옳고 그름을 판단하도록 참고 답안을 주는 방법이며, 확인한 FastChat 구현에서는 MT-Bench의 math, reasoning, coding 범주에 적용한다. 평가 생성 코드, 공통 구현

쌍 비교에는 특정 기준 모델과 비교하는 pairwise-baseline과 모든 모델 쌍을 비교하는 pairwise-all이 있다. 공식 집계 코드는 답변 순서를 바꾼 두 판정이 일치할 때 승패를 확정하고, 불일치하면 무승부로 처리한다. 출력의 win_rate_adjusted는 무승부를 0.5승으로 계산한 비율이다. 기준 모델, 비교 집합, 무승부 처리 방식이 다른 승률을 그대로 비교해서는 안 된다. 쌍 비교 집계

사람과 80% 이상 일치한다는 결과의 조건

논문의 agreement는 평가자들이 같은 답변을 선호한 비율 이다. 답변의 사실 정확도가 80%라는 의미는 아니다.

MT-Bench의 1턴 평가에서 무승부를 제외한 S2 조건은 GPT-4 쌍 비교와 사람 사이의 일치율이 85%, 사람끼리는 81%였다. 무승부를 포함하고 순서 교환 후 불일치를 무승부로 처리한 S1에서는 각각 66%, 63%였다. 논문 Table 5(a)

이 결과는 당시 모델과 질문, 평가자, 무승부 처리 조건에서 얻었다. 다른 언어·도메인이나 성능 차이가 작은 모델 쌍에서도 같은 일치율이 유지된다고 보장하지 않는다.

Judge의 편향과 평가 범위

Judge도 잘못 채점할 수 있다. 논문은 답변 위치에 따른 position bias, 불필요하게 긴 답변을 선호하는 verbosity bias, 수학·추론 답변의 오류를 놓치는 문제를 다룬다. 자기 모델의 답변을 선호할 가능성도 살폈지만, 제한된 자료만으로 self-enhancement bias를 확정하지는 않았다. 논문 §3.3–3.4

답변 순서를 바꾸거나 참고 답안을 제공하면 일부 오류를 줄일 수 있지만, 판정의 정확성이 보장되지는 않는다. 특히 80개 2턴 질문만으로 장기 대화, 도구 실행, 한국어 서비스의 품질까지 판단하기는 어렵다. 도구를 호출해 작업을 끝내는 능력은 답변 글이 아니라 행동의 결과를 채점하는 에이전트 벤치마크가 따로 평가한다.

같은 논문의 Chatbot Arena는 사용자가 익명의 두 모델과 대화하고 선호하는 답변에 투표하는 방식이다. 고정 질문에 대한 judge 점수를 얻는 MT-Bench와는 질문 수집·평가 방식이 다르다. 논문 §2.3

MT-Bench 이후에는 무엇을 더 평가하는가

MT-Bench의 2턴 대화만으로는 여러 차례 수정 요청을 받은 모델이 앞선 조건을 유지하는지 알기 어렵다. 답변 품질을 judge에게 맡기는 평가와, 정답이나 출력 조건을 직접 검사하는 평가도 서로 다른 정보를 준다. 함께 볼 벤치마크는 측정하려는 능력에 따라 고른다.

평가 목적	벤치마크	MT-Bench와 비교해 볼 점
어려운 개방형 질문의 답변 품질	Arena-Hard v2	실제 사용자 질문에서 고른 어려운 질문 500개와 창작 질문 250개를 LLM judge로 평가한다. 고정 2턴 대화 구성과는 다르다.
여러 턴에 걸친 조건 유지	MultiChallenge	지시 유지, 대화에서 추론한 정보의 기억, 자기 일관성, 여러 버전에 걸친 수정 능력을 평가한다.
답변 선호도와 길이 편향	AlpacaEval 2.0 LC	기준 모델과의 답변 비교에서 길이 효과를 보정한 승률을 제공한다. LC는 length-controlled를 뜻한다.
정확한 지시 이행	IFBench — Ai2	형식·개수·문장 조건 등 검증 가능한 지시를 지켰는지 평가한다. 전반적인 답변의 인상과 제약 충족 여부를 구분한다.
정답을 검증할 수 있는 능력	LiveBench	수학·코딩·추론 등의 답을 정답 기준으로 채점하며, 문제를 갱신해 학습 데이터 오염 위험을 줄이도록 설계했다.
실제 사용자의 선호	Arena의 Text 평가	익명 모델 간 답변에 대한 사용자 투표를 모은다. 고정 질문 세트인 벤치마크와 구분되는 평가 플랫폼이다.

예를 들어 글을 작성한 뒤 말투를 바꾸고, 길이를 줄이고, 특정 문장을 보존하도록 차례로 요청하는 상황을 생각할 수 있다. 마지막 답변이 자연스러워도 처음에 지정한 조건을 잊었다면 대화 전체의 요구를 충족하지 못한다. 이런 실패를 살펴보려면 MultiChallenge처럼 여러 턴의 조건 유지를 다루는 평가가 맞다. MultiChallenge는 2026년 3월 judge를 Gemini 2.5 Pro로 바꾸고 약 54개 과제를 다듬었으므로 결과를 인용할 때 평가 버전도 함께 확인한다. 업데이트 안내

Judge를 사용하는 평가에서는 평가자 자체의 능력 도 별도로 검증할 수 있다. JudgeBench는 지식·추론·수학·코딩 답변 쌍에서 judge가 옳고 그름을 구별하는 능력을 다룬다. 2026년 공개된 LongJudgeBench는 긴 출력물을 평가하는 judge를 대상으로 한다. 답변을 잘 만드는 모델이 평가자로도 적합한지는 별도의 검증 문제다.

Artificial Analysis의 종합 점수와는 어떻게 다른가

Artificial Analysis Intelligence Index 는 여러 능력의 평가 결과를 합친 종합 지수다. 2026-10-01 확인한 v4.3.2에는 MT-Bench, Arena-Hard, MultiChallenge, AlpacaEval, LiveBench, Arena 사용자 선호 점수가 포함되지 않는다. 공식 방법론

이 버전은 다음 10개 평가를 묶는다. 이름이 비슷한 LiveBench와 LiveCodeBench는 서로 다른 벤치마크이며, 아래 구성에는 둘 다 없다.

영역	v4.3.2에 포함된 평가
에이전트 업무 수행	AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA
코딩	Terminal-Bench 4.0, SciCode
일반 능력	AA-Omniscience, GDP.pdf, AA-LCR v1.1
과학 추론	Humanity’s Last Exam, CritPt

출처: Intelligence Index 평가 구성. 구성과 가중치는 버전에 따라 바뀌므로 서로 다른 버전의 점수를 그대로 비교하지 않는다.

IFBench는 채택 이력과 현재 상태를 구분해야 한다. 2025년 8월 v2.1에 포함됐지만, 2026년 6월 v4.1에서는 상위 모델 간 차이를 충분히 구분하지 못한다는 이유로 제외됐다. Artificial Analysis는 이후에도 신규 모델의 IFBench 결과를 별도로 평가한다. 사이트에 평가 결과가 있다는 것과 종합 점수에 반영된다는 것은 다르다. 버전 이력, v4.1 변경 안내

종합 지수는 여러 용도의 모델을 비교하는 출발점으로 쓸 수 있다. 다만 높은 종합 점수만으로 문체 선호나 대화 중 수정 능력까지 판단하기는 어렵다. 대화형 서비스라면 종합 지수에 더해 앞 절의 대화·지시 이행 평가와 실제 서비스 질문의 결과를 함께 보는 편이 목적에 맞다.

실험 결과를 비교할 때 기록할 조건

MT-Bench를 모델이나 프롬프트 변경 전후의 비교에 쓴다면 질문 세트와 채점 조건을 고정하는 편이 해석하기 쉽다. 다음 항목을 결과와 함께 남긴다.

• 답변 생성 조건: 대상 모델의 정확한 버전, chat template, system prompt, temperature, 최대 출력 길이.
• 채점 조건: judge의 정확한 버전, judge 프롬프트, 참고 답안, 개별 채점 또는 쌍 비교 여부.
• 집계 범위: 전체·턴별·범주별 평균, 유효 평가 수, 실패·재시도 수, 쌍 비교의 기준 모델과 무승부 처리 방식.

Judge나 프롬프트를 바꿨다면 기존 답변도 새 조건으로 다시 채점해야 변화의 원인을 구분하기 쉽다. 영어 원본을 한국어로 번역한 평가 역시 별도의 변형으로 명시한다. 질문과 언어 조건이 달라진 점수를 원본 MT-Bench 결과와 동일하게 취급할 수는 없다.

실제 서비스 선택에는 서비스 질문으로 만든 별도 평가 세트와 사람의 표본 검토를 함께 쓰는 편이 좋다. MT-Bench 평균에서 차이가 나더라도, 어떤 질문과 턴에서 개선됐는지 확인해야 서비스에서 필요한 능력의 변화인지 판단할 수 있다.

References

• Zheng et al. (2023), Judging LLM-as-a-judge with MT-Bench and Chatbot Arena
• FastChat LLM Judge — 실행 방법과 평가 모드
• 확인한 FastChat 소스 버전: 587d5cfa — 2026-10-01 확인. 질문·프롬프트·집계 설명은 이 버전을 기준으로 한다.