Query 종류

FollowIR: “이런 조건을 만족하는 문서를 찾아줘”와 같이 구체적인 지시를 잘 따를 수 있는지 평가하는 데이터셋
BRIGHT: 추론을 동반한 검색 과제를 포함하며, 예를 들어 알고리즘 문제들 사이의 유사성을 바탕으로 정보를 찾는 경우 등을 다룸

A.1) 🧭 지시 기반 검색(Instruction-based Retrieval)

지시 기반 검색이란, 단순히 키워드나 문장만으로 정보를 찾는 것을 넘어, 사용자의 의도와 지시를 파악하여 그에 부합하는 문서를 찾아주는 방식입니다.

이처럼 지시 기반 검색은 단순한 단어 일치가 아닌, 복잡한 조건, 논리적 조합, 추론 및 맥락 이해가 요구됩니다. 기존 임베딩 모델은 이러한 복잡성을 충분히 처리하기 어렵다는 한계가 있습니다.

논리 연산자가 포함된 쿼리는 AND, OR, NOT 등 여러 논리적 조건을 결합하거나 제외해야 하는 경우입니다.

이러한 쿼리는 여러 개념의 결합이나 배제가 필요하므로, 단순 임베딩 기반 검색만으로는 효과적으로 처리하기 어렵습니다.

추론 기반 쿼리는 직접적으로 일치하는 단어나 표현이 없어도 의미나 맥락을 파악해 관련 문서를 찾아야 하는 경우입니다.

“동적 계획법을 사용하는 Leetcode 문제를 찾아줘” → 여기서 ‘동적 계획법’이라는 용어가 문제 설명에 직접 등장하지 않고, 문제 해결 방식으로만 드러날 수 있음.

따라서 이러한 유형의 쿼리는 문서 내용과 사용자의 요청 사이에 존재하는 깊은 의미적 연결성을 이해해야 하므로, 하나의 벡터로만 정보를 표현하는 임베딩 모델로는 제대로 반영하기 어렵습니다.