2025년 retrieval 구성 방식에 따른 트랜드 조사
Lesson Learned
- 네거티브 샘플 수를 늘릴수록 특히 in-domain 환경에서 성능 향상이 두드러지지만, out-of-domain 일반화에는 큰 영향이 없었습니다.
Methods
- 여러 cross-encoder re-ranker 앙상블을 활용해 distillation score 를 생성
SIGIR 2025 에서 읽어볼만한 페이퍼 리스트 (인더스트리)
문서가 주어졌을 때 질의를 생성하도록 학습된 seq2seq transformer 모델로 미리 정의된 합성 질의들을 각 문서마다 생성한다. 이후에 BM25 로 확장된 문서의 retrieval 작업을 수행한다.
이 연구는 정보 검색 분야의 핵심 기술인 Dense Retrieval(밀집 벡터 기반 검색) 모델의 성능이 모델 크기 와 학습 데이터 양 에 따라 어떻게 변화하는지를 체계적으로 분석합니다.
Jina-ColBERT-v2: A General Purpose Multilingual Late Interaction Retriever
BEIR는 zero-shot retrieval 평가를 위해 자주 쓰이는 benchmark suite다. 단일 데이터셋 성능만 보는 대신 여러 도메인의 retrieval task를 묶어 평가하므로, DPR, SPLADE, ColBERT, MUVERA 같은 retriever가 out-of-domain에서도 잘...
지시 기반 검색이란, 단순히 키워드나 문장만으로 정보를 찾는 것을 넘어, 사용자의 의도와 지시를 파악하여 그에 부합하는 문서를 찾아주는 방식 입니다.
이 논문은 ColBERT와 같은 다중 벡터 검색 방법의 높은 정확도를 유지하면서, 저장 공간 및 계산 비용 문제를 해결하는 새로운 모델인 ConstBERT 를 제안합니다. 기존 다중 벡터 검색은 문서의 각 토큰마다 벡터를 저장하여 문서 길이에 따라 저장 공간이 비례적으로 증가하고 계산이 복잡해지는 단점이...
이해를 돕기 위해, 먼저 정보 검색 기술의 흐름을 간단히 짚어보겠습니다.
ColBERT(Contextualized Late Interaction over BERT)는 정보 검색(IR) 분야에서 주목받는 랭킹 모델로, 대규모 문서 컬렉션에서 빠르고 정확하게 관련성 높은 정보를 찾아내는 데 뛰어난 성능을 보입니다. 이 모델의 핵심은 기존 BERT 기반 모델이 가진 높은 정확도는 유지하면서,...
Retrieval-Augmented Generation (RAG) 시스템의 효율성을 극대화하기 위한 새로운 문맥 압축 방법론인 xRAG 를 제안합니다. 핵심은 검색된 긴 문서의 전체 텍스트를 LLM에 입력하는 대신, 해당 문서를 대표하는 단 하나의 임베딩 벡터(embedding vector) 만을 사용하여 LLM이...