문서가 주어졌을 때 질의를 생성하도록 학습된 seq2seq transformer 모델로 미리 정의된 합성 질의들을 각 문서마다 생성한다. 이후에 BM25 로 확장된 문서의 retrieval 작업을 수행한다.
문서가 주어졌을 때 질의를 생성하도록 학습된 seq2seq transformer 모델로 미리 정의된 합성 질의들을 각 문서마다 생성한다. 이후에 BM25 로 확장된 문서의 retrieval 작업을 수행한다.
주어진 쿼리에 대해 문서와의 연관성을 평가하는 ranking 알고리즘. TF-IDF 계열의 대표적인 sparse retrieval 방법으로, term frequency saturation과 document length normalization을 도입하여 TF-IDF의 한계를 개선했다.
Sparse retrieval 모델(BM25, SPLADE 등)은 Inverted Index 위에서 동작하며, 기존 검색 엔진 인프라를 그대로 재활용할 수 있다. 이 노트에서는 SPLADE의 인퍼런스 흐름과 OpenSearch/Elasticsearch에서의 실무 적용을 다룬다.
SparTerm (Yang Bai et al., 2020)은 BERT의 MLM(Masked Language Modeling) Head를 활용하여 문서/쿼리를 vocab 크기의 sparse vector로 변환 하는 learned sparse retrieval 모델이다. SPLADE의 직접적인 전신으로, SPLADE가...
임베딩 모델은 텍스트와 같은 입력 데이터를 의미적 의미를 담은 벡터 표현(임베딩)으로 변환하는 모델입니다. 이 벡터 표현을 사용하면 원시 텍스트와 달리 수학적 연산이 가능해져 검색, 클러스터링, 분류 등 다양한 작업에 활용할 수 있는 유사도 점수를 얻을 수 있습니다.
SPLADE( SP arse L exical A n D E xpansion model)는 NAVER LABS EUROPE에서 개발한 learned sparse retrieval 모델이다. 문장이나 문단을 vocabulary 크기(e.g. 30,522차원)의 희소 벡터 로 매핑하며, 의미 기반 검색(semantic...
Inverted Index는 검색 엔진의 핵심 자료구조로, "단어 → 해당 단어가 등장하는 문서 목록(+ 가중치)" 를 저장하는 방식이다.
Active Dimensions(활성 차원)은 sparse embedding 벡터에서 0이 아닌 값을 가진 차원의 수 를 말한다. SPLADE 같은 learned sparse retrieval 모델은 vocabulary 크기(e.g. 30,522 또는 50,000차원)의 벡터를 출력하는데, 대부분의 차원은 0이고...
Elasticsearch에서 SPLADE 기반 sparse retrieval을 사용하는 방법을 정리한다. 크게 두 가지 접근이 있다:
2025년 retrieval 구성 방식에 따른 트랜드 조사
여러 문서로 이루어진 문서군 D 이 있을 때 어떤 단어 t 가 특정 문서 d 내에서 얼마나 중요한 것인지를 나타내는 통계적 수치 이다.