Zzong's Notes

Embedding-based Retrieval

1 min read

Embedding-based Retrieval(EBR)은 query와 document/item을 vector로 표현한 뒤, vector similarity로 후보를 가져오는 retrieval 방식이다. lexical match가 약한 표현 차이를 넘어서 semantic recall을 넓히는 데 자주 사용한다.

기본 흐름

  1. Query encoder가 query embedding을 만든다.
  2. Document/item encoder가 corpus embedding을 만든다.
  3. ANN index에서 query embedding과 가까운 후보를 찾는다.
  4. ranking 단계에서 lexical, behavioral, business feature와 함께 다시 정렬한다.

실무에서 볼 점

EBR은 recall을 넓히는 데 강하지만, embedding space가 모든 relevance를 보장하지는 않는다. 그래서 BM25 같은 lexical baseline, hard negative sampling, reranking, freshness, diversity를 함께 설계해야 한다.

링크된 언급

1

함께 보면 좋은 글

Qwen3 Embedding

Qwen3 Embedding은 Qwen3 계열 foundation model을 기반으로 만든 dense embedding model이다.

DPR

DPR (Dense Passage Retrieval) Facebook AI Research에서 2020년 발표한 dense retrieval 의 대표적 방법론.

Two-tower Model

Two-tower model은 query/user tower와 item/document tower를 분리해서 embedding을 만든 뒤, 두 embedding의 similarity로 match score를 계산하는 구조다.

On the Theoretical Limitations of Embedding-Based Retrieval

2508.21038 Query 종류 🧭 지시 기반 검색(Instruction-based Retrieval) 지시 기반 검색이란, 단순히 키워드나 문장만으로 정보를 찾는 것을 넘어, 사용자의 의도와 지시를 파악하여 그에 부합하는 문서를 찾아주는 방식입니다.

sentence transformers

Code Reivew Encoding 문장이 배치로 주어지면, 문장 길이가 가장 짧은 순서대로 문장을 정렬해서 배치로 가져온다.

Scaling Laws For Dense Retrieval

Dense Retrieval 모델의 스케일링 법칙: 모델 크기와 데이터가 성능에 미치는 영향 이 연구는 정보 검색 분야의 핵심 기술인 Dense Retrieval(밀집 벡터 기반 검색) 모델의 성능이 모델 크기와 학습 데이터 양에 따라 어떻게 변화하는지를 체계적으로 분석합니다.

Gemini Embedding - Generalizable Embeddings from Gemini

2503.07891 🏗️ 모델 구조 입력 처리: 입력 텍스트를 Gemini 기반 Transformer로 처리 Pooling: Mean pooling을 사용해 전체 시퀀스를 하나의 벡터로 요약 투영: 선형 투영층을 통해 원하는 차원의 임베딩 생성 (최대 3072차원) 🎯 학습 방식 Loss Function:...

Jina-Embeddings-v4

📘 Jina-Embeddings-v4 논문 요약 모델 개요 모델 크기: 약 3.8B 파라미터 기반 모델: Qwen2.5-VL-3B-Instruct 입력 범위: 최대 32k 토큰의 텍스트와 최대 20MP 해상도의 이미지 출력 방식: Single-vector 모드: 전체 문서를 하나의 2048차원 벡터로 표현.