Jina-Embeddings-v4

📘 Jina-Embeddings-v4 논문 요약

A.1) 모델 개요

• 모델 크기: 약 3.8B 파라미터
• 기반 모델: Qwen2.5-VL-3B-Instruct
• 입력 범위: 최대 32k 토큰의 텍스트와 최대 20MP 해상도의 이미지
• 출력 방식:
  • Single-vector 모드: 전체 문서를 하나의 2048차원 벡터로 표현. Matryoshka 방식을 통해 128~512차원으로 축소 가능.
  • Multi-vector 모드: 각 토큰을 독립적인 128차원 벡터로 투영하여, 토큰 수만큼의 벡터를 생성.

---

A.2) Multi-vector 방식

이 방식은 입력된 각 토큰(텍스트나 이미지 단위)을 독립적으로 임베딩하여 ColBERT 스타일의 late interaction을 활용해 쿼리와 문서를 매칭한다.

장점

• 표, 차트, 코드와 같은 세밀한 단위의 검색에 뛰어남.
• 쿼리와 문서의 특정 부분 간 직접적인 매칭 가능.

단점

• 벡터 수가 토큰 수에 비례하므로 저장 공간과 연산량이 크게 증가.

대응 전략

• 중요 토큰만 선택하여 유지하거나,
• 긴 문서는 슬라이딩 윈도우로 분할하여 처리,
• 또는 single-vector와 병행 사용.

---

A.3) Single-vector 방식

모든 토큰 임베딩을 평균 풀링(mean pooling)해 하나의 고정된 벡터로 표현하는 구조이다.

장점

• 저장 효율과 검색 속도가 우수함.
• Matryoshka 차원 축소를 적용해도 성능 저하가 적음.

단점

• 세밀한 정보(예: 표 내 특정 값)에 대한 검색 성능은 다소 떨어짐.

---

A.4) LoRA 어댑터 (태스크 맞춤 최적화)

각 태스크에 맞게 학습된 LoRA 어댑터를 통해 성능을 세분화한다.

어댑터 종류	주요 목적	특징
Retrieve 어댑터	비대칭 쿼리–문서 검색	접두사 인코딩 + 하드 네거티브 학습
Text Matching 어댑터	의미적 유사도 계산	CoSENT loss 기반 학습
Code 어댑터	코드–자연어 검색	코드 전용 표현 최적화

---

A.5) 주요 성능 지표

평가 항목	결과 요약
시각 문서 검색 (Jina-VDR)	기존 ColPali 대비 높은 점수
ViDoRe 벤치마크	multi-vector 모드에서 확실한 우위
Cross-modal 검색(CLIP 기준)	jina-clip-v2 대비 개선된 성능
STS(문장 유사도)	영어·다국어 모두 안정적인 결과
코드 검색(CoIR)	특화 모델보다 낮지만 범용성 대비 우수

---

A.6) 효율적 활용 전략

상황	추천 모드
대규모 데이터, 빠른 검색 필요 시	Single-vector (128~512차원 축소 활용)
세밀한 정보 탐색, 정밀 매칭 필요 시	Multi-vector 사용 (특히 표·코드·이미지 분석에 효과적)
실제 서비스 환경	single-vector로 coarse filtering 후 multi-vector로 정교한 reranking 수행

---

A.7) ✅ 핵심 요약

Jina-Embeddings-v4는 멀티모달, 다국어, 장문 처리를 모두 지원하는 범용 임베딩 모델이다. 특히 multi-vector 방식을 통해 정교한 표현력을 확보하면서도, single-vector 방식을 이용해 효율성과 실용성을 동시에 달성하는 하이브리드 접근법을 제안한다.

🔗 jina‑embeddings‑v4 모델 페이지