Zzong's Notes

scann

1 min read

(1) Scann

구글에서 만든 ANN 라이브러리. 2022 년 기준 벤치마크 상으로 가장 좋은 성능을 내고 있다.

B) (2) 튜닝하기

  • 데이터가 100k 개 이상일 경우, AH 로 점수를 계산하고 rescore 절차를 거쳐야 한다.
  • AH 로 점수를 계산할 때, dimensions_per_block 은 2 로 설정하자.
  • 파티셔닝 시에 num_leaves 는 데이터포인트 개수의 제곱근 수 (square root) 와 비슷하게 설정하면 좋다.

C) References

링크된 언급

3
ANN

...st Neighbor)은 정확한 nearest neighbor를 전수 계산하지 않고, 충분히 가까운 후보를 빠르게 찾는 검색 방식이다. Retrieval에서는 HNSW, IVF, faiss, scann, Vamana 같은 index가 dense embedding search의 latency와 recall을 결정한다.

maximum inner product search

.... Product Quantization(PQ)은 하나의 고차원 벡터를 여러 하위 벡터로 나누고 각각 독립적으로 양자화합니다. 이런 방식으로 메모리를 절약하면서 빠른 근사 검색이 가능합니다. ScaNN 같은 라이브러리는 파티셔닝 및 이방성 양자화(Anisotropic Quantization)를 결합하여 대규모 환경에서도 효율적인 성능을 보장합니다. 이외에도 트리 기반 또는 그래프 기반 알고...

Retrieval

...i Embedding Generalizable Embeddings from Gemini 같은 embedding model로 확장된다. 실제 serving에서는 HNSW, IVF, faiss, scann, Vamana 같은 indexing 전략이 품질과 latency를 좌우한다. Multi vector retrieval은 single vector embedding의 정보 손실을 줄이려는 흐름...