Zzong's Notes

Retrieval-Augmented Generation

1 min read

Retrieval-Augmented Generation

RAG is a method that retrieves relevant information from a knowledge base and appends it to the user’s prompt, significantly enhancing the model’s response.

B) 고도화 사례

Contextual Embeddings and Contextual BM25. This method can reduce the number of failed retrievals by 49% and, when combined with re-ranking, by 67%.

C) References

링크된 언급

4
Architecting and Evaluating an AI-First Search API

...단순히 “관련 문서를 잘 찾는 API”가 아니라, 모델이 바로 사용할 수 있는 작고 정확한 evidence를 낮은 latency로 주는 API 에 가까워진다. 이 관점은 Retrieval Augmented Generation에서 말하는 Context Precision과 바로 연결된다. 문서 전체가 관련 있어도, 모델에게 필요한 건 그 안의 특정 paragraph나 span일 수 있다. 너무 ...

Context Precision

...게 본다. B) 직관 RAG에서는 LLM이 앞쪽 context를 더 강하게 참고하거나, context window 때문에 뒤쪽 정보를 충분히 쓰지 못할 수 있다. 그래서 Retrieval Augmented Generation 평가에서는 recall만 보지 말고 Context Precision처럼 ranking quality를 함께 봐야 한다. C) References RAGAS

LLMOps

...초거대언어모델 (LLM) 은 기존의 모델을 기반으로 특정 분야의 성능을 높이기 위해 추가 데이터를 학습하는 파인튜닝이라는 작업을 거칩니다. A.3) Prompt Engineering & RAG 일반 MLOps 와 차별을 가지는 부분이 있음. PE 도 버저닝이 필요하고, RAG 방식 역시 버저닝이 필요하다. A.4) 하이퍼파라미터 조정의 목적 비용 절감과 효율적인 연산을 위해 하이퍼파...

Retrieval

..., 최종 re ranking에서는 Re ranking, Maximal Marginal Relevance, Seesaw Effect 같은 노트가 연결된다. 응용 관점에서는 Retrieval Augmented Generation과 CalibRAG가 RAG 쪽 진입점이고, product search 쪽은 GRAM Generative Retrieval and Alignment Model, LREF,...