Zzong's Notes

Normalized Discounted Cumulative Gain

1 min read

NDCG

NDCG 는 DCG 를 정규화한 결과를 의미한다.

우선 DCG 는 다음과 같이 계산된다.

는 아이템의 순위를 나타내고, 는 번째 순위에 위치한 아이템의 상관 정도 (relevance) 를 의미한다. 즉, 상위권에 대한 추천 결과가 높은 상관성을 보일 경우, 높은 DCG 값을 나타낸다.

만약 DCG 에서 관련성의 비중을 높이고 싶다면 다음 식을 이용한다.

NDCG 는 다음과 같이 계산된다.

예시는 위키를 확인할 것. 아주 잘 정리되어있다. Discounted cumulative gain

링크된 언급

6
Architecting and Evaluating an AI-First Search API

...onstraint에 강하고, semantic branch는 intent와 paraphrase에 강하다. 넷째, Search API 평가는 traditional IR metric만으로 부족하다. NDCG나 recall도 필요하지만, agent workflow에서는 answer correctness, citation usefulness, context compactness, latency를 함께...

LambdaMART

LambdaMART란 MART 모델은 NDCG와 같은 평가 지표를 최적화하는 데 사용되는 머신러닝 기법입니다. LambdaMART는 LambdaRank와 MART를 결합한 순위 학습(Learning to Rank, LTR) 알고리즘으로, ...

Learning-to-Rank

... Learning to Rank 방식의 성능을 측정한다 MRR: Mean Reciprocal Rank MAP: Mean Average Precision NDCG: Normalized Discounted Cumulative Gain C) MAB 와 비교 LTR 은 combinatorial 학습 문제로 볼 수 있는데, 이는 a set of actions 이 주어졌을 때 reward 를 최대화할...

loss function

... 잘 맞추는지 C) Loss 와 Metric 은 다르다 Loss 는 학습 중 gradient 를 만들기 위한 함수이고, metric 은 모델을 평가하기 위한 척도다. 예를 들어 추천/검색에서는 NDCG, Recall, precision 을 보고 싶지만, 이들은 그대로 미분하기 어렵기 때문에 학습에서는 cross entropy, pairwise loss, contrastive loss 같은 s...

personalized ranking model

...g of the entire list of items, for example, direct optimizing the ranking measures such as Normalized Discounted Cumulative Gain (Normalized Discounted Cumulative Gain). pointwise 나 pairwise 방식보다 복잡하며 계산 비용이 높다. B) Rela...

Towards More Relevant Product Search Ranking Via Large Language Models

...l)이 중요합니다. 본 연구에서는 LLM을 이용해 라벨과 특성을 효과적으로 생성·활용하는 방법에 집중하였습니다. A.1) 라벨 설계 LTR 모델 학습에는 listwise 접근 방식을 채택하며, NDCG를 최적화 목표로 설정합니다. 이때 각 상품의 랭킹 점수 산출에는 두 가지 주요 요소가 반영됩니다: 콘텐츠 기반 적합도와 참여(engagement) 기반 적합도입니다. 콘텐츠 기반 적합도는 제품...