- Information Bottleneck 은 신호의 압축률과 정보 손실 간의 trade-off 를 푸는 문제이다
- IB Formalized the problem that finding a short code for X that preserves the maximum information about Y through a ‘bottleneck’
1 min read
Information Bottleneck
Mitigating Confounding Bias in Recommendation via Information Bottleneck dl.acm.org/doi/pdf/10.1145/3460231.3474263 Abstract biased 와 unbiased feedback 생성 과정을 설명 두 과정의 차이는...
Information Gain Decision Tree 에서 tree 의 node 를 나눌 때, feature 를 선택하는 기준으로 information gain 을 사용한다.
Fisher Information 피셔 정보는 어떤 정보의 양을 측정하는 방법이다. 그 정보란, 랜덤 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다.
Information Value Related References A Sub-linear, Massive-scale Look-alike Audience Extension System (yahoo, 2016) .
Relative Information Gain 시간 t 에 대한 RIG 값은 다음과 같다.
Pointwise Mutual Information 두 이산 랜덤 변수 X,Y 에 대하여 outcome x,y 쌍의 PMI 는 동시에 나타나는 확률을 수량화한다. 이때 두 분포는 서로 독립적임을 가정한다.
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.
Information Noise-Contrastive Estimation InfoNCE (Information Noise-Contrastive Estimation) 손실은 대조 학습 (contrastive learning) 에서 널리 사용되는 손실 함수 비지도 학습 방식 InfoNCE 손실은 양의 쌍...
Optimization Problem 최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
한줄 요약 LLM이 모호한 태스크를 받았을 때, Bayesian Experimental Design (BED) 을 활용해 정보 이득(EIG)이 최대인 clarifying question 을 생성하여 모호성을 능동적으로 해소하는 프레임워크.