Zzong's Notes

likelihood

2 min read

Likelihood

likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 에 따른 샘플 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 될 확률을 의미한다. 이는 주로 로 표현한다.

B) Likelihood Vs Probability

확률 변수의 특성에 따라 서로 같을 수 도 있고, 다를 수 도 있다.

이산형 확률 변수에 관해서는 특정 관측치에 관한 확률을 구할 수 있기 때문에, Probability 와 likelihood 의 개념적 차이는 없다. 일반적으로 를 만족하기 위한 를 추정하는 것으로 생각할 수 있다.

연속형 확률 변수에서 Probability 는 특정 관측치에 대한 값은 항상 이다.

likelihood 는 pdf 의 그래프에서 값을 나타낸다. 즉, 를 만족하는 를 추정하는 것으로 생각할 수 있다.

C) Related

D) References

링크된 언급

10
Bayes theorem

...terior 다른 말로 하면, B 가 True 일 때, A 의 posterior probability (사후 확률) P(B\mid A) 도 A 가 발생했을 때 B 가 발생할 조건부 확률: likelihood 다른 말로 하면, A 의 likelihood (우도) P(B\mid A)=L(A\mid B) 주로 A 는 data, B 는 latent variables 로 해석한다. P(A) 와 P(B...

Chain of Hindsight Aligns Language Models with Feedback

...sformer 모델 아키텍처를 사용합니다. 토큰으로 표현된 텍스트 \mathbf{x}=\left[x 1, \cdots, x n\right] 가 주어졌을 때, \mathbf{x} 의 log likelihood 를 자동 회귀적으로 최대화하는 것입니다. CoH 에서는 여러 모델 출력과 피드백을 결합하여 \mathbf{x} 를 구성합니다. E) Related F) References

conjugate prior

...p(\boldsymbol{\theta}\mid\mathcal{D})\in\mathcal{F}), 우리는 이 prior p(\boldsymbol{\theta})\in\mathcal{F} 가 likelihood 함수에 대한 conjugate prior p(\mathcal{D}\mid\boldsymbol{\theta}) 라고 한다. 왜 Conjugate prior 가 중요한가? prior, pos...

Fisher information

... 변수가 가지는 분포의 매개변수에 대해 유추할 수 있는 정보를 말한다. A.1) 정의 어떤 확률 분포 f(y; \theta) 를 따르는 랜덤 변수 y 가 주어졌을 때, 피셔 정보는 log likelihood function l(\theta \mid y) 에 대한 \theta 의 partial derivatives 의 variance 를 의미한다. 여기서 \theta 는 분포의 매개 변수를 의...

logistic regression

... x ; \theta)+P(y=1 \mid x ; \theta)=1 \end{align} B) Loss Function logistic regression 모델이 확률을 예측하기 때문에, likelihood 를 사용해서 parameter 를 fitting 할 수 있다. feature x {i} 가 주어지고, 이에 따른 binary 관측 class y {i} 가 주어질 때, y i = 1 일 ...

marginal likelihood

Marginal Likelihood a marginal likelihood function, or integrated likelihood, is a likelihood function in which some paramet...

Maximum Likelihood Estimation

...dots,x {n}\right) 이라 할 때, 이 표본들에서 파라미터 \theta=\left(\theta {1},\cdots,\theta {m}\right) 를 추정하는 방법이다. 여기서 likelihood (가능도) 란, 지금 얻은 데이터 x 가 \theta 라는 parameter 로 구성된 분포로부터 나왔을 확률 p(\theta \mid x) 을 의미한다. 수치적으로 likelihood ...

negative log likelihood

Negative Log Likelihood machine learning 은 주어진 데이터만으로 미지의 최적 모델에 대한 parameter \theta 를 찾아야 한다. classification 문제에서, 입력값 X 와 para...

Probability

...bability Distribution에서 나타날 가능성의 정도를 의미한다. 확률은 P(\text{data} \mid \text{distribution})로 나타내며, 이 표현을 뒤집으면 likelihood가 된다. 즉, 랜덤 변수 X가 파라미터 \theta를 가진 분포를 따를 때, 특정 값 x가 관측될 확률을 P(x \mid \theta)로 표현할 수 있다. 확률 간 비교는 확률 변수의 특...

probit model

...(x {i}^{\prime} \beta\right) \end{aligned} \ 여기서 x i 는 K \times 1 크기를 가지는 vector 이다. 단일 observation 에 대한 likelihood 값은 \mathcal{L}\left(\beta ; y {i}, x {i}\right)=\Phi\left(x {i}^{\prime} \beta\right)^{y {i}}\left[1 \Ph...