Zzong's Notes

Home

❯

statistic

❯

joint likelihood

joint likelihood

2026년 8월 29일1 min read

Let there be a generative model m describing measured data y using model parameters θ and a prior distribution on θ .

p(y,θ∣m)=p(y∣θ,m)p(θ∣m)

Then, the joint likelihood is equal to the product of likelihood function and prior density:

Related

  • law of conditional probability

References

  • https://statproofbook.github.io/P/jl-lfnprior.html

링크된 언급

1
Tutorial on Probablistic Latent Semantic Analysis

그리고 전체 데이터셋 W 에 대한 joint likelihood 는 다음과 같다

함께 보면 좋은 글

law of conditional probability

Tags conditional probability 정의 \displaystyle p(A\mid B)=\frac{p(A,B)}{p(B)}.

prior

데이터를 보기 전에 파라미터가 어떤 값일지에 대해 갖고 있는 믿음을 확률분포로 적어둔 것이다. Bayesian inference 에서 Bayes theorem 을 통해 데이터의 likelihood 와 결합되어 posterior 를 만든다.

joint distribution

많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.

likelihood

likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 X 에 따른 샘플 x 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 \theta 될 확률을 의미한다. 이는 주로 \mathcal{L}(\theta\mid x) 로 표현한다.

marginal likelihood

a marginal likelihood function, or integrated likelihood, is a likelihood function in which some parameter variables have been marginalized. i.i.d.

joint probability

Tags: law of total probability 응용 Bayes theorem P(X\mid Y)=P(X,Y)/P(Y) marginalization \displaystyle\operatorname{Pr}(W,L)=\mathrm{E}(\operatorname{Pr}(W,L\mid...

conjugate prior

만약 posterior 가 prior 와 동일한 parameterized family 라면 (i.e., p(\boldsymbol{\theta}\mid\mathcal{D})\in\mathcal{F}), 우리는 이 prior p(\boldsymbol{\theta})\in\mathcal{F} 가 likelihood...

joint entropy

Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.

chain rule (probability)

Related joint entropy, independence (probability), Bayes theorem Statistic Consider an indexed collection of random variables X {1},\ldots,X {n}.

conditional probability

the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x) 반드시 P(\mathrm{x}=x)>0 인 상황에서만 성립이 된다.

  • Related
  • References