Zzong's Notes

방문

Home

❯

통계

❯

joint likelihood

joint likelihood

최초 작성 2026-06-14마지막 수정 2026-08-29읽는 데 1분

노트 편집 ↗

Let there be a generative model m describing measured data y using model parameters θ and a prior distribution on θ .

p(y,θ∣m)=p(y∣θ,m)p(θ∣m)

Then, the joint likelihood is equal to the product of likelihood function and prior density:

Related

  • law of conditional probability

References

  • https://statproofbook.github.io/P/jl-lfnprior.html

링크된 언급

1
Tutorial on Probablistic Latent Semantic Analysis

그리고 전체 데이터셋 W 에 대한 joint likelihood 는 다음과 같다

함께 보면 좋은 글

law of conditional probability

Tags conditional probability

prior

데이터를 보기 전에 파라미터가 어떤 값일지에 대해 갖고 있는 믿음을 확률분포로 적어둔 것이다. Bayesian inference 에서 Bayes theorem 을 통해 데이터의 likelihood 와 결합되어 posterior 를 만든다.

joint distribution

많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.

likelihood

likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 X 에 따른 샘플 x 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 \theta 될 확률을 의미한다. 이는 주로 \mathcal{L}(\theta\mid x) 로 표현한다.

marginal likelihood

a marginal likelihood function, or integrated likelihood, is a likelihood function in which some parameter variables have been marginalized.

joint probability

Tags: law of total probability 응용 Bayes theorem P(X\mid Y)=P(X,Y)/P(Y) marginalization \displaystyle\operatorname{Pr}(W,L)=\mathrm{E}(\operatorname{Pr}(W,L\mid p))=\int\operatorname{Pr}(W,L\mid p)\operatorname{Pr}(p)dp \mathrm{E} 는 expectation

conjugate prior

만약 posterior 가 prior 와 동일한 parameterized family 라면 (i.e., p(\boldsymbol{\theta}\mid\mathcal{D})\in\mathcal{F}), 우리는 이 prior p(\boldsymbol{\theta})\in\mathcal{F} 가 likelihood 함수에 대한 conjugate prior p(\mathcal{D}\mid\boldsymbol{\theta}) 라고 한다.

joint entropy

Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.

chain rule (probability)

Related joint entropy, independence (probability), Bayes theorem Statistic

conditional probability

the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x)

  • Related
  • References