Joint Distribution
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
B) 예시
denotes the probability that and simultaneously.
1 min read
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
P(x=x,y=y) denotes the probability that x=x and y=y simultaneously.
Ancestral Sampling graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p (x₁,, xK) 을 sampling 으로 구하는 방식을 의미한다. 각 노드는 자기보다 높은 순번의 노드 (부모 노드) 로 밖에 이어지지 않는다고 가정한다. 예시
Consider an indexed collection of random variables X₁,,Xₙ. To find the value of this member of the joint distribution, we can apply the definition of conditional probability to obtain
Gibbs sampling 의 중요한 점은 multivariate 분포가 주어졌을 때, joint distribution 에 대한 통합을 통해 merginalize 하기 보다 조건부 분포에서 샘플링하기가 더 쉽다는 점을 이용한다는 것이다.
mutual information 은 marginal distributions 의 곱 pX Y 과 joint distribution p (X,Y) 의 KL-Divergence 이다
Probability Distribution Discrete 확률 분포 we use discrete probability distributions to model categorical variables.
Tags: law of total probability 응용 Bayes theorem P(X\mid Y)=P(X,Y)/P(Y) marginalization \displaystyle\operatorname{Pr}(W,L)=\mathrm{E}(\operatorname{Pr}(W,L\mid...
Categorical Distribution Related References.
Chain Rule (probability) Related joint entropy, independence (probability), Bayes theorem Statistic Consider an indexed collection of random variables X {1},\ldots,X {n}.
Multinomial Distribution 다항분포 (multinomial distribution) 란, 여러 개의 값을 가질 수 있는 독립 확률변수들에 대한 확률분포를 의미한다.
Multivariate Gaussian Distribution 다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.
Geometric Distribution 의 정의 기하분포(Geometric Distribution)는 성공 확률이 p인 베르누이(Bernoulli distribution) 시행에서, 처음으로 성공이 나타나기까지 시행한 횟수 k에 대한 확률 분포입니다.
Beta Distribution 2. 정의 베타 분포는 두 매개변수 α 와 β 에 대해 0 과 1 사이에서 정의되는 연속확률분포들의 가족 (a general family of continuous probability distributions) 을 의미한다.
Precision Matrix multivariate Gaussian distribution 에서 covariance matrix 의 inverse 를 precision matrix 라고 부른다. 즉, 다음과 같이 표기할 수 있다.
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.