multivariate Gaussian distribution

다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.

PDF

$$\mathcal{N}(\mathbf{y}\mid \mathbf{\mu },\mathbf{\Sigma })\triangleq \frac{1}{(2\pi {)}^{D/2}|\mathbf{\Sigma }{|}^{1/2}}\exp \left[-\frac{1}{2}(\mathbf{y}-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{y}-\mathbf{\mu })\right]$$

• $\mathbf{\mu }=\mathbb{E}[\mathbf{y}]\in {\mathbb{R}}^D$ 는 mean vector
• $\mathbf{\Sigma }=\mathrm{Cov}[\mathbf{y}]$ 는 $D\times D$ 는 covariance matrix

차원 MVN

2 차원에서는 MVN 는 bivariate Gaussian 분포로 알려져있다.

$\mathbf{y}\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$, where $\mathbf{y}\in {\mathbb{R}}^2,\mathbf{\mu }\in {\mathbb{R}}^2$ 그리고 $\mathbf{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& {\sigma }_{12}^2\\ {\sigma }_{21}^2& {\sigma }_2^2\end{array}\right)=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)$

• 여기서 $\rho$ 는 correlation 계수다: $\mathrm{corr}\left[Y_1,Y_2\right]\triangleq \frac{\mathrm{Cov}\left[Y_1,Y_2\right]}{\sqrt{\mathbb{V}\left[Y_1\right]\mathbb{V}\left[Y_2\right]}}=\frac{{\sigma }_{12}^2}{{\sigma }_1{\sigma }_2}$

위 내용을 정리해서 PDF 를 계산하면 다음과 같다.

$$p\left(y_1,y_2\right)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \left(-\frac{1}{2\left(1-{\rho }^2\right)}\times \left[\frac{{\left(y_1-{\mu }_1\right)}^2}{{\sigma }_1^2}+\frac{{\left(y_2-{\mu }_2\right)}^2}{{\sigma }_2^2}-2\rho \frac{\left(y_1-{\mu }_1\right)}{{\sigma }_1}\frac{\left(y_2-{\mu }_2\right)}{{\sigma }_2}\right]\right)$$

Related

• Mahalanobis distance