Gaussian Distribution

A.1) Single Variable

N (x ∣ μ, σ^{2}) = \frac{1}{( 2 π σ ^{2} ) ^{1/2}} exp {- \frac{1}{2 σ ^{2}} (x - μ)^{2}}

종종 $σ$ 값을 precision $τ = 1/ σ^{2}$ 으로 대체하여 표현한다.

N (x ∣ μ, τ) = \frac{τ}{2 π} exp (- \frac{1}{2} τ (y - μ)^{2})

$D$ 차원 vector 의 데이터셋 $x$ 에 대한 가우시안 분포는 multivariate Gaussian distribution 라고 부르며, pdf 는 다음과 같이 계산된다.

N (x ∣ μ, Σ) = \frac{1}{( 2 π ) ^{D /2}} \frac{1}{∣ Σ ∣ ^{1/2}} exp {- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)}

위 수식에 대한 notation 은 다음과 같다.

$μ$ 는 $D$ - 차원 mean vector
$Σ$ 는 $D \times D$ 차원의 covariance matrix: $Cov [x] ≜ E [(x - E [x]) (x - E [x])^{⊤}]$
covariance matrix 는 [positive-definite matrix](positive definite) 여야 한다.
- normalizing constant: $Z = (2 π)^{D /2} ∣ Σ ∣^{1/2}$

Mahalanobis distance: $Δ$ covariance matrix

일반적으로 Gaussian distribution 이 잘 정의되기 (well defined) 위해선, covariance matrix 의 모든 eigenvalue $λ_{i}$ 가 strictly positive 한 조건이 필요하다: positive definite
물론 일부 eigenvalue 가 0 인 case 도 있는데 이는 covariance matrix 가 positive semidefinite 일 경우를 의미한다.

trace trick 을 활용하여 미분을 진행할 수 있음

가우시안 분포를 가지는 두 독립 변수 $X$ , $Y$ 의 합 (sum) 도 가우시안 분포를 가진다.

즉, $X \sim N (μ_{X}, σ_{X}^{2})$ , $Y \sim N (μ_{Y}, σ_{Y}^{2})$ 이고, $Z = X + Y$ 이면 $Z \sim N (μ_{X} + μ_{Y}, σ_{X}^{2} + σ_{Y}^{2})$ 를 만족한다.

subtraction 에도 적용할 수 있다: $Z = Y - X$ 이면 $Z \sim N (μ_{Y} - μ_{X}, σ_{X}^{2} + σ_{Y}^{2})$

종종 Gaussian linear model 을 보면 이런식으로 표현하는 경우가 있다

h_{i} ϵ_{i} = μ + ϵ_{i} \sim Normal (0, σ)

이는 $h_{i} \sim Normal (μ, σ)$ 와 동일하다.

하지만 $ϵ$ 을 사용하는 방법은 별로 좋지않다. 왜냐하면 다른 분포에 대해서는 표현하지 못하기 때문에 general 한 면이 떨어진다.