Gaussian Mixture Model

GMM

GMM 이란, 여러 Gaussian distribution 이 혼합된 모델을 의미한다.

B) GMM

주어진 데이터 $x$ 가 GMM 에서 발생할 확률

$$p(x)=\sum _{k=1}^K{\pi }_{k}N\left(x\mid {\mu }_k,{\Sigma }_k\right)$$

${\pi }_k$ 는 mixing coefficients 라고 부르며, 일종의 weight 역할을 한다. 즉, 어떤 가우시안 분포에 포함되는지 soft clustering 같은 의미 부여 역할을 한다.

• ${\sum }_{k=1}^K{\pi }_k=1,0\le {\pi }_k\le 1$
• ${\pi }_k$ 도 확률 분포의 특성을 가지므로, multinomial distribution 을 따른다.

$k$ 개의 가우시안 분포에서 $x$ 가 발생할 확률을 전부 더한다고 생각하고, 특정 분포가 선택된 것을 표기할때 $z$ 로 둔다고 하면 다음과 같이 표현이 가능하다.

$k$ 개의 가우시안 분포에서 $x$ 가 발생할 확률을 전부 더한다고 생각하고, 특정 분포가 선택된 것을 표기할때 $z$ 로 둔다고 하면 다음과 같이 표현이 가능하다.

$$p(x)=\sum _{k=1}^{K}P\left(z_k\right)P(x\mid z)=\sum _{k=1}^K{\pi }_{k}N\left(x\mid {\mu }_k,{\Sigma }_k\right)$$

$k$ 개의 가우시안 분포에서 $x$ 가 발생할 확률을 전부 더한다고 생각하고, 특정 분포가 선택된 것을 표기할때 $z$ 로 둔다고 하면 다음과 같이 표현이 가능하다.

• selection variable $z_k$ 는 다음과 같은 특성을 갖는다

: $z_k\in \{0,1\},{\sum }_k{z}_k=1,P\left(z_k=1\right)={\pi }_k$

• Log likelihood of the dataset
  • $\ln P(X\mid \pi ,\mu ,\Sigma )={\sum }_{n=1}^N\ln \left\{{\sum }_{k=1}^K{\pi }_{k}N\left(x_n\mid {\mu }_k,{\Sigma }_k\right)\right\}$
• Classification of GMM
  • $x_n$ 이 주어졌을 때, $k$ 번째 가우시안 분포에 포함될 확률을 계산
    • 이 확률을 responsibility $\gamma \left(z_{nk}\right)$ 라고 표현한다.

$$\begin{gathered} \gamma \left(z_{nk}\right)\equiv p\left(z_k=1\mid x_n\right) \\ =\frac{P\left(z_k=1\right)P\left(x\mid z_k=1\right)}{{\sum }_{j=1}^{K}P\left(z_j=1\right)P\left(x\mid z_j=1\right)}=\frac{{\pi }_{k}N\left(x\mid {\mu }_k,{\Sigma }_k\right)}{{\sum }_{j=1}^K{\pi }_{j}N\left(x\mid {\mu }_j,{\Sigma }_j\right)} \end{gathered}$$

• 분수 형태로 바뀐 이유는 Bayes theorem 을 적용했기 때문

C) Training GMM: EM algorithm

C.1) Expectation Step: the Assignment Probability

Given the parameters and the data point, calculate the likelihood

$x,\pi ,\mu ,\Sigma$ 가 주어졌을 때, $\gamma \left(z_{nk}\right)$ 를 계산한다. 즉, 각각의 데이터 포인트가 어떤 가우시안 분포에 속하는지의 확률을 계산한다.

C.2) Maximization step

Update the parameters given $\gamma \left(z_{nk}\right)$

총 3 개의 변수들에 대해서 likelihood 를 각각 미분한 후, 0 이 되는 값을 찾음

$$\frac{d}{d{\mu }_k}\ln P(X\mid \pi ,\mu ,\Sigma )$$ $$\frac{d}{d{\Sigma }_k}\ln P(X\mid \pi ,\mu ,\Sigma )$$ $$\frac{d}{d{\pi }_k}\ln P(X\mid \pi ,\mu ,\Sigma )+\lambda \left(\sum _{k=1}^K{\pi }_k-1\right)$$

mixing coefficient ${\pi }_k$ 는 constraint 이 존재하므로 Lagrange multiplier method 를 적용하였다.

각 parameter 는 $\gamma \left(z_{nk}\right)$ 를 활용하여 다음과 같이 계산될 수 있음

• ${\mu }_k=\frac{{\sum }_{n=1}^N\gamma \left(z_{nk}\right)x_n}{{\sum }_{n=1}^N\gamma \left(z_{nk}\right)}$
• ${\Sigma }_k=\frac{{\sum }_{n=1}^N\gamma \left(z_{nk}\right)\left(x_n-{\mu }_k\right){\left(x_n-{\mu }_k\right)}^T}{{\sum }_{n=1}^N\gamma \left(z_{nk}\right)}$
• ${\pi }_k=\frac{1}{N}\sum _{n=1}^N\gamma \left(z_{nk}\right)$
• 모든 parameter 를 계산하면, 다시 E-step 으로 돌아가서 $\gamma \left(z_{nk}\right)$ 를 재 계산한다. 이를 수렴할때까지 반복한다.

C.3) Why not Use Gradient Descent Method?

stochastic gradient descent 를 이용해서 학습할 수 있지만, 두 가지 이유로 EM 보다는 비 효율적이다.

1. GMM 에서의 가우시안 분포들의 covariance matrix ${\Sigma }_k$ 는 [positive semi-definite](positive definite) 여야 한다는 조건이 붙는다. 하지만 SGD 로는 이러한 제약조건을 명시하면서 학습할 수 없다.
2. EM 방식은 주어진 문제의 structure 를 활용할 수 있다. 즉, SGD 보다 EM 이 더욱 적은 iteration 만으로도 optimal 한 결과에 다다를 수 있다 (더 낮은 loss 또는 높은 likelihood 포함).

D) Expression of GMM by Bayesian network

• 파란색 원은 parameters, 갈색 원은 observations, $N$ 은 데이터셋 개수를 의미