Dirichlet Distribution

Dirichlet(디리클레) 분포는 Beta distribution 의 확장판

• Beta 분포의 경우 $X\sim \mathrm{Beta}(\alpha ,\beta )$ 에서 sample 을 뽑을 시 0 과 1 사이의 값이 나옴
• Dirichlet 분포의 경우 vector 를 sampling 하고, vector 의 원소들은 모두 $[0,1]$ 값을 가지며, 다 합치면 $1$ 이 나옴
  • 즉, Dirichlet 의 sample space 에 존재하는 vector 는 확률 분포와 동일한 속성을 지닌다.
• 디리클레 분포는 $k$ 차원의 실수 벡터에서, 벡터의 원소가 양수이며 모든 요소를 더한 값이 1 인 경우에 확률값이 정의되는 연속확률분포이다.
• pdf of Dirichlet distribution
  • Parameter 가 $a_1,\dots ,a_K>0,K\ge 2$ 이면, 디리클레 분포의 pdf 는

$f\left(x_1,\dots ,x_K;{\alpha }_1,\dots ,{\alpha }_K\right)=\frac{1}{\mathrm{B}(\mathbf{\alpha })}\prod _{i=1}^K{x}_i^{{\alpha }_i-1}$ 이다.

Normalizing constant $\mathrm{B}(\mathbf{\alpha })$ 는 multivariate beta function 으로, gamma function 으로 표현될 수 있다.

$$\mathrm{B}(\mathbf{\alpha })=\frac{{\prod }_{i=1}^K\Gamma \left({\alpha }_i\right)}{\Gamma \left({\sum }_{i=1}^K{\alpha }_i\right)},\mathbf{\alpha }=\left({\alpha }_1,\dots ,{\alpha }_K\right)$$

$K=2$ 인 경우 Beta distribution 이다.

• concentration parameter $\alpha$ 값의 의미
  • 높은 ${\alpha }_i$ 값은 그 $x_i$ 에 대해 더 많은 가중치가 존재함을 뜻한다.
  • 만약 ${\alpha }_i$ 가 모두 동일하다면, 그 분포는 symmetric 하다.
  • ${\alpha }_i<1$ 이라면, $x_i$ 에서 멀어지는 anti-weight 의 정도로 생각할 수 있다.
  • 예시

: (a) ${\alpha }_1={\alpha }_2={\alpha }_3=1$, (b) ${\alpha }_1={\alpha }_2={\alpha }_3=10$, (c) ${\alpha }_1=1,{\alpha }_2=10,{\alpha }_3=5$, (d) ${\alpha }_1={\alpha }_2={\alpha }_3=0.2$

• 특징
  • the Dirichlet distribution 는 multinomial distribution 그리고 categorical distributions 와 conjugate prior 관계이다. 그래서 Dirichlet 분포는 prior 분포로 사용할 수 있다.
  • 수식
    • multinomial 분포에 대한 likelihood 는 다음과 같이 계산

: $P(X\mid \theta )=\frac{n!}{x_1!\dots x_K!}{\theta }_1^{x_1}\dots {\theta }_K^{x_K}$

	* Dirichlet 분포의 prior는 다음과 같이 표현됨

: $p(\theta )=\mathrm{Dir}(\theta \mid \alpha )=\frac{1}{B(\alpha )}\prod _{k=1}^K{\theta }_k^{{\alpha }_k-1}$

	* conjugate prior 특성으로 인해, posterior는 Dirichlet 분포를 따르게 되는데, 이는 다음과 같음

: $p(\theta \mid X)\propto \prod _{k=1}^K{\theta }_k^{{\alpha }_k+x_k-1}$

두 분포에 대한 vector 표현을 서로 더한 것 (beta 분포와 Bernoulli distribution 의 관계와 동일)

$p(\theta \mid X)=\mathrm{Dir}\left(\theta \mid \left(\begin{array}{c}\dots \\ {\alpha }_k+x_k\\ \dots \end{array}\right)\right)$

• [Maximum log-Likelihood Estimation](Maximum Likelihood Estimation) of Dirichlet distribution parameters
  • $\begin{array}{rl}F(\alpha )& =\log p(D\mid \alpha )\\ & =\log \prod _{i}p\left({\mathbf{p}}_i\mid \alpha \right)\\ & =\log \prod _i\frac{\Gamma \left({\sum }_k{\alpha }_k\right)}{{\prod }_k\Gamma \left({\alpha }_k\right)}\prod _k{p}_{ik}^{{\alpha }_k-1}\\ & =N\left(\log \Gamma \left(\sum _k{\alpha }_k\right)-\sum _k\log \Gamma \left({\alpha }_k\right)+\sum _k\left({\alpha }_k-1\right)\log {\hat{p}}_k\right)\end{array}$
    • $\log {\hat{p}}_k=\frac{1}{N}{\sum }_i\log p_{ik}$ 는 관찰된 sufficient statistics
    • 해당 log-likelihood 함수는 $\alpha$ 에 대해 convex 하기 때문에 unique optimum 을 보장한다.
• In Recommendation System
  • latent topic 에 대한 standard deviation 을 구하면 user 의 topic 에 대한 선호도가 적절히 분산되어있는지, 아니면 한쪽으로 편향되어 나타나는지 확인할 수 있다 (일반적으로 표준 편차가 작을수록 사용자의 선호도를 잘 구별하지 못한다고 생각할 수 있음).
  • $\alpha$ 값이 클수록 각 사용자에 대해 더 많은 topic 이 할당되고, 작을수록 각 사용자에 대해 더 작은 topic (skew 된) 이 할당됨

2. Related

• multinomial distribution
• Latent Dirichlet Allocation

3. References

bayesian - What exactly is the alpha in the Dirichlet distribution? - Cross Validated