trace

square matrix $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 의 trace 는 주어진 정사각 행렬의 대각 원소들의 합을 의미한다.

$$\mathrm{tr}(\mathbf{A}):=\sum _{i=1}^n{a}_{ii}$$

Properties

trace 는 다음 성질을 가진다.

• $\mathrm{tr}(\mathbf{A}+\mathbf{B})=\mathrm{tr}(\mathbf{A})+\mathrm{tr}(\mathbf{B})$, for $\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{n\times n}$
• $\mathrm{tr}(\alpha \mathbf{A})=\alpha \mathrm{tr}(\mathbf{A})$, for $\alpha \in \mathbb{R},\mathbf{A}\in {\mathbb{R}}^{n\times n}$
• $\mathrm{tr}\left({\mathbf{I}}_n\right)=n$
• $\mathrm{tr}(\mathbf{A}\mathbf{B})=\mathrm{tr}(\mathbf{B}\mathbf{A})$, for $\mathbf{A}\in {\mathbb{R}}^{n\times k},\mathbf{B}\in {\mathbb{R}}^{k\times n}$

마지막 성질(cyclic property) 을 두 벡터의 곱에 적용하면, outer product 의 trace 가 inner product 와 같아진다.

$$\mathrm{tr}\left(\mathbf{x}{\mathbf{y}}^{\top }\right)=\mathrm{tr}\left({\mathbf{y}}^{\top }\mathbf{x}\right)={\mathbf{y}}^{\top }\mathbf{x}\in \mathbb{R}$$

여기서 $\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$ 이다.

Trace Trick

Trace trick 은 scalar 를 trace 로 감싼 뒤 cyclic property 로 행렬 곱의 순서를 바꾸는 기법이다. Scalar $c$ 는 $1\times 1$ 행렬로 볼 수 있으므로 $c=\mathrm{tr}(c)$ 이고, 이 등식 덕분에 이차형식 (quadratic form) 을 다음처럼 바꿔 쓸 수 있다.

$${\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}=\mathrm{tr}\left({\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}\right)=\mathrm{tr}\left(\mathbf{A}\mathbf{x}{\mathbf{x}}^{\top }\right)$$

여기서 $\mathbf{x}\in {\mathbb{R}}^n$ 은 벡터, $\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 은 행렬이다. 오른쪽 식에서는 $\mathbf{A}$ 가 맨 앞으로 나와 있어서, $\mathbf{A}$ 에 대해 미분할 때 아래 공식을 바로 쓸 수 있다.

$$\frac{\partial }{\partial \mathbf{A}}\mathrm{tr}(\mathbf{A}\mathbf{B})=\frac{\partial }{\partial \mathbf{A}}\mathrm{tr}(\mathbf{B}\mathbf{A})={\mathbf{B}}^{\top }$$ $$\frac{\partial }{\partial \mathbf{A}}\log |\mathbf{A}|={\mathbf{A}}^{-\top }$$

$|\mathbf{A}|$ 는 $\mathbf{A}$ 의 determinant 다. multivariate Gaussian 의 log-likelihood 는 $\log |\mathbf{\Sigma }|$ 항과 $(\mathbf{x}-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })$ 항으로 이루어져 있어서, covariance matrix $\mathbf{\Sigma }$ 의 maximum likelihood 추정값을 유도할 때 이 두 공식을 함께 쓴다.