Trace Trick
- matrix 미분에 대한 trick 인듯 한데, 자세히는 모르겠음
- 정의
1 min read
B) Derivative of PDF B.1) Multivariate Gaussian Distribution trace trick 을 활용하여 미분을 진행할 수 있음 C) Sum of Normally Distributed Random Variables 가우시안 분포를 가지는 두 독립 변수 X, Y 의 합 (sum)...
Trace square matrix \boldsymbol{A}\in\mathbb{R}^{n\times n} 의 trace 는 주어진 정사각 행렬의 대각 원소들의 합을 의미한다.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
Frobenius Norm A.1) 정의 matrix의 norm 계산 방식으로, 모든 원소의 제곱합의 제곱근이다.
Dot Product 벡터 u 와 v 가 존재한다고 가정할때, 내적 u\cdot v 은 v 에서 u 로 내린 projection p 의 길이와 u 의 크기 ||u|| 값을 곱한것과 같다. B) References.
Matrix matrix 는 linear mapping 또는 vector 의 collection 이라고 생각할 수 있다. 벡터 공간 은 꽤 추상적이므로, 이를 컴퓨터에 표현하고 다루기 위해서는 숫자들로 구성된 직사각형 array 들, 즉, 행렬을 사용할 필요가 있다.
Transpose For \boldsymbol{A} \in \mathbb{R}^{m \times n} the matrix \boldsymbol{B} \in \mathbb{R}^{n \times m} with b {i j}=a {j i} is called the transpose of \boldsymbol{A}.
Gaussian Distribution A.1) Single Variable \displaystyle\mathcal{N}\left(x\mid\mu,\sigma^{2}\right)=\frac{1}{\left(2\pi\sigma^{2}\right)^{1/2}}\exp\left\{-\frac{1}{2\sigma^{2}}(...
Hadmard Product matrix 의 element-wise product: \boldsymbol{A}\odot\boldsymbol{B} Related References.
Hessian Matrix Suppose f:\mathbb{R}^{n}\rightarrow\mathbb{R} is a function taking as input a vector \mathbf{x}\in\mathbb{R}^{n} and outputting a scalar f(\mathbf{x})\in\mathbb{R}.
Vectorization (mathematics) The vectorization of a matrix is a linear transformation which converts the matrix into a column vector.