Jacobian Matrix

In vector calculus, the Jacobian matrix of a vector-valued function of several variables is the matrix of all its first-order partial derivatives.

다음과 같은 함수 $\mathbf{f}:{\mathbf{R}}^n\to {\mathbf{R}}^m$ 를 가정하자. 이 함수의 1 차 부분 미분은 ${\mathbf{R}}^n$ 이다. 다시 말하면, 이 함수는 $\mathbf{x}\in {\mathbf{R}}^n$ 의 점을 입력으로 받고, $\mathbf{f}(\mathbf{x})\in {\mathbf{R}}^m$ 의 벡터를 출력으로 뱉는다.

이때, $\mathbf{f}$ 의 Jacobian matrix 는 - $\mathbf{f}$ 의 입출력 차원을 뒤집은 - $m\times n$ 크기를 가지며, $\mathbf{J}$ 로 표현된다. 그리고 $(i,j)$ 번째의 entry 는 ${\mathbf{J}}_{ij}=\frac{\partial f_i}{\partial x_j}$ 이며, $\mathbf{J}$ 는 다음과 같이 계산된다

$$\mathbf{J}=\left[\begin{array}{ccc}\frac{\partial \mathbf{f}}{\partial x_1}& \cdots & \frac{\partial \mathbf{f}}{\partial x_n}\end{array}\right]=\left[\begin{array}{c}{\nabla }^{\mathrm{T}}{f}_1\\ ⋮\\ {\nabla }^{\mathrm{T}}{f}_m\end{array}\right]=\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \cdots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& \cdots & \frac{\partial f_m}{\partial x_n}\end{array}\right]$$

여기서 ${\nabla }^{\mathrm{T}}{f}_i$ 는 $i$ 번째 원소의 gradient 에 대한 transpose (row vector) 이다. 즉, 자코비안 행렬의 각 행은 특정 함수의 gradient 를 나타낸 것으로 생각할 수 있다.

자세한 내용은 여기를 참고: Difference between gradient and Jacobian

B) Jaccobian of the Element-wise Operations

두 벡터 $\mathbf{w}$ 와 $\mathbf{x}$ 에 대한 element-wise 연산을 나타내는 함수 $y$ 가 있다고 가정하자.

$$\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{f}_1(\mathbf{w})◯g_1(\mathbf{x})\\ f_n(\mathbf{w})◯g_2(\mathbf{x})\\ ⋮\\ f_n(\mathbf{w})◯g_n(\mathbf{x})\end{array}\right]$$

여기서 $◯$ 은 $+$ 와 같은 element-wise 연산을 나타내며, $f$ 와 $g$ 는 각 벡터에 적용되는 서로 다른 함수를 나타낸다. 예를 들어 $y_1=f_1(\mathbf{x})=3x_1^2{x}_2$ 또는 $y_2=f_2(\mathbf{x})=2x_1+x_2^8$ 와 같은 형태로 생각할 수 있다.

이제 위 operations vector 의 $\mathbf{w}$ 에 대한 자코비안 행렬을 구하면 다음과 같다.

$$J_{\mathbf{w}}=\frac{\partial \mathbf{y}}{\partial \mathbf{w}}=\left[\begin{array}{cccc}\frac{\partial }{\partial w_1}\left(f_1(\mathbf{w})◯g_1(\mathbf{x})\right)& \frac{\partial }{\partial w_2}\left(f_1(\mathbf{w})◯g_1(\mathbf{x})\right)& \dots & \frac{\partial }{\partial w_n}\left(f_1(\mathbf{w})◯g_1(\mathbf{x})\right)\\ \frac{\partial }{\partial w_1}\left(f_2(\mathbf{w})◯g_2(\mathbf{x})\right)& \frac{\partial }{\partial w_2}\left(f_2(\mathbf{w})◯g_2(\mathbf{x})\right)& \dots & \frac{\partial }{\partial w_n}\left(f_2(\mathbf{w})◯g_2(\mathbf{x})\right)\\ \dots & & & \\ \frac{\partial }{\partial w_1}\left(f_n(\mathbf{w})◯g_n(\mathbf{x})\right)& \frac{\partial }{\partial w_2}\left(f_n(\mathbf{w})◯g_n(\mathbf{x})\right)& \dots & \frac{\partial }{\partial w_n}\left(f_n(\mathbf{w})◯g_n(\mathbf{x})\right)\end{array}\right]$$

만약 $f_i(\mathbf{w})$ 와 $g_i(\mathbf{x})$ 가 각각 $\mathbf{w}$ 와 $\mathbf{x}$ 의 $i$ 번째 원소 $w_i$ 그리고 $x_i$ 만 접근이 가능하다고 해보자. 이런 경우, 자코비안 행렬의 대각 원소를 제외한 나머지는 0 이 된다.

$$\frac{\partial \mathbf{y}}{\partial \mathbf{w}}=\mathrm{diag}\left(\frac{\partial }{\partial w_1}\left(f_1\left(w_1\right)◯g_1\left(x_1\right)\right),\frac{\partial }{\partial w_2}\left(f_2\left(w_2\right)◯g_2\left(x_2\right)\right),\dots ,\frac{\partial }{\partial w_n}\left(f_n\left(w_n\right)◯g_n\left(x_n\right)\right)\right)$$

C) 예시

C.1) Example 1

$\mathbf{f}:{\mathbf{R}}^2\to {\mathbf{R}}^2$ 이고 $(x,y)\mapsto \left(f_1(x,y),f_2(x,y)\right)$ 인 함수를 고려해보자.

$$\mathbf{f}\left(\left[\begin{array}{l}x\\ y\end{array}\right]\right)=\left[\begin{array}{l}{f}_1(x,y)\\ f_2(x,y)\end{array}\right]=\left[\begin{array}{c}{x}^{2}y\\ 5x+\sin y\end{array}\right]$$

여기서 Jacobian matrix $\mathbf{f}$ 는 다음과 같다.

$${\mathbf{J}}_{\mathbf{f}}(x,y)=\left[\begin{array}{cc}\frac{\partial f_1}{\partial x}& \frac{\partial f_1}{\partial y}\\ \frac{\partial f_2}{\partial x}& \frac{\partial f_2}{\partial y}\end{array}\right]=\left[\begin{array}{cc}2xy& x^2\\ 5& \cos y\end{array}\right]$$

그리고 Jacobian determinant 는 $\det \left({\mathbf{J}}_{\mathbf{f}}(x,y)\right)=2xy\cos y-5x^2$ 이다.

C.2) Example 2

$\mathbf{x}\in {\mathbb{R}}^n$ 이고 $\mathbf{o}\in {\mathbb{R}}^m$ 일 때, $\mathbf{o}=\mathbf{f}(\mathbf{x})$ 라는 mapping 이 있다고 가정해보자. 그리고 이 $\mathbf{f}$ 는 다음과 같은 여러개의 함수들의 합성으로 이뤄졌다고 하자.

$$\mathbf{f}={\mathbf{f}}_4\circ {\mathbf{f}}_3\circ {\mathbf{f}}_2\circ {\mathbf{f}}_1$$

${\mathbf{f}}_1:{\mathbb{R}}^n\to {\mathbb{R}}^{m_1},{\mathbf{f}}_2:{\mathbb{R}}^{m_1}\to {\mathbb{R}}^{m_2},{\mathbf{f}}_3:{\mathbb{R}}^{m_2}\to {\mathbb{R}}^{m_3},\text{and}{\mathbf{f}}_4:{\mathbb{R}}^{m_3}\to {\mathbb{R}}^m$

즉, $\mathbf{o}=\mathbf{f}(\mathbf{x})$ 는 ${\mathbf{x}}_2={\mathbf{f}}_1(\mathbf{x}),{\mathbf{x}}_3={\mathbf{f}}_2\left({\mathbf{x}}_2\right),{\mathbf{x}}_4={\mathbf{f}}_3\left({\mathbf{x}}_3\right),\text{and}\mathbf{o}={\mathbf{f}}_4\left({\mathbf{x}}_4\right)$ 순으로 계산이 이뤄진다. 이때, Jacobian matrix ${\mathbf{J}}_{\mathbf{f}}(\mathbf{x})=\frac{\partial \mathbf{o}}{\partial {\mathbf{x}}^{\top }}\in {\mathbb{R}}^{m\times n}$ 를 chain rule (calculus) 을 통해 계산할 수 있다

$$\begin{array}{rl}\frac{\partial \mathbf{o}}{\partial \mathbf{x}}& =\frac{\partial \mathbf{o}}{\partial {\mathbf{x}}_4}\frac{\partial {\mathbf{x}}_4}{\partial {\mathbf{x}}_3}\frac{\partial {\mathbf{x}}_3}{\partial {\mathbf{x}}_2}\frac{\partial {\mathbf{x}}_2}{\partial \mathbf{x}}=\frac{\partial {\mathbf{f}}_4\left({\mathbf{x}}_4\right)}{\partial {\mathbf{x}}_4}\frac{\partial {\mathbf{f}}_3\left({\mathbf{x}}_3\right)}{\partial {\mathbf{x}}_3}\frac{\partial {\mathbf{f}}_2\left({\mathbf{x}}_2\right)}{\partial {\mathbf{x}}_2}\frac{\partial {\mathbf{f}}_1(\mathbf{x})}{\partial \mathbf{x}}\\ & ={\mathbf{J}}_{f_4}\left({\mathbf{x}}_4\right){\mathbf{J}}_{{\mathbf{f}}_3}\left({\mathbf{x}}_3\right){\mathbf{J}}_{f_2}\left({\mathbf{x}}_2\right){\mathbf{J}}_{{\mathbf{f}}_1}(\mathbf{x})\end{array}$$

C.3) Example 3

identity function $\mathbf{f}(\mathbf{x})=\mathbf{x}$ 에 대한 자코비안 행렬은 identity matrix $I$ 이다.

D) The Possible Jacobian Shapes

함수와 함수의 입력값의 형태에 따라 가질 수 있는 자코비안 행렬의 형태를 시각적으로 표현하면 다음과 같다.

여기서 함수가 scalar 라는 의미는 입력값을 넣었을 때 결과값이 scalar 란 뜻이다.

E) Related

F) References