Chain Rule (calculus)

Scalar case

$y=g(x)$ 그리고 $z=f(g(x))=f(y)$ 인 경우 chain rule 은 다음과 같다.

$$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$$

Vector case

크기가 $n$ 인 vector $\mathbf{x}$ 가 있고, $\mathbf{g},\mathbf{f}$ 는 각각 입력과 출력이 $n\times k$ , $k\times m$ 이라고 하자.

$$\frac{\partial }{\partial \mathbf{x}}\mathbf{f}(\mathbf{g}(\mathbf{x}))=\frac{\partial \mathbf{f}}{\partial \mathbf{g}}\frac{\partial \mathbf{g}}{\partial \mathbf{x}}$$

위 식은 Jacobian matrix 로 표현이 가능하다. 해당 행렬은 $f_i$ 를 $g_i$ 에 대하여 가능한 모든 조합과 $g_i$ 를 $x_i$ 에 대하여 가능한 모든 조합을 포함하고 있다.

$$\frac{\partial }{\partial \mathbf{x}}\mathbf{f}(\mathbf{g}(\mathbf{x}))=\left[\begin{array}{llll}\frac{\partial f_1}{\partial g_1}& \frac{\partial f_1}{\partial g_2}& \cdots & \frac{\partial f_1}{\partial g_k}\\ \frac{\partial f_2}{\partial g_1}& \frac{\partial f_2}{\partial g_2}& \cdots & \frac{\partial f_2}{\partial g_k}\\ \frac{\partial f_m}{\partial g_1}& \frac{\partial f_m}{\partial g_2}& \cdots & \frac{\partial f_m}{\partial g_k}\end{array}\right]\left[\begin{array}{llll}\frac{\partial g_1}{\partial x_1}& \frac{\partial g_1}{\partial x_2}& \dots & \frac{\partial g_1}{\partial x_n}\\ \frac{\partial g_2}{\partial x_1}& \frac{\partial g_2}{\partial x_2}& \cdots & \frac{\partial g_2}{\partial x_n}\\ \frac{\partial g_k}{\partial x_1}& \frac{\partial g_k}{\partial x_2}& \dots & \frac{\partial g_k}{\partial x_n}\end{array}\right]$$

사실 행렬의 대각 원소가 아니면 $\frac{\partial w_i}{\partial x_j}$ 에서 $i\ne j$ 인 경우는 0 의 값을 가진다. 결과적으로 위 식은 다음과 같이 diagonal matrix 로 간소화될 수 있다.

$$\frac{\partial }{\partial \mathbf{x}}\mathbf{f}(\mathbf{g}(\mathbf{x}))=\mathrm{diag}\left(\frac{\partial f_i}{\partial g_i}\right)\mathrm{diag}\left(\frac{\partial g_i}{\partial x_i}\right)=\mathrm{diag}\left(\frac{\partial f_i}{\partial g_i}\frac{\partial g_i}{\partial x_i}\right)$$

예시

vector 내적 $y=\mathbf{f}(\mathbf{w})\cdot \mathbf{g}(\mathbf{x})={\sum }_i^n\left(w_i{x}_i\right)=\mathrm{sum}(\mathbf{w}\otimes \mathbf{x})$ 에 대해서 $\frac{dy}{d\mathbf{x}}$ 를 계산한다고 해보자. 이때, $\mathbf{u}=\mathbf{w}\otimes \mathbf{x}$ 를 통해 치환하고, chain rule 을 활용하면 다음과 같다.

• $\frac{d\mathbf{u}}{d\mathbf{x}}=\frac{d}{d\mathbf{x}}(\mathbf{w}\otimes \mathbf{x})=\mathrm{diag}(\mathbf{w})$
• $\frac{dy}{d\mathbf{u}}=\frac{d}{d\mathbf{u}}\mathrm{sum}(\mathbf{u})={\overrightarrow{1}}^T$
• $\frac{dy}{d\mathbf{x}}=\frac{dy}{d\mathbf{u}}\times \frac{d\mathbf{u}}{d\mathbf{x}}={\overrightarrow{1}}^T\times \mathrm{diag}(\mathbf{w})={\mathbf{w}}^T$

Related

References