- http://www.matrixcalculus.org/ : It is an online tool that computes vector and matrix derivatives (matrix calculus).
미분 가능한 다변수 함수에 대한 directional derivative 는 어떤 point 에서 vector 에 대해 계산할 수 있다. 즉, point \mathbf{x} 에서 vector \mathbf{v} 에 대한 directional derivative 는 다음과 같다.
특정 차원에 해당하는 변수 x 의 작은 입력값 변화 \partial x 에 따른 함수의 작은 출력값의 변화 \partial f 를 의미: \displaystyle \frac{\partial f}{\partial x}
f(x)={x}^{n}, n \neq 0 인 경우, f^{\prime}(x)=n x^{n-1} 이다.
그래프와 접하는 평면을 의미한다.
Suppose f:\mathbb{R}^{n}\rightarrow\mathbb{R} is a function taking as input a vector \mathbf{x}\in\mathbb{R}^{n} and outputting a scalar f(\mathbf{x})\in\mathbb{R}.
how quickly the output changes when we move a small distance in input space away from x
y=g(x) 그리고 z=f(g(x))=f(y) 인 경우 chain rule 은 다음과 같다.
신경망 학습은 같은 질문을 계속 반복한다. "파라미터를 아주 조금 바꾸면 loss 가 얼마나 바뀌는가?" 이 답을 알아야 loss 가 줄어드는 방향으로 파라미터를 옮길 수 있다.
임의의 함수에 대한 gradient 는 그 함수의 partial derivatives 함수들을 element 로 가지는 vector 를 의미한다.