activation function

링크된 언급

7

...를 추정하고 표현하는 기법은 t SNE 다. B) Applications Data denoising Data Restoration C) AE 의 장점 신경망에 non linear activation function 을 사용하기 때문에, non linear 한 데이터에 대한 차원 압축을 원활히 진행할 수 있다. Principal Component Analysis 는 주성분 벡터를 이용해 기존...

backpropagation

...euron 을 의미). 그리고 \nabla {a} C 는 편미분 \partial C / \partial a {j}^{L} 를 원소로 가지는 gradient 를 의미한다. 위 식은 activation function \sigma 에 상관없이 항상 적용될 수 있는 식이다. (2) 그리고 l 번째 layer 의 error 를 l+1 번째 layer 의 error 로 표현하면 다음과 같다. \de...

Link Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다. B) Related ...

... 최소화하는 것이 학습의 목적이므로 weight 가 줄어든다. 결과적으로, 줄어든 weight 를 통해서 계산된 각 layer 의 output 은 0 에 가깝게 된다. 위 그림은 activation function 중 tanh function 에 대한 그림이다. weight 가 작다면, 0 의 값 중심으로 layer 의 output z^{[l]} 이 몰릴것이고, 해당 레이어는 선형 (lin...

residual connection

Residual Connection 이란 residual connection 은 skip connection 과 동일한 개념으로, gradient 를 non linear 한 activation function 을 통과시키지 않고 network 로 직접 흘려보내는 방법을 의미한다. B) 사용하는 이유 vanishing gradients 의 문제를 완화하기 위함

...ase: 220 M T5 large: 770 M B) T5 V1.1 아래와 같은 고도화 작업이 있었음 Feed forward hidden layer 에서 ReLU 대신 GeGLU activation function 을 사용 pre train 과정에서 dropout 을 끄고, fine tuning 과정에서 dropout 을 다시 킴 C) 한국어 학습 C.1) pko t5 large 한국어 전...

Tanh Function Tanh function 은 입력을 [ 1, 1] 범위로 압축하는 비선형 activation function 이다. \tanh(x) = \frac{e^x e^{ x}}{e^x + e^{ x}} 출력이 0을 중심으로 대칭이라 sigmoid function 보다 hidden represen...