Zzong's Notes

vanishing gradients

1 min read

Vanishing Gradients

gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 감소하는 현상

  • 해결책: Gated Recurrent Unit / Long Short-Term Memory / Truncated BTT
  • exploding gradients
  • gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 증가하는 현상
  • 해결책: gradient clipping
  • image-20201101234742246
  • 다른 해결책: Truncated Backpropagation through time (Truncated BPTT)# 정의

2. Related

3. References

링크된 언급

6
Deep learning for time series classification - a review

...dict an output for each element (time stamp) in the time series. (2) RNNs typically suffer from the vanishing gradients problem due to training on long time series (Pascanu et al., 2012); (3) RNNs are considered hard to...

Gated Recurrent Unit

...ell 로 인식하고 (a^{<t>}=c^{<t>}), update gate \Gamma {u} 와 relevance gate \Gamma {r} 를 추가하여 vanishing gradients 문제를 완화시킨다. 두 gate 모두 sigmoid function \sigma 를 사용하여 항상 0 과 1 사이의 값을 가진다. B) II. Forward Propagation...

Improving Pairwise Learning for Item Recommendation from Implicit Feedback

...ersonalized Ranking from Implicit Feedback 에서 사용하는 uniform sampling pairs 가 낮은 convergence 를 가짐을 보임 vanishing gradients 문제로 인해 SGD 업데이트가 거의 효과가 없음을 주장 왜냐하면 uniform 하게 샘플링 된 negative item 은 대부분 올바르게 관찰된 아이템보다는 낮게 rank 되므...

Recurrent Neural Network

..., ; , 0, 1 …] 와 같은 단일 문자로 여겨진다. 장점 단어를 tokenize 하지 않기 때문에, 알려지지 않은 단어 (e.g. Mau) 에 강하다. 단점 문장이 길어지면 vanishing gradients 문제에 취약하다. 즉, 문장 내부의 종속성을 찾아내는데 취약하다 computationally expensive: 단어 수준 언어 모델과 비교해서 학습과 sampling 에 매우 ...

residual connection

...념으로, gradient 를 non linear 한 activation function 을 통과시키지 않고 network 로 직접 흘려보내는 방법을 의미한다. B) 사용하는 이유 vanishing gradients 의 문제를 완화하기 위함

tanh function

...h(x) = 1 \tanh^2(x) 입력의 절댓값이 커지면 출력이 1 또는 1에 가까워지고, gradient 는 0에 가까워진다. 이 saturation 때문에 깊은 신경망에서는 vanishing gradients 문제가 생길 수 있다. C) 어디서 쓰이나 LSTM 과 GRU 에서는 candidate state 나 cell state 를 만들 때 tanh 를 자주 사용한다. 값의 범위를 제...