Zzong's Notes

exploding gradients

1 min read

Exploding Gradients

  • gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 증가하는 현상

Related

References

링크된 언급

1
vanishing gradients

...을 지날 때 마다 exponential 하게 감소하는 현상 해결책: Gated Recurrent Unit / Long Short Term Memory / Truncated BTT exploding gradients gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 증가하는 현상 해결책: gradient clipping 다른 해...