1 min read
gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 감소하는 현상
...dict an output for each element (time stamp) in the time series. (2) RNNs typically suffer from the vanishing gradients problem due to training on long
activation function 으로 sigmoid function 을 사용하며, 이전 cell 의 내용에 기반하여 현재 내용을 기억할지 말지 결정한다. vanishing gradients 문제를 완화하는데 큰 도움을 준다.
vanishing gradients 문제로 인해 SGD 업데이트가 거의 효과가 없음을 주장 왜냐하면 uniform 하게 샘플링 된 negative item 은 대부분 올바르게 관찰된 아이템보다는 낮게 rank 되므...
문장이 길어지면 vanishing gradients 문제에 취약하다.
...역전파를 거치며 층마다 미분값이 곱해진다. activation function 의 미분이 1 보다 작으면 이 곱이 층 수만큼 반복되어 앞쪽 층에 도달할 즈음엔 0 에 가까워진다. vanishing gradients 다. skip connection 은 덧셈이므로 미분이 그대로 1 이다. y / x = F/ x + 1 에서 뒤의 1 이 비선형 변환을 거치지 않는 통로가 되어, gradient...
입력의 절댓값이 커지면 출력이 -1 또는 1에 가까워지고, gradient 는 0에 가까워진다. 이 saturation 때문에 깊은 신경망에서는 vanishing gradients 문제가 생길 수 있다. 어디서 쓰이나 LSTM 과 GRU 에서는 candidate state 나 cell state 를 만들 때 tanh 를 자주 사용한다. 값의 범위를 제한해서...
gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 증가하는 현상 .
층의 출력에 그 층의 입력을 그대로 더해서 다음 층으로 보내는 연결이다. 중간 변환을 건너뛰는 경로가 하나 더 생긴다는 뜻에서 skip 이라는 이름이 붙었다. y = F(x) + x F 가 층이 수행하는 변환이고, x 가 건너뛰어 더해지는 입력이다.
Recurrent Neural Networks (RNN) 왜 RNN 을 사용하는가 일반 neural network(DNN) 보다 RNN 을 사용하는 이유는 무엇일까? 그 이유는 DNN 은 RNN 과 달리 parameter sharing 이 가능하지 않기 때문이다.
Convolution Neural Network Applying several filters on a time series will result in a multivariate time series whose dimensions are equal to the number of filters used.
Tanh function 은 입력을 [-1, 1] 범위로 압축하는 비선형 activation function 이다.
ML 모델 h 에 대한 적합한 (\theta i 와 같은) parameter 를 찾기 위한 방법 Visualization of Gradient Descent 아래는 parameter \theta 0 와 \theta 1 에 대한 loss function J 의 등고선 그래프이다.
regularization > Weight Decay 를 참고할 것.
모델이 무거울수록 오래 학습할수록 성능이 좋아진다. “We increase model size, performance first gets worse and then gets better.
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
정의 GRU 는 Recurrent Neural Network unit 을 하나의 (memory) cell 로 인식하고 (a^{<t>}=c^{<t>}), update gate \Gamma {u} 와 relevance gate \Gamma {r} 를 추가하여 vanishing gradients...