Zzong's Notes

gradient checkpoint

1 min read

함께 보면 좋은 글

vanishing gradients

Vanishing Gradients gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 감소하는 현상 해결책: Gated Recurrent Unit / Long Short-Term Memory / Truncated BTT exploding...

gradient

Gradient 임의의 함수에 대한 gradient 는 그 함수의 partial derivatives 함수들을 element 로 가지는 vector 를 의미한다.

Batch Gradient Descent

Batch Gradient Descent gradient descent 를 진행할 때, 모든 training example 을 전부 사용하는 것을 Batch Gradient Descent 라 부른다. Related References.

mixed precision

Mixed Precision mixed precision 은 모델 학습시 FP16, FP32 부동 소수점 유형을 상황에 따라 유연하게 사용하여 학습을 더 빠르게 실행하고 메모리를 적게 사용하는 방법이다.

gradient accumulation

Gradient Accumulation Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.

gradient descent

Gradient Descent ML 모델 h 에 대한 적합한 (\theta i 와 같은) parameter 를 찾기 위한 방법 B) Visualization of Gradient Descent 아래는 parameter \theta 0 와 \theta 1 에 대한 loss function J 의 등고선 그래프이다.

Adam

Adam B) Related C) References.

overfitting

Overfitting 이란 모델이 특정 데이터 셋에 과도하게 적합된 것을 의미 B) Overfitting 문제를 완화하기 위한 접근들 더 많은 training data Data Augmentation regularization dropout Early Stopping C) Related D) References.

layer normalization

Layer Normalization Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.