Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
mixed precision 은 모델 학습시 FP16, FP32 부동 소수점 유형을 상황에 따라 유연하게 사용하여 학습을 더 빠르게 실행하고 메모리를 적게 사용하는 방법이다. Forward, Backward Propagation 은 모두 FP16 으로 연산하고, weight 를 업데이트 할 때에는 다시 FP32 로...
backpropagation 을 쉽게 이해하기 위한 일종의 언어
Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.
neural network 의 weight 초기화 방법
층의 출력에 그 층의 입력을 그대로 더해서 다음 층으로 보내는 연결이다. 중간 변환을 건너뛰는 경로가 하나 더 생긴다는 뜻에서 skip 이라는 이름이 붙었다.
variational inference 에서 사용하는 sampling z \sim q_{\phi}(z \mid x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다.
transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다.
학습된 신경망에서 기여가 작은 부분을 잘라내 모델을 줄이는 압축 기법이다. 잘라낸 뒤에는 보통 재학습을 붙여 떨어진 성능을 회복시킨다.
RNN 을 학습하는 방법 중 하나