RNN 을 학습하는 방법 중 하나
학습 과정에서는 ground truth 를 의 입력값으로 넣어준다. 테스트 과정에서는 대신 값을 넣어준다.
Pros and Cons
장점
학습 속도가 빠르다.
단점
배포 과정에서는 ground truth 를 알 수 없으므로 성능이 불안정하다.
RNN 을 학습하는 방법 중 하나
학습 과정에서는 ground truth y(t) 를 h(t+1) 의 입력값으로 넣어준다. 테스트 과정에서는 y(t) 대신 o(t) 값을 넣어준다.
학습 속도가 빠르다.
배포 과정에서는 ground truth 를 알 수 없으므로 성능이 불안정하다.
...der 는 새로운 output sequence 를 생성한다. Refer: Notes on Abstractive Summarization: PegasusXSUM and T5 학습 방식 teacher forcing 을 이용해서 학습한다. 모델 사이즈
일반 neural network(DNN) 보다 RNN 을 사용하는 이유는 무엇일까?
transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다.
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.
학습된 신경망에서 기여가 작은 부분을 잘라내 모델을 줄이는 압축 기법이다. 잘라낸 뒤에는 보통 재학습을 붙여 떨어진 성능을 회복시킨다.
Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.
자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다.
UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,