UNET
UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,
fully convolutional neural network
1 min read
Teacher Forcing RNN 을 학습하는 방법 중 하나 학습 과정에서는 ground truth \boldsymbol{y}^{(t)} 를 \boldsymbol{h}^{(t+1)} 의 입력값으로 넣어준다.
Residual Connection 이란 residual connection 은 skip connection 과 동일한 개념으로, gradient 를 non-linear 한 activation function 을 통과시키지 않고 network 로 직접 흘려보내는 방법을 의미한다.
Transfer Learning B) In NLP 자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다. Generalized pretraining 에서 사용했던 입/출력 레이어를 제거한다.
Gradient Accumulation Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
Pooling Pooling 은 여러 값의 local region 을 하나의 값으로 요약하는 연산이다.
Perceptron input x 1, x 2, \cdots 을 weights w 1, w 2, \cdots 과 곱해서 threshold 값에 따라 1 또는 0 을 출력하는 인공 뉴런 모델 \text { output }= \begin{cases}0 & \text { if } \sum {j} w {j} x...
Learning Rate B) 학습률과 gradient descent 의 관계 비용 함수 J(\theta 1) 에서, parameter \theta 1 을 찾기 위해, 다음과 같은 gradient descent 를 반복한다고 가정하자.
Batch Normalization BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다.
Variational Autoencoder Variational Autoencoder(VAE)는 autoencoder 를 확률 모델로 확장한 generative model 이다.
NN with a Hidden Layer hidden layer 가 한개 있는 neural network 를 살펴보자. 입력 units 은 세개이고, activation function 이 사용된다.