UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,
fully convolutional neural network
1 min read
UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,
fully convolutional neural network
NN with a Hidden Layer hidden layer 가 한개 있는 neural network 를 살펴보자. 입력 units 은 세개이고, activation function 이 사용된다.
Fine-tuning 파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다. 해당 학습과 다른 방식으로는 linear probing 방식이 있다.
RNN 을 학습하는 방법 중 하나 학습 과정에서는 ground truth \boldsymbol{y}^{(t)} 를 \boldsymbol{h}^{(t+1)} 의 입력값으로 넣어준다.
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다. 이 학습 방식과 다른 방식은 fine tuning 이 존재한다.
2012년 ImageNet 대회에서 2위를 큰 차이로 앞지르며 우승한 Convolution Neural Network 다. Krizhevsky, Sutskever, Hinton 이 만들었고, 이 결과가 딥러닝이 컴퓨터 비전의 주류로 넘어가는 계기가 됐다.
Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다. Example 코드 형식으로 dropout 이 적용되는 과정을 소개하겠다.
작은 크기의 filter (kernel) 를 입력 위에서 한 칸씩 옮겨가며, 겹치는 부분끼리 곱해서 더하는 연산이다. 그 결과로 나오는 값들을 모은 것이 feature map 이다.
In NLP 자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다. Generalized pretraining 에서 사용했던 입/출력 레이어를 제거한다. 특정 작업에 특화된 입/출력 레이어로 교체한다.
Pooling 은 여러 값의 local region 을 하나의 값으로 요약하는 연산이다.