UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,
fully convolutional neural network
UNET 은 U 자 모양의 인코더와 디코더를 가지는 구조로 이루어져있다. 각각 4 개의 인코더와 디코더 블록으로 구성되어 있고,
fully convolutional neural network
hidden layer 가 한개 있는 neural network 를 살펴보자.
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
RNN 을 학습하는 방법 중 하나
transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다.
2012년 ImageNet 대회에서 2위를 큰 차이로 앞지르며 우승한 Convolution Neural Network 다. Krizhevsky, Sutskever, Hinton 이 만들었고, 이 결과가 딥러닝이 컴퓨터 비전의 주류로 넘어가는 계기가 됐다.
학습된 신경망에서 기여가 작은 부분을 잘라내 모델을 줄이는 압축 기법이다. 잘라낸 뒤에는 보통 재학습을 붙여 떨어진 성능을 회복시킨다.
Gradient accumulation is a technique where you can train on bigger batch sizes than your machine would normally be able to fit into memory.
Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
Pooling 은 여러 값의 local region 을 하나의 값으로 요약하는 연산이다. Convolution Neural Network 에서는 feature map 의 spatial resolution 을 줄이고, 작은 위치 변화에 덜 민감한 representation 을 만들기 위해 자주 사용한다.
작은 크기의 filter (kernel) 를 입력 위에서 한 칸씩 옮겨가며, 겹치는 부분끼리 곱해서 더하는 연산이다. 그 결과로 나오는 값들을 모은 것이 feature map 이다.