1 min read
Regularization Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
Xavier Initialization neural network 의 weight 초기화 방법 모든 layer l 에 대해서 다음과 같이 weight 와 bias 값을 초기화 \begin{aligned}W^{[l]}&\sim\mathcal{N}\left(\mu=0,\sigma^{2}=\frac{1}{n^{[l...
Adam B) Related C) References.
Vanishing Gradients gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 감소하는 현상 해결책: Gated Recurrent Unit / Long Short-Term Memory / Truncated BTT exploding...
Step Function \chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} B) Related C) References en.wikipedia.org/wiki/Step function .
Self-supervised 데이터로부터 target(label) 을 만들어내는 학습 Related References.
Linear Probing transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다. 이 학습 방식과 다른 방식은 fine tuning 이 존재한다.
NN with a Hidden Layer hidden layer 가 한개 있는 neural network 를 살펴보자. 입력 units 은 세개이고, activation function 이 사용된다.
Dropout Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
Data Augmentation overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다.