NN with a Hidden Layer
hidden layer 가 한개 있는 neural network 를 살펴보자.
입력 units 은 세개이고, activation function 이 사용된다.
만약, hidden layer 의 유닛 개수가 네개라면, matrix 의 크기는 이 된다. 그리고 의 크기는 이 된다. 그리고 bias 의 크기는 이다.
1 min read
Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다. 예시: 다음과 같이 비 선형 함수를 사용하지 않는 신경망이 있다고 가정하...
(4) 마지막으로 신경망의 weight 에 따른 C 의 변화는 다음과 같이 표현된다.
BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. Basics of Batch Normalization x 는 normalization 하기 원하는 network 내 s...
...고 conjufate gradients 보다 항상 장점만 있는것도 아닌것이, inverse Hessian matrix M 을 기억하기 위해 O (n²) 만큼의 메모리를 사용해야 한다. neural network 의 경우 백만개의 parameters 가 있다는 점을 고려하면 이를 효율적으로 사용하는 것은 거의 불가능에 가깝다. L-BFGS L-BFGS 는 BFGS 의 Limited Memory...
...assifier (logistic regression, linear SVM) Kernel Machines (kernel trick 을 사용한 SVMs) deep learning 계열의 neural network Decision Tree 와 ensemble 기반의 tree (random forest, GBM) KNN 또는 Naive Bayes 와 같은 Naive 한 기술들
DQN NN 을 활용한 Q-learning 알고리즘
Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
이 score 를 계산하기 위해 일반적으로 Decision Tree 또는 neural network 등 을 활용한다. Loss Function Pointwise Methods 각 document dᵢ 에 정의된 loss term 의 합을 계산하는 방식으로, loss 계산을 위해 yᵢ...
Neural Networks and Deep Learning, Chapter 1
...위한 방법이다. Apply Regularization to Model Regularization 을 logistic regression 에 적용하기 위해서 L2 norm 을 사용하고, neural network 에는 Frobenius norm 을 적용한다. Logistic Regression 의 경우 Regularization term 이 붙은 cost function J 는 다음과 같이 계...
neural network 의 weight 초기화 방법 모든 layer l 에 대해서 다음과 같이 weight 와 bias 값을 초기화 \begin{aligned}W^{[l]}&\sim\mathcal{N}\left(\mu=0,\sigma^{2}=\frac{1}{n^{[l-1]}}\right)\\b^{[l]}&...
Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.
perceptron 으로 이루어진 층 (layer) 여러 개를 순차적으로 붙여놓은 구조다.
Backpropagation Algorithm 다음과 같은 일련의 방법으로 역전파 알고리즘이 진행된다.
BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. Basics of Batch Normalization x 는 normalization 하기 원하는 network 내 signal 이라고 해보자.
Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다. Example 코드 형식으로 dropout 이 적용되는 과정을 소개하겠다.
Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
DQN NN 을 활용한 Q-learning 알고리즘 DQN 은 state s 가 주어졌을 때, action values 로 구성된 vector Q(s, \cdot ; \boldsymbol{\theta}) 를 반환하는 다중 레이어 신경망을 의미한다 (여기서 \boldsymbol{\theta} 는 신경망의...
\chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} References en.wikipedia.org/wiki/Step function .
작은 크기의 filter (kernel) 를 입력 위에서 한 칸씩 옮겨가며, 겹치는 부분끼리 곱해서 더하는 연산이다. 그 결과로 나오는 값들을 모은 것이 feature map 이다.