NN with a Hidden Layer
hidden layer 가 한개 있는 neural network 를 살펴보자.
입력 units 은 세개이고, activation function 이 사용된다.
만약, hidden layer 의 유닛 개수가 네개라면, matrix 의 크기는 이 된다. 그리고 의 크기는 이 된다. 그리고 bias 의 크기는 이다.
1 min read
Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다. 예시: 다음과 같이 비 선형 함수를 사용하지 않는 신경망이 있다고 가정하...
(4) 마지막으로 신경망의 weight 에 따른 C 의 변화는 다음과 같이 표현된다.
Batch Normalization BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. B) Basics of Batch Normalization x 는 normalization 하기 원하는 network ...
...고 conjufate gradients 보다 항상 장점만 있는것도 아닌것이, inverse Hessian matrix M 을 기억하기 위해 O (n²) 만큼의 메모리를 사용해야 한다. neural network 의 경우 백만개의 parameters 가 있다는 점을 고려하면 이를 효율적으로 사용하는 것은 거의 불가능에 가깝다. B) L-BFGS L-BFGS 는 BFGS 의 Limited Mem...
...assifier (logistic regression, linear SVM) Kernel Machines (kernel trick 을 사용한 SVMs) deep learning 계열의 neural network Decision Tree 와 ensemble 기반의 tree (random forest, GBM) KNN 또는 Naïve Bayes 와 같은 Naive 한 기술들
DQN NN 을 활용한 Q-learning 알고리즘
Dropout Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
이 score 를 계산하기 위해 일반적으로 Decision Tree 또는 neural network 등 을 활용한다. D.3) Loss Function D.3.1) Pointwise Methods 각 document dᵢ 에 정의된 loss term 의 합을 계산하는 방식으로, lo...
...방법이다. B) Apply Regularization to Model Regularization 을 logistic regression 에 적용하기 위해서 L2 norm 을 사용하고, neural network 에는 Frobenius norm 을 적용한다. B.1) Logistic Regression 의 경우 Regularization term 이 붙은 cost function J 는 다음과...
Reparametrization Trick variational inference 에서 사용하는 sampling z q (z | x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다. 위 수식을 기반으로 Evidence Lower Bound 는 다음과 같이 바뀔 수 있다. 왜 Reparameterization Trick 이 필요한가?...
Xavier Initialization neural network 의 weight 초기화 방법 모든 layer l 에 대해서 다음과 같이 weight 와 bias 값을 초기화 \begin{aligned}W^{[l]}&\sim\mathcal{N}\left(\mu=0,\sigma^{2}=\frac{1}{n^{[l...
Backpropagation Algorithm 다음과 같은 일련의 방법으로 역전파 알고리즘이 진행된다.
Regularization Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
Dropout Dropout 방식은 neural network 의 overfitting 문제를 완화하기 위해, 사용자 정의된 확률에 기반하여 각 레이어의 일부 노드들을 계산에 포함시키지 않는 방법을 의미한다.
Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.
Batch Normalization BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다.
DQN NN 을 활용한 Q-learning 알고리즘 DQN 은 state s 가 주어졌을 때, action values 로 구성된 vector Q(s, \cdot ; \boldsymbol{\theta}) 를 반환하는 다중 레이어 신경망을 의미한다 (여기서 \boldsymbol{\theta} 는 신경망의...
Step Function \chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} B) Related C) References en.wikipedia.org/wiki/Step function .
Open Neural Network Exchange ONNX is an open format built to represent machine learning models. AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다.
Classification 일반적인 classification 문제: y\in{0,1} (0 은 Negative Class, 1 은 Positive Class) E-mail: 스팸 yes or no? 온라인 거래: 사기 yes or no? Tumor: 양성 or 음성?...