1 min read
A.1) Sigmoid Neuron perceptron 과 비슷하지만, output 에 sigmoid 를 씌운 모델이다. perceptron 은 output 에 step function 을 씌운 모델로 생각할 수 있다.
Leaky ReLU Function Leaky ReLU function 은 다음과 같이 생겼다.
Tanh Function Tanh function 은 입력을 [-1, 1] 범위로 압축하는 비선형 activation function 이다.
Perceptron input x 1, x 2, \cdots 을 weights w 1, w 2, \cdots 과 곱해서 threshold 값에 따라 1 또는 0 을 출력하는 인공 뉴런 모델 \text { output }= \begin{cases}0 & \text { if } \sum {j} w {j} x...
Sigmoid Function \displaystyle f(x)=\sigma(x)=\frac{1}{1+e^{-x}} A.1) 미분값 f^{\prime}(x)=f(x)(1-f(x)) A.2) Figure 약 -4.5 이하로는 무조건 0 을, 4.5 이상으로는 무조건 1 의 값을 가진다.
Link Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.
Softmax Function class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C...
NN with a Hidden Layer hidden layer 가 한개 있는 neural network 를 살펴보자. 입력 units 은 세개이고, activation function 이 사용된다.
Weight Decay regularization > Weight Decay 를 참고할 것. Related References.
Adam B) Related C) References.
ReLU Function f(x)=\{\begin{array}{ll}0&\text{for}x\leq0\\x&\text{for}x>0\end{array}=\max\{0,x\} 요즘에 ReLU 를 많이 쓰지 않는 것 같아요.