미분값
Figure
약 -4.5 이하로는 무조건 0 을, 4.5 이상으로는 무조건 1 의 값을 가진다.
1 min read
sigmoid function 함수와 tanh function 함수의 단점
Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다. Logistic Regression 의 Decision Boundary 모델 h_θ(x) 이 가지는 값의 의미를 정확히 판단하기 위해서, 다음과 같은 규칙을 정했다고 하자. - - h_θ(x) 0.5의 의미를 활용하면, 다음과 같은 Decision boundary를 생각해볼 수 있다.
activation function 으로 sigmoid function 을 사용하며, 이전 cell 의 내용에 기반하여 현재 내용을 기억할지 말지 결정한다. vanishing gradients 문제를 완화하는데 큰 도움을 준다.
여기서 μ 는 sigmoid function 인 경우 logistic regression 으로 해석할 수 있다.
D 는 확률을 예측하기 때문에 반드시 0 에서 1 사이의 값을 출력한다 (sigmoid function). 1 보다 낮은 값을 log 로 계산하게 되면 음의 값이 나오므로, 0 이 RL/value function 에서 가능한 최댓값이다.
σ 는 sigmoid function
inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다. References
여기서 g(z) 는 sigmoid function 이다.
Sigmoid Neuron perceptron 과 비슷하지만, output 에 sigmoid 를 씌운 모델이다. perceptron 은 output 에 step function 을 씌운 모델로 생각할 수...
...하는 activation function 은 tanh function 또는 ReLU function 그리고 y^<t> 에서 사용하는 activation function 은 sigmoid function 또는 softmax function RNN forward 식의 Simplification a^<t>=g (Waaa^<t>+Waxx^<t>+ba) 는 ...
inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.
Tanh function 은 입력을 [-1, 1] 범위로 압축하는 비선형 activation function 이다.
Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.
class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C {k}\right)}{\sum...
Leaky ReLU function 은 다음과 같이 생겼다.
\chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} References en.wikipedia.org/wiki/Step function .
input x 1, x 2, \cdots 을 weights w 1, w 2, \cdots 과 곱해서 threshold 값에 따라 1 또는 0 을 출력하는 인공 뉴런 모델 \text { output }= \begin{cases}0 & \text { if } \sum {j} w {j} x {j} \leq...
logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다. Logistic 모델 h \theta(x) 는 linear model 을 다음 식과 같이 non-linear model 로 바꾼 것과 같다.
f(x)=\{\begin{array}{ll}0&\text{for}x\leq0\\x&\text{for}x>0\end{array}=\max\{0,x\} 요즘에 ReLU 를 많이 쓰지 않는 것 같아요.
GELU — PyTorch 2.4 documentation GELU 함수 적용 Gaussian Error Linear Units (GELU) 함수는 다음과 같이 정의됩니다: \operatorname{GELU}(x)=x \Phi(x) 여기서 \Phi(x) 는 Gaussian 분포의 누적 분포 함수 (CDF) 를 의미합니다.