Sigmoid Function
A.1) 미분값
A.2) Figure
약 -4.5 이하로는 무조건 0 을, 4.5 이상으로는 무조건 1 의 값을 가진다.
1 min read
sigmoid function 함수와 tanh function 함수의 단점
Decision Boundary Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다. Logistic Regression 의 Decision Boundary 모델 h θ(x) 이 가지는 값의 의미를 정확히 판단하기 위해서, 다음과 같은 규칙을 정했다고 하자. - - 의 의미를 활용하면, 다음과 같은 Decision boundary를 생각해...
activation function 으로 sigmoid function 을 사용하며, 이전 cell 의 내용에 기반하여 현재 내용을 기억할지 말지 결정한다. vanishing gradients 문제를 완화하는데 큰 도움을 준다.
여기서 μ 는 sigmoid function 인 경우 logistic regression 으로 해석할 수 있다.
D 는 확률을 예측하기 때문에 반드시 0 에서 1 사이의 값을 출력한다 (sigmoid function). 1 보다 낮은 값을 log 로 계산하게 되면 음의 값이 나오므로, 0 이 value function 에서 가능한 최댓값이다.
σ 는 sigmoid function
Link Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다. B) Related C) References
여기서 g(z) 는 sigmoid function 이다.
A.1) Sigmoid Neuron perceptron 과 비슷하지만, output 에 sigmoid 를 씌운 모델이다. perceptron 은 output 에 step function 을 씌운 모델로 생각할 수...
...하는 activation function 은 tanh function 또는 ReLU function 그리고 y^<t> 에서 사용하는 activation function 은 sigmoid function 또는 softmax function A.2.1) RNN forward 식의 Simplification a^<t>=g (Waaa^<t>+Waxx^<t>...
Link Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.
Tanh Function Tanh function 은 입력을 [-1, 1] 범위로 압축하는 비선형 activation function 이다.
Logistic Regression logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다.
Softmax Function class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C...
Step Function \chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} B) Related C) References en.wikipedia.org/wiki/Step function .
Leaky ReLU Function Leaky ReLU function 은 다음과 같이 생겼다.
Decision Boundary Decision boundary 는 label 값 y 가 0 인지 1 인지 결정하는 영역을 나누는 선이다.
Sequential Logistic Regression Bayesian 형식으로 표현된 logistic regression 의 likelihood 는 다음과 같다.
ReLU Function f(x)=\{\begin{array}{ll}0&\text{for}x\leq0\\x&\text{for}x>0\end{array}=\max\{0,x\} 요즘에 ReLU 를 많이 쓰지 않는 것 같아요.
Classification with SVM binary classification 의 핵심은 D 차원 공간에 존재하는 example 들을 레이블에 따라 두 파티션으로 나눈다는 것이다. 이때, 공간을 나누는 역할을 hyperplane 이 맡게된다.