1 min read
Leaky ReLU function 은 다음과 같이 생겼다.
수식
f(x)={α⋅xx for x≤0 for x>0=max{α⋅x,x}주로 α 값은 0.01 이다.
ReLU function and Leaky ReLU Function
이 현상을 완화하기 위해 Leaky ReLU Function 을 사용한다.
ReLU Function f(x)=\{\begin{array}{ll}0&\text{for}x\leq0\\x&\text{for}x>0\end{array}=\max\{0,x\} 요즘에 ReLU 를 많이 쓰지 않는 것 같아요.
Step Function \chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} B) Related C) References en.wikipedia.org/wiki/Step function .
Link Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.
Softmax Function class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C...
Sigmoid Function \displaystyle f(x)=\sigma(x)=\frac{1}{1+e^{-x}} A.1) 미분값 f^{\prime}(x)=f(x)(1-f(x)) A.2) Figure 약 -4.5 이하로는 무조건 0 을, 4.5 이상으로는 무조건 1 의 값을 가진다.
Gaussian Error Linear Units GELU — PyTorch 2.4 documentation B) GELU 함수 적용 Gaussian Error Linear Units (GELU) 함수는 다음과 같이 정의됩니다: \operatorname{GELU}(x)=x \Phi(x) 여기서 \Phi(x) 는...
Tanh Function Tanh function 은 입력을 [-1, 1] 범위로 압축하는 비선형 activation function 이다.
Regression 회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
Deep Learning Related References.
Logistic Loss logistic regression 에서 사용하는 loss function 을 의미한다.