Leaky ReLU Function

Leaky ReLU function 은 다음과 같이 생겼다.

수식

$$f(x)=\{\begin{array}{ll}\alpha \cdot x& \text{ for }x\le 0\\ x& \text{ for }x>0\end{array}=\max \{\alpha \cdot x,x\}$$

주로 $\alpha$ 값은 $0.01$ 이다.

B) Related

C) References