Zzong's Notes

❯

machine_learning

❯

❯

link function

2026년 9월 04일1 min read

inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다.

References

logistic - What is the difference between a “link function” and a “canonical link function” for GLM - Cross Validated

함께 보면 좋은 글

sigmoid function

\displaystyle f(x)=\sigma(x)=\frac{1}{1+e^{-x}} 미분값 f^{\prime}(x)=f(x)(1-f(x)) Figure 약 -4.5 이하로는 무조건 0 을, 4.5 이상으로는 무조건 1 의 값을 가진다. II.

logit

odds ratio 에 log 를 취한 값을 logit 이라고 부른다. logit 은 logistic regression 에 의해 유도될 수 있다. 다음과 같은 logistic regression 모델 h \theta(x) 가 있다고 가정하자.

activation function

Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.

Leaky ReLU Function

Leaky ReLU function 은 다음과 같이 생겼다.

softmax function

class K>2 의 경우에서 generalized linear model (reference) \displaystyle p\left(C {k}\mid\mathbf{x}\right)=\frac{p\left(\mathbf{x}\mid C {k}\right)p\left(C {k}\right)}{\sum...

probit model

probit model 은 regression 의 종류 중 하나로, 출력값 (dependent variable) 이 binary 형식을 띄는 모델을 의미한다.

Gaussian Error Linear Units

GELU — PyTorch 2.4 documentation GELU 함수 적용 Gaussian Error Linear Units (GELU) 함수는 다음과 같이 정의됩니다: \operatorname{GELU}(x)=x \Phi(x) 여기서 \Phi(x) 는 Gaussian 분포의 누적 분포 함수 (CDF) 를 의미합니다.

step function

\chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} References en.wikipedia.org/wiki/Step function .

ReLU function

f(x)=\{\begin{array}{ll}0&\text{for}x\leq0\\x&\text{for}x>0\end{array}=\max\{0,x\} 요즘에 ReLU 를 많이 쓰지 않는 것 같아요.

Cumulative Distribution Function

CDF A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states \boldsymbol{x}\in\mathbb{R}^{D} is given by F...