1 min read
A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states x∈RD is given by
FX(x)=P(X1⩽x1,…,XD⩽xD), where X=[X1,…,XD]⊤,x=[x1,…,xD]⊤
CDF 는 pdf f(x) 의 적분으로 표현할 수 있다:
FX(x)=∫−∞x1⋯∫−∞xDf(z1,…,zD)dz1⋯dzD표준 정규 분포 의 경우 CDF 는 다음가 같이 표현이 가능하다.
CDF=Φ(X)=∫−∞X2π1e−z2/2dz이때 CDF 가 symmetric 하므로, Φ(−X)=1−Φ(X) 를 만족한다.
Cumulative Distribution Function
여기서 (x) 는 Gaussian 분포의 누적 분포 함수 (CDF) 를 의미합니다. 또한, tanh 를 사용하여 근사할 경우, GELU 는 다음과 같이 추정됩니다:
X=FX⁻¹(U) 를 찾는다. X 는 CDF FX 에 의한 분포를 따르기 때문에, 결과적으로 원하는 임의의 값이 된다.
F) Related KS 방식은 두 CDF 의 차이를 계산한다. G) References
K-S 통계량은 우량 집단과 불량집단의 누적 분포 (CDF) 의 차이를 나타내는 지표로 신용평가모형의 변별력 평가 시 주요 판별 통계량으로 활용됩니다.
...ink Function inverse of activation function 을 의미한다. 예를 들어 logit 은 sigmoid 함수의 inverse 이고, probit 은 가우시안 분포의 CDF 함수의 inverse 를 의미한다. B) Related C) References
Cumulative Distribution Function
Probit Function probit 함수는 quantile function 의 일종으로, 표준 정규 분포 의 CDF (z) 에 대한 inverse 함수를 의미한다:
이제 위 모델을 통해 CDF 모델을 유도할 수 있다.
2. Use-case inverse tranform sampling 3. 예시 exponential distribution 의 CDF 는 다음과 같다.
Quantile Function quantile function 은 CDF 의 역함수를 의미하며, 어떤 분포의 함수 F 에 대한 quantile function Q 는 다음을 만족하는 x 를 반환한다 F {X}(x):=\operatorname{Pr}(X\leq x)=p 즉, CDF 에서는 랜덤 변수 X 가 x...
Probit Function probit 함수는 quantile function 의 일종으로, 표준 정규 분포 의 CDF \Phi(z) 에 대한 inverse 함수를 의미한다: \operatorname{probit}(p)=\Phi^{-1}(p) \quad \text { for } \quad p \in(0,1)...
Gaussian Distribution A.1) Single Variable \displaystyle\mathcal{N}\left(x\mid\mu,\sigma^{2}\right)=\frac{1}{\left(2\pi\sigma^{2}\right)^{1/2}}\exp\left\{-\frac{1}{2\sigma^{2}}(...
Inverse Transform Sampling Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function) F^{-1}(x) 를 활용해서 임의의 값을 생성하는 방법을 의미한다.
Sampling Distribution 표본 분포란, 임의의 샘플링 결과들에 의해 구해진 확률 분포를 의미한다.
A function f:\mathbb{R}^{D}\rightarrow\mathbb{R} is called a probability density function (pdf) i if \forall\boldsymbol{x}\in\mathbb{R}^{D}:f(\boldsymbol{x})\geqslant0 Its...
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
Exponential Distribution Tags Laplace distribution PDF P(X)=\lambda e^{-\lambda X} Cumulative Distribution Function F(x;\lambda)=\begin{cases}1-e^{-\lambda...
Joint Distribution 많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
Multivariate Gaussian Distribution 다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.