BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. Basics of Batch Normalization x 는 normalization 하기 원하는 network 내 signal 이라고 해보자. signal x₁, x₂,, xₙ 이 batch 로 주어졌을 때, 각각은 다음과 같이 normalized 된다. μ 와 σ^2 는 각 batch 에 ...
BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다.
Tags Laplace distribution PDF P(X)=\lambda e^{-\lambda X} Cumulative Distribution Function F(x;\lambda)=\begin{cases}1-e^{-\lambda x}&x\geq0\\0&x<0\end{cases}
랜덤 변수 x 의 분포가 exponential family 를 따른다고 했을때, pdf 는 다음과 같이 쓰여질 수 있다.
Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function) F^{-1}(x) 를 활용해서 임의의 값을 생성하는 방법을 의미한다.
KL-Divergence 의 symmetric 및 normalized 버전
모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x_{1},x_{2},\cdots,x_{n}\right) 이라 할 때, 이 표본들에서 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 를 추정하는 방법이다.
unimodal 확률 분포는 하나의 peak(mode)를 가지는 확률 분포를 의미합니다. mode의 개수에 따라 bimodal(두 개), trimodal(세 개) 등으로도 구분됩니다.
exact posterior p(\mathbf{y} \mid \mathbf{x}) 를 얻기 위해, 이를 근사한 분포 q(\mathbf{y}) 를 찾는 방식을 의미한다. 여기서 \mathbf{x} 는 observation 이고 \mathbf{y} 는 latent variables 이다.