1 min read
BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. Basics of Batch Normalization x 는 normalization 하기 원하는 network 내 signal 이라고 해보자. signal x₁, x₂,, xₙ 이 batch 로 주어졌을 때, 각각은 다음과 같이 normalized 된다. μ 와 σ^2 는 각 batch 에 ...
Tags Laplace distribution PDF P(X)=\lambda e^{-\lambda X} Cumulative Distribution Function F(x;\lambda)=\begin{cases}1-e^{-\lambda x}&x\geq0\\0&x<0\end{cases} .
BN 은 neural network 학습 시간을 줄여주고 generalization 을 향상시킨다. Basics of Batch Normalization x 는 normalization 하기 원하는 network 내 signal 이라고 해보자.
\mathrm{E}[g(X)]=\sum {x} g(x) f {X}(x).
랜덤 변수 x 의 분포가 exponential family 를 따른다고 했을때, pdf 는 다음과 같이 쓰여질 수 있다.
If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a {1}+a...
KL-Divergence 의 symmetric 및 normalized 버전 \operatorname{JSD}(P\|Q)=\frac{1}{2}D(P\|M)+\frac{1}{2}D(Q\|M) M=\frac{1}{2}(P+Q) D(P\|Q) 는 두 분포 P,Q 의 KL-Divergence...
Expected A Posteriori(EAP) 란 참고: Toward data science EAP 는 Bayesian inference 를 통해 구한 사후분포 f(\theta\mid D) 의 expected value, 즉 기대값을 계산하는 방법입니다.
The mode (statistics) is the value that appears most often in a set of data values.
성공확률이 p 인 statistic/Bernoulli distribution 의 시행을 n 번 반복시행할 때, 성공횟수를 나타내는 확률변수 X 의 분포 (X\sim Bin(n,p)) 를 이항분포 (binomial distribution) 이라고 합니다.
\displaystyle\operatorname{Laplace}(x;\mu,\gamma)=\frac{1}{2\gamma}\exp\left(-\frac{|x-\mu|}{\gamma}\right).