Normalizing Constant
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
예시
어느 가우시안 함수 를 고려해보자.
[가우시안 적분](gaussian integral) 을 적용하면 총 합이 이 아니다.
다음과 같은 함수는 적분 값이 이다:
여기서 를 함수 의 normalizing constant 라고 한다.
1 min read
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
어느 가우시안 함수 p(x)=e−x2/2,x∈(−∞,∞) 를 고려해보자.
[가우시안 적분](gaussian integral) 을 적용하면 ∫−∞∞p(x)dx=∫−∞∞e−x2/2dx=2π 총 합이 1 이 아니다.
다음과 같은 함수는 적분 값이 1 이다: φ(x)=2π1p(x)=2π1e−x2/2
∫−∞∞φ(x)dx=∫−∞∞2π1e−x2/2dx=1여기서 2π1 를 함수 p(x) 의 normalizing constant 라고 한다.
Gaussian Distribution A.1) Single Variable A.2) D-dimensional Vector D 차원 vector 의 데이터셋 x 에 대한 가우시안 분포는 multivariate Gaussian distribution 라고 부르며, pdf 는 다음과 같이 계산된다. 위 수식에 대한 notation 은 다음과 같다. covariance matrix 는 positi...
Laplace Approximation Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다. Quadratic approximation 이라고도 불리며, 연속 랜덤 변수에 대한 posterior 를 multivariate Gaussian 을 활용해서 approxi...
Law of Total Probability B) 정리 (다른 이름으로는 marginalization) B.1) 이산형 경우 B.2) 연속형 경우 C) 응용 사례 C.1) Joint Distribution P(a,b,c,d) 에서 P(b) 를 찾는 방법 C.2) P(c| b) 를 구하는 방법 D) 예시 설명 두 공장에서 전구를 생산합니다. X 공장에서 만든 전구는 99% 확률로 5,000 시...
Gaussian Distribution A.1) Single Variable \displaystyle\mathcal{N}\left(x\mid\mu,\sigma^{2}\right)=\frac{1}{\left(2\pi\sigma^{2}\right)^{1/2}}\exp\left\{-\frac{1}{2\sigma^{2}}(...
Gamma Function Gamma function 은 factorial 을 실수/복소수 영역으로 확장한 함수다. \Gamma(\alpha)=\int 0^\infty x^{\alpha-1}e^{-x}dx 양의 정수 n 에 대해 다음 관계를 가진다.
Law of Total Probability B) 정리 (다른 이름으로는 marginalization) B.1) 이산형 경우 P(A)=\sum {n}P(A,B)=\sum {n}P\left(A\mid B {n}\right)P\left(B {n}\right) B.2) 연속형 경우 \displaystyle...
Gaussian Integral A.1) 정의 Euler–Poisson integral (엘룰러 - 푸아송 적분) 이라고 부르기도 하며, 다음과 같은 적분을 의미한다 \displaystyle\int {-\infty}^{\infty}e^{-x^{2}}dx=\sqrt{\pi} - 일반적인 form은 다음과 같다:...
Standard Normal Distribution x 축의 단위가 평균의 표준 편차로 표현되는 정규 분포를 의미하며, 이 분포는 평균이 0 이고, 표준편차가 1 인 값을 가진다.
Laplace Approximation Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다.
Marginal Distribution 어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다. 2.
Multivariate Gaussian Distribution 다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.
CDF A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states \boldsymbol{x}\in\mathbb{R}^{D} is given by F...
Precision Matrix multivariate Gaussian distribution 에서 covariance matrix 의 inverse 를 precision matrix 라고 부른다. 즉, 다음과 같이 표기할 수 있다.