normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
예시
어느 가우시안 함수 를 고려해보자.
가우시안 적분 을 적용하면 총 합이 이 아니다.
다음과 같은 함수는 적분 값이 이다:
여기서 를 함수 의 normalizing constant 라고 한다.
1 min read
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
어느 가우시안 함수 p(x)=e−x2/2,x∈(−∞,∞) 를 고려해보자.
가우시안 적분 을 적용하면 ∫−∞∞p(x)dx=∫−∞∞e−x2/2dx=2π 총 합이 1 이 아니다.
다음과 같은 함수는 적분 값이 1 이다: φ(x)=2π1p(x)=2π1e−x2/2
∫−∞∞φ(x)dx=∫−∞∞2π1e−x2/2dx=1여기서 2π1 를 함수 p(x) 의 normalizing constant 라고 한다.
Single Variable D-dimensional Vector D 차원 vector 의 데이터셋 x 에 대한 가우시안 분포는 multivariate Gaussian distribution 라고 부르며, pdf 는 다음과 같이 계산된다. 위 수식에 대한 notation 은 다음과 같다. covariance matrix 는 positive-definite matrix 여야 한다. Mahala...
Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다. Quadratic approximation 이라고도 불리며, 연속 랜덤 변수에 대한 posterior 를 multivariate Gaussian 을 활용해서 approximate 하기 위한 방법이다. 즉, La...
정리 (다른 이름으로는 marginalization) 이산형 경우 연속형 경우 응용 사례 Joint Distribution P(a,b,c,d) 에서 P(b) 를 찾는 방법 P(c| b) 를 구하는 방법 예시 설명 두 공장에서 전구를 생산합니다. X 공장에서 만든 전구는 99% 확률로 5,000 시간 이상 작동하고, Y 공장에서 만든 전구는 95% 확률로 5,000 시간 이상 작동합니다. X ...
Single Variable \displaystyle\mathcal{N}\left(x\mid\mu,\sigma^{2}\right)=\frac{1}{\left(2\pi\sigma^{2}\right)^{1/2}}\exp\left\{-\frac{1}{2\sigma^{2}}(x-\mu)^{2}\right\} 종종...
정리 (다른 이름으로는 marginalization) 이산형 경우 P(A)=\sum {n}P(A,B)=\sum {n}P\left(A\mid B {n}\right)P\left(B {n}\right) 연속형 경우 \displaystyle p(x)=\int {y}p(x,y)dy=\int {y}p(x\mid...
Gamma function 은 factorial 을 실수/복소수 영역으로 확장한 함수다. \Gamma(\alpha)=\int 0^\infty x^{\alpha-1}e^{-x}dx 양의 정수 n 에 대해 다음 관계를 가진다.
정의 Euler–Poisson integral (엘룰러 - 푸아송 적분) 이라고 부르기도 하며, 다음과 같은 적분을 의미한다 \displaystyle\int {-\infty}^{\infty}e^{-x^{2}}dx=\sqrt{\pi} - 일반적인 form은 다음과 같다: 증명: 극좌표 (polar...
x 축의 단위가 평균의 표준 편차로 표현되는 정규 분포를 의미하며, 이 분포는 평균이 0 이고, 표준편차가 1 인 값을 가진다.
Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다.
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.
다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.
CDF A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states \boldsymbol{x}\in\mathbb{R}^{D} is given by F...
Discrete 확률 분포 we use discrete probability distributions to model categorical variables. i.e., variables that take a finite set of unordered values.