normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
예시
어느 가우시안 함수 를 고려해보자.
가우시안 적분 을 적용하면 총 합이 이 아니다.
다음과 같은 함수는 적분 값이 이다:
여기서 를 함수 의 normalizing constant 라고 한다.
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.
어느 가우시안 함수 p(x)=e−x2/2,x∈(−∞,∞) 를 고려해보자.
가우시안 적분 을 적용하면 ∫−∞∞p(x)dx=∫−∞∞e−x2/2dx=2π 총 합이 1 이 아니다.
다음과 같은 함수는 적분 값이 1 이다: φ(x)=2π1p(x)=2π1e−x2/2
∫−∞∞φ(x)dx=∫−∞∞2π1e−x2/2dx=1여기서 2π1 를 함수 p(x) 의 normalizing constant 라고 한다.
Single Variable D-dimensional Vector D 차원 vector 의 데이터셋 x 에 대한 가우시안 분포는 multivariate Gaussian distribution 라고 부르며, pdf 는 다음과 같이 계산된다. 위 수식에 대한 notation 은 다음과 같다. covariance matrix 는 positive-definite matrix 여야 한다. Mahala...
Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다. Quadratic approximation 이라고도 불리며, 연속 랜덤 변수에 대한 posterior 를 multivariate Gaussian 을 활용해서 approximate 하기 위한 방법이다. 즉, La...
정리 (다른 이름으로는 marginalization) 이산형 경우 연속형 경우 응용 사례 Joint Distribution P(a,b,c,d) 에서 P(b) 를 찾는 방법 P(c| b) 를 구하는 방법 예시 설명 두 공장에서 전구를 생산합니다. X 공장에서 만든 전구는 99% 확률로 5,000 시간 이상 작동하고, Y 공장에서 만든 전구는 95% 확률로 5,000 시간 이상 작동합니다. X ...
종종 \sigma 값을 precision \tau=1/\sigma^{2} 으로 대체하여 표현한다.
Gamma function 은 factorial 을 실수/복소수 영역으로 확장한 함수다.
P(A)=\sum_{n}P(A,B)=\sum_{n}P\left(A\mid B_{n}\right)P\left(B_{n}\right)
Euler–Poisson integral (엘룰러 - 푸아송 적분) 이라고 부르기도 하며, 다음과 같은 적분을 의미한다
x 축의 단위가 평균의 표준 편차로 표현되는 정규 분포를 의미하며, 이 분포는 평균이 0 이고, 표준편차가 1 인 값을 가진다.
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.
Tags Maximum Likelihood Estimation,
A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states \boldsymbol{x}\in\mathbb{R}^{D} is given by
multivariate Gaussian distribution 에서 covariance matrix 의 inverse 를 precision matrix 라고 부른다.
다변량 정규 분포는 1 차원 normal distribution 을 다차원으로 일반화한 분포를 의미한다.