positive definite

링크된 언급

8

Cholesky Decomposition

Cholesky Decomposition \mathbf{A} 가 실수로 이루어진 symmetric positive definite matrix 인 경우, 다음과 같이 분해될 수 있다. \mathbf{A}=\mathbf{L} \mathbf{L}^{\mathrm{T}} \mathbf{L} 는 real lower ...

convex function

...x 함수의 local minimum 은 항상 global minimum 이다. 어떤 함수가 convex function 인지 알려면, 해당 함수의 Hessian matrix 가 positive semi definite 함을 알아야 한다. E) Related gradient descent Jensen’s inequality F) References

...riance Matrix covariance matrix 는 우리에게 데이터가 얼마나 퍼져 (spread) 있는지 알려주는 역할을 한다. 6.1. 특징 symmetric 이며, positive semi definite 하다. covariance matrix 의 대각 원소는 marginals 의 variance 를 나타낸다. \displaystyle p\left(x {i}\right)=\int...

Gaussian distribution

...thbf{x} \mathbb{E}[\mathbf{x}])(\mathbf{x} \mathbb{E}[\mathbf{x}])^{\top}\right] covariance matrix 는 positive definite matrix 여야 한다. normalizing constant: Z=(2\pi)^{D/2}|\boldsymbol{\Sigma}|^{1/2} Mahalanobis distance: ...

Gaussian Mixture Model

... descent 를 이용해서 학습할 수 있지만, 두 가지 이유로 EM 보다는 비 효율적이다. GMM 에서의 가우시안 분포들의 covariance matrix \Sigma k 는 positive semi definite 여야 한다는 조건이 붙는다. 하지만 SGD 로는 이러한 제약조건을 명시하면서 학습할 수 없다. EM 방식은 주어진 문제의 structure 를 활용할 수 있다. 즉, SGD 보...

... 상관없다는 것을 암시하기 때문이다. C) Optimization 에서 활용 만약 함수 f 가 convex 하다면, f 의 Hessian matrix \mathbf{H} {f} 는 positive definite 하다. D) Related Jacobian matrix E) References

Newton-Raphson method

... 을 계산한 후, \boldsymbol{\theta} {0} 를 대입한 값을 의미한다. 이 Newton’s method 는 Hessian matrix \boldsymbol{H} 가 positive definite 성질이 만족되어야만 사용할 수 있다는 조건이 붙는다. 이제 위 함수에 대한 critical point 를 구한다고 하면, 다음과 같은 parameter update rule 을 얻...

ordinary least squares

...bal Minimum 을 가지는가? OLS 의 solution 이 unique 한지 확인하기 위해서는 parameter \boldsymbol{w} 의 Hessian matrix 가 positive definite 한지 알아보면 된다 \displaystyle\mathbf{H}(\boldsymbol{w})=\frac{\partial^{2}}{\partial\boldsymbol{x}^{2}}\o...