Latent Variable
- missing data 를 다루는데 유용하게 사용됨
1 min read
...ocal) MLE or MAP estimates of parameters in statistical models, where the model depends on unobserved latent variables. B.1) Expectation(E) Step Estimating the hidden variables (or missing values) B.2) Maximization(M) S...
...e, VI) 은 intractable 한 posterior 분포 p(z| x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다. 이때 x 는 관측 가능한 데이터, z 는 latent variable 을 의미한다. 두 분포는 다음과 같이 divergence 를 통해 근사한 정도가 측정되고, divergence 를 최소화하도록 variational distribution q 의 v...
EM Algorithm 으로 풀 수 있는 문제들 mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means B) 정의 EM algorithm is an iterative method and a bound optimization...
Machine Learning deep Learning 과 달리 structured data 가 필요한 학습 모델 2.
Data Bias Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다. 아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
Covariate Shift covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다. Related References www.seldon.io/what-is-covariate-shift .
Probabilistic PCA 2. Related PCA, EM 3. References.
Irreducible Error linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다. 2. Related 3. References.
Logistic Loss logistic regression 에서 사용하는 loss function 을 의미한다.
Weighted Least Squares variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\...
Lazy Learning Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법 A.1) 장점 추가적인 학습 시간 없이, 곧바로 학습 결과를 얻을 수 있다.
Deep Learning Related References.