Related Probabilistic PCA
N 개의 i.i.d. 를 만족하는 데이터 포인트들 \mathbf{X}=\left[\mathbf{x}_{1},\ldots,\mathbf{x}_{N}\right]^{T} 이 존재하고, 각 \mathbf{x} 는 D 차원 벡터라고 하자. 이때 PCA 는 projection matrix \mathbf{P}=\left[\mathbf{p}_{1},\ldots,\mathbf{p}_{D^{\prime}}\right]^{T} 를 찾는 방법이다 (D^{\prime}\leq D).
manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정 Natural data in...
mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means
특이값 분해 (Singular Value Decomposition, SVD) 는 m\times n 행렬 A 를 다음과 같이 3 개의 행렬 곱으로 분해하는 방법을 의미한다.
데이터에 직접 나타나지 않지만, 관측된 값들이 어떻게 생겨났는지 설명하기 위해 모델이 가정하는 변수다. 관측 변수를 x, 잠재 변수를 z 로 쓰는 것이 관례다.
PLSI(Probabilistic Latent Semantic Indexing)는 document 와 word 의 co-occurrence 를 latent topic 으로 설명하는 topic modeling 방법이다. LSA 를 probabilistic model 로 해석한 흐름에 가깝다.
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right) where \boldsymbol{\Lambda}=\operatorname{diag}\left(1/\sigma^{2}\left(\boldsymbol{x}_{n}\right)\right) weighted least...
LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.
feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
machine learning/learning paradigms/Inductive Learning 학습의 목적이 최적의 parameters 를 추정하는 학습을 의미한다. 즉, 모델을 구축하기 때문에 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재시작할 필요성이 없다. 예) machine...