데이터에 직접 나타나지 않지만, 관측된 값들이 어떻게 생겨났는지 설명하기 위해 모델이 가정하는 변수다. 관측 변수를 , 잠재 변수를 로 쓰는 것이 관례다.
예를 들어 사용자가 영화에 매긴 평점은 관측된다. 그 평점을 만들어낸 “이 사용자가 어떤 장르를 좋아하는가” 는 데이터에 적혀 있지 않지만, 평점의 패턴을 설명하는 데 쓸 수 있다. 이런 변수가 잠재 변수다.
왜 도입하나
단순한 부품으로 복잡한 분포를 만든다. 봉우리가 여러 개인 분포를 가우시안 하나로는 못 맞추지만, “먼저 어느 군집에 속하는지 뽑고(), 그 군집의 가우시안에서 값을 뽑는다()” 로 두면 가우시안 몇 개의 혼합으로 표현된다. Gaussian Mixture Model 이 이 구조다.
차원을 줄인다. 수만 개 아이템에 대한 평점 벡터를 수십 차원의 잠재 요인으로 압축하면, 관측되지 않은 칸도 그 요인으로 채워 넣을 수 있다. 행렬 분해 기반 추천이 여기에 해당한다.
추정이 어려운 이유
를 알 수 없으므로 likelihood 를 계산하려면 가능한 를 전부 더하거나 적분해서 없애야 한다.
이 적분이 대개 닫힌 형태로 풀리지 않는다. 그래서 를 직접 구하는 대신 우회하는 방법을 쓴다.
EM algorithm — 의 사후분포로 기댓값을 취해 하한을 만든 뒤(E-step), 그 하한을 최대화하는 파라미터를 찾는다(M-step). 두 단계를 번갈아 돌리면 likelihood 가 단조 증가한다.
variational inference — 다루기 어려운 posterior 를 다루기 쉬운 분포 로 근사하고, 둘 사이의 KL-Divergence 를 줄이는 방향으로 를 고른다.