- Related
- 정의
- -divergence 종류 중 하나로, 두 확률 분포 의 거리를 계산하기 위해 사용함
- KL-Divergence 의 관계
- Hellinger 거리가 라고 한다면, 를 만족한다.
- 증명은 stackoverflow
- Hellinger 거리가 라고 한다면, 를 만족한다.
1 min read
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
KL-Divergence 의 symmetric 및 normalized 버전 \operatorname{JSD}(P\|Q)=\frac{1}{2}D(P\|M)+\frac{1}{2}D(Q\|M) M=\frac{1}{2}(P+Q) D(P\|Q) 는 두 분포 P,Q 의 KL-Divergence...
관측 불가능한 variables 의 집합 (반대: data) In Statistic 모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
\displaystyle\operatorname{sim}(u,v)=\frac{u^{\top}v}{\|u\| {2}\|v\| {2}} 두 벡터가 서로 유사할수록, Cosine similarity 값은 커진다. Vs.
한줄 요약 Negative Log Likelihood(NLL)는 “모델이 정답에 부여한 확률이 낮을수록 커지는 벌점” 이다. 모델이 정답을 확률 1로 맞히면 벌점 0, 정답에 확률을 거의 안 줬으면 벌점이 무한대로 치솟는다.
manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정 Natural data...
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다. 어떤 모델을 학습시켰을 경우, 그 모델이 예측한 값과 실제 정답이 얼마나 멀리있는지를 나타내는가 생각해보면 된다.
조건부 확률을 이용한 분류기 \operatorname{Pr}\left(Y=j\mid X=x {0}\right) X=x 0 가 주어졌을 때, j class 일 확률을 계산함 실제로는 데이터 분포를 모르기 때문에, true classifier 를 찾는 것은 불가능함 대신, Bayes classifier 를 근사할 수...