Hellinger Distance
- Related
- 정의
- -divergence 종류 중 하나로, 두 확률 분포 의 거리를 계산하기 위해 사용함
- KL-Divergence 의 관계
- Hellinger 거리가 라고 한다면, 를 만족한다.
- 증명은 stackoverflow
- Hellinger 거리가 라고 한다면, 를 만족한다.
1 min read
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
Jensen–Shannon Divergence KL-Divergence 의 symmetric 및 normalized 버전 \operatorname{JSD}(P\|Q)=\frac{1}{2}D(P\|M)+\frac{1}{2}D(Q\|M) M=\frac{1}{2}(P+Q) D(P\|Q) 는 두 분포 P,Q 의...
Parameter 관측 불가능한 variables 의 집합 (반대: data) B) In Statistic 모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
Variance variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
Cosine Similarity \displaystyle\operatorname{sim}(u,v)=\frac{u^{\top}v}{\|u\| {2}\|v\| {2}} 두 벡터가 서로 유사할수록, Cosine similarity 값은 커진다. B) Vs.
Manifold manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정...
Bias bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다. 어떤 모델을 학습시켰을 경우, 그 모델이 예측한 값과 실제 정답이 얼마나 멀리있는지를 나타내는가 생각해보면 된다.
Residual Sum of Squares estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
Bayes Classifier 조건부 확률을 이용한 분류기 \operatorname{Pr}\left(Y=j\mid X=x {0}\right) X=x 0 가 주어졌을 때, j class 일 확률을 계산함 실제로는 데이터 분포를 모르기 때문에, true classifier 를 찾는 것은 불가능함 대신, Bayes...
Standard Error 표준 오차란, 표본 집단에서 계산할 수 있는 통계 (e.g. 평균) 를 여러번 계산했을 때, 모집단에서 계산할 수 있는 통계와의 편차의 정도를 의미한다. 정의에서 보아도 알 수 있듯이 당연하게도 모평균의 표준오차라는 말은 존재하지 않는다.