피어슨 상관 계수
두 랜덤 변수 에 대해서 피어슨 상관 계수는 다음과 같이 계산된다.
- cov 는 covariance, 그리고 분모는 각각 의 standard deviation
해석
일반적으로 두 변수의 correlation 정도를 측정하는데 사용된다. [-1, 1] 사이의 값을 가지며, 0 에 가까울수록 독립이고, 끝 값에 가까울수록 양 또는 음의 상관관계를 가진다.
두 랜덤 변수 X,Y 에 대해서 피어슨 상관 계수는 다음과 같이 계산된다.
ρX,Y=σXσYcov(X,Y)일반적으로 두 변수의 correlation 정도를 측정하는데 사용된다. [-1, 1] 사이의 값을 가지며, 0 에 가까울수록 독립이고, 끝 값에 가까울수록 양 또는 음의 상관관계를 가진다.
두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다. 아래는 Pearson correlation 계산 식을 나타낸다.
paper link Abstract popularity-opportunity bias(POB) 를 조사하기 위해 세 파트로 나눠서 연구를 진행함 Popularity-opportunity Bias 란 사용자가 동일한 아이템을 둘 다 좋아하지만, 인기가 많은 아이템에 대해서 더 자주 추천되는 현상을 보이는 bias Three-part Study 실험적으로 POB 가 MF 모델에도 존재함을 확인함...
Pearson correlation Kendall’s tau correlation
두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다.
Spearman's Rank Correlation (SRC) : 두 변수의 순위(rank) 간 상관관계를 측정하는 비모수적 방법. Pearson 상관계수와 달리 선형성을 가정하지 않고, outlier에 덜 민감함.
집단에 속한 평균을 중심으로 퍼진 정도를 의미한다. 해당 집단이 모 집단인 경우 모 표준편차를 의미하고, 표본 집단을 대상으로 한다면 표본 표준편차를 뜻한다.
covariance 는 두 변수가 얼마나 선형적으로 관계가 있는지 수치적으로 나타내는 값이다.
Kendall 의 \tau 계수라고도 불리며, rank correlation 을 측정하는 방식 중 하나를 의미한다. 즉, 순위가 매겨진 각 데이터가 있을 때, 해당 순서의 유사도를 측정하는 방식이다.
multivariate Gaussian distribution 에서 covariance matrix 의 inverse 를 precision matrix 라고 부른다.
어떤 시행(실험)에서 특정 결과(샘플)가 나올 가능성을 확률 P(A), A \in \mathcal{A}로 표현한다. 다시 말해, 관측값 또는 관측 구간이 주어진 Probability Distribution에서 나타날 가능성의 정도를 의미한다.
두 변수를 가지는 두 쌍의 observations \left(\mathbf{X}_{1}, \mathbf{Y}_{1}\right) 그리고 \left(\mathbf{X}_{2} \mathbf{Y}_{2}\right) 에 대해서, 두 쌍이 concordant 하다면 다음을 만족한다.
this variable explains the variation in the response variable
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.