피어슨 상관 계수
두 랜덤 변수 에 대해서 피어슨 상관 계수는 다음과 같이 계산된다.
- cov 는 covariance, 그리고 분모는 각각 의 standard deviation
B) 해석
일반적으로 두 변수의 correlation 정도를 측정하는데 사용된다. [-1, 1] 사이의 값을 가지며, 0 에 가까울수록 독립이고, 끝 값에 가까울수록 양 또는 음의 상관관계를 가진다.
1 min read
두 랜덤 변수 X,Y 에 대해서 피어슨 상관 계수는 다음과 같이 계산된다.
ρX,Y=σXσYcov(X,Y)일반적으로 두 변수의 correlation 정도를 측정하는데 사용된다. [-1, 1] 사이의 값을 가지며, 0 에 가까울수록 독립이고, 끝 값에 가까울수록 양 또는 음의 상관관계를 가진다.
...elation 두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다. 아래는 Pearson correlation 계산 식을 나타낸다.
paper link Abstract popularity-opportunity bias(POB) 를 조사하기 위해 세 파트로 나눠서 연구를 진행함 Popularity-opportunity Bias 란? 사용자가 동일한 아이템을 둘 다 좋아하지만, 인기가 많은 아이템에 대해서 더 자주 추천되는 현상을 보이는 bias Three-part Study 실험적으로 POB 가 MF 모델에도 존재함을 확인...
Pearson correlation Kendall’s tau correlation
Correlation 두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다. 아래는 Pearson correlation 계산 식을 나타낸다.
핵심 요약 Spearman’s Rank Correlation (SRC): 두 변수의 순위(rank) 간 상관관계를 측정하는 비모수적 방법. Pearson 상관계수와 달리 선형성을 가정하지 않고, outlier에 덜 민감함.
Covariance covariance 는 두 변수가 얼마나 선형적으로 관계가 있는지 수치적으로 나타내는 값이다. covariance 의 절대값이 높다면, 두 값이 많은 변동이 있고 동시에 평균으로부터 멀리 떨어져 있다는 것을 의미한다.
Standard Deviation 집단에 속한 평균을 중심으로 퍼진 정도를 의미한다. 해당 집단이 모 집단인 경우 모 표준편차를 의미하고, 표본 집단을 대상으로 한다면 표본 표준편차를 뜻한다.
Kendall Rank Correlation Kendall 의 \tau 계수라고도 불리며, rank correlation 을 측정하는 방식 중 하나를 의미한다. 즉, 순위가 매겨진 각 데이터가 있을 때, 해당 순서의 유사도를 측정하는 방식이다.
Precision Matrix multivariate Gaussian distribution 에서 covariance matrix 의 inverse 를 precision matrix 라고 부른다. 즉, 다음과 같이 표기할 수 있다.
Concordant 두 변수를 가지는 두 쌍의 observations \left(\mathbf{X} {1}, \mathbf{Y} {1}\right) 그리고 \left(\mathbf{X} {2} \mathbf{Y} {2}\right) 에 대해서, 두 쌍이 concordant 하다면 다음을 만족한다.
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.
Standard Normal Distribution x 축의 단위가 평균의 표준 편차로 표현되는 정규 분포를 의미하며, 이 분포는 평균이 0 이고, 표준편차가 1 인 값을 가진다.
Normalizing Constant normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다.