데이터 (observation) 의 leverage 를 측정하기 위한 방법
simple linear regression 의 경우,
특성
- 는 항상 과 사이이므로, 평균은 반드시 이다 ( 는 모델 계수의 개수).
- 그러므로, 이상인 를 지닌 데이터는 높은 leverage 인 확률이 높다.
- 일반적으로 studentized residuals 과 함께 표시해서 outlier 를 조사함과 동시에 leverage 의 정도도 조사한다.
1 min read
데이터 (observation) 의 leverage 를 측정하기 위한 방법
simple linear regression 의 경우, hi=n1+∑i′=1n(xi′−xˉ)2(xi−xˉ)2
observation 의 leverage 를 측정하기 위해서는 leverage statistic 을 계산해야 한다.
residual e i 를 추정된 standard error 으로 나눈 값 -.
outlier is a point for which y i is far from the value predicted by the model.
\displaystyle F=\frac{(\mathrm{TSS}-\mathrm{RSS})/p}{\mathrm{RSS}/(n-p-1)} p 는 coefficient 개수, n 은 sample 개수 .
y 축은 residual e {i}=y {i}-\hat{y} {i} 이고, x 축 \hat{y} {i} 인 그래프 예시 아래 그림에서 residual plot 은 U- 모양을 그리고 있다. 이는 데이터가 non-linearity 를 보인다는 증거가 된다.
F-statistic 만약 모델이 포함하고 있는 parameter 가 많다면, t-statistic 대신 F-statistic 을 사용한다. t-statistic 값을 이용하면 p-value 를 계산할 수 있다.
likelihood 는 Probability 와 반대되는 개념으로, 랜덤 변수 X 에 따른 샘플 x 이 주어졌을 때, 랜덤 변수가 따르는 parameter 가 \theta 될 확률을 의미한다. 이는 주로 \mathcal{L}(\theta\mid x) 로 표현한다.
Heteroscedasticity 는 regression 에서 error variance 가 입력 구간마다 일정하지 않은 상태를 말한다. 반대로 모든 구간에서 error variance 가 일정하다는 가정을 homoscedasticity 라고 한다.
Variance Inflation Factor, VIF The VIF is the ratio of the variance of \hat{\beta} {j} when fitting the full model divided by the variance of \hat{\beta} {j} if fit on its own.
관측된 값과 추정된 값의 차이를 의미한다. 여기서 추정된 값은 표본집단과 같은 곳에서 구해지는 estimated value 를 의미한다. Vs. Error error 는 실제 값과 관측된 값의 차이를 의미한다.
If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a {1}+a...