estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
RSS=e12+e22+⋯+en2coefficient 가 2 개인 단순 선형 모델의 경우
RSS=(y1−β^0−β^1x1)2+(y2−β^0−β^1x2)2+⋯+(yn−β^0−β^1xn)2이 경우 MSE 와 비슷하다.
Bias in Linear Model RSS 가 다음과 같을 때,
least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다. linear regression 모델을 데이터에 맞추기 위해서, 학습 데이터에 대한 negative log likelihood 값을 최소화 해야한다. 최소화하는 목적 함수는 다음과 같다 Related NLL, ordinary least squares, weighted le...
residual plot: 데이터의 non-linearity 를 확인하기 위해 사용 RSS: 실제 정답과 얼마나 다른지 확인하기 위해 사용
또한, RSS 를 example 개수 N 으로 나누게 된다면 mean squared error 가 된다.
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
Adjusted R-squared 모델 변수가 늘어날때마다 증가하는 RSS 값에 패널티를 주기위해, d 개의 변수에 대한 adjusted R-squared 값은 다음과 같다.
R-squared residual sum of squares
...ly efficient alternative to best subset selection. Choosing the Optimal Model 모든 변수 (predictor) 들을 고려한 모델이 가장 RSS 값이 작고, R-squared 값은 가장 크다. 왜냐하면 모든 변수는 각각 학습 에러와 연관이 있기 때문이다. 그래서 이 둘은 서로 다른 변수로 구성된 모델 집합 중 가장 좋은 모델을 고를때 ...
p 는 모델의 변수 개수 그리고 n 은 데이터 개수이며, RSS 는 다음과 같다.
bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다.
y 축은 residual e_{i}=y_{i}-\hat{y}_{i} 이고, x 축 \hat{y}_{i} 인 그래프
표준 오차란, 표본 집단에서 계산할 수 있는 통계 (e.g. 평균) 를 여러번 계산했을 때, 모집단에서 계산할 수 있는 통계와의 편차의 정도를 의미한다.
TSS(total sum of squares): \operatorname{TSS}=\sum\left(y_{i}-\bar{y}\right)^{2} RSS: \operatorname{RSS}=\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}
Linear Regression 는 다음과 같은 형태의 모델을 의미한다
MSE of the estimates
두 변수 간 선형 관계를 측정하기 위해서 사용하는 값 covariance 역시 선형 관계를 측정하지만, normalized 된 것이냐 아니냐의 차이가 있다.
covariance 는 두 변수가 얼마나 선형적으로 관계가 있는지 수치적으로 나타내는 값이다.
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다.