Residual Sum of Squares
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
A.1) 예시
coefficient 가 2 개인 단순 선형 모델의 경우
이 경우 MSE 와 비슷하다.
1 min read
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
RSS=e12+e22+⋯+en2coefficient 가 2 개인 단순 선형 모델의 경우
RSS=(y1−β^0−β^1x1)2+(y2−β^0−β^1x2)2+⋯+(yn−β^0−β^1xn)2이 경우 MSE 와 비슷하다.
...ias}\left(\hat{\sigma} {m}^{2}\right)=0). 하지만 unbased estimator 가 언제나 best 인것은 아니다. D) Bias in Linear Model RSS 가 다음과 같을 때, \mathrm{RSS}=\sum {i=1}^{n}\left(y {i} \beta {0} \sum {j=1}^{p} \beta {j} x {i j}\right)^{2} bi...
...athbf{0} 를 만족하는 Maximum Likelihood Estimation point 를 찾으면 \boldsymbol{w} 에 대해서 최적화를 수행하게 되는데, 이것은 residual sum of squares 와 같다. \displaystyle\operatorname{RSS}(\boldsymbol{w})=\frac{1}{2}\sum {n=1}^{N}\left(y {n} \bolds...
...model 가 데이터를 얼마나 잘 학습했는지의 정도를 의미한다. 다음과 같은 여러 간단한 방법들이 존재한다. residual plot: 데이터의 non linearity 를 확인하기 위해 사용 RSS: 실제 정답과 얼마나 다른지 확인하기 위해 사용 D.2) Using Standard Error standard error > Regression 참고 E) 선형 회귀 모델을 다룰 때 발생...
...ldsymbol{w}^{\top}\boldsymbol{x} {n}\right)^{2}\right)\right] 위 식에서 필요없는 additive 한 상수들을 제거하고 나면, residual sum of squares 값이 나온다 \displaystyle\operatorname{RSS}(\boldsymbol{w})\triangleq\sum {n=1}^{N}\left(y {n} \boldsy...
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자. \displaystyle\operatorname{RSS}(\boldsymbol{w})=\frac{1}{2}\sum {n=1}^{N}\left(y {n} \boldsymbol...
R squared R^{2}=\frac{\mathrm{TSS} \mathrm{RSS}}{\mathrm{TSS}}=1 \frac{\mathrm{RSS}}{\mathrm{TSS}} TSS(total sum of squares): \operatorname{TSS}=\sum\left...
...d error 를 구하기 위해 필요한 \sigma^2 은 실질적으로 계산할 수 없다. 그래서, RSE 를 통해 \sigma 를 추정한다. C) Related R squared residual sum of squares
...selection. A.2.2) Backward Stepwise Selection B) Choosing the Optimal Model 모든 변수 (predictor) 들을 고려한 모델이 가장 RSS 값이 작고, R squared 값은 가장 크다. 왜냐하면 모든 변수는 각각 학습 에러와 연관이 있기 때문이다. 그래서 이 둘은 서로 다른 변수로 구성된 모델 집합 중 가장 좋은 모델을 고를때 ...