1 min read
estimation 과 실제 값의 차이의 제곱에 대한 합을 나타낸다.
RSS=e12+e22+⋯+en2coefficient 가 2 개인 단순 선형 모델의 경우
RSS=(y1−β^0−β^1x1)2+(y2−β^0−β^1x2)2+⋯+(yn−β^0−β^1xn)2이 경우 MSE 와 비슷하다.
Bias in Linear Model RSS 가 다음과 같을 때,
least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다. linear regression 모델을 데이터에 맞추기 위해서, 학습 데이터에 대한 negative log likelihood 값을 최소화 해야한다. 최소화하는 목적 함수는 다음과 같다 Related NLL, ordinary least squares, weighted le...
residual plot: 데이터의 non-linearity 를 확인하기 위해 사용 RSS: 실제 정답과 얼마나 다른지 확인하기 위해 사용
또한, RSS 를 example 개수 N 으로 나누게 된다면 mean squared error 가 된다.
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
Adjusted R-squared 모델 변수가 늘어날때마다 증가하는 RSS 값에 패널티를 주기위해, d 개의 변수에 대한 adjusted R-squared 값은 다음과 같다.
R-squared residual sum of squares
...ly efficient alternative to best subset selection. Choosing the Optimal Model 모든 변수 (predictor) 들을 고려한 모델이 가장 RSS 값이 작고, R-squared 값은 가장 크다. 왜냐하면 모든 변수는 각각 학습 에러와 연관이 있기 때문이다. 그래서 이 둘은 서로 다른 변수로 구성된 모델 집합 중 가장 좋은 모델을 고를때 ...
Residual Standard Error, RSE \displaystyle\mathrm{RSE}=\sqrt{\frac{1}{n-p-1} \cdot \mathrm{RSS}} p 는 모델의 변수 개수 그리고 n 은 데이터 개수이며, RSS 는 다음과 같다.
bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다. 어떤 모델을 학습시켰을 경우, 그 모델이 예측한 값과 실제 정답이 얼마나 멀리있는지를 나타내는가 생각해보면 된다.
y 축은 residual e {i}=y {i}-\hat{y} {i} 이고, x 축 \hat{y} {i} 인 그래프 예시 아래 그림에서 residual plot 은 U- 모양을 그리고 있다. 이는 데이터가 non-linearity 를 보인다는 증거가 된다.
R^{2}=\frac{\mathrm{TSS}-\mathrm{RSS}}{\mathrm{TSS}}=1-\frac{\mathrm{RSS}}{\mathrm{TSS}} TSS(total sum of squares): \operatorname{TSS}=\sum\left(y {i}-\bar{y}\right)^{2} RSS:...
MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta} {m}-\theta\right)^{2}\right]=\operatorname{Bias}\left(\hat{\theta}...
표준 오차란, 표본 집단에서 계산할 수 있는 통계 (e.g. 평균) 를 여러번 계산했을 때, 모집단에서 계산할 수 있는 통계와의 편차의 정도를 의미한다. 정의에서 보아도 알 수 있듯이 당연하게도 모평균의 표준오차라는 말은 존재하지 않는다.
Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w {0}+\boldsymbol{w}^{\top}\boldsymbol{x},\sigma^{2}\right) 여기서...
관측 불가능한 variables 의 집합 (반대: data) In Statistic 모집단에서 계산될 수 있는 통계치를 parameter 라 부르며, 표본집단에서 계산될 수 있는 통계치를 statistic 이라 부른다.
variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
FPR FPR(False Positive Rate)은 실제 negative 중에서 모델이 positive 로 잘못 예측한 비율이다.