The Bayes error rate is analogous to the irreducible error
prediction interval 이 irreducible error 을 고려하기 때문에 confidence interval 보다 훨씬 범위가 넓지만, 중앙값은 동일하다 (Example 의 100p 가 중앙값). confidence interval ...
Linear Regression 는 다음과 같은 형태의 모델을 의미한다
Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right) where \boldsymbol{\Lambda}=\operatorname{diag}\left(1/\sigma^{2}\left(\boldsymbol{x}_{n}\right)\right) weighted least...
조건부 확률을 이용한 분류기 \operatorname{Pr}\left(Y=j\mid X=x_{0}\right) X=x_0 가 주어졌을 때, j class 일 확률을 계산함 실제로는 데이터 분포를 모르기 때문에, true classifier 를 찾는 것은 불가능함 대신, Bayes classifier 를 근사할 수 있는 방법들이 존재함 Bayes error...
linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다.
MSE of the estimates
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
ridge 과 lasso regression 을 합친 하이브리드 선형 모델
기계 학습 방식에서 scale invariant 란, feature 들을 rescaling 하는 경우에도 prediction 에 영향을 주지 않는 특성을 의미한다.
bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다.