1 min read
The Bayes error rate is analogous to the irreducible error
prediction interval 이 irreducible error 을 고려하기 때문에 confidence interval 보다 훨씬 범위가 넓지만, 중앙값은 동일하다 (Example 의 100p 가 중앙값). confidence interval ...
조건부 확률을 이용한 분류기 \operatorname{Pr}\left(Y=j\mid X=x {0}\right) X=x 0 가 주어졌을 때, j class 일 확률을 계산함 실제로는 데이터 분포를 모르기 때문에, true classifier 를 찾는 것은 불가능함 대신, Bayes classifier 를 근사할 수...
Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w {0}+\boldsymbol{w}^{\top}\boldsymbol{x},\sigma^{2}\right) 여기서...
Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta} {m}-\theta\right)^{2}\right]=\operatorname{Bias}\left(\hat{\theta}...
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right)...
ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression .
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
기계 학습 방식에서 scale invariant 란, feature 들을 rescaling 하는 경우에도 prediction 에 영향을 주지 않는 특성을 의미한다. 여기서 rescaling 이란 각 column 에 서로 다른 non-zero 값을 곱하는 것을 의미한다.
deep Learning 과 달리 structured data 가 필요한 학습 모델 Machine Learning Model Representation 위 그림의 h 는 가설 (hypothesis) 을 뜻함 h:X\rightarrow Y X 는 입력 데이터 공간 (space), Y 는 출력 데이터 공간.