Empirical risk Minimization
Maximum Likelihood Estimation 에서 (conditional) log loss term 에 평균을 계산한 값
empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
1 min read
Maximum Likelihood Estimation 에서 (conditional) log loss term ℓ(yn,θ;xn)=−logp(yn∣xn,θ) 에 평균을 계산한 값
L(θ)=N1n=1∑Nℓ(yn,θ;xn)empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
MLE 모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta {1},\cdots,\theta {m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x {1},x {2},\cdots,x {n}\right) 이라 할...
Logistic Loss logistic regression 에서 사용하는 loss function 을 의미한다.
Least Squares Estimation least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
Machine Learning deep Learning 과 달리 structured data 가 필요한 학습 모델 2.
EM Algorithm 으로 풀 수 있는 문제들 mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means B) 정의 EM algorithm is an iterative method and a bound optimization...
Mean Squared Error MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta}...
Generalized Linear Model feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
Classification 일반적인 classification 문제: y\in{0,1} (0 은 Negative Class, 1 은 Positive Class) E-mail: 스팸 yes or no? 온라인 거래: 사기 yes or no? Tumor: 양성 or 음성?...
Irreducible Error linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다. 2. Related 3. References.
Weighted Least Squares variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\...