covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다.
covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다.
deep Learning 과 달리 structured data 가 필요한 학습 모델
Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다.
데이터를 만들어내는 확률분포가 시간에 따라 변하는 상황을 말한다. 반대로 분포가 시간이 지나도 그대로면 stationary 다.
보통 모델이나 알고리즘의 “feature”들을 제거해 나가면서 그 행위가 성능에 얼마나 영향을 미치는지를 확인해보는 것 다른 말로 하면, 제안한 요소가 모델에 어떠한 영향을 미치는지 확인하고 싶을 때, 이 요소를 포함한 모델과 포함하지 않은 모델을 비교하는 것
manifold 의 정의 고차원의 데이터를 저차원으로 옮길 때 데이터를 잘 설명하는 집합의 모형 매니폴드 가정 (manifold Hypothesis (assumption) 고차원의 데이터의 밀도는 낮지만, 이들의 집합을 포함하는 저차원의 manifold(subspace) 가 있다는 가정 Natural data in...
overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다. 이러한 이미지 변형 과정을 통해 얻어진 이미지는 완전히 새로운 학습 데이터를 얻는 것보다는 학습 효과가 덜...
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right) where \boldsymbol{\Lambda}=\operatorname{diag}\left(1/\sigma^{2}\left(\boldsymbol{x}_{n}\right)\right) weighted least...
추천 시스템의 학습은 supervised learning 과 다르다. 추천 시스템은 오직 사용자가 선택한 결과만을 가지고 학습하기 때문에, log data 는 partial information 형식을 지닌다. 반면 지도 학습은 그 사용자에 대해서 가장 적합한 best ranking items 전체를 학습하기...
모델이 학습 데이터의 패턴조차 제대로 잡아내지 못하는 상태다. 학습 데이터에서의 오차도 크고, 새로운 데이터에서의 오차도 크다.
Scoping: 프로젝트를 정의 (what is the X - Y ?) Key metrics 에 대한 결정이 필요함 (e.g. accuracy, latentcy) 필요한 자원과 시간을 추정하기 Data: 데이터 모으기 데이터 labeling 이 일관성 있는지 확인 machine learning/feature...