1 min read
Convolution Neural Network 을 활용하여 데이터스트림 개념 변화 검출
개념 변화 검출의 중요성 기존의 데이터 마이닝 방법들은 입력되는 데이터들이 고정된 상황에서 데이터들의 경향을 미리 파악한 뒤, 파악한 경향성을 바탕으로 이후의 동작을 수행하는 경우가 많다.
Mean If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a...
Data Bias Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다. 아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
Variance variance 는 평균에서 얼마나 벗어난 것인지의 정도를 측정한 값이다. 랜덤 변수 X 에 대한 Variance 는 expectation 을 활용하면 다음과 같이 두가지 방식으로 표현될 수 있다.
Covariate Shift covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다. Related References www.seldon.io/what-is-covariate-shift .
MongoDB Compass B) Related C) References.
Clustering B) 다차원에서의 클러스터링 다차원 (high dimensional) 데이터를 이용한 클러스터링은 의미없을 수 있다 (may be meaningless).
Latent Variable missing data 를 다루는데 유용하게 사용됨 B) Related C) References.
Bias bias 는 데이터 내에 있는 모든 정보를 고려하지 않음으로 인해, 지속적으로 잘못된 것들을 학습하는 경향을 말한다. 어떤 모델을 학습시켰을 경우, 그 모델이 예측한 값과 실제 정답이 얼마나 멀리있는지를 나타내는가 생각해보면 된다.
Non-stationary 시간이 지남에 따라 expected reward 가 바뀌는 이슈 B) Related C) References.