- it aims to detect new instances that look different from all instances in the training set.
- This requires having a very “clean” training set, devoid of any instance that you would like the algorithm to detect.
1 min read
novelty detection
Problem Statement of the Anomaly Detection \begin{aligned} &\text { Dataset: }\left\{x^{(1)}, x^{(2)}, \ldots, x^{(m)}\right\}\\ &\text { Is } x {\text {test}} \ \text...
clustering K-means DBSCAN anomaly detection One-class support vector machine Isolation Forest dimensionality reduction machine learning/Principal Component Analysis Kernel PCA...
학습의 목적이 parameters 가 아닌 학습을 의미한다.즉, 모델을 구축하지 않아서 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재학습할 필요성이 존재한다. 예) t-SNE 는 고차원 데이터에 대한 최적의 저차원 데이터를 추정한다.
Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법 장점 추가적인 학습 시간 없이, 곧바로 학습 결과를 얻을 수 있다.
정의 metric learning 은 데이터 포인트 간의 거리를 측정하는 방법을 학습하는 기법입니다.
Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다. 아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
개념 변화 검출의 중요성 기존의 데이터 마이닝 방법들은 입력되는 데이터들이 고정된 상황에서 데이터들의 경향을 미리 파악한 뒤, 파악한 경향성을 바탕으로 이후의 동작을 수행하는 경우가 많다.
class 분류 문제에서 class 당 instance 수의 균형이 맞지 않는 문제를 말하며, 이를 imbalanced data 라고 한다. Solutions 가장 먼저 해볼것은 그냥 전체 데이터를 이용해 학습해 보는 것이다. 만약 모델이 잘 동작한다면 문제 없다.
Tags unsupervised learning k-Nearest Neighbors linear regression logistic regression support vector machine Decision Tree and random forest .
Joint-training consists of training together multiple networks with different learning objectives in order to benefit from the synergy of the learning.