LLE
- Locally Linear Embedding(Locally Linear Embedding) 는 차원 축소에 사용되는 기법이다.
- Locally Linear Embedding 는 고차원에서 nearest neighbors 이었던 개의 점들을 저차원에서도 nearest neighbors 가 되도록 변환시킨다.
- 단점
- 개의 가장 가까운 점들은 신경쓰지만 그 외의 점들은 전혀 신경쓰지 않는다.
- 는 hyperparameter 이다.
1 min read
...e 학습 모델이고, 나머지 autoencoder 와 Principal Component Analysis 는 Inductive 학습 모델이라는 특징을 지니고있다. t-SNE 는 Locally Linear Embedding) 라는 차원 축소 방법과 비슷하다. B) t-SNE 내 정의된 두 유사도 t-SNE 는 원 공간에서의 데이터 간 유사도 pᵢⱼ 에 가장 가깝도록 Embedding 공간에서의 ...
Principal Component Analysis Kernel PCA Locally Linear Embedding t-Stochastic Nearest Embedding
Hyperparameter 주로 최적화하는 Hyperparameter 들 Learning rate \alpha 가장 중요한 hyperparameter Number of layers Number of hidden units Learning rate decay Mini-batch size Momentum term...
L2 Loss L2 Loss 는 예측값과 정답의 차이를 제곱해서 penalty 를 주는 loss function 이다. L = \sum {i=1}^{n}(y i - \hat{y} i)^2 오차를 제곱하기 때문에 큰 오차에 훨씬 강한 penalty 를 준다.
Projection 정의 V 가 벡터 공간이고 U \subseteq V 는 V 의 subspace 라고 하자.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
t-SNE t-Stochastic Nearest Embedding 는 vector visualization 을 위하여 자주 이용되는 차원 축소 알고리즘이다.
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
KNN 어떤 문제를 푸냐에 따라 방식이 달라진다: 분류 또는 회귀. For classification: 비교 대상이 되는 데이터 주변에 가장 가까이 존재하는 k 개의 데이터와 비교해 가장 가까운 데이터 종류로 판별한다.
LDA LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.
Least Squares Estimation least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
Lazy Learning Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법 A.1) 장점 추가적인 학습 시간 없이, 곧바로 학습 결과를 얻을 수 있다.