LLE
- Locally Linear Embedding(Locally Linear Embedding) 는 차원 축소에 사용되는 기법이다.
- Locally Linear Embedding 는 고차원에서 nearest neighbors 이었던 개의 점들을 저차원에서도 nearest neighbors 가 되도록 변환시킨다.
- 단점
- 개의 가장 가까운 점들은 신경쓰지만 그 외의 점들은 전혀 신경쓰지 않는다.
- 는 hyperparameter 이다.
1 min read
...toencoder 와 machine_learning/Principal Component Analysis 는 Inductive 학습 모델이라는 특징을 지니고있다. t-SNE 는 Locally Linear Embedding) 라는 차원 축소 방법과 비슷하다. t-SNE 내 정의된 두 유사도 t-SNE 는 원 공간에서의 데이터 간 유사도 pᵢⱼ 에 가장 가깝도록 Embedding 공간에서의 데이터...
machine_learning/Principal Component Analysis Kernel PCA Locally Linear Embedding t-Stochastic Nearest Embedding
주로 최적화하는 Hyperparameter 들 Learning rate \alpha 가장 중요한 hyperparameter Number of layers Number of hidden units Learning rate decay Mini-batch size Momentum term 일반적으로 0.9...
L2 Loss 는 예측값과 정답의 차이를 제곱해서 penalty 를 주는 loss function 이다. L = \sum {i=1}^{n}(y i - \hat{y} i)^2 오차를 제곱하기 때문에 큰 오차에 훨씬 강한 penalty 를 준다.
Projection 정의 V 가 벡터 공간이고 U \subseteq V 는 V 의 subspace 라고 하자.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
t-SNE t-Stochastic Nearest Embedding 는 vector visualization 을 위하여 자주 이용되는 차원 축소 알고리즘이다.
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
KNN 어떤 문제를 푸냐에 따라 방식이 달라진다: 분류 또는 회귀. For classification: 비교 대상이 되는 데이터 주변에 가장 가까이 존재하는 k 개의 데이터와 비교해 가장 가까운 데이터 종류로 판별한다.
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
LDA(Latent Dirichlet Allocation)는 문서를 여러 latent topic 의 mixture 로 보고, 각 topic 은 word distribution 을 가진다고 가정하는 topic model 이다.