Zzong's Notes

Inductive

최초 작성 마지막 수정 읽는 데 1분

노트 편집 ↗

링크된 언급

1
t-Stochastic Nearest Embedding

...tive 학습 모델이고, 나머지 autoencoder 와 machine_learning/dimensionality_reduction/Principal Component Analysis 는 Inductive 학습 모델이라는 특징을 지니고있다. t-SNE 는 Locally Linear Embedding) 라는 차원 축소 방법과 비슷하다. t-SNE 내 정의된 두 유사도 t-SNE 는 원 공간에...

함께 보면 좋은 글

Transductive

학습의 목적이 parameters 가 아닌 학습을 의미한다.즉, 모델을 구축하지 않아서 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재학습할 필요성이 존재한다.

Lazy learning

Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법

Eager Learning

일반적인 학습 과정으로, training 데이터로 일정 기간 학습시킨 후, 학습시킨 모델을 기반으로 테스트 데이터를 적용하는 방법

parameter

관측 불가능한 variables 의 집합 (반대: data)

Principal Component Analysis

N 개의 i.i.d. 를 만족하는 데이터 포인트들 \mathbf{X}=\left[\mathbf{x}_{1},\ldots,\mathbf{x}_{N}\right]^{T} 이 존재하고, 각 \mathbf{x} 는 D 차원 벡터라고 하자. 이때 PCA 는 projection matrix \mathbf{P}=\left[\mathbf{p}_{1},\ldots,\mathbf{p}_{D^{\prime}}\right]^{T} 를 찾는 방법이다 (D^{\prime}\leq D).

metric learning

metric learning 은 데이터 포인트 간의 거리를 측정하는 방법을 학습하는 기법입니다.

contrastive learning

Contrastive learning 은 비슷해야 하는 pair 는 embedding 공간에서 가깝게, 달라야 하는 pair 는 멀게 학습하는 representation learning 방법이다.

semi-supervised learning

Semi-supervised learning은 label이 있는 데이터와 label이 없는 데이터를 함께 써서 모델을 학습하는 설정이다. label은 비싸고 unlabeled data는 많은 상황에서 자주 등장한다.

Offline Learning

모아둔 데이터로 한 번에 학습을 끝내고, 완성된 모델을 배포해 쓰는 방식이다. batch learning 이라고도 한다. 새 데이터가 쌓이면 전체를 다시 학습시켜 모델을 교체한다.

joint training

Joint-training consists of training together multiple networks with different learning objectives in order to benefit from the synergy of the learning.