Self-supervised
데이터로부터 target(label) 을 만들어내는 학습
1 min read
Autoencoder self-supervised Learning 방식이다. 학습된 manifold 근방의 데이터에 대해서만 제대로 작동함으로써 간접적으로 manifold 를 표현한다. 직접 manifold 를 추정하고 표현하는 기...
metric learning hard negative self-supervised
Contrastive Learning Contrastive learning 은 비슷해야 하는 pair 는 embedding 공간에서 가깝게, 달라야 하는 pair 는 멀게 학습하는 representation learning 방법이다.
Linear Probing transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다. 이 학습 방식과 다른 방식은 fine tuning 이 존재한다.
Supervised Fine-tuning Before we start training reward models and tuning our model with RL, it helps if the model is already good in the domain we are interested in.
Weight Decay regularization > Weight Decay 를 참고할 것. Related References.
seq2seq B) Application of seq2seq Model Translation Image captioning: Example of the Alexnet C) 일반적인 Language 모델과의 비교 일반적인 language 모델과 달리, 주어진 입력이 zero vector 가 아니라, encoder...
Data Augmentation overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다.
Adam B) Related C) References.
Step Function \chi {A}(x)= \begin{cases}1 & \text { if } x \in A \\ 0 & \text { if } x \notin A\end{cases} B) Related C) References en.wikipedia.org/wiki/Step function .
Xavier Initialization neural network 의 weight 초기화 방법 모든 layer l 에 대해서 다음과 같이 weight 와 bias 값을 초기화 \begin{aligned}W^{[l]}&\sim\mathcal{N}\left(\mu=0,\sigma^{2}=\frac{1}{n^{[l...
Vanishing Gradients gradient 가 backpropagation 을 통해 layer 들을 지날 때 마다 exponential 하게 감소하는 현상 해결책: Gated Recurrent Unit / Long Short-Term Memory / Truncated BTT exploding...