Zzong's Notes

transfer learning

1 min read

Transfer Learning

B) In NLP

자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다.

  1. Generalized pretraining 에서 사용했던 입/출력 레이어를 제거한다.
  2. 특정 작업에 특화된 입/출력 레이어로 교체한다.
  3. 약간의 에폭시로 특정 작업을 위한 새로운 신경망을 학습한다.

Figure: Initial Pretraining Architecture (Untrained), Trained Language Network, Fine-Tuning Architecture

C) In RS

RS 에서 transfer learning 의 활용

  • A multi-view deep learning approach for cross domain user modeling in recommendation systems

링크된 언급

6
An Empirical Study on Recommendation with Multiple Types of Feedback

... 은 implicit feedback 보다 훨씬 개수가 떨어지기 때문이다. 이 논문에서는 이를 constrained regression라고 부르고, 이러한 방법을 종종 ML 에서는 transfer learning 이라고 부른다. C) Implementation offline model 학습으로 진행했으며, 빠른 학습을 위해 coordinate gradient descent algorithm...

cross-domain recommendation

... in which nodes from different domains are linked by the means of shared attributes or interactions. transfer learning: Knowledge obtained while training a model on the source domain is transferred to make recommendatio...

General Language Understanding Evaluation

...기는 어려웠다. 하나의 작업에 특화된 모델을 만들었으니 당연히 평가도 그 작업에 대한 평가만 진행하면 되었다. Is the NER model good at NER? 그런데 사람들이 transfer learning 을 nlp 분야에서 성공시키고 새로운 평가 방식이 필요해졌다. How do researchers evaluate the quality of these transfer learnin...

linear probing

Linear Probing transfer learning 의 방식 중 하나로, head 레이어만 학습시키고 나머지 기존 모델의 weight 는 얼리는 접근 방법 중 하나다. 이 학습 방식과 다른 방식은 fine tuning 이 존재한다....

session-based recommendations

...ross domain: target domain 내 SBR 의 성능을 끌어올리기 위해 다른 domain 에서의 knowledge 를 어떻게 가져올 수 있는것인가? 대표적인 예시로는 transfer learning 을 예로 들 수 있겠다. 대용량 streaming 또는 online 데이터를 어떻게 효율적으로/제한된 시간 내에 추천할 수 있는지? 한가지 type 의 feedback 이 아닌 다...

Word Embedding

... 단어를 몰라도 durian 이 orange 와 비슷하다면, cultivator 역시 farmer 와 비슷하다고 생각할 것이다. 이러한 점을 활용해서 word embedding 은 transfer learning 에 다음과 같은 단계를 통해서 활용될 수 있다. 대용량 text corpus(약 1 100 백만 단어들) 에서 학습된 word embedding 을 찾는다 (pre trained ...