여러 작업을 하나의 모델로 동시에 학습시키는 방식이다. 작업마다 별도의 모델을 두는 대신, 표현을 뽑는 부분을 공유하고 작업별 출력층만 따로 둔다.
전형적인 구조는 shared bottom 이다. 입력을 받아 표현을 만드는 아래쪽 층들을 모든 작업이 함께 쓰고, 그 위에 작업 수만큼의 head 를 얹는다. 손실은 각 작업 손실의 가중합이다.
는 작업 의 가중치로, 작업마다 손실의 크기와 수렴 속도가 다르기 때문에 이 값을 어떻게 두느냐가 결과를 크게 좌우한다.
왜 같이 학습시키나
서로가 정규화 역할을 한다. 한 작업에만 맞추면 그 작업의 잡음까지 외우기 쉽지만, 여러 작업을 동시에 만족시켜야 하면 공유 표현이 특정 작업에 과하게 치우치기 어려워진다.
데이터가 적은 작업이 많은 작업에 얹혀 간다. 라벨이 부족한 작업도, 관련된 작업의 풍부한 데이터로 만들어진 공유 표현 위에서는 적은 데이터로 학습된다.
서빙 비용이 줄어든다. 추천이나 광고에서 클릭률과 전환율을 각각 모델로 두면 요청마다 두 번 추론해야 하지만, head 만 둘로 두면 한 번으로 끝난다.
어디서 깨지나
작업들이 서로 다른 방향을 요구하면 공유 층의 gradient 가 상충해서 모든 작업이 함께 나빠진다. negative transfer 라고 부르며, 작업 사이의 관련성이 낮을수록 심해진다.
이를 완화하려고 공유 정도를 조절하는 구조를 쓴다. Mixture-of-Experts 계열은 전문가 네트워크를 여러 개 두고 작업마다 다른 조합으로 섞게 해서, 완전 공유와 완전 분리 사이를 학습으로 정하게 한다.
cross-domain recommendation 에서는 이 성질을 도메인 사이의 지식 전달에 쓴다. 원본 도메인과 대상 도메인의 작업을 동시에 풀게 하면, 공유 층이 두 도메인에 모두 통하는 표현을 배우게 된다.