hard negative 는 False Positive 의 일종으로, 실제로는 negative 인데 positive 라고 잘못 예측하기 쉬운 데이터다.
반대로, easy negative 는 실제로 negative 이고 예측도 negative 라고 잘 나오는 예측이 쉬운 데이터이다.
hard negative 는 False Positive 의 일종으로, 실제로는 negative 인데 positive 라고 잘못 예측하기 쉬운 데이터다.
반대로, easy negative 는 실제로 negative 이고 예측도 negative 라고 잘 나오는 예측이 쉬운 데이터이다.
metric learning hard negative self-supervised
...데이터셋 위에서 배우는 평범한 knowledge distillation 이 이미 할 수 있는 최선이다. 여기서 “학생이 틀리는 지점”을 파고들고 싶다면 그건 증류 방식의 문제가 아니라 hard negative mining이나 active learning 쪽 문제다. 출력이 다음 입력이 되는 구조라면 어디든 유효하다. 언어모델의 autoregressive 생성은 그중 한 사례일 뿐이다.
Contrastive learning 은 비슷해야 하는 pair 는 embedding 공간에서 가깝게, 달라야 하는 pair 는 멀게 학습하는 representation learning 방법이다.
실제 음성 (negative) 인 데이터를 (통계) 모델이 양성 (positive) 으로 판정해서 발생하는 오류
Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법
일반적인 학습 과정으로, training 데이터로 일정 기간 학습시킨 후, 학습시킨 모델을 기반으로 테스트 데이터를 적용하는 방법
Semi-supervised learning은 label이 있는 데이터와 label이 없는 데이터를 함께 써서 모델을 학습하는 설정이다. label은 비싸고 unlabeled data는 많은 상황에서 자주 등장한다.
metric learning 은 데이터 포인트 간의 거리를 측정하는 방법을 학습하는 기법입니다.
모아둔 데이터로 한 번에 학습을 끝내고, 완성된 모델을 배포해 쓰는 방식이다. batch learning 이라고도 한다. 새 데이터가 쌓이면 전체를 다시 학습시켜 모델을 교체한다.
machine learning/learning paradigms/Inductive Learning 학습의 목적이 최적의 parameters 를 추정하는 학습을 의미한다. 즉, 모델을 구축하기 때문에 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재시작할 필요성이 없다. 예) machine...
학습의 목적이 parameters 가 아닌 학습을 의미한다.즉, 모델을 구축하지 않아서 새로운 데이터가 입력으로 들어왔을 때, 알고리즘을 처음부터 재학습할 필요성이 존재한다.
Joint-training consists of training together multiple networks with different learning objectives in order to benefit from the synergy of the learning.