hard negative 는 False Positive 의 일종으로, 실제로는 negative 인데 positive 라고 잘못 예측하기 쉬운 데이터다.
반대로, easy negative 는 실제로 negative 이고 예측도 negative 라고 잘 나오는 예측이 쉬운 데이터이다.
1 min read
hard negative 는 False Positive 의 일종으로, 실제로는 negative 인데 positive 라고 잘못 예측하기 쉬운 데이터다.
반대로, easy negative 는 실제로 negative 이고 예측도 negative 라고 잘 나오는 예측이 쉬운 데이터이다.
metric learning hard negative self-supervised
...데이터셋 위에서 배우는 평범한 knowledge distillation 이 이미 할 수 있는 최선이다. 여기서 “학생이 틀리는 지점”을 파고들고 싶다면 그건 증류 방식의 문제가 아니라 hard negative mining이나 active learning 쪽 문제다. 출력이 다음 입력이 되는 구조라면 어디든 유효하다. 언어모델의 autoregressive 생성은 그중 한 사례일 뿐이다.
Contrastive learning 은 비슷해야 하는 pair 는 embedding 공간에서 가깝게, 달라야 하는 pair 는 멀게 학습하는 representation learning 방법이다.
실제 음성 (negative) 인 데이터를 (통계) 모델이 양성 (positive) 으로 판정해서 발생하는 오류 실제: negative (False) 예측: positive 귀무가설 이 실제로 참이지만, 귀무가설을 기각하는 오류이다.
Training data 전체를 메모리상에 보관하면서 test 데이터가 새로 들어왔을 때 바로 학습하는 방법 장점 추가적인 학습 시간 없이, 곧바로 학습 결과를 얻을 수 있다.
일반적인 학습 과정으로, training 데이터로 일정 기간 학습시킨 후, 학습시킨 모델을 기반으로 테스트 데이터를 적용하는 방법 training 데이터는 학습 시에만 메모리에 보관되며 학습 이후에는 training 데이터를 메모리에서 제거한다.
deep Learning 과 달리 structured data 가 필요한 학습 모델 Machine Learning Model Representation 위 그림의 h 는 가설 (hypothesis) 을 뜻함 h:X\rightarrow Y X 는 입력 데이터 공간 (space), Y 는 출력 데이터 공간.
데이터를 줄여서 샘플링하는 방법이다. Apply with cross-validation K-fold validation 을 적용할때 downsampling 을 적용하는 기법은 학습 데이터 (in-fold data) 만 일부 샘플링하여 적용하는 것이다.
Data Bias 란 수집된 학습 데이터의 분포가 이상적인 테스트 데이터의 분포와 다른 것을 의미한다. 아무리 많은 데이터를 수집하더라도, 분포 자체가 다르면 estimation 과 optimal function 간 gap 이 생길 수 밖에 없다.
linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다.
covariate shift 는 ML 에서 종종 마주치는 특수한 형태의 데이터 변화를 의미한다. References www.seldon.io/what-is-covariate-shift .
Semi-supervised learning은 label이 있는 데이터와 label이 없는 데이터를 함께 써서 모델을 학습하는 설정이다. label은 비싸고 unlabeled data는 많은 상황에서 자주 등장한다.