Zzong's Notes

onnxruntime

최초 작성 마지막 수정 읽는 데 1분

노트 편집 ↗

링크된 언급

1
Open Neural Network Exchange

...rning models. AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다. ONNX 를 이용하면 서로간 모델을 공유할 수 있다. Related onnxruntime References

함께 보면 좋은 글

layer normalization

Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.

ML serving trends 조사

ML Model Serving : 학습된 ML 모델을 프로덕션 환경에서 예측 API로 제공하는 시스템. 모델 로딩, 스케일링, 전/후처리, 모니터링 등을 자동화.

Learning rate

비용 함수 J(\theta_1) 에서, parameter \theta_1 을 찾기 위해, 다음과 같은 gradient descent 를 반복한다고 가정하자.

activation function

activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.

fine tuning

파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.

Data Augmentation

overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다. 이러한 이미지 변형 과정을 통해 얻어진 이미지는 완전히 새로운 학습 데이터를 얻는 것보다는 학습 효과가 덜...

transfer learning

자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다.

PyTorch

1. torch.multinomia : 주어진 vector 의 weight 값을 multinomial distribution 로 치환해서 샘플링을 수행한다.

CTR prediction

굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.