Onnxruntime
inference APIs 를 통해 ONNX 모델에 대한 inference time 속도를 빠르게 해준다.
A.1) 장점
- 여러 언어 및 OS 의 API 를 지원한다.
- 추가적으로 학습 속도의 향상도 지원한다.
1 min read
inference APIs 를 통해 ONNX 모델에 대한 inference time 속도를 빠르게 해준다.
...ng models. AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다. ONNX 를 이용하면 서로간 모델을 공유할 수 있다. B) Related onnxruntime C) References
Open Neural Network Exchange ONNX is an open format built to represent machine learning models. AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다.
Learning Rate B) 학습률과 gradient descent 의 관계 비용 함수 J(\theta 1) 에서, parameter \theta 1 을 찾기 위해, 다음과 같은 gradient descent 를 반복한다고 가정하자.
Residual Connection 이란 residual connection 은 skip connection 과 동일한 개념으로, gradient 를 non-linear 한 activation function 을 통과시키지 않고 network 로 직접 흘려보내는 방법을 의미한다.
핵심 요약 ML Model Serving: 학습된 ML 모델을 프로덕션 환경에서 예측 API로 제공하는 시스템. 모델 로딩, 스케일링, 전/후처리, 모니터링 등을 자동화.
Data Augmentation overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다.
TFRecord TFRecord 의 단점 엄격한 포맷 tf.train.Feature(float list=tf.train.FloatList(value=[value])) 와 같이 TFRecord 에 저장할 모든 데이터는 TensorFlow 에서 제공하는 데이터 타입으로 변환해야 한다.
Transfer Learning B) In NLP 자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다. Generalized pretraining 에서 사용했던 입/출력 레이어를 제거한다.
A) CUDA def run cuda benchmark(num iters: int, profile: bool = False) -> float: torch.cuda.synchronize() if profile: torch.cuda.cudart().cudaProfilerStart() start time =...
CTR Prediction 굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.
Gradient Descent ML 모델 h 에 대한 적합한 (\theta i 와 같은) parameter 를 찾기 위한 방법 B) Visualization of Gradient Descent 아래는 parameter \theta 0 와 \theta 1 에 대한 loss function J 의 등고선 그래프이다.