ONNX is an open format built to represent machine learning models.
AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다. ONNX 를 이용하면 서로간 모델을 공유할 수 있다.
inference APIs 를 통해 ONNX 모델에 대한 inference time 속도를 빠르게 해준다. 장점
Triton Inference Server 는 딥러닝 모델을 높은 성능으로 서빙을 할 수 있는 오픈소스 추론서버입니다. ONNX, TensorFlow, PyTorch, TensorRT 와 같은 다양한 딥러닝 프레임워크를 지원하며 다양한 모델 실행과 효율적인 배치 전략을 통해 하드웨어 활용도를 극대화할 수 있도록 최적화 ...
inference APIs 를 통해 ONNX 모델에 대한 inference time 속도를 빠르게 해준다.
Triton Inference Server 는 딥러닝 모델을 높은 성능으로 서빙을 할 수 있는 오픈소스 추론서버입니다. ONNX, TensorFlow, PyTorch, TensorRT 와 같은 다양한 딥러닝 프레임워크를 지원하며 다양한 모델 실행과 효율적인 배치 전략을 통해 하드웨어 활용도를 극대화할 수 있도록...
Batch Normalization 이라고도 불리며, 배치에 있는 각 입력을 평균이 0 이고 분산이 1 을 가지도록 정규화하는 작업을 의미한다.
파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다.
자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다.
perceptron 으로 이루어진 층 (layer) 여러 개를 순차적으로 붙여놓은 구조다. 입력층, 하나 이상의 hidden layer, 출력층으로 이루어지고, 신호가 입력에서 출력 방향으로만 흐르기 때문에 feed-forward neural network 또는 FFDNN (feed-forward deep...
overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다. 이러한 이미지 변형 과정을 통해 얻어진 이미지는 완전히 새로운 학습 데이터를 얻는 것보다는 학습 효과가 덜...
DeepSpeed-MoE 란, an end-to-end MoE training and inference solution as part of the DeepSpeed library 이다.
굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.
ArgoCD 는 GitOps 방식으로 관리되는 Manifest(yaml) 파일의 변경사항을 감시하며, 현재 배포된 환경의 상태와 Github Manifest 파일에 정의된 상태를 동일하게 유지하는 역할을 수행한다.