Zzong's Notes

TFRecord

1 min read

  • TFRecord 의 단점
    • 엄격한 포맷
      • tf.train.Feature(float_list=tf.train.FloatList(value=[value])) 와 같이 TFRecord 에 저장할 모든 데이터는 TensorFlow 에서 제공하는 데이터 타입으로 변환해야 한다.
    • Apache Parquet 과의 상호 변환 문제
      • TFRecord 변환 과정에서 사용한 tokenize, 이미지 인코딩 등의 값을 기존에 사용하던 parquet 에 추가 후 업로드 할 때 tf.data.example 등의 TFRecord 역변환 과정을 거쳐야 한다.
    • 데이터 열람의 불편함
      • TFRecord 를 사용하는 경우 Python object 타입이나 numpy 등을 자유롭게 사용하지 못하고, 데이터 열람을 위해 뷰어나 변환 도구를 새로 만들어야 한다는 점

함께 보면 좋은 글

Data Augmentation

overfitting 에 대응하기 위해서는 많은 training data 를 이용해서 학습하는 것이 좋다. 특히, 이미지 데이터의 경우, 기존 이미지를 변형해서 새로운 이미지 학습 데이터를 만들 수 있다.

transfer learning

In NLP 자연어처리 분야에서는 언어의 일반적인 이해를 신경망에 학습시키기 위해 다음과 같은 방식을 수행한다. Generalized pretraining 에서 사용했던 입/출력 레이어를 제거한다. 특정 작업에 특화된 입/출력 레이어로 교체한다.

fine tuning

Fine-tuning 파인 튜닝 방식은 모델의 모든 parameter 를 학습시키는 방법이다. 해당 학습과 다른 방식으로는 linear probing 방식이 있다.

Open Neural Network Exchange

ONNX is an open format built to represent machine learning models. AI tool 을 통해 개발을 진행하는 경우 종종 한가지 프레임워크에 갇혀있는 경우가 많다. ONNX 를 이용하면 서로간 모델을 공유할 수 있다.

activation function

Non-Linear Activation(비 선형 함수) 의 사용 이유 activation function 을 사용하지 않는다면, neural network 에 아무리 많은 layer 들을 사용해도, 그냥 입,출력 레이어만 붙어있는 네트워크와 다를바가 없기 때문이다.

Learning rate

학습률과 gradient descent 의 관계 비용 함수 J(\theta 1) 에서, parameter \theta 1 을 찾기 위해, 다음과 같은 gradient descent 를 반복한다고 가정하자.

onnxruntime

inference APIs 를 통해 ONNX 모델에 대한 inference time 속도를 빠르게 해준다. 장점 여러 언어 및 OS 의 API 를 지원한다. 추가적으로 학습 속도의 향상도 지원한다.

PyTorch

CUDA def run cuda benchmark(num iters: int, profile: bool = False) -> float: torch.cuda.synchronize() if profile: torch.cuda.cudart().cudaProfilerStart() start time =...

CTR prediction

굉작히 작은 prediction accuracy 상승이라도 이는 전체 매출에 큰 상승으로 이어진다. 수치로 따지면, 대략 1% 정도의 logloss (또는 AUC) 상승을 의미한다.

Apache Parquet

Apache Parquet는 Hadoop ecosystem에서 널리 쓰이는 columnar storage file format이다. Row 단위로 저장하는 CSV와 달리 column 단위로 데이터를 묶어 저장하므로, 분석 query에서 필요한 column만 읽기 좋다.