Topics
Interview Questions
https://github.com/OBenner/data-engineering-interview-questions/blob/master/content/full.md
https://github.com/OBenner/data-engineering-interview-questions/blob/master/content/full.md
Apache Iceberg는 대용량 분석 테이블을 파일 위에서 안전하게 관리하기 위한 open table format 이다.
Kafka Topic 은 같은 종류의 event/message 를 모아두는 logical stream 이다. Producer 는 topic 으로 message 를 쓰고, Consumer 는 topic 에서 message 를 읽는다.
Apache Flink는 계속 들어오는 데이터를 읽어서, 그때그때 계산 결과를 갱신하는 분산 처리 엔진 이다.
분석과 리포팅을 위해 여러 시스템의 데이터를 한곳에 모아 정리해 둔 저장소다. 서비스를 돌리는 운영 데이터베이스와는 목적도 설계도 다르다.
MLlib is Spark’s machine learning (ML) library. Its goal is to make practical machine learning scalable and easy. At a high level, it provides tools such as:
Kafka 에서 Producer 는 event/message 를 생성해서 Topic(kafka) 으로 보내는 client 다. 예를 들어 click log, order event, model inference log 를 Kafka 로 흘려보내는 application 이 producer 역할을 한다.
Apache Spark 는 메모리 내 처리를 지원하여 빅 데이터를 분석하는 애플리케이션의 성능을 향상시키는 오픈 소스 병렬 처리 프레임워크입니다.
정의 Distributed SQL Query Engine for Big Data (Trino 와 유사) Presto is an open source distributed SQL query engine for running interactive analytic queries against data sources of...
TFRecord 의 단점 엄격한 포맷 tf.train.Feature(float list=tf.train.FloatList(value=[value])) 와 같이 TFRecord 에 저장할 모든 데이터는 TensorFlow 에서 제공하는 데이터 타입으로 변환해야 한다. Apache Parquet 과의 상호 변환 문제...
Spark 의 Python wrapper