대용량 실시간 메시지 처리를 위한 프레임워크
Kafka Topic 은 같은 종류의 event/message 를 모아두는 logical stream 이다. Producer 는 topic 으로 message 를 쓰고, Consumer 는 topic 에서 message 를 읽는다.
Kafka Consumer는 Kafka Topic에 저장된 message를 읽어 처리하는 client다. 읽은 message를 DB에 적재하거나, feature를 계산하거나, 다른 topic으로 다시 publish할 수 있다.
Kafka 에서 Producer 는 event/message 를 생성해서 Topic(kafka) 으로 보내는 client 다. 예를 들어 click log, order event, model inference log 를 Kafka 로 흘려보내는 application 이 producer 역할을 한다.
consumer group 은 여러 Consumer 들이 포함된 그룹이다. consumer group 안의 Consumer 수만큼 파티션의 데이터를 분산처리하게 된다. 이 group 의 consumer 는 동일한 offset 을 공유하므로, 그룹 내 한 consumer 가 데이터를 읽었다면, 그룹 내 다른...
Kafka Cluster 는 여러 대의 카프카 서버가 모여 구성된 클러스터입니다.
쿼럼(Quorum)이란 zookeeper 클러스터, 즉 앙상블을 구성하는 서버들 중에서 과반수 이상을 차지하는 서버 그룹을 의미합니다. 다시 말해, 전체 서버 수의 절반보다 많은 수의 서버가 모여야 쿼럼이 형성됩니다.
partition 은 RDDs 나 Dataset 를 구성하고 있는 최소 단위 객체이며, 스파크의 성능과 리소스 점유량을 크게 좌우할 수 있는 RDD 의 가장 기본적인 개념이다.
Apache Spark 는 메모리 내 처리를 지원하여 빅 데이터를 분석하는 애플리케이션의 성능을 향상시키는 오픈 소스 병렬 처리 프레임워크입니다.
- Apache Iceberg