쿼럼(Quorum)이란 zookeeper 클러스터, 즉 앙상블을 구성하는 서버들 중에서 과반수 이상을 차지하는 서버 그룹을 의미합니다. 다시 말해, 전체 서버 수의 절반보다 많은 수의 서버가 모여야 쿼럼이 형성됩니다.
1 min read
쿼럼(Quorum)이란 zookeeper 클러스터, 즉 앙상블을 구성하는 서버들 중에서 과반수 이상을 차지하는 서버 그룹을 의미합니다. 다시 말해, 전체 서버 수의 절반보다 많은 수의 서버가 모여야 쿼럼이 형성됩니다.
Kafka Cluster 는 여러 대의 카프카 서버가 모여 구성된 클러스터입니다. 이 이미지는 카프카 전체 프로세스의 구조를 보여줍니다.
consumer group 은 여러 Consumer 들이 포함된 그룹이다. consumer group 안의 Consumer 수만큼 파티션의 데이터를 분산처리하게 된다.
대용량 실시간 메시지 처리를 위한 프레임워크 Producer & Consumer Kafka 는 Producer 와 Consumer 가 데이터를 주고 받기 위한 중간 다리 역할을 한다.
Kafka Topic Kafka Topic 은 같은 종류의 event/message 를 모아두는 logical stream 이다. Producer 는 topic 으로 message 를 쓰고, Consumer 는 topic 에서 message 를 읽는다.
References www.confluent.io/blog/hands-free-kafka-replication-a-lesson-in-operational-simplicity/ .
Kafka Consumer Kafka Consumer는 Kafka Topic에 저장된 message를 읽어 처리하는 client다. 읽은 message를 DB에 적재하거나, feature를 계산하거나, 다른 topic으로 다시 publish할 수 있다.
Kafka 에서 Producer 는 event/message 를 생성해서 Topic(kafka) 으로 보내는 client 다.
고가용성 (HA, High Availability) 이란 서버와 네트워크, 프로그램 등의 정보 시스템이 상당히 오랜 기간 동안 지속적으로 정상 운영이 가능한 성질을 말한다. 고 (高) 가용성이란 “가용성이 높다”는 뜻으로서, “절대 고장 나지 않음”을 의미한다.
QPS QPS 는 서버가 초당 처리할 수 있는 쿼리 수를 의미한다 (Queries-per-second (QPS).
Virtual Machine 과 Container 의 차이점 VM 가상화는 일반적으로 linux kernel 위에 hypervisor 가 올라가고, 그 위에 guest OS 와 사용자 app 이 올라감 반면, container 는 linux kernel 에 내장되어 있는 namespace 와 cgroup 등을...