반응형
오픈소스/kafka
-
[Kafka] Kafka란?오픈소스/kafka 2021. 7. 5. 22:37
Kafka 여러 대의 분산 서버에서 대용량의 메세지를 처리하는 분산 메세징 시스템 특징 스트리밍 데이터를 다루는 미들웨어 가용성과 확장성 데이터 영속성 Pub/Sub 모델 지원 Kafka 구성 요소와 특징 Topic과 Partition 메세지는 Topic으로 분류되고, Topic은 여러 개의 Partition으로 나눠질 수 있다. Partition 내의 한 칸을 로그라고 하고, 데이터는 한 칸의 로그에 append 된다. 메세지의 상대적 위치를 나타내는 것이 offset이다. 여러 개의 Partition을 나누는 이유? 여러 개의 Partition을 두면 쓰기가 병렬로 처리됨 한 번 늘린 파티션은 절대로 줄일 수 없기 때문에 파티션을 늘릴 때 충분히 고려되어야 한다. Producer와 Consumer P..