kafka replication factor2 [Kafka] Broker & Zookeeper 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Producer와 Consumer는 자동으로 어떤 브로커에 데이터를 write할지, 어떤 브로커의 데이터를 read할지를 알게된다고 하였다. 어떻게 이러한 동작이 가능할까? Producer 와 Consumer 가 Borker를 발견해내는 방법을 알아보자. 1. Broker Discovery 모든 카프카 브로커는 "bootstrap server"라고 하는데, 하나의 broker에 접속만 하면 전체 클러스터에 접속할 수 있다는 것이다. 각 브로커는 모든 브로커뿐만 아니라 토픽, 파티션(metadata)을 알고 있다. 2. Zookeeper 브로커를 관리하며, 브로커의 리스트를 가지고 있다. 각 파티션에 대한 leader 브로커를 선정한다. 새로운 .. 2021. 5. 19. [Kafka] Topic 📌 kafka 및 Confluent 를 공부하며 정리하는 글 1. Topic (토픽) 이란? 토픽은 데이터 스트림과 비슷한 개념이다. 데이터베이스의 테이블과 비슷하다. (제약사항이 없는!) 카프카에서 원하는 만큼의 토픽을 만들 수 있고, 각 토픽은 이름으로 구별한다. 2. 토픽과 Partition (파티션), Offset(오프셋) 토픽은 파티션으로 쪼개진다! 각 파티션은 NUMBER를 가지는데(partition0, partition 1, 이렇게), 각 파티션은 순서를 갖게 된다. 하나의 파티션 안의 각 메세지는 0부터 순차적으로 증가하는 id(offset)를 가진다. 🔎 Topic Example: delivery_gps 여러 배달 오토바이가 배달 중인 비즈니스에서 카프카를 사용한다고 가정해보자. 각 배달.. 2021. 5. 19. 이전 1 다음
