confluent2 Confluent Cluster Linking 제한사항 (7.5.X 버전 기준) Cluster Linking Limitation and Best Practices (7.5 버전 기준) CFK 에서는 bidirectional 모드의 cluster link를 생성 할 수 없습니다. cluster link 삭제시, 먼저 모든 mirror topic이 STOPPED 상태인지 확인해야 합니다. 만약에 한 토픽이라도 PENDING_STOPPED 상태인 경우에 삭제하게 되면 해당 토픽들 관련하여 복구불가능한 에러가 발생할 수 있습니다. Confluent Platform 7.1 버전이후부터는, source-initiated cluster link 를 조회하는 REST API 요청을 보내면 destination_cluster_id 파라미터의 값으로 destination cluster ID를 받아올 .. 2023. 11. 20. [Kafka] Apache Kafka란 📌 kafka 및 Confluent 를 공부하며 정리하는 글 1. 카프카의 필요성 기존의 데이터를 다루는 아키텍처는 너무 복잡했다. 아래 그림과 같이 비즈니스 구조에 필요한 데이터 source 시스템과 target 시스템이 점점 많아지면서 복잡해질 수 밖에.. 이렇게 꼬일대로 꼬인 데이터 스트림을 관리하기도 어려웠을 것이다. 그래서 이렇나 데이터 스트림과 시스템들을 decoupling 하는 작업이 필요해졌다. 이를 위해 바로 분산 메시지 처리 시스템인 Apache Kafka가 나왔다. 아래와 같이 source 시스템은 각 target으로 모두 데이터를 보내는 대신에 하나의 Log에 데이터를 쌓는다. 그리고 target 시스템에서는 Log에서 각각 자신이 필요한 데이터를 가져가게 되면서 훨씬 더 간결한 구.. 2021. 5. 19. 이전 1 다음
