자기발전소/# Kafka_Confluent13 Confluent Cluster Linking 제한사항 (7.5.X 버전 기준) Cluster Linking Limitation and Best Practices (7.5 버전 기준) CFK 에서는 bidirectional 모드의 cluster link를 생성 할 수 없습니다. cluster link 삭제시, 먼저 모든 mirror topic이 STOPPED 상태인지 확인해야 합니다. 만약에 한 토픽이라도 PENDING_STOPPED 상태인 경우에 삭제하게 되면 해당 토픽들 관련하여 복구불가능한 에러가 발생할 수 있습니다. Confluent Platform 7.1 버전이후부터는, source-initiated cluster link 를 조회하는 REST API 요청을 보내면 destination_cluster_id 파라미터의 값으로 destination cluster ID를 받아올 .. 2023. 11. 20. Confluent Cloud 시작 기록 #1 GITHUB 계정으로 바로 Sign in 했다. 간단한 설문조사를 마친 다음, Get Started ! Avalibility 부분을 확인해보면, Write / Read 별(데이터 I/O) 로 요금이 부과되는 것을 알 수 있다. PAYMENT 단계에서 PROMO CODE 입력하고, 카드 정보 기입(생략 가능) 넘어간다. 한 큐에 바로 클러스터 완성! 이제 다음장에서 까다로운 Confluent Cloud 네트워킹을 설정해보려고한다. 2023. 11. 20. Confluent for Kubernetes 삽질 기록 Kubernetes 클러스터도 구축했고 CFK 도 쉽게 설치했는데 Storage 프로비저닝 설정에서 계속 막히는 중.. 나중에 다 알고나면 이런 삽질을 왜 했을까 하는 시간을 갖기 위해서 삽질 기록 시작! 먼저 나는 local path provisioner 를 통해 동적 볼륨 프로비저닝을 테스트해보고자 한다. (https://github.com/rancher/local-path-provisioner) 이를 위한 Storage Class 를 배포하기 위해 프로비저닝 yaml 파일을 다운받았다. (stable 버전) curl -O https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.24/deploy/local-path-storage.y.. 2023. 10. 20. [Kafka] Idempotent Producer Idempotent Producer에 대하여 정리하는 글 참고: https://www.confluent.io/ko-kr/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/ Idempotent producer란 : 프로듀서로부터 들어오는 데이터가 카프카에 "정확히 딱 한번"만 쓰여지게 한다. 1. Exactly-once is a really hard problem "정확히 한 번 전송" 의 구현이 왜 어려운가하면, 딱 한 사이드에만 무언가를 설정해서 구현할 수 있는 것이 아니고 카프카 메세징 시스템과 클라이언트 어플리케이션 간에 cooperate가 되어야 EOS (Exactly once semantics) 가 가능하기 때문이다... 2022. 4. 10. [Kafka] Twitter Producer 생성 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Kafka를 활용하는 프로젝트 실행의 작은 기록1. 0. 프로젝트의 개요 [ Twitter - Producer - Kafka - Consumer - ElasticSearch ] 1. Twitter Developer Account 생성 아래 사이트에 접속하여 Twitter Developer account 를 생성한다. https://developer.twitter.com/en/apply-for-access Apply for access – Twitter Developers Apply for access. Get started with Twitter APIs and tools. All new developers must apply for a dev.. 2021. 8. 5. [Kafka] Client Bi-Directional Compatibility 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Client-Kafka 양방향 호환성 Kafka 0.10.2 버전부터 client와 Kafka Broker 는 양방향 호환성 이라는 기능을 가지고 있다. 즉, 구버전의 Client는 최신버전의 Broker와 통신할 수 있거나 최신버전의 Client는 구버전의 Broker와 통신할 수 있다. Kafka Broker가 0.10.2 이상이라면, 어떤 구버전의 Client 를 사용해도 괜찮다! 하지만 가장 최신의 client library를 사용하는 것이 권장된다. 2021. 8. 3. [Kafka] Consumer Group: Rebalancing 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Consumer Group 의 Rebalancing consumer group 프로세스가 하나 돌아가는 중에 하나를 더 추가로 돌려보자. 첫 번째 돌고 있던 consumer group 로그에서 "Attempt to heartbeat failed since group is rebalancing" 를 통해 rebalancing 시작을 알 수 있다. 이어서 Rejoining 이 발생하고, 파티션이 나누어 할당된다. "Adding newly assigned partitions: coding_topic-2" 로그를 통해 첫번째 consumer 프로세스는 2 파티션을 할당 받음을 알 수 있다. 대상 토픽의 파티션 3개를 두 개의 consumer 가 나누어.. 2021. 8. 2. [Kafka] Producer 관련 주요 옵션 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Producer Configurations Idempotent Producer acks=0 (no acks) producer는 메세지만 보낼 뿐, 해당 메세지가 broker단에 제대로 전달되었는지 확인하지 않는다. 메세지 손실의 위험이 있다. 단순 메트릭 정보와 같이 메세지 손실이 어느정도 눈감아지는 상황이라면 사용해도 괜찮다. acks=1 (leader acks) producer에서 Kafka로 데이터를 보내면(:write request), leader Broker는 write request에 대해 respond를 보낸다. 그리고 해당 데이터를 Topic에 write한다. leader에게 응답을 받지 못한 경우 producer는 다시 writ.. 2021. 5. 29. [Kafka] Broker & Zookeeper 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Producer와 Consumer는 자동으로 어떤 브로커에 데이터를 write할지, 어떤 브로커의 데이터를 read할지를 알게된다고 하였다. 어떻게 이러한 동작이 가능할까? Producer 와 Consumer 가 Borker를 발견해내는 방법을 알아보자. 1. Broker Discovery 모든 카프카 브로커는 "bootstrap server"라고 하는데, 하나의 broker에 접속만 하면 전체 클러스터에 접속할 수 있다는 것이다. 각 브로커는 모든 브로커뿐만 아니라 토픽, 파티션(metadata)을 알고 있다. 2. Zookeeper 브로커를 관리하며, 브로커의 리스트를 가지고 있다. 각 파티션에 대한 leader 브로커를 선정한다. 새로운 .. 2021. 5. 19. 이전 1 2 다음
