카프카3 Confluent for Kubernetes 삽질 기록 Kubernetes 클러스터도 구축했고 CFK 도 쉽게 설치했는데 Storage 프로비저닝 설정에서 계속 막히는 중.. 나중에 다 알고나면 이런 삽질을 왜 했을까 하는 시간을 갖기 위해서 삽질 기록 시작! 먼저 나는 local path provisioner 를 통해 동적 볼륨 프로비저닝을 테스트해보고자 한다. (https://github.com/rancher/local-path-provisioner) 이를 위한 Storage Class 를 배포하기 위해 프로비저닝 yaml 파일을 다운받았다. (stable 버전) curl -O https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.24/deploy/local-path-storage.y.. 2023. 10. 20. [Kafka] Twitter Producer 생성 📌 kafka 및 Confluent 를 공부하며 정리하는 글 Kafka를 활용하는 프로젝트 실행의 작은 기록1. 0. 프로젝트의 개요 [ Twitter - Producer - Kafka - Consumer - ElasticSearch ] 1. Twitter Developer Account 생성 아래 사이트에 접속하여 Twitter Developer account 를 생성한다. https://developer.twitter.com/en/apply-for-access Apply for access – Twitter Developers Apply for access. Get started with Twitter APIs and tools. All new developers must apply for a dev.. 2021. 8. 5. [Kafka] Apache Kafka란 📌 kafka 및 Confluent 를 공부하며 정리하는 글 1. 카프카의 필요성 기존의 데이터를 다루는 아키텍처는 너무 복잡했다. 아래 그림과 같이 비즈니스 구조에 필요한 데이터 source 시스템과 target 시스템이 점점 많아지면서 복잡해질 수 밖에.. 이렇게 꼬일대로 꼬인 데이터 스트림을 관리하기도 어려웠을 것이다. 그래서 이렇나 데이터 스트림과 시스템들을 decoupling 하는 작업이 필요해졌다. 이를 위해 바로 분산 메시지 처리 시스템인 Apache Kafka가 나왔다. 아래와 같이 source 시스템은 각 target으로 모두 데이터를 보내는 대신에 하나의 Log에 데이터를 쌓는다. 그리고 target 시스템에서는 Log에서 각각 자신이 필요한 데이터를 가져가게 되면서 훨씬 더 간결한 구.. 2021. 5. 19. 이전 1 다음
