자기발전소/# Apaches4 Install Airflow on Kubernetes Kubernetes 환경에 Airflow 설치 실습. 설치 경로: /home/confluent/apaches/airflow_k8s 1. Helm Airflow Repo $ helm repo add apache-airflow $ helm repo list NAME URL apache-airflow $ helm search repo apache-airflow NAME CHART VERSION APP VERSION DESCRIPTION apache-airflow/airflow 1.11.0 2.7.1 The official Helm chart to deploy Apache Airflo... $ helm pull apache-airflow/airflow $ tar xzf airflow-1.11.0.tgz 2. G.. 2023. 11. 26. [Flink] Apache Flink Pod 배포 (Kubernetes) Flink 는 데이터 처리 프로세싱 프레임워크 및 엔진 중 하나로, kafka 로부터 메세지를 실시간으로 읽어서 분석할 때에 주로 쓰인다. Flink Deployment에는 두 가지의 모드가 있다. 각 모드는 Deployment 시 자원의 분리 수준에서 주된 차이점을 가진다. - Application mode: deployment가 각각 별개의 Flink Cluster 에서 수행된다. Flink Cluster의 라이프 사이클은 그 Deployment의 라이프사이클에 종속된다. - Session mode: Deployment가 Flink Session Cluster에서 실행된다. 따라서 다른 Deployment와 자원을 공유하게 된다. Flink Cluster의 라이프사이클과 Deployment의 라이프사.. 2023. 11. 3. Install Apache Airflow on Docker Prerequisites Docker 24.0.6 설치 Centos 7 기준 실습 How to. 1. airflow 디렉토리 생성 후, 해당 디렉토리 아래에 /dags /config /logs /plugins 디렉토리를 생성해둡니다. 2. (선택) airflow 를 통해 구현하려는 파이프라인 성격에 따라 필요한 라이브러리 및 버전을 requirements.txt 파일에 명시합니다. pandas fastavro==1.6.1 3. Dockerfile 파일을 아래와 같이 작성합니다. FROM apache/airflow:2.6.2 COPY /dags ./dags COPY requirements.txt requirements.txt RUN pip3 install -r requirements.txt USER air.. 2023. 11. 1. Airflow 설치 및 구성 테스트 💡 Airflow : A platform to programmatically author, schedule and monitor workflows. 워크플로우를 프로그래밍 방식으로 작성하고, 스케줄링하고 모니터하는 플랫폼입니다. 여기서 프로그래밍 방식에 쓰이는 코드는 바로 파이썬 코드입니다. : Uses directed acyclic graphs (DAGs) to manage workflow orchestration. Tasks and dependencies are defined in Python and then Airflow manages the scheduling and execution. DAGs 라는 것을 통해 워크플로우 오케스트레이션을 관리합니다. DAG는 유향 비순환 그래프를 의미합니다. 0... 2023. 10. 26. 이전 1 다음
