Install Apache Airflow on Docker

 

 

 

 

Prerequisites 

Docker 24.0.6 설치

Centos 7 기준 실습

 

How to.

1. airflow 디렉토리 생성 후, 해당 디렉토리 아래에 /dags /config /logs /plugins 디렉토리를 생성해둡니다.

 

2. (선택) airflow 를 통해 구현하려는 파이프라인 성격에 따라 필요한 라이브러리 및 버전을  requirements.txt 파일에 명시합니다. 

pandas
fastavro==1.6.1

 

3. Dockerfile 파일을 아래와 같이 작성합니다. 

FROM apache/airflow:2.6.2

COPY /dags ./dags
COPY requirements.txt requirements.txt

RUN pip3 install -r requirements.txt

USER airflow
EXPOSE 8080
EXPOSE 8793
EXPOSE 5555

 

4. Docker 이미지를 빌드합니다. 태그부분은 다르게 작성해도 됩니다.

docker build -t apache-airflow:young .

 

결과

 

5. airflow 공식 홈페이지에서 제공하는 docker-compose.yaml 을 받아옵니다. 

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.6.2/docker-compose.yaml'

 

 

6. docker-compose.yaml 파일을 vi 편집기로 열어, airflow 도커 이미지 이름을 방금 생성한 이름으로 수정합니다. 

 

7. docker compose 파일을 실행 및 확인합니다. 

docker-compose up -d

실행 중

 

 

실행 결과

 

docker-compose 파일에 명시되어있던 user/pw 로 webserver UI에 접근해봅니다. 

webserver 포트 접근 결과