[Apache] Apache Airflow의 개념

Apache Airflow란?

• 데이터 파이프라인을 설계, 스케줄링, 모니터링하는 오픈소스 워크플로우 관리 플랫폼
• 즉, 무엇을 언제 어떻게 순서대로 실행할지 코드로 정의하고 자동으로 실행되도록 도와주는 시스템

 

Airflow 핵심 개념

• DAG (Directed Acyclic Graph) : 파이프라인의 전체 흐름을 표현한 그래프로 Task간의 순서를 정의
• Task : 실제로 수행되는 단위 작업 (ex : Spark Job 실행, SQL 쿼리 실행, API 호출 등)
• Operator : 특정 종류의 작업을 수행하는 Task의 템플릿
• Scheduler : DAG에 정의된 주기에 맞춰 Task 실행 시점을 결정
• Executor : 실제로 Task를 실행하는 주체
• Web UI : DAG 실행 현황, 로그, Task 실패 알림 등을 관리할 수 있는 대시보드

 

구조

┌────────────────────────────┐
│        Airflow Web UI      │
└─────────────┬──────────────┘
              │
        ┌─────▼─────┐
        │ Scheduler │  ← DAG 스케줄 관리
        └─────┬─────┘
              │
        ┌─────▼─────┐
        │ Executor   │  ← 실제 Task 실행
        └─────┬─────┘
              │
        ┌─────▼─────┐
        │ Workers    │  ← Python, Spark, Bash 등 실행
        └────────────┘

 

 

Airflow 작동 방식 예시

• '매일 오전 9시에 다음을 실행한다' 는 파이프라인을 만든다고 가정

1. PostgreSQL에서 데이터를 추출
2. Spark로 전처리 및 집계
3. 결과를 S3 또는 Data Warehouse에 적재
4. Slack으로 알림 전송

이 모든 과정을 Airflow에서 하나의 DAG (실행단위)로 정의함

 

 

Airflow의 장점

• 코드 기반 관리
• 스케줄링 자동화
• 의존성 관리 : Task간 실행 순서 지정 (task1 >> task2)
• 장애 복구 용이 : 실패한 Task만 재실행 가능
• 시각화/모니터링 
• 확장성