[DE] 배치 vs 스트리밍

데이터 파이프라인을 설계할 때 가장 먼저 결정해야 하는 것이 있다.
데이터를 모아서 한 번에 처리할 것인가?
생기는 즉시 처리할 것인가?

 

 

배치 (Batch)

• 데이터를 일정 주기로 모아뒀다가 한 번에 처리하는 방식

자정 00:00  → 하루치 주문 데이터 수집
00:10       → 변환 (dbt run)
00:30       → 웨어하우스 적재 완료
09:00       → 분석가가 대시보드 확인

 

항목	내용
처리 주기	시간 / 일 / 주 단위
지연	높음 (몇 시간 ~ 하루)
구현 난이도	낮음
비용	저렴
대표 도구	Airflow + dbt, Spark

 

• 배치가 적합한 경우 
  • 일별 매출 리포트
  • 월별 정산
  • 머신러닝 학습 데이터 준비
  • 대부분의 BI 대시보드

 

스트리밍 (Streaming)

• 데이터가 생기는 즉시 처리하는 방식

주문 발생 → 0.1초 안에 처리 → 실시간 대시보드 반영

 

항목	내용
처리 주기	실시간 (밀리초 ~ 초 단위)
지연	낮음
구현 난이도	높음
비용	비쌈
대표 도구	Kafka, Spark Straming, Flink

 

• 스트리밍이 적합한 경우
  • 실시간 사기 탐지 (결제 직후 이상 감지)
  • 실시간 재고 현황
  • 라이브 이벤트 모니터링
  • 배달 앱 실시간 위치 추적

 

선택 기준

"데이터가 몇 분 ~ 몇 시간 늦어도 괜찮은가?"
        ↓ YES                    ↓ NO
      배치로 충분            스트리밍 고려

"구현 복잡도와 비용을 감당할 수 있는가?"
        ↓ YES                    ↓ NO
    스트리밍 가능             배치로 타협