[GCP] 데이터 파이프라인에서 자주 쓰는 GCP 서비스

데이터 파이프라인에서 자주 쓰는 GCP 서비스

데이터 수집
├── Cloud Storage (GCS)   ← S3 같은 파일 저장소
└── Pub/Sub               ← Kafka 같은 메시지 큐 (스트리밍)

데이터 저장 & 처리
├── BigQuery              ← 데이터 웨어하우스
└── Dataflow              ← 배치/스트리밍 데이터 처리

파이프라인 오케스트레이션
└── Cloud Composer        ← Airflow 매니지드 서비스

데이터 변환
└── dbt + BigQuery

 

 

Cloud Storage (GCS)

• 파일을 저장하는 공간으로 로컬로 치면 하드디스크에 해당한다.

구조 : 버킷(Bucket) > 폴더 > 파일

예시 :
gs://my-company-data/
├── raw/
│   ├── orders/2024-01-01/orders.csv
│   └── orders/2024-01-02/orders.csv
└── processed/
    └── fct_orders/

 

• 데이터 파이프라인에서 GCS는 중간 저장소 역할이다.

MySQL -> GCS (raw 데이터 덤프) -> BigQuery (적재)

 

 

BigQuery

• OLAP DB

서버리스            -> 클러스터 관리 없음, 쿼리만 날리면 됨
컬럼 기반 저장      -> 대용량 집계 쿼리에 최적화
비용 구조           -> 스캔한 데이터 양만큼 과금

 

• BigQuery 프로젝트 구조

GCP 프로젝트
└── BigQuery
    ├── dataset (= 데이터베이스)
    │   ├── raw_orders       (테이블)
    │   ├── stg_orders       (테이블)
    │   └── fct_orders       (테이블)
    └── dataset_dbt
        └── dim_customers    (테이블)

 

• 실제 쿼리는 일반 SQL과 동일하다.

SELECT
	DATE(ordered_at) AS date,
    COUNT(*) AS order_count,
    SUM(amount) AS revenue
FROM `my-project.dataset.fct_orders`
WHERE ordered_at >= '2024-01-01'
GROUP BY 1
ORDER BY 1;

 

 

BigQuery 비용 구조

과금 기준 : 쿼리가 스캔한 데이터 양
무료 : 매월 1TB 무료
유료 : 1TB 초과 시 $5/TB

 

• 나쁜 쿼리 vs 좋은 쿼리
  • SELECT * 쓰지 않는다.
  • WHERE 절에 파티션 컬럼 항상 포함한다.
  • 쿼리 실행 전 우측 상단 데이터 스캔 양 확인한다.

-- 나쁜 쿼리 : 모든 컬럼 스캔 -> 비용 많이 나옴
SELECT *
FROM fct_orders;

-- 좋은 쿼리 : 파티션 + 필요한 컬럼만 스캔 -> 비용 적게 나옴
SELECT order_id, amount
FROM fct_orders
WHERE DATE(ordered_at) = '2024-01-01';

 

 

Cloud Composer

• Airflow를 직접 설치하지 않고 GCP가 대신 운영해주는 서비스다.

구분	직접 설치	Cloud Composer
서버 관리	직접	GCP가 관리
버전 업그레이드	직접	자동
장애 대응	직접	자동 복구
비용	무료	유료

 

 

실제 데이터 파이프라인 전체 흐름 (GCP)

• Cloud Composer(Airflow)가 전체 흐름을 스케줄링한다.

[소스 DB: MySQL]
       ↓
  Airbyte (수집)
       ↓
[GCS: raw 데이터 저장]
       ↓
  BigQuery 적재 (bq load)
       ↓
[BigQuery: raw dataset]
       ↓
  dbt run + dbt test
       ↓
[BigQuery: marts dataset]
       ↓
  Looker Studio (대시보드)