[Big Query] Google Cloud 데이터 웨어하우스 Big Query

BigQuery란?

• Google Cloud Platform(GCP)에서 제공하는 완전관리형 서버리스 데이터 웨어하우스
• 사용자가 직접 서버를 관리하거나 스토리지를 확장하지 않아도 대용량 데이터를 빠르게 저장하고 분석할 수 있는 서비스

• 서버리스(Serverless) : 인프라 구성, 노드 관리, 확장 등을 전혀 신경 쓸 필요 없음
• SQL 기반 분석 : 표준 SQL로 수십억 행의 데이터를 초 단위로 분석 가능
• 자동 확장 : 데이터 양이나 쿼리량이 늘어나면 자동으로 리소스 할당
• 결제 방식 : 쿼리 실행량(스캔된 데이터 용량)과 저장 용량 기준으로 과금

 

구조 및 주요 구성요소

• Project : GCP 리소스를 관리하는 최상위 단위
• Dataset : 테이블의 묶음 (스키마의 논리 단위)
• Table : 실제 데이터가 저장되는 단위
• View : SQL 쿼리 결과를 가상 테이블 형태로 저장
• Job : 쿼리, 로드, 익스포트 등의 실행 단위
• Storage : 내부적으로 Colossus 스토리지 사용
• Compute Engine : 쿼리 실행 시 내부적으로 Dremel 엔진을 통해 병렬 처리 수행

 

동작 방식

• 데이터 적재 (Load)
  • Cloud Storage(GCS), Cloud Pub/Sub, Cloud SQL, Google Sheets 등 다양한 소스에서 로드 가능
• 쿼리 실행
  • 표준 SQL로 쿼리 작성
  • BigQuery 엔진이 자동으로 분산 처리 -> 초고속 결과 반환
• 결과 저장 / 시각화
  • 쿼리 결과를 Table로 저장하거나 Data Studio, Looker Studio 등으로 시각화 가능

 

사용 예시

• 대규모 로그 분석

SELECT
  user_id,
  COUNT(*) AS login_count
FROM
  `project_id.analytics.login_logs`
WHERE
  event_date BETWEEN '2025-10-01' AND '2025-10-14'
GROUP BY
  user_id
ORDER BY
  login_count DESC;

 

• 실시간 데이터 스트리밍 (Pub/Sub)
  • 웹 트래픽 로그, IoT 센서 데이터, 클릭 로그 등을 실시간으로 BigQuery에 적재
  • 실시간 대시보드 구축 가능

 

BigQuery 장점

• 관리가 불필요하다 (서버관리, 확장, 백업 자동화)
• Google Dremel 기반의 대규모 병렬처리로 고성능이다
• 사용량 기반 과금으로 저비용
• PB 단위 데이터도 안정적으로 처리할 정도로 확장성이 좋음
• ML/AI 통합 가능

 

BigQuery 단점

• 비용 제어 필요
• 쓰기 지연
• 제한된 트랜잭션 기능
• 복잡한 조인 시 성능 저하 가능