[Snowflake] 데이터웨어하우스 Snowflake의 개념

Snowflake 란?

• 클라우드 기반의 데이터 웨어하우스 플랫폼
• AWS, Azure, GCP 등 주요 클라우드 환경에서 동작하는 완전 관리형 서비스
• 사용자가 직접 인프라 구성하거나 관리할 필요없음

 

Snowflake 핵심 개념

• 클라우드에 최적화된 설계를 가짐
• 컴퓨팅 리소스와 스토리지가 완전히 분리되어 있어서 확장성과 유연성이 극대화

계층	역할	주요 특징
Storage Layer	데이터 저장소	모든 데이터를 중앙 저장, 자동 압축 및 암호화
Compute Layer	쿼리 실행 엔진	가상 웨어하우스 통해 독립적 연산 수행
Cloud Services Layer	제어/관리 계층	인증, 쿼리 최적화, 보안 관리 수행

 

 

Snowflake 아키텍처 구조

• Multi-Cluster Shared Data Architecture 기반으로 작동
• Shared Data : 모든 데이터는 단일 스토리지에 저장되어 일관성 유지
• Independent Compute Clusters : 각 쿼리는 독립적인 가상 웨어하우스에서 실행됨 

--> 여러 사용자가 동시에 쿼리를 실행해도 리소스 간섭이 없음

ex ) ETL 작업, BI 분석, 머신러닝 학습을 동시에 수행해도 각 작업이 별도의 컴퓨팅 클러스터에서 수행됨

 

 

주요 기능

• 자동 확장 (Auto-scaling) 
  • 쿼리 부하에 따라 자동으로 컴퓨팅 리소스를 추가하거나 제거
• Zero-Copy Cloning
  • 데이터를 실제 복제하지 않고 메타데이터 기반으로 즉시 복제 가능
• Time Travel
  • 일정 기간 동안 과거 시점의 데이터 상태를 복구/조회 가능
  • 실수로 데이터를 삭제했을 때 롤백 가능
• Data Sharing
  • 조직 간 데이터를 실시간으로 공유가능
  • Snowflake 계정 간 안전하게 데이터를 주고받을 수 있음

 

보안 및 관리

• 기본적으로 모든 데이터 암호화
• Role-based Access Control 지원
• 클라우드 기반이므로 패치, 백업, 모니터링 자동화

 

사용 예시

• 데이터 통합 (Data Integration / ETL)
  • 여러 시스템에서 데이터를 모아 Snowflake에 적재
  • 예 : S3 -> Snowflake 로 매일 ETL 작업
• 데이터 분석 / BI
  • BI 툴 (Tableau, Power BI, Looker 등)과 연결해서 시각화 및 리포트 생성
• 머신러닝 / AI 학습용 데이터 허브
  • Snowflake에 쌓인 데이터를 Databricks, SageMaker 등으로 연결해 모델 학습에 활용
• 데이터 마트 구축
  • 특정 부서(영업, 마케팅, 인사 등)별로 필요한 데이터만 가공해서 별도로 제공
• 데이터 공유 (Data Sharing)
  • 다른 조직이나 파트너와 데이터를 복사없이 실시간으로 공유 가능