Hamutaro - Hamtaro 4

ETC.

[Snowflake] ๋ฐ์ดํ„ฐ์›จ์–ดํ•˜์šฐ์Šค Snowflake์˜ ๊ฐœ๋…

carsumin 2025. 2. 27. 21:59
Snowflake ๋ž€?
  • ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜์˜ ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค ํ”Œ๋žซํผ
  • AWS, Azure, GCP ๋“ฑ ์ฃผ์š” ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ์—์„œ ๋™์ž‘ํ•˜๋Š” ์™„์ „ ๊ด€๋ฆฌํ˜• ์„œ๋น„์Šค
  • ์‚ฌ์šฉ์ž๊ฐ€ ์ง์ ‘ ์ธํ”„๋ผ ๊ตฌ์„ฑํ•˜๊ฑฐ๋‚˜ ๊ด€๋ฆฌํ•  ํ•„์š”์—†์Œ

 

Snowflake ํ•ต์‹ฌ ๊ฐœ๋…
  • ํด๋ผ์šฐ๋“œ์— ์ตœ์ ํ™”๋œ ์„ค๊ณ„๋ฅผ ๊ฐ€์ง
  • ์ปดํ“จํŒ… ๋ฆฌ์†Œ์Šค์™€ ์Šคํ† ๋ฆฌ์ง€๊ฐ€ ์™„์ „ํžˆ ๋ถ„๋ฆฌ๋˜์–ด ์žˆ์–ด์„œ ํ™•์žฅ์„ฑ๊ณผ ์œ ์—ฐ์„ฑ์ด ๊ทน๋Œ€ํ™”
๊ณ„์ธต ์—ญํ•  ์ฃผ์š” ํŠน์ง•
Storage Layer ๋ฐ์ดํ„ฐ ์ €์žฅ์†Œ ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋ฅผ ์ค‘์•™ ์ €์žฅ, ์ž๋™ ์••์ถ• ๋ฐ ์•”ํ˜ธํ™”
Compute Layer ์ฟผ๋ฆฌ ์‹คํ–‰ ์—”์ง„ ๊ฐ€์ƒ ์›จ์–ดํ•˜์šฐ์Šค ํ†ตํ•ด ๋…๋ฆฝ์  ์—ฐ์‚ฐ ์ˆ˜ํ–‰
Cloud Services Layer ์ œ์–ด/๊ด€๋ฆฌ ๊ณ„์ธต ์ธ์ฆ, ์ฟผ๋ฆฌ ์ตœ์ ํ™”, ๋ณด์•ˆ ๊ด€๋ฆฌ ์ˆ˜ํ–‰

 

 

Snowflake ์•„ํ‚คํ…์ฒ˜ ๊ตฌ์กฐ
  • Multi-Cluster Shared Data Architecture ๊ธฐ๋ฐ˜์œผ๋กœ ์ž‘๋™
  • Shared Data : ๋ชจ๋“  ๋ฐ์ดํ„ฐ๋Š” ๋‹จ์ผ ์Šคํ† ๋ฆฌ์ง€์— ์ €์žฅ๋˜์–ด ์ผ๊ด€์„ฑ ์œ ์ง€
  • Independent Compute Clusters : ๊ฐ ์ฟผ๋ฆฌ๋Š” ๋…๋ฆฝ์ ์ธ ๊ฐ€์ƒ ์›จ์–ดํ•˜์šฐ์Šค์—์„œ ์‹คํ–‰๋จ 

--> ์—ฌ๋Ÿฌ ์‚ฌ์šฉ์ž๊ฐ€ ๋™์‹œ์— ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•ด๋„ ๋ฆฌ์†Œ์Šค ๊ฐ„์„ญ์ด ์—†์Œ

ex ) ETL ์ž‘์—…, BI ๋ถ„์„, ๋จธ์‹ ๋Ÿฌ๋‹ ํ•™์Šต์„ ๋™์‹œ์— ์ˆ˜ํ–‰ํ•ด๋„ ๊ฐ ์ž‘์—…์ด ๋ณ„๋„์˜ ์ปดํ“จํŒ… ํด๋Ÿฌ์Šคํ„ฐ์—์„œ ์ˆ˜ํ–‰๋จ

 

 

์ฃผ์š” ๊ธฐ๋Šฅ
  • ์ž๋™ ํ™•์žฅ (Auto-scaling) 
    • ์ฟผ๋ฆฌ ๋ถ€ํ•˜์— ๋”ฐ๋ผ ์ž๋™์œผ๋กœ ์ปดํ“จํŒ… ๋ฆฌ์†Œ์Šค๋ฅผ ์ถ”๊ฐ€ํ•˜๊ฑฐ๋‚˜ ์ œ๊ฑฐ
  • Zero-Copy Cloning
    • ๋ฐ์ดํ„ฐ๋ฅผ ์‹ค์ œ ๋ณต์ œํ•˜์ง€ ์•Š๊ณ  ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ ๊ธฐ๋ฐ˜์œผ๋กœ ์ฆ‰์‹œ ๋ณต์ œ ๊ฐ€๋Šฅ
  • Time Travel
    • ์ผ์ • ๊ธฐ๊ฐ„ ๋™์•ˆ ๊ณผ๊ฑฐ ์‹œ์ ์˜ ๋ฐ์ดํ„ฐ ์ƒํƒœ๋ฅผ ๋ณต๊ตฌ/์กฐํšŒ ๊ฐ€๋Šฅ
    • ์‹ค์ˆ˜๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์‚ญ์ œํ–ˆ์„ ๋•Œ ๋กค๋ฐฑ ๊ฐ€๋Šฅ
  • Data Sharing
    • ์กฐ์ง ๊ฐ„ ๋ฐ์ดํ„ฐ๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ณต์œ ๊ฐ€๋Šฅ
    • Snowflake ๊ณ„์ • ๊ฐ„ ์•ˆ์ „ํ•˜๊ฒŒ ๋ฐ์ดํ„ฐ๋ฅผ ์ฃผ๊ณ ๋ฐ›์„ ์ˆ˜ ์žˆ์Œ

 

๋ณด์•ˆ ๋ฐ ๊ด€๋ฆฌ
  • ๊ธฐ๋ณธ์ ์œผ๋กœ ๋ชจ๋“  ๋ฐ์ดํ„ฐ ์•”ํ˜ธํ™”
  • Role-based Access Control ์ง€์›
  • ํด๋ผ์šฐ๋“œ ๊ธฐ๋ฐ˜์ด๋ฏ€๋กœ ํŒจ์น˜, ๋ฐฑ์—…, ๋ชจ๋‹ˆํ„ฐ๋ง ์ž๋™ํ™”

 

์‚ฌ์šฉ ์˜ˆ์‹œ
  • ๋ฐ์ดํ„ฐ ํ†ตํ•ฉ (Data Integration / ETL)
    • ์—ฌ๋Ÿฌ ์‹œ์Šคํ…œ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ์•„ Snowflake์— ์ ์žฌ
    • ์˜ˆ : S3 -> Snowflake ๋กœ ๋งค์ผ ETL ์ž‘์—…
  • ๋ฐ์ดํ„ฐ ๋ถ„์„ / BI
    • BI ํˆด (Tableau, Power BI, Looker ๋“ฑ)๊ณผ ์—ฐ๊ฒฐํ•ด์„œ ์‹œ๊ฐํ™” ๋ฐ ๋ฆฌํฌํŠธ ์ƒ์„ฑ
  • ๋จธ์‹ ๋Ÿฌ๋‹ / AI ํ•™์Šต์šฉ ๋ฐ์ดํ„ฐ ํ—ˆ๋ธŒ
    • Snowflake์— ์Œ“์ธ ๋ฐ์ดํ„ฐ๋ฅผ Databricks, SageMaker ๋“ฑ์œผ๋กœ ์—ฐ๊ฒฐํ•ด ๋ชจ๋ธ ํ•™์Šต์— ํ™œ์šฉ
  • ๋ฐ์ดํ„ฐ ๋งˆํŠธ ๊ตฌ์ถ•
    • ํŠน์ • ๋ถ€์„œ(์˜์—…, ๋งˆ์ผ€ํŒ…, ์ธ์‚ฌ ๋“ฑ)๋ณ„๋กœ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋งŒ ๊ฐ€๊ณตํ•ด์„œ ๋ณ„๋„๋กœ ์ œ๊ณต
  • ๋ฐ์ดํ„ฐ ๊ณต์œ  (Data Sharing)
    • ๋‹ค๋ฅธ ์กฐ์ง์ด๋‚˜ ํŒŒํŠธ๋„ˆ์™€ ๋ฐ์ดํ„ฐ๋ฅผ ๋ณต์‚ฌ์—†์ด ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ณต์œ  ๊ฐ€๋Šฅ