Hamutaro - Hamtaro 4

Infra/GCP 1
[GCP] ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ์ž์ฃผ ์“ฐ๋Š” GCP ์„œ๋น„์Šค

๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์—์„œ ์ž์ฃผ ์“ฐ๋Š” GCP ์„œ๋น„์Šค๋ฐ์ดํ„ฐ ์ˆ˜์ง‘โ”œโ”€โ”€ Cloud Storage (GCS) ← S3 ๊ฐ™์€ ํŒŒ์ผ ์ €์žฅ์†Œโ””โ”€โ”€ Pub/Sub ← Kafka ๊ฐ™์€ ๋ฉ”์‹œ์ง€ ํ (์ŠคํŠธ๋ฆฌ๋ฐ)๋ฐ์ดํ„ฐ ์ €์žฅ & ์ฒ˜๋ฆฌโ”œโ”€โ”€ BigQuery ← ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šคโ””โ”€โ”€ Dataflow ← ๋ฐฐ์น˜/์ŠคํŠธ๋ฆฌ๋ฐ ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌํŒŒ์ดํ”„๋ผ์ธ ์˜ค์ผ€์ŠคํŠธ๋ ˆ์ด์…˜โ””โ”€โ”€ Cloud Composer ← Airflow ๋งค๋‹ˆ์ง€๋“œ ์„œ๋น„์Šค๋ฐ์ดํ„ฐ ๋ณ€ํ™˜โ””โ”€โ”€ dbt + BigQuery Cloud Storage (GCS)ํŒŒ์ผ์„ ์ €์žฅํ•˜๋Š” ๊ณต๊ฐ„์œผ๋กœ ๋กœ์ปฌ๋กœ ์น˜๋ฉด ํ•˜๋“œ๋””์Šคํฌ์— ํ•ด๋‹นํ•œ๋‹ค.๊ตฌ์กฐ : ๋ฒ„ํ‚ท(Bucket) > ํด๋” > ํŒŒ์ผ์˜ˆ์‹œ :gs://my-company-data/โ”œโ”€โ”€..
Infra/GCP 2026.05.28
1
๋”๋ณด๊ธฐ

ํ‹ฐ์Šคํ† ๋ฆฌํˆด๋ฐ”