carsumin devlog 🍀

데이터 파이프라인에서 자주 쓰는 GCP 서비스데이터 수집├── Cloud Storage (GCS) ← S3 같은 파일 저장소└── Pub/Sub ← Kafka 같은 메시지 큐 (스트리밍)데이터 저장 & 처리├── BigQuery ← 데이터 웨어하우스└── Dataflow ← 배치/스트리밍 데이터 처리파이프라인 오케스트레이션└── Cloud Composer ← Airflow 매니지드 서비스데이터 변환└── dbt + BigQuery Cloud Storage (GCS)파일을 저장하는 공간으로 로컬로 치면 하드디스크에 해당한다.구조 : 버킷(Bucket) > 폴더 > 파일예시 :gs://my-company-data/├──..

일반 집계 vs 윈도우 함수가장 큰 차이 : 행이 유지되는가원본 데이터를 유지하면서 집계값을 함께 볼 수 있다.-- 일반 집계 : 행이 줄어듦SELECT region, SUM(amount)FROM ordersGROUP BY region;결과:┌────────┬────────┐│ region │ sum │├────────┼────────┤│ 서울 │ 500000 ││ 부산 │ 300000 │└────────┴────────┘-- 윈도우 함수 : 행이 유지됨SELECT order_id, region, amount, SUM(amount) OVER (PARTITION BY region) AS region_totalFROM orders;결과:┌──────────┬────────┬..

멱등성 (Idempotency)같은 파이프라인을 여러 번 실행해도 결과가 항상 같아야 한다.왜 필요할까? 파이프라인은 언제든 실패할 수 있다.새벽 2시 파이프라인 실행-> 절반쯤 실행되다가 서버 장애로 실패-> 새벽 3시 재실행-> 데이터가 두 번 들어가면?멱등성이 없으면 재실행할 때마다 데이터가 중복된다.1. 나쁜 예시 - 실행할 때마다 데이터가 쌓임INSERT INTO fct_ordersSELECT * FROM stg_ordersWHERE date = '2024-01-01'; 2. 좋은 예시 - 먼저 지우고 다시 넣음DELETE FROM fct_orders WHERE date = '2024-01-01';INSERT INTO fct_ordersSELECT * FROM stg_ordersWEHRE dat..

데이터 파이프라인을 설계할 때 가장 먼저 결정해야 하는 것이 있다.데이터를 모아서 한 번에 처리할 것인가?생기는 즉시 처리할 것인가? 배치 (Batch)데이터를 일정 주기로 모아뒀다가 한 번에 처리하는 방식자정 00:00 → 하루치 주문 데이터 수집00:10 → 변환 (dbt run)00:30 → 웨어하우스 적재 완료09:00 → 분석가가 대시보드 확인 항목내용처리 주기시간 / 일 / 주 단위지연높음 (몇 시간 ~ 하루)구현 난이도낮음비용저렴대표 도구Airflow + dbt, Spark 배치가 적합한 경우 일별 매출 리포트월별 정산머신러닝 학습 데이터 준비대부분의 BI 대시보드 스트리밍 (Streaming)데이터가 생기는 즉시 처리하는 방식주문 발생 → 0.1초 안에 ..

데이터 웨어하우스에 데이터를 쌓는 것보다 어려운 것은 쌓인 데이터를 신뢰할 수 있게 유지하는 것이다.dbt는 이 문제를 해결하기 위해 만들어진 도구이다. dbt가 생긴 이유dbt 이전의 데이터 변환 작업SQL 파일이 수백 개가 되면 관리가 불가능해진다.어떤 순서로 실행해야 하는지 알 수 없다.누가 언제 수정했는지 추적이 안된다.테스트가 없어서 데이터가 깨져도 한참 뒤에 알게 된다.같은 로직을 여러 파일에서 중복으로 작성한다.transformation_v1.sqltransformation_v1_final.sqltransformation_v1_final_진짜최종.sqltransformation_v2_수정.sql dbt는 이 문제들을 한 번에 해결한다. 핵심 개념 1 - 레이어 구조dbt는 SQL 파일을 역..

OLAP DB에 데이터를 넣을 때 분석하기 좋은 구조로 설계해야 한다.그 대표적인 방법이 Star Schema다. Fact 테이블 + Dimension 테이블Star Schema는 두 종류의 테이블로 구성된다.구분Fact 테이블 Dimension 테이블의미실제로 일어난 이벤트이벤트의 부가 정보중심숫자(측정값)텍스트/속성예시주문, 클릭, 결제고객, 상품, 날짜, 지역 -> 가운데 Fact 테이블을 중심으로 Dimension 테이블들이 별처럼 붙어있는 구조라 Star Schema라고 부른다. 설계 예시 [dim_customer] [dim_product]┌──────────────┐ ┌──────────────┐│ custome..

왜 분석용 DB를 따로 만들어야 하지? 이 질문에 대한 답이 바로 OLTP와 OLAP의 차이다. OLTP - 서비스를 위한 DBOLTP(Online Transaction Processing)는 우리가 개발할 때 일반적으로 사용하는 DBMySQL, PostgreSQL* 대표적인 OLTP 질문들- 주문 #1234의 현재 상태는?- 김철수의 장바구니에 상품 추가행(Row) 단위로 데이터를 읽고 쓴다.정규화가 잘 되어 있다.소량의 데이터를 빠르게 처리한다.실시간 읽기/쓰기가 많다. OLAP - 분석을 위한 DBOLAP(Online Analytical Processing)는 분석 전용 DBBigQuery, Snowflake, Redshift* 대표적인 OLAP 질문들- 지난 3개월 지역별 매출 합계- 상품 카테고..

Claude Code를 쓰다 보면 고질적인 문제를 하나 마주하게 된다. 바로 토큰이다. 컨텍스트 창은 유한하고 반복적인 설명은 비효율적이다. MD 파일을 잘 활용하는 것은 단순히 편의의 문제가 아니라 토큰을 아끼고 Claude를 효율적으로 쓰기 위한 방법이다.최근 Claude Code로 바이브코딩하는 해커톤에 처음 참여했다. 팀원들과 공동 작업을 하다 보니 세션이 바뀔 때마다 같은 맥락을 반복해서 설명하는 상황이 생겼는데 SPEC.md와 SKILL.md를 세팅해두고 나서는 달랐다. 구현 방향은 SPEC.md가 잡아주고 코딩 컨벤션은 SKILL.md가 지켜줬다. 덕분에 매 세션 "우리 이렇게 만들기로 했어"를 반복하지 않아도 됐고 여러 명이 작업해도 결과물의 결이 크게 어긋나지 않았다.해커톤처럼 시간이 촉..

1. IAM > 사용자 > 사용자 생성 2. 권한 설정 3. 사용자 생성 .CSV 파일 다운로드 (비밀번호 재확인 불가하니까 반드시 저장) 3. IAM 계정으로 로그인 로그아웃 후 콘솔 로그인 URL로 다시 로그인패스워드 리셋하라고 뜨는데 새 비밀번호로 변경하면 됨

1. IAM 검색 - IAM 대시보드 - MFA 추가IAM = Identity and Aceess ManagementMFA = Multi-Factor Authentication (다중인증)MFA는 로그인할 때 비밀번호 + 추가인증 수단을 요구하는 보안장치Root 계정은 누군가 침입하면 채굴, 과금 폭탄 등의 위험이 있으므로 반드시 MFA 설정을 해야 함 IAM 대시보드는 누가 AWS에서 뭘 할 수 있는지 관리하는 곳예를 들면 사용자 생성, 권한 부여, 역할 설정, 정책 관리 등을 할 수 있다. AWS 기본 구조는 다음과 같은데 Root는 잠가두고 IAM으로 작업하는게 일반적Root계정 소유자 (최상위)IAM User실제 작업자 2. 다음 누른뒤 Google Authenticator 앱 설치하고, QR 코..