carsumin devlog 🍀

[GCP] 데이터 파이프라인에서 자주 쓰는 GCP 서비스

데이터 파이프라인에서 자주 쓰는 GCP 서비스데이터 수집├── Cloud Storage (GCS) ← S3 같은 파일 저장소└── Pub/Sub ← Kafka 같은 메시지 큐 (스트리밍)데이터 저장 & 처리├── BigQuery ← 데이터 웨어하우스└── Dataflow ← 배치/스트리밍 데이터 처리파이프라인 오케스트레이션└── Cloud Composer ← Airflow 매니지드 서비스데이터 변환└── dbt + BigQuery Cloud Storage (GCS)파일을 저장하는 공간으로 로컬로 치면 하드디스크에 해당한다.구조 : 버킷(Bucket) > 폴더 > 파일예시 :gs://my-company-data/├──..

1. IAM > 사용자 > 사용자 생성 2. 권한 설정 3. 사용자 생성 .CSV 파일 다운로드 (비밀번호 재확인 불가하니까 반드시 저장) 3. IAM 계정으로 로그인 로그아웃 후 콘솔 로그인 URL로 다시 로그인패스워드 리셋하라고 뜨는데 새 비밀번호로 변경하면 됨

1. IAM 검색 - IAM 대시보드 - MFA 추가IAM = Identity and Aceess ManagementMFA = Multi-Factor Authentication (다중인증)MFA는 로그인할 때 비밀번호 + 추가인증 수단을 요구하는 보안장치Root 계정은 누군가 침입하면 채굴, 과금 폭탄 등의 위험이 있으므로 반드시 MFA 설정을 해야 함 IAM 대시보드는 누가 AWS에서 뭘 할 수 있는지 관리하는 곳예를 들면 사용자 생성, 권한 부여, 역할 설정, 정책 관리 등을 할 수 있다. AWS 기본 구조는 다음과 같은데 Root는 잠가두고 IAM으로 작업하는게 일반적Root계정 소유자 (최상위)IAM User실제 작업자 2. 다음 누른뒤 Google Authenticator 앱 설치하고, QR 코..

AWS를 직접 사용해본 경험이 없기 때문에, 이번에 프로젝트를 진행하면서 AWS를 사용해보려고 한다.GPT의 가이드를 받아서 계정을 생성하고, CI/CD 구축을 위한 AWS 사용을 익히고자 한다.프리티어지만 제한에서 조금만 벗어나면 바로 과금될 수 있기 때문에 비용 방어를 위한 예산을 생성한다. AWS 공식 홈페이지 1. AWS 홈 화면에서 - 검색 - Budget 검색 2. 예산 생성하기 3. 예산 유형 선택 - 예산생성- 나는 월별 비용 예산을 선택했다- 예산은 10달러, 소량 트래픽이면 보통 15달러 이하라고 AI가 예측해주었기 때문- 예산이름과 알림을 받을 이메일도 지정하기

현재 구조 둘 다 LocalStorage에 저장하면?XSS 공격 시 탈취 위험보안 취약둘 다 쿠키에 넣으면?CSRF 위험 증가현재 구조는Access Token -> JS에서 제어 가능Refresh Token -> HttpOnly로 JS 접근 차단SameSite로 CSRF 방어토큰저장 위치목적Access TokenAuthorization HeaderAPI 인증Refresh TokenHttpOnly Cookie재발급용 HttpOnly가 하는 일.httpOnly(true)JS에서 쿠키 접근 불가document.cookie로 읽을 수 없음XSS 방어 SameSite 옵션 정리Strict다른 사이트에서 절대 쿠키 전송 안됨보안 강함UX 깨질 수 있음LaxGET 이동은 허용POST 자동 전송 등은 차단CSRF 대..

준비우분투 설치하기node.js 설치하기 (18버전 이상)# Ubuntu에서 Node.js 설치curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -sudo apt-get install -y nodejs Claude Code 설치sudo npm install -g @anthropic-ai/claude-code 설치 확인claude-code --version 실행claude-code

Docker Desktop UI 에서는 컨테이너 이름을 직접 수정할 수 없다.그래서 CLI 에서 docker rename 명령어를 사용해야 한다. 현재 컨테이너 이름 확인실행 중인 컨테이너만 보기docker ps 실행 + 정지된 컨테이너 모두 보기docker ps -a 컨테이너 이름 변경docker rename 기존이름 새이름 변경 결과 확인docker ps -a

CSRF (Cross-Site Request Forgery)사용자가 로그인 상태를 악용해서 공격자가 의도한 요청을 서버에 대신 보내게 만드는 공격 어떻게 공격이 되는지?1. 사용자가 서비스에 로그인 (쿠키로 인증)2. 사용자가 공격자 사이트를 방문3. 공격자 사이트에 이런 코드가 있음 4. 브라우저는 쿠키를 자동으로 같이 전송5. 서버는 정상 로그인 사용자 요청으로 오해 CSRF 성립 조건인증 수단이 쿠키 기반일 것브라우저가 자동으로 인증 정보 전송할 것세션 + 쿠키✅ 반드시 필요JWT + Header❌ 불필요순수 REST API❌ disable

Issue 등록 필요성작업 추적 및 기록우선순위 관리명확한 커뮤니케이션작업 분배비동기 협업버그 추적변경 이력 관리 Issue Template 생성하기 1. 이슈 템플릿을 등록할 Repository의 Settings 2. 아래의 Features - Issues - Set up templates 클릭 3. 원하는 종류의 템플릿 선택 4. Custom template - Preview and edit (템플릿 커스텀해서 사용하기 위함) 5. Template name을 지정해주고, Template content에 Markdown 형식으로 템플릿을 작성한다.이슈 등록할 때 이것저것 많이 작성하면 번거로울 것 같아서 최대한 간단한 양식으로 만들려고 했는데,GPT는 말귀를 못알아듣고 계속 복잡한 템플릿을 줬음... ..

개요실무에서는 회사의 커밋 규칙을 따라서 Git을 관리했었다.앞으로 개인 프로젝트에서는 Git 커밋 메시지 규칙에 맞게 통일하려고 수정했다.이미 master 브랜치에 push된 커밋 메시지까지 변경이 필요한 상황협업을 하는 상황이라면 이런 불필요한 짓은 안하겠지만 혼자 쓰는 깃이기 때문에 노가다 작업을 좀 했다... 단계1. 작업중인 파일이 있는지 확인git status 2. 작업중인 파일이 있을 경우 보관git stash -> git status로 clean한 것을 확인하면 아래 단계를 진행 3. 수정할 커밋 범위 선택하고 Rebase예시 : 최근 8개의 커밋 메시지 수정하고 싶다면 HEAD~8git rebase -i HEAD~8 4. rebase-todo 화면에서 수정할 커밋 선택여기서 좀 헷갈려서..