carsumin devlog 🍀

Apache Kafka란?실시간 데이터 스트리밍 플랫폼데이터를 발행(Publish)하는 쪽과 구독(Subscribe)하는 쪽을 비동기적으로 연결해주는 메시지 큐 시스템-> 대용량 데이터를 빠르고 안정적으로 주고받는 실시간 데이터 파이프라인 기본 개념 구조 [Producer] → [Kafka Broker] → [Consumer] Producer : 데이터를 발행(전송)하는 주체 (ex : 애플리케이션, 센서, 서버 로그 등)Consumer : 데이터를 구독(수신)하는 주체 (ex : Spark, ELK, DB 등)Broker : Kafka 서버로 실제 데이터를 저장하고 전달Topic : 메시지를 분류하는 논리적 채널Partition : Topic을 분할한 단위Offset : 각 메시지가 Partition..

Apache Airflow란?데이터 파이프라인을 설계, 스케줄링, 모니터링하는 오픈소스 워크플로우 관리 플랫폼즉, 무엇을 언제 어떻게 순서대로 실행할지 코드로 정의하고 자동으로 실행되도록 도와주는 시스템 Airflow 핵심 개념DAG (Directed Acyclic Graph) : 파이프라인의 전체 흐름을 표현한 그래프로 Task간의 순서를 정의Task : 실제로 수행되는 단위 작업 (ex : Spark Job 실행, SQL 쿼리 실행, API 호출 등)Operator : 특정 종류의 작업을 수행하는 Task의 템플릿Scheduler : DAG에 정의된 주기에 맞춰 Task 실행 시점을 결정Executor : 실제로 Task를 실행하는 주체Web UI : DAG 실행 현황, 로그, Task 실패 알림 등..

Apache Spark 란?대규모 데이터 처리를 위한 분산 컴퓨팅 프레임워크여러대의 컴퓨터를 묶어 하나의 거대한 연산 장비처럼 동작하게 만들어 빅데이터를 빠르게 분석하고 처리 가능 Apache Spark 핵심 개념분산 처리 (Distributed Computing)Spark는 데이터를 여러 노드로 나눠서 병렬로 처리하기 때문에 단일서버보다 빠른 속도로 분석이 가능메모리 기반 처리 (In-Memory Computing)Spark는 데이터를 메모리(RAM)에 저장한 채로 연산을 이어가기 때문에 빠름RDD (Resilient Distributed Dataset)Spark의 핵심 자료구조RDD는 분산된 데이터의 불변한 컬렉션으로 병렬 연산이 가능하며 장애가 발생해도 복구 가능한 구조 Apache Spark 주요..