airflow1 Apache Airflow 아키텍처 완벽 이해 Apache Airflow는 “데이터 파이프라인의 오케스트레이터”로 불리며, 복잡한 데이터 워크플로우를 관리하는 표준 도구입니다.하지만 Airflow를 처음 접하면, Worker / Executor / Scheduler / Webserver / Metastore / Operator / DAG / Task 같은 용어들이 혼란스럽게 다가올 수 있습니다.이번 글에서는 각 컴포넌트가 어떤 역할을 하고, 내부적으로 어떻게 서로 연결되어 동작하는지 한 장의 그림처럼 머릿속에 그려지도록 정리해보겠습니다.1. 핵심 컴포넌트 소개1.1. Workflow정의: DAG + Task의 집합(즉, 의존성으로 연결된 작업들의 집합)이 시간 단위로 실행되는 전체 과정을 의미합니다.특징: "매일 아침 9시에 MySQL에서 데이터를 .. 2025. 9. 28. 이전 1 다음
