airflow2 Airflow의 ti(TaskInstance) 이해하기 Airflow를 처음 접하면 Task 간 데이터 전달이 헷갈리기 마련입니다. 특히 Traditional Operators 방식에서는 PythonOperator에서 반환값을 어떻게 전달하고, 다른 태스크에서 어떻게 받아야 하는지가 중요한 포인트입니다. 이 글에서는 그 핵심인 ti (TaskInstance)와 xcom (cross-communication) 개념을 정리합니다. 1. Traditional Operators 방식이란?Airflow 2.x에서는 크게 두 가지 방식으로 DAG를 정의할 수 있습니다.Taskflow API: @task 데코레이터 기반, 함수 호출만으로 Task 간 데이터 전달 가능Traditional Operators: PythonOperator, BashOperator 등 Opera.. 2025. 10. 17. Apache Airflow 아키텍처 완벽 이해 Apache Airflow는 “데이터 파이프라인의 오케스트레이터”로 불리며, 복잡한 데이터 워크플로우를 관리하는 표준 도구입니다.하지만 Airflow를 처음 접하면, Worker / Executor / Scheduler / Webserver / Metastore / Operator / DAG / Task 같은 용어들이 혼란스럽게 다가올 수 있습니다.이번 글에서는 각 컴포넌트가 어떤 역할을 하고, 내부적으로 어떻게 서로 연결되어 동작하는지 한 장의 그림처럼 머릿속에 그려지도록 정리해보겠습니다.1. 핵심 컴포넌트 소개1.1. Workflow정의: DAG + Task의 집합(즉, 의존성으로 연결된 작업들의 집합)이 시간 단위로 실행되는 전체 과정을 의미합니다.특징: "매일 아침 9시에 MySQL에서 데이터를 .. 2025. 9. 28. 이전 1 다음
