airflow3 Astronomer CLI 로 Airflow와 dbt 통합 가이드 with Cosmos 데이터 파이프라인을 운영하다 보면 Airflow로 오케스트레이션하고, dbt로 데이터 변환 작업을 수행하는 경우가 많습니다. 하지만 dbt 모델을 Airflow DAG로 변환하는 과정은 번거롭고, 유지보수도 어렵습니다.Astronomer Cosmos는 이 문제를 해결해주는 라이브러리입니다. dbt 프로젝트를 자동으로 Airflow DAG로 변환하여, dbt 모델 간의 의존성을 Airflow Task 의존성으로 표현합니다.이 글에서는 기존 Airflow 환경을 Astro CLI 기반으로 마이그레이션하고, Cosmos를 활용해 dbt와 통합하는 전체 과정을 다룹니다.1. Astro CLI 설치 및 프로젝트 초기화1.1 Docker 설치 확인Astro CLI는 Docker를 기반으로 동작하므로 먼저 Docke.. 2025. 11. 17. Airflow의 ti(TaskInstance) 이해하기 Airflow를 처음 접하면 Task 간 데이터 전달이 헷갈리기 마련입니다. 특히 Traditional Operators 방식에서는 PythonOperator에서 반환값을 어떻게 전달하고, 다른 태스크에서 어떻게 받아야 하는지가 중요한 포인트입니다. 이 글에서는 그 핵심인 ti (TaskInstance)와 xcom (cross-communication) 개념을 정리합니다. 1. Traditional Operators 방식이란?Airflow 2.x에서는 크게 두 가지 방식으로 DAG를 정의할 수 있습니다.Taskflow API: @task 데코레이터 기반, 함수 호출만으로 Task 간 데이터 전달 가능Traditional Operators: PythonOperator, BashOperator 등 Opera.. 2025. 10. 17. Apache Airflow 아키텍처 완벽 이해 Apache Airflow는 “데이터 파이프라인의 오케스트레이터”로 불리며, 복잡한 데이터 워크플로우를 관리하는 표준 도구입니다.하지만 Airflow를 처음 접하면, Worker / Executor / Scheduler / Webserver / Metastore / Operator / DAG / Task 같은 용어들이 혼란스럽게 다가올 수 있습니다.이번 글에서는 각 컴포넌트가 어떤 역할을 하고, 내부적으로 어떻게 서로 연결되어 동작하는지 한 장의 그림처럼 머릿속에 그려지도록 정리해보겠습니다.1. 핵심 컴포넌트 소개1.1. Workflow정의: DAG + Task의 집합(즉, 의존성으로 연결된 작업들의 집합)이 시간 단위로 실행되는 전체 과정을 의미합니다.특징: "매일 아침 9시에 MySQL에서 데이터를 .. 2025. 9. 28. 이전 1 다음
