dbt3 [DW 구축] dbt + Airflow로 Gold(=mart) Layer 설계하기 TL;DRBronze는 원본을 적재만, Silver는 표준화만, Gold는 의미를 담는다 — 레이어를 끊는 것만으로도 분석가가 매번 같은 JOIN을 다시 짜는 통증이 사라진다.Gold 레이어는 스타 스키마(d_*/f_*/m_*)로 구성한다.dbt docs 하나의 문서에서 스키마, 리니지, ERD, 서빙 중인 마트 정보를 모두 파악할 수 있도록 한다. 마트 레이어 설계는 분석가만을 위한 작업이 아니라 대시보드·자동 분석 리포트·LLM 분석 챗봇 등의 기반층이 된다. 들어가며분석가 입장에서 가장 어려운 부분은 사실 서비스 테이블에 대한 파악이다. 수백개의 테이블이 어떤 기능과 연결되어있고, 각 컬럼들의 용도와 로직이 무엇인지 등등 이 모든 것을 파악하기 위해서는 백엔드 개발자의 도움도 필요하고, 이에 더해서.. 2026. 4. 28. [DW 구축] dbt로 Staging Layer 설계 자동화하기(with. BigQuery) 목차핵심 메시지: 왜 Staging Layer가 데이터 웨어하우스의 근간인가1. 전체 아키텍처: 3-Layer 메달리온 구조 이해하기 1.1. Bronze → Silver → Gold, 왜 이렇게 나누는가 1.2. BigQuery Project 구조: dev/prod 분리 1.3. BigQuery Project 전체 구조 및 IAM 권한 설정2. 폴더 구조 설계: 소스 시스템 기반 디렉터리 2.1. 왜 소스 시스템별로 나누는가 2.2. 실전 폴더 구조 2.3. base 레이어: 조인이 불가피할 때3. 네이밍 규칙: 일관성이 생산성이다 3.1. 파일 네이밍: 접두사 + 소스 + 엔터티 3.2. 컬럼 네이밍: 데이터 타입별 접두사/접미사 체계4. 표준 Staging.. 2026. 3. 29. Astronomer CLI 로 Airflow와 dbt 통합 가이드 with Cosmos 데이터 파이프라인을 운영하다 보면 Airflow로 오케스트레이션하고, dbt로 데이터 변환 작업을 수행하는 경우가 많습니다. 하지만 dbt 모델을 Airflow DAG로 변환하는 과정은 번거롭고, 유지보수도 어렵습니다.Astronomer Cosmos는 이 문제를 해결해주는 라이브러리입니다. dbt 프로젝트를 자동으로 Airflow DAG로 변환하여, dbt 모델 간의 의존성을 Airflow Task 의존성으로 표현합니다.이 글에서는 기존 Airflow 환경을 Astro CLI 기반으로 마이그레이션하고, Cosmos를 활용해 dbt와 통합하는 전체 과정을 다룹니다.1. Astro CLI 설치 및 프로젝트 초기화1.1 Docker 설치 확인Astro CLI는 Docker를 기반으로 동작하므로 먼저 Docke.. 2025. 11. 17. 이전 1 다음
