GCP4 [DW 구축] Airflow로 MySQL→BigQuery 마이그레이션 하기 들어가며1. 마이그레이션 전략 수립 1.1 마이그레이션 대상 테이블 선정 1.2 YAML 기반 테이블 설정 관리 및 3가지 마이그레이션 모드 설계2. Airflow DAG 구현 2.1 동적 DAG 생성 패턴 2.2 full_refresh 모드 상세 구현 2.3 incremental 모드 구현 2.4 init 모드 구현3. PythonOperator 함수 설계 3.1 Task1: MySQL 스키마 동기화 함수(sync_schema_from_mysql) 3.2 Task2: 동적 쿼리 생성 함수(build_mysql_query) 3.3 Task4: 데이터 로드 함수(load_to_bigquery)4. 기술적 고려사항 구현 4.1 파티션 및 클러스터링 설정 .. 2026. 1. 17. 깃허브 액션 GCP 연동 방법 전체적인 흐름은 아래와 같다. 1단계: Local PC에서 Streamlit 코드 작성하고 테스트2단계: 테스트가 완료된 이후, Github Repo에 소스코드 Push3단계: Repository에 Push가 되자마자 Github Actions을 통해 GCE 서버로 해당 소스코드를 다운로드 받음4단계: 실 운영 중인 서버에 코드가 반영되어 업데이트가 되도록 함. 사전 준비Secrets and Variables 설정SSH_KEY 개인키 설정HOST : GCE 서버 외부 (External) IP 주소 설정USERNAME : GCE 서버 username 설정 준비 방법사전에 만들어둔 깃허브 Repository 접속[Settings > Secrets and variables > Actions] 클릭New rep.. 2025. 1. 21. 깃허브 액션(Github Actions) 기초 사용 방법 with GCP Github Actions이란, 소프트웨어 개발(ex. streamlit 대시보드)을 지원하기 위한 Github의 자동화 서비스이다. 주요 개념Workflows프로젝트 Repository의 .github/workflows/ 디렉터리에 저장된 YAML 파일 사용하여 정의워크플로 트리거에 의해 YAML 파일 사용Workflow 파일 생성아래 사이트를 참고https://docs.github.com/ko/actions/writing-workflows/about-workflowshttps://github.com/marketplace/actions/streamlit-app-action Workflow 파일 주요 코드주요 코드설명nameGithub Action Workflow의 이름run-nameWorkflow를 .. 2025. 1. 7. GCP 가상머신 만들기 GCE 가상머신 만드는 방법에 대해서 알아보자. 새 프로젝트 생성GCP 메뉴에서 [Compute Engine > VM 인스턴스] 클릭첫 프로젝트 생성 시, API 사용 활성화 버튼 클릭(3-5분 소요) 가상머신 인스턴스 생성인스턴스 만들기 클릭인스턴스 만들기이름 설정리전은 서울로 설정머신 유형 선택(ex. 범용, E2)메모리 선택(ex. 2GB)호스팅 유지보수 선택부팅 디스크 선택(ex. 운영체제 : Ubuntu, 버전 : Ubuntu 20.04 LTS, 크기 : 10GB)서비스 계정 설정(ex. 모든 Cloud API에 대한 전체 엑세스 허용)방화벽 설정(ex. HTTP 트래픽 허용, HTTPS 트래픽 허용) 고정 IP 주소 등록외부 IP를 고정 IP로 변경메뉴에서 [VPC 네트워크 > IP주소] 클릭.. 2024. 11. 10. 이전 1 다음
