:::: 곰탱푸닷컴 ::::

파이썬 패키지로 작성하여 배포한 AirFlow의 DAG을 실제로 AirFlow에 적용하는 방법에 대해 정리한다. 다음 과정으로 진행한다. AirFlow DAG 패키지 설치 AirFlow WebUI 확인 DAG 동작 상태 확인 AirFlow DAG 패키지 설치 파이썬 패키지로 작성하여 배포한 AirFlow의 DAG 패키지를 AirFlow에 설치한다. 해당 작업은 AirFlow의 Scheduler와 Worker 컨테이너 내부에서 진행해야 한다. DAG 패키지 작성과 배포 AirFlow의 DAG을 파이썬 패키지로 작성하는 방법은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. D..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. config.yml, srtest.py, email..

AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG의 구성 요소에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 Ai..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG의 구성 요소에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 Ai..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG의 구성 요소에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 Ai..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG에서 수행하는 작업을 의미하는 Sensor에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG에서 수행하는 작업을 의미하는 Operator에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Binami에서 배포한 AirFlow Docker 이미지를 사용하는 방법은 아래 포스팅을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlo..