주피터 2

Jupyter Notebook으로 AirFlow 사용하기

Jupyter Notebook으로 AirFlow를 사용하는 방법에 대해 정리한다. Jupyter Notebook은 파이썬 기반의 데이터 과학에서 자주 사용하는 도구이다. 웹페이지 기반의 대화형 파이썬 인터프리터를 제공하기 때문에 간단한 코드 스니펫 검증에 자주 사용된다. 또한 데이터 변환이나 학습, 또는 EDA와 같은 데이터 분석을 진행하기도 한다. AirFlow에서 Jupyter Notebook을 연동하여 사용하는 이유는 다음과 같다. AirFlow DAG 코드를 간단하게 수정 간단한 DAG 테스트를 위한 코드 작성 실제로 운영하고 있는 서버에서 테스트하는 것은 좋지 않다. 가급적 로컬 환경에 테스트 환경을 별도로 구성하고 진행하는 것을 추천한다. 파이썬으로 AirFlow의 DAG 패키지를 작성하는 방..

::: IT인터넷 ::: 2022.07.21

Docker로 AirFlow 설정하기 (Bitnami)

Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ GitHub - https://www.github.com/bitnami/bitnami-docker-airflow AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.be..

::: IT인터넷 ::: 2022.03.17