WEBUI 4

AirFlow DAG 패키지를 AirFlow에서 사용하기

파이썬 패키지로 작성하여 배포한 AirFlow의 DAG을 실제로 AirFlow에 적용하는 방법에 대해 정리한다. 다음 과정으로 진행한다. AirFlow DAG 패키지 설치 AirFlow WebUI 확인 DAG 동작 상태 확인 AirFlow DAG 패키지 설치 파이썬 패키지로 작성하여 배포한 AirFlow의 DAG 패키지를 AirFlow에 설치한다. 해당 작업은 AirFlow의 Scheduler와 Worker 컨테이너 내부에서 진행해야 한다. DAG 패키지 작성과 배포 AirFlow의 DAG을 파이썬 패키지로 작성하는 방법은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. D..

::: IT인터넷 ::: 2022.07.18

AirFlow DAG 소개와 기본 구조

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Binami에서 배포한 AirFlow Docker 이미지를 사용하는 방법은 아래 포스팅을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlo..

::: IT인터넷 ::: 2022.06.13

AirFlow의 계정 생성, 권한 관리 방법 (WebUI)

AirFlow에서 WebUI를 사용하여 사용자의 계정을 생성하고 권한을 관리하는 방법에 대해 정리한다. Bitnami에서 배포한 AirFlow를 Docker로 설정하는 방법은 아래 포스팅을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 ..

::: IT인터넷 ::: 2022.06.06

MinIO의 WebUI 사용법 정리

MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하는데 큰 어려움은 없을 것으로 판단된다. Docker를 사용하여 MinIO를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MinIO 사용하기 MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우 www.bearpooh.com Dashboard 이해 Dashboard는 MinIO의 개략적인 운영 현황을 표현한다. Ger..

::: IT인터넷 ::: 2022.03.31