:::: 곰탱푸닷컴 ::::

MongoDB의 Document의 구조와 관계 패턴을 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS www.bearpooh.com 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정말 깔끔하게 정리가 잘 되어 있으므로 해당 포스팅을 읽어볼 것을 권한다. MongoDB 이해하기 사내에서 MongoDB를 잘 쓰기위한 스터디를 하게되어 이번 기회에 관련 자료를 정리하기로 했다. Mo..

MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정말 깔끔하게 정리가 잘 되어 있으므로 해당 포스팅을 읽어볼 것을 권한다. MongoDB 이해하기 사내에서 MongoDB를 잘 쓰기위한 스터디를 하게되어 이번 기회에 관련 자료를 정리하기로 했다. MongoDB가 왜 필요한..

Jupyter Notebook으로 AirFlow를 사용하는 방법에 대해 정리한다. Jupyter Notebook은 파이썬 기반의 데이터 과학에서 자주 사용하는 도구이다. 웹페이지 기반의 대화형 파이썬 인터프리터를 제공하기 때문에 간단한 코드 스니펫 검증에 자주 사용된다. 또한 데이터 변환이나 학습, 또는 EDA와 같은 데이터 분석을 진행하기도 한다. AirFlow에서 Jupyter Notebook을 연동하여 사용하는 이유는 다음과 같다. AirFlow DAG 코드를 간단하게 수정 간단한 DAG 테스트를 위한 코드 작성 실제로 운영하고 있는 서버에서 테스트하는 것은 좋지 않다. 가급적 로컬 환경에 테스트 환경을 별도로 구성하고 진행하는 것을 추천한다. 파이썬으로 AirFlow의 DAG 패키지를 작성하는 방..

파이썬 패키지로 작성하여 배포한 AirFlow의 DAG을 실제로 AirFlow에 적용하는 방법에 대해 정리한다. 다음 과정으로 진행한다. AirFlow DAG 패키지 설치 AirFlow WebUI 확인 DAG 동작 상태 확인 AirFlow DAG 패키지 설치 파이썬 패키지로 작성하여 배포한 AirFlow의 DAG 패키지를 AirFlow에 설치한다. 해당 작업은 AirFlow의 Scheduler와 Worker 컨테이너 내부에서 진행해야 한다. DAG 패키지 작성과 배포 AirFlow의 DAG을 파이썬 패키지로 작성하는 방법은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. D..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (2) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 www.bearpooh.com AirFlow의 DAG을 파이썬 패키지로 구성하기 (3) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 ..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. config.yml, srtest.py, email..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. 먼저 __init__.py, info.py, ini..

AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅..