:::: 곰탱푸닷컴 ::::

지금까지 파이썬 프로젝트의 패키징은 setuptools의 setup.py를 사용하는 것이 일반적이었다. setup.py를 사용한 파이썬 프로젝트 폴더 구성은 아래 문서를 참고한다. 파이썬 프로젝트 폴더 구성하기 이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에 www.bearpooh.com setup.py를 사용한 파이썬 프로젝트의 예제 코드는 아래 문서를 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에..

지금까지 파이썬 프로젝트의 패키징은 setuptools의 setup.py를 사용하는 것이 일반적이었다. setup.py를 사용한 파이썬 프로젝트 폴더 구성은 아래 문서를 참고한다. 파이썬 프로젝트 폴더 구성하기 이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에 www.bearpooh.com setup.py를 사용한 파이썬 프로젝트의 예제 코드는 아래 문서를 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에..

지금까지 파이썬 프로젝트의 패키징은 setuptools의 setup.py를 사용하는 것이 일반적이었다. setup.py를 사용한 파이썬 프로젝트 폴더 구성은 아래 문서를 참고한다. 파이썬 프로젝트 폴더 구성하기 이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에 www.bearpooh.com setup.py를 사용한 파이썬 프로젝트의 예제 코드는 아래 문서를 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에..

기본적인 Scala 개발환경이 구축되고 나면 목표로 했던 Spark Application을 작성한다. 앞서 테스트에 사용한 Spark Application은 main 함수에 기능을 구현한 단순한 예제 프로그램이다. 기존에 Hadoop 기반의 Spark 클러스터를 구축했으므로, Spark Application은 해당 환경에서 실행할 수 있는 형태로 작성해야 한다. 따라서 Spark Application 작성을 위한 기본 형태 (Skeleton) 제공을 위한 예제 프로그램을 재작성한다. 참고로 예전에 실무에서 활용했던 Spark Application 코드에서 재사용 또는 공개가 가능한 코드만 활용하여 정리하였다. 전체적인 내용은 아래 문서를 참고하고, 변경 사항을 중심으로 정리한다. 간단한 Spark App..

AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅..

이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에서 Anaconda, PyCharm (Community Edition)을 사용한다. 다음 순서로 진행한다. APT 설치 패키지 최신화 Anaconda 설치 Python 환경 설정 PyCharm 설치 PyCharm 설정 변경 PyCharm 프로.. www.bearpooh.com 파이썬 개발 환경 구성 (+ VS Code) 우분투 20.04 LTS (focal)에서 Anaconda, Visual Studio Code를 사용한다. 일반적인 패키지 단위 (Wheel..

gitlab을 설치하는 과정은 이전 포스팅에서 진행했다. 시놀로지 NAS에서 GitLab 설정 방법 개요 시놀로지 NAS에서 GitLab도 설치 가능하며, DS21x 모델 기준으로 DS216 부터 추가되었다. 아마도 Docker를 DS216부터 지원하기 시작했기 때문으로 보인다. 기존에 사용하던 DS213은 Git Server 설치가 가 www.bearpooh.com 설치를 완료하고 로그인을 하면 다음과 같은 초기 화면이 출력된다. 이제부터 무엇을 해야 할까? gitlab을 설치한 목적이 소스코드 형상 관리이므로 코드를 commit 해야 한다. 개발 프로젝트는 1개 이상의 프로그램과 서비스들로 구성되어 있다. 서비스들은 1개 이상의 프로그램들로 구성되어 있다. 프로그램들은 소스코드로 구성되어 있다. 형상..