:::: 곰탱푸닷컴 ::::

기본적인 Scala 개발환경이 구축되고 나면 목표로 했던 Spark Application을 작성한다. 앞서 테스트에 사용한 Spark Application은 main 함수에 기능을 구현한 단순한 예제 프로그램이다. 기존에 Hadoop 기반의 Spark 클러스터를 구축했으므로, Spark Application은 해당 환경에서 실행할 수 있는 형태로 작성해야 한다. 따라서 Spark Application 작성을 위한 기본 형태 (Skeleton) 제공을 위한 예제 프로그램을 재작성한다. 참고로 예전에 실무에서 활용했던 Spark Application 코드에서 재사용 또는 공개가 가능한 코드만 활용하여 정리하였다. 전체적인 내용은 아래 문서를 참고하고, 변경 사항을 중심으로 정리한다. 간단한 Spark App..

파이썬 패키지로 작성하여 배포한 AirFlow의 DAG을 실제로 AirFlow에 적용하는 방법에 대해 정리한다. 다음 과정으로 진행한다. AirFlow DAG 패키지 설치 AirFlow WebUI 확인 DAG 동작 상태 확인 AirFlow DAG 패키지 설치 파이썬 패키지로 작성하여 배포한 AirFlow의 DAG 패키지를 AirFlow에 설치한다. 해당 작업은 AirFlow의 Scheduler와 Worker 컨테이너 내부에서 진행해야 한다. DAG 패키지 작성과 배포 AirFlow의 DAG을 파이썬 패키지로 작성하는 방법은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. D..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (2) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 www.bearpooh.com AirFlow의 DAG을 파이썬 패키지로 구성하기 (3) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 ..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. 먼저 __init__.py, info.py, ini..

AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅..

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이번 포스팅에서는 6. 테스트와 7. 형상 관리에 대해 다룬다. 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Py..

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이전 포스팅에서 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분까지 다뤘다. 해당 내용은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만..

이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만들기 시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이다. 시놀로지 NAS에 Jenkins 구축하기 현재 근무 중인 회 www.bearpooh.com 리눅스 Docker 컨테이너를 Jenkins 에이전트로 연결하기 (via. SSH) 이전 포스팅에서 jenkins/ssh-agent의 Dockerfile에 Anaconda를 추가하여 Python 빌드를 위한 리눅스 Dock..

APT 저장소는 우분투 (데비안 계열) 패키지의 공식 저장소이다. Nexus3를 이용한 APT 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 APT 저장소의 패키지를 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. 그림으로 표현하면 다음과 같다. 참고로 APT 저장소는 hosted와 proxy만 제공하고, group은 제공하지 않는다. 직접 우분투 패키지를 작성할 일은 거~~~~의 없어서 hosted도 거의 사용하지 않을 것 같다. blob store 생성 APT를 통해 공유되는 패키지 파일들을 저장할 공간을 설정한다. Create blob store 버튼을 클릭한다. 사용할 저장 공간을 생성한다. Type - File을 선택한다. Name - deb..

카메라를 사용하면서 가장 흔하게 접할 수 있는 렌즈가 바로 번들렌즈라고 할 수 있겠습니다. 가격도 저렴하고 넓은 화각을 지원하기 때문에 처음 접하는 분들이 패키지로 많이 구입할 뿐 아니라, 렌즈 구입에 큰 관심이 없는 상당히 많은 분들이 오랫동안 사용하는 대표적인 렌즈입니다. 펜탁스 18-55mm 번들렌즈는 약 5~6만원대에 신품을 구입했던 기억이 있는데, 조금 비싼감도 없지 않지만 다른 렌즈에 비하면 가격대비 성능은 가히 우주정복급이라고 할 수 있습니다. 렌즈후드와 필터를 제외하고 10만원 안쪽에 구입 가능한 몇 안되는 렌즈니까요. 실제로 사진을 처음 접하시는 분들에게는 해당 렌즈가 포함된 패키지를 권해드리고, 해당 렌즈를 사용하면서 바디 사용이 익숙해지신 다음 본인이 원하는 화각의 렌즈 구입을 권하는..