:::: 곰탱푸닷컴 ::::

지금까지 파이썬 프로젝트의 패키징은 setuptools의 setup.py를 사용하는 것이 일반적이었다. setup.py를 사용한 파이썬 프로젝트 폴더 구성은 아래 문서를 참고한다. 파이썬 프로젝트 폴더 구성하기 이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에 www.bearpooh.com setup.py를 사용한 파이썬 프로젝트의 예제 코드는 아래 문서를 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에..

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Jenkins에 Spark Application의 빌드를 생성하는 방법은 아래 문서를 참고한다. Scala 빌드 파이프라인 설정하기 (빌드 생성) Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연 www.bearpooh.com Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신..

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 www.bearpooh.com Scala 빌드머신을 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (빌드와 배포) Scala 개발환경 구성이 완료되면 작성한 Application..

Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Docker 컨테이너 실행) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Doc www.bearpooh.com Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Dockerfile 작성) Scala ..

Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Dockerfile 작성) Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins www.bearpooh.com Docker로 Scala 빌드머신 만들기 (Dockerfile 폴더 구성) Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다..

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Dockerfile 작성과 폴더 구성이 완료되었으..

소스코드 작성이 완료되었으면 실제로 실행해 본다. 그리고 정상적으로 실행되면 sbt로 패키징하여 Jar 파일을 생성한다. 간단한 Spark Application 작성 방법은 아래 포스팅을 참고한다. 간단한 Spark Application 만들어 보기 기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. www.bearpooh.com IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. ..

Ambari의 경우 설치하는 방법은 크게 세가지로 분류할 수 있다. Apache Ambari 소스코드 직접 빌드 Apache Bigtop 이용 (gradle) 이미 빌드 된 바이너리로 설치 Apache Bigtop을 이용한 빌드 방법은 아래 포스팅을 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 Ce..

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (2) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 www.bearpooh.com AirFlow의 DAG을 파이썬 패키지로 구성하기 (3) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 ..

Jenkins에 Docker 이미지 빌드 환경을 구성하기 위해 Docker 빌드 에이전트 생성과 Jenkins 연결을 진행했다. 해당 과정은 다음 포스팅을 참고한다. 우분투 가상 환경으로 Docker 빌드 에이전트 만들기 Docker를 이용하여 Jenkins를 설치하고 기본적인 설정을 적용하는 방법에 대해서는 예전 포스팅에서 이미 다뤘다. Docker를 이용한 Jenkins 설치와 기본 설정 방법은 아래 포스팅을 참고한다. 시놀로지 www.bearpooh.com VirtualBox 가상 환경을 OVA 파일로 내보내기와 가져오기 이전 포스팅에서 Docker 이미지를 빌드하기 위해 VirtualBox를 이용하여 가상 환경을 만들었다. 해당 방법은 아래 포스팅을 참고한다. 우분투 가상 환경으로 Docker 빌..