:::: 곰탱푸닷컴 ::::

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Jenkins에 Spark Application의 빌드를 생성하는 방법은 아래 문서를 참고한다. Scala 빌드 파이프라인 설정하기 (빌드 생성) Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연 www.bearpooh.com Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신..

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 www.bearpooh.com Scala 빌드머신을 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (빌드와 배포) Scala 개발환경 구성이 완료되면 작성한 Application..

Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Docker 컨테이너 실행) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Doc www.bearpooh.com Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Dockerfile 작성) Scala ..

Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드머신을 Docker로 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (Dockerfile 작성) Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins www.bearpooh.com Docker로 Scala 빌드머신 만들기 (Dockerfile 폴더 구성) Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다..

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Dockerfile 작성과 폴더 구성이 완료되었으..

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Python 빌드 머신 생성 방법은 아래 글을 참..

소스코드 작성이 완료되었으면 실제로 실행해 본다. 그리고 정상적으로 실행되면 sbt로 패키징하여 Jar 파일을 생성한다. 간단한 Spark Application 작성 방법은 아래 포스팅을 참고한다. 간단한 Spark Application 만들어 보기 기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. www.bearpooh.com IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. ..

Ambari의 경우 설치하는 방법은 크게 세가지로 분류할 수 있다. Apache Ambari 소스코드 직접 빌드 Apache Bigtop 이용 (gradle) 이미 빌드 된 바이너리로 설치 Apache Bigtop을 이용한 빌드 방법은 아래 포스팅을 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 Ce..

가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. CentOS에 JDK, Maven을 설치하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다. Apache Bigtop 소개 Horton..

Jenkins에 Docker 이미지 빌드 환경을 구성하기 위해 Docker 빌드 에이전트 생성과 Jenkins 연결을 진행했다. 해당 과정은 다음 포스팅을 참고한다. 우분투 가상 환경으로 Docker 빌드 에이전트 만들기 Docker를 이용하여 Jenkins를 설치하고 기본적인 설정을 적용하는 방법에 대해서는 예전 포스팅에서 이미 다뤘다. Docker를 이용한 Jenkins 설치와 기본 설정 방법은 아래 포스팅을 참고한다. 시놀로지 www.bearpooh.com VirtualBox 가상 환경을 OVA 파일로 내보내기와 가져오기 이전 포스팅에서 Docker 이미지를 빌드하기 위해 VirtualBox를 이용하여 가상 환경을 만들었다. 해당 방법은 아래 포스팅을 참고한다. 우분투 가상 환경으로 Docker 빌..