:::: 곰탱푸닷컴 ::::

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 www.bearpooh.com Scala 빌드머신을 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (빌드와 배포) Scala 개발환경 구성이 완료되면 작성한 Application..

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 이전 글에서 Dockerfile을 작성했으므로 D..

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Python 빌드 머신 생성 방법은 아래 글을 참..

소스코드 작성이 완료되었으면 실제로 실행해 본다. 그리고 정상적으로 실행되면 sbt로 패키징하여 Jar 파일을 생성한다. 간단한 Spark Application 작성 방법은 아래 포스팅을 참고한다. 간단한 Spark Application 만들어 보기 기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. www.bearpooh.com IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. ..

기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexu www.bearpooh.com 윈도우 WSL 환경에서 IntelliJ 사용하기 ..

Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 같이 구분하여 배포한다. 개발 중 버전 - 1.0.0.1-SNAPSHOT 버전을 snapshots 저장소에 배포 개발 완료 버전 - 1.0.0.1 버전을 releases 저장소에 배포 개발 산출물은 사설 저장소에 배포할 예정이므로 Nexus에 Maven 사설 저장소를 구축한다. Scala 기반 어플리케이션은 sbt (simple build tool)를 사용하여 빌드한다. 생성한 저장소 주소는 sbt 저장소 주소 설정에 사용하며 자세한 방법은 다음 포스팅 (문서)을 참고한다. 내부망에서 사..

Hadoop (+ YARN), Spark, Zeppelin의 설정을 마쳤으므로, Spark Job과 Application 제출을 위한 환경을 livy로 구성한다. Bigtop을 이용한 Ambari 설치와 설정 변경은 다음 포스팅을 참고한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com [Ambari 9] 데이터 탐색을 위한 하둡과 제플린 설정 HDFS에 데이터를 업로드하고 Zeppelin으로 분석과 탐색을 진행하기 위해서는 추가 설정..

HDFS에 데이터를 업로드하고 Zeppelin으로 분석과 탐색을 진행하기 위해서는 추가 설정을 진행해야 한다. Ambari 설정과 Hadoop, Spark 등 서비스 설치는 아래 포스팅 (문서)를 참고한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com HDFS와 Zeppelin 추가 설정은 다음 순서로 진행한다. Ambari Admin에서 계정 추가 하둡 설정 변경 (Ambari, CentOS, HDFS) Zeppelin 설정 변경 ..

모든 설치가 완료되면 하둡의 개별 서비스 UI에 접속해서 확인을 진행한다. 아래 과정으로 진행한다. 포트포워딩 설정 호스트 (물리) PC의 hosts에 IP와 FQDN 등록 동일 네트워크에 존재하는 다른 물리 PC에서도 접속 가능하다. hosts를 수정하고 대상 IP를 Ambari가 설치 된 호스트 (물리) PC로 지정한다. 확인하기 위한 서비스 목록은 다음과 같다. NameNode (Port 50070) - bdp01 / 192.168.56.51 NodeManager (Port 8042) - bdp01 / 192.168.56.51 Yarn (Port 8088) - bdp01 / 192.168.56.51 MR2 (Hadoop) JobHistory (Port 19888) - bdp02 / 192.168.5..

Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 생성 CentOS 가상 이미지 복제와 Ambari 설치 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 6] CentOS 가상 이미지 복제와 Ambari 설치 Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 ( www.bearpooh.com PostgreS..