간단한 Spark Application의 실행과 패키징

소스코드 작성이 완료되었으면 실제로 실행해 본다.

그리고 정상적으로 실행되면 sbt로 패키징하여 Jar 파일을 생성한다.

 

간단한 Spark Application 작성 방법은 아래 포스팅을 참고한다.

간단한 Spark Application 만들어 보기

 

IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다.

Ubuntu 22.04에 IntelliJ 설치하기

IntelliJ 초기 환경 설정

 

 

Spark 라이브러리 로드

sbt shell 에서 package 명령을 실행하거나 Build에서 새로고침 버튼을 클릭하면 라이브러리를 다운로드 한다.

생각보다 연관 라이브러리가 많아 다운로드가 오래 걸린다.

오래 걸릴 수 있으므로 여유있게 기다린다.

 

실행해보기

작성한 코드가 정상적으로 동작하는지 실행한다.

 

Scala 역시 컴파일 언어이기 때문에 컴파일과 빌드를 진행해야 한다.

상단의 Build 메뉴를 통해 SparkExample 프로젝트를 빌드한다.

 

Build Project 또는 Rebuild Project 버튼을 클릭한다.

 

 

빌드가 성공적으로 진행되었으면 상단의 Run 메뉴를 통해 SparkExample 프로젝트를 실행한다.

Run 'SparkExampleApp.scala 또는 Run... 버튼을 클릭한다.

 

정상적으로 실행되면 아래와 같이 로그가 출력되는 것을 확인할 수 있다.

log.json 파일에 7줄의 JSON 레코드가 존재하기 때문에 7이 출력된 것을 확인할 수 있다.

 

Spark Application에 사용한 Logger 관련 내용은 아래 사이트를 참고한다.

How to do effective logging in Spark application

 

 

패키징하기 (jar 파일 생성)

실행이 정상적으로 된다면 jar 파일을 생성해본다.

 

하단의 sbt shell 탭을 클릭하고 package 명령을 입력하면 Jar 파일 생성이 진행된다.

 

완료된 파일은 프로젝트 루트 경로의 /target/scala-2.12 폴더에 생성된다.

해당 경로에 생성 된 파일을 확인해보면 정상적으로 jar 파일이 생성된 것을 확인할 수 있다.

 

IntelliJ가 아닌 터미널 환경에서 sbt build, sbt package를 실행하기 위해서는 sbt를 별도로 설치해야 한다.

해당 내용은  아래 문서를 참고한다.

 

 

참고자료

위의 내용은 아래 문서 내용을 참고하여 작성하였다.

Spark 개발 환경 구축하기 - Scala, IntelliJ, SBT

How to do effective logging in Spark application