example 5

간단한 Spark Application 만들어 보기

기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexu www.bearpooh.com 윈도우 WSL 환경에서 IntelliJ 사용하기 ..

Jenkins의 Docker 빌드 테스트에 사용할 예제 생성

지난 포스팅에서 Jenkins의 Docker 빌드에 사용할 가상 머신을 VirtualBox를 통해 만들었다. 해당 방법은 아래 포스팅을 참고한다. 우분투 가상 환경으로 Docker 빌드 에이전트 만들기 Docker를 이용하여 Jenkins를 설치하고 기본적인 설정을 적용하는 방법에 대해서는 예전 포스팅에서 이미 다뤘다. Docker를 이용한 Jenkins 설치와 기본 설정 방법은 아래 포스팅을 참고한다. 시놀로지 www.bearpooh.com 그리고 생성한 가상 머신을 Jenkins의 빌드 에이전트로 등록했다. 해당 방법은 아래 포스팅을 참고한다. Jenkins에 Docker 이미지 빌드 에이전트 연결하기 Jenkins에서 Docker 이미지 빌드를 위한 에이전트로 사용하기 위해, VirtualBox 기..

::: IT인터넷 ::: 2022.02.03

Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (3)

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이번 포스팅에서는 6. 테스트와 7. 형상 관리에 대해 다룬다. 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Py..

::: IT인터넷 ::: 2021.12.30

Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (2)

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이전 포스팅에서 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분까지 다뤘다. 해당 내용은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만..

::: IT인터넷 ::: 2021.12.27

Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1)

이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만들기 시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이다. 시놀로지 NAS에 Jenkins 구축하기 현재 근무 중인 회 www.bearpooh.com 리눅스 Docker 컨테이너를 Jenkins 에이전트로 연결하기 (via. SSH) 이전 포스팅에서 jenkins/ssh-agent의 Dockerfile에 Anaconda를 추가하여 Python 빌드를 위한 리눅스 Dock..

::: IT인터넷 ::: 2021.12.23