세상공부 216

Docker로 Scala 빌드머신 만들기 (3) - 빌드와 배포

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Dockerfile 작성과 폴더 구성이 완료되었으..

::: IT인터넷 ::: 2023.08.17

Docker로 Scala 빌드머신 만들기 (2) - Dockerfile 폴더 구성

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 이전 글에서 Dockerfile을 작성했으므로 D..

::: IT인터넷 ::: 2023.08.14

Docker로 Scala 빌드머신 만들기 (1) - Dockerfile 작성

Scala 개발환경 구성이 완료되면 작성한 Application을 빌드하고 배포해야 한다. 이전에 Jenkins로 Python과 Docker 빌드/배포 환경을 구축한 방법을 활용하여 Scala Application의 빌드 머신을 생성한다. Jenkins의 SSH Agent 컨테이너의 Dockerfile과 sbt를 활용하여 리눅스 기반의 Scala 빌드 에이전트를 생성한다. 생성한 빌드 에이전트는 SSH 통신을 이용하여 Jenkins에 에이전트로 등록한다. 진행 순서는 다음과 같다. Jenkins SSH 에이전트 이미지 생성 Dockerfile 작성 Dockerfile 빌드에 필요한 외부 파일 다운로드와 폴더 구성 Jenkins 에이전트 이미지 빌드와 배포 Python 빌드 머신 생성 방법은 아래 글을 참..

::: IT인터넷 ::: 2023.08.10

간단한 Spark Application의 실행과 패키징

소스코드 작성이 완료되었으면 실제로 실행해 본다. 그리고 정상적으로 실행되면 sbt로 패키징하여 Jar 파일을 생성한다. 간단한 Spark Application 작성 방법은 아래 포스팅을 참고한다. 간단한 Spark Application 만들어 보기 기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. www.bearpooh.com IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. ..

간단한 Spark Application 만들어 보기

기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexu www.bearpooh.com 윈도우 WSL 환경에서 IntelliJ 사용하기 ..

IntelliJ 초기 환경 설정

IntelliJ 설치가 완료되면 사용하기 위한 환경 설정을 진행한다. 사용할 프로젝트를 생성하고 환경 설정을 진행한다. 아래 설정은 대부분 임의의 프로젝트를 로드한 다음 진행해야 한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com IntelliJ를 설치하는 방법은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Sc..

::: IT인터넷 ::: 2023.07.31

윈도우 WSL 환경에서 IntelliJ 사용하기

이제 WSL에서 리눅스 GUI 프로그램도 실행 가능하다. 아직 불안정한 면이 좀 있긴 하지만 그럭저럭 사용할만 하다. 해당 내용은 아래 글을 참고한다. WSL으로 Linux GUI 앱 실행 WSL이 Linux GUI 앱 실행을 지원하는 방법을 알아봅니다. learn.microsoft.com 따라서 윈도우 환경인 경우 WSL을 사용하여 리눅스 버전을 설치한다. WSL을 설치하는 방법은 아래 포스팅을 참고하고, Docker Desktop 설치 부분은 제외하고 진행한다. WSL2(Windows Subsystem for Linux 2) 설치 및 사용 방법 지난 5월 윈도우10의 대규모 업데이트가 있었습니다. 이번 업데이트에는 WSL2 정식 릴리스가 포함되어있습니다. WSL은 경략 가상화 기술을 통해 윈도우에서 ..

::: IT인터넷 ::: 2023.07.27

Ubuntu 22.04에 IntelliJ 설치하기

Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com IntelliJ 간단한 소개 IntelliJ는 JetBrains에서 개발한 개발도구로 사용해보면 상..

::: IT인터넷 ::: 2023.07.24

sbt 기본 설정과 JVM에 자체 서명 인증서 설정하기

sbt와 Scala 설치가 완료되면 sbt의 설정을 변경한다. sbt와 Scala 설치 방법은 아래 포스팅을 참고한다. sbt 1.9.0 버전과 Scala 2.12.18 설치하기 로컬의 Maven 저장소 설정이 마무리 되면, 개발하는 단말에 scala 개발 환경을 구성한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) S www.bearpooh.com 사용 환경에 따라 차이가 있으므로 필요한 부분만 골라서 설정한다. sbt의 기본적인 설정을 진행하는 부분과 자체 서명 인증서를 사용하기 위한 설정으로 구분한다. sbt 설정 변경 터미널에서 sbt를 사용하기 위한 설정을 적용한다. sbt 저장소 설정 ..

::: IT인터넷 ::: 2023.07.20

sbt 1.9.0 버전과 Scala 2.12.18 설치하기

로컬의 Maven 저장소 설정이 마무리 되면, 개발하는 단말에 scala 개발 환경을 구성한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com Scala 언어는 Java를 기반으로 작성되었지만, 빌드는 sbt (simple build tool)을 사용하여 진행한다. JetBrains의 IntelliJ IDE를 사용하는 경우 Scala 플러그인을 통해 sb..

::: IT인터넷 ::: 2023.07.17