:::: 곰탱푸닷컴 ::::

Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com IntelliJ 간단한 소개 IntelliJ는 JetBrains에서 개발한 개발도구로 사용해보면 상..

sbt와 Scala 설치가 완료되면 sbt의 설정을 변경한다. sbt와 Scala 설치 방법은 아래 포스팅을 참고한다. sbt 1.9.0 버전과 Scala 2.12.18 설치하기 로컬의 Maven 저장소 설정이 마무리 되면, 개발하는 단말에 scala 개발 환경을 구성한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) S www.bearpooh.com 사용 환경에 따라 차이가 있으므로 필요한 부분만 골라서 설정한다. sbt의 기본적인 설정을 진행하는 부분과 자체 서명 인증서를 사용하기 위한 설정으로 구분한다. sbt 설정 변경 터미널에서 sbt를 사용하기 위한 설정을 적용한다. sbt 저장소 설정 ..

로컬의 Maven 저장소 설정이 마무리 되면, 개발하는 단말에 scala 개발 환경을 구성한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com Scala 언어는 Java를 기반으로 작성되었지만, 빌드는 sbt (simple build tool)을 사용하여 진행한다. JetBrains의 IntelliJ IDE를 사용하는 경우 Scala 플러그인을 통해 sb..

Nexus에 Maven 저장소를 설정하고 사용하는 경우 인증서 오류가 발생하는 경우가 존재한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com 인증서 오류는 대부분 자체 서명 인증서를 사용하는 경우로 한정된다. Let's Encrypt 같은 무료 인증서를 사용하면서 오류가 발생하는 경우에도 참고한다. Nexus 서버에 자체 서명 인증서를 사용하는 경우 개..

Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 같이 구분하여 배포한다. 개발 중 버전 - 1.0.0.1-SNAPSHOT 버전을 snapshots 저장소에 배포 개발 완료 버전 - 1.0.0.1 버전을 releases 저장소에 배포 개발 산출물은 사설 저장소에 배포할 예정이므로 Nexus에 Maven 사설 저장소를 구축한다. Scala 기반 어플리케이션은 sbt (simple build tool)를 사용하여 빌드한다. 생성한 저장소 주소는 sbt 저장소 주소 설정에 사용하며 자세한 방법은 다음 포스팅 (문서)을 참고한다. 내부망에서 사..

VirtualBox의 CentOS7에서 공유 폴더를 사용하는 방법을 정리한다. VirtualBox의 Guest Additions가 반드시 설치되어 있어야 한다. 설치 방법은 아래 포스팅을 참고한다. VirtualBox의 CentOS7에 Guest Additions 설치하기 VMware와 VirtualBox 같은 가상환경 프로그램들은 가상환경의 원활한 사용을 위해 확장 프로그램을 제공한다. VMware - VMware Tools VirtualBox - Guest Additions 일반적으로 PC나 노트북에 운영체제를 설치하면 www.bearpooh.com 데이터 파일을 VirtualBox로 구축한 Ambari 기반의 하둡 환경으로 옮기는데 시간이 오래 걸려서 사용했다. 가상환경으로 구축한 HDFS에 파일을..

VMware와 VirtualBox 같은 가상환경 프로그램들은 가상환경의 원활한 사용을 위해 확장 프로그램을 제공한다. VMware - VMware Tools VirtualBox - Guest Additions 일반적으로 PC나 노트북에 운영체제를 설치하면 드라이버를 설치하는데 이와 유사하다. 가상 머신에 필요한 드라이버들을 설치하며, 추가적으로 편의 기능까지 제공한다. 이러한 이유로 가상 머신을 사용하는 환경이라면 이러한 확장 프로그램을 사용하는 것을 권장한다. Guest Additions 기능 소개 VirtualBox의 Guest Additions의 경우 아래와 같은 기능을 제공한다. 일반적으로 우리가 잘 아는 기능은 다음과 같다. 구분 내용 마우스 포인터 통합 Guest OS와 Host OS는 하나의..

서버에 가상 머신을 이용한 하둡을 설치하면서 개별 머신당 20TB의 디스크를 사용해야 하는 상황이 발생했다. 리눅스의 ext4 파일 시스템의 경우 파일당 최대 16TB 까지 지원하는 제약이 있다. 20TB 저장소를 생성하려면 10TB 저장소 2개를 생성하고 RAID 0로 구성하는 것으로 결정했다. VirtualBox로 가상머신에 하드디스크를 2개 이상 추가하고 RAID 0로 설정하는 방법을 정리한다. 다음과 같이 진행한다. 가상 하드디스크 생성과 추가 하드디스크 파티션 생성 RAID 0 설정과 포맷 파일 시스템 Mount 하드디스크 1개를 추가하는 방법은 아래 포스팅을 참고한다. VirtualBox CentOS 가상머신의 하드디스크 추가와 파티션 설정 VirtualBox로 가상머신을 사용하다보면 저장소 ..

VirtualBox로 가상머신을 사용하다보면 저장소 용량이 모자란 경우가 발생한다. 일반적인 PC 환경에서는 하드디스크를 추가하거나 외장하드를 사용한다. 가상머신의 경우 저장소 파일을 추가하고 CentOS에서 Mount하고 파티션을 설정하면 된다. 아래와 같이 진행한다. 가상 하드디스크 생성과 추가 하드디스크 파티션 생성과 포맷 파일 시스템 Mount 가상 하드디스크 생성과 추가 가상머신의 설정 - 저장소 - 컨트롤러: SATA에서 HDD에 + 버튼을 눌러 가상 디스크를 추가한다. 2TB 이상인 경우 CLI에서 명령어를 사용해서 추가해야 한다. $ vboxmanage createmedium --filename "가상머신경로/파일명.vdi" --size 디스크용량(MB단위) \ --format VDI --..

VirtualBox의 GUI 환경에서 가상 하드디스크를 생성하거나 추가하는 경우 2TB로 크기가 제한된다. 2TB 이상으로 설정하면 아래와 같이 Create 버튼이 비활성화 되는 것을 확인할 수 있다. 그러나 CLI를 이용하면 2TB 이상의 가상 저장소(하드디스크) 생성이 가능하다. 리눅스 환경의 파일 시스템인 ext4가 지원하는 파일의 최대 크기인 16TB 까지 생성할 수 있다. 가상환경 생성 일반적으로 생성한 가상 디스크는 가상 환경에 추가해서 사용한다. 따라서 임의의 가상환경을 생성한다. 이미 사용 중인 가상 머신을 활용하려는 경우는 생략한다. 2TB 이상의 저장소 적용 이 경우 두 가지 옵션이 존재한다. 기존에 생성한 가상 머신의 저장소의 크기를 변경하는 경우 (변경) 새로운 저장소를 생성하고 가..