script 3

Scala 빌드 파이프라인 설정하기 (1) - 빌드 생성

Jenkins와 연동한 Scala 빌드 머신을 활용하여 실제 Spark Application을 빌드하고 배포한다. Scala 빌드머신을 Jenkins에 연동하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 연동하기 (Jenkins 연결) Scala 빌드 머신의 Docker 이미지를 컨테이너로 실행하여 Jenkins 에 Scala 빌드 에이전트로 등록한다. Scala 빌드 머신의 Docker 컨테이너를 실행하는 방법은 아래 문서를 참고한다. Jenkins에 Scala 빌드머신 www.bearpooh.com Scala 빌드머신을 생성하는 방법은 아래 문서를 참고한다. Docker로 Scala 빌드머신 만들기 (빌드와 배포) Scala 개발환경 구성이 완료되면 작성한 Application..

::: IT인터넷 ::: 2023.08.28

Jenkins 에이전트 연결 명령을 우분투 서비스로 실행하기

Jenkins에 VirtualBox 가상머신을 이용하여 Docker 이미지 빌드를 위한 에이전트로 등록했다. 해당 방법은 다음 포스팅을 참고한다. Jenkins에 Docker 이미지 빌드 에이전트 연결하기 Jenkins에서 Docker 이미지 빌드를 위한 에이전트로 사용하기 위해, VirtualBox 기반으로 가상 머신을 생성했다. VirtualBox로 Docker 이미지 빌드를 위한 가상 머신 생성 방법은 다음 포스팅을 참고한다. 우 www.bearpooh.com 가상 머신에서 터미널을 종료하면 생성 된 프로세스가 종료 된다. 따라서 아래와 같이 연결이 다시 끊어진다는 문제가 발생한다. 해결 방법은 두 가지이다. 첫 번째는 터미널을 띄워 놓은 상태에서 가상 머신이 백그라운드로 동작하도록 종료하는 것이다..

::: IT인터넷 ::: 2022.01.31

배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 생성한 이미지를 사용하기 위한 스크립트를 작성한다. Docker 컨테이너 실행할 때 개방하는 포트가 많아서 docker-compose 대신 Shell 스크립트를 사용한다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 ..