:::: 곰탱푸닷컴 ::::

Nexus에 Maven 저장소를 설정하고 사용하는 경우 인증서 오류가 발생하는 경우가 존재한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com 인증서 오류는 대부분 자체 서명 인증서를 사용하는 경우로 한정된다. Let's Encrypt 같은 무료 인증서를 사용하면서 오류가 발생하는 경우에도 참고한다. Nexus 서버에 자체 서명 인증서를 사용하는 경우 개..

Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 같이 구분하여 배포한다. 개발 중 버전 - 1.0.0.1-SNAPSHOT 버전을 snapshots 저장소에 배포 개발 완료 버전 - 1.0.0.1 버전을 releases 저장소에 배포 개발 산출물은 사설 저장소에 배포할 예정이므로 Nexus에 Maven 사설 저장소를 구축한다. Scala 기반 어플리케이션은 sbt (simple build tool)를 사용하여 빌드한다. 생성한 저장소 주소는 sbt 저장소 주소 설정에 사용하며 자세한 방법은 다음 포스팅 (문서)을 참고한다. 내부망에서 사..

Hadoop (+ YARN), Spark, Zeppelin의 설정을 마쳤으므로, Spark Job과 Application 제출을 위한 환경을 livy로 구성한다. Bigtop을 이용한 Ambari 설치와 설정 변경은 다음 포스팅을 참고한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com [Ambari 9] 데이터 탐색을 위한 하둡과 제플린 설정 HDFS에 데이터를 업로드하고 Zeppelin으로 분석과 탐색을 진행하기 위해서는 추가 설정..

Bigtop에서 제공하는 Ambari의 YARN (Resource Manager)에서 사용 가능한 vCPU를 늘리는 방법을 정리한다. Ambari 설치를 위한 기본 환경 준비는 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필..

Ambari Metrics 관련 트러블 슈팅을 진행하고 METRIC 탭의 그래프까지 표시되는데도 WARN 메시지가 계속 발생하는 경우가 있다. Ambari Metrics 관련 트러블 슈팅은 다음 포스팅을 참고한다. Ambari Metrics Collector의 javax/ws/rs/core/Link$Builder 오류 Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 javax/ws/rs/core/Link$Builder 오류 해결 방법을 확인한다. Am www.bearpooh.com Ambari Metrics 재시작이 wget에서 진행되지 않는 경우 Bigtop에서 배포한 Ambari 설치를..

Ambari Metrics Collector는 Ambari 관리 클러스터에서 Hadoop 구성 요소와 시스템의 Metric (측정지표)을 수집하여 제공한다. AMS (Ambari Metrics System)이라고도 하며, 수집한 Metric 정보를 시각적으로 확인할 수 있는 장점이 있다. 다음과 같이 구성된다. 구분 내용 Metrics Monitor 클러스터의 Host에서 시스템 수준의 Metric을 수집하고 Metrics Collector에 전달 Hadoop Sink Hadoop 구성 요소에 연결되어 Metric을 Metrics Collector에 전달 Metrics Collector 클러스터의 특정 Host에 설치되어 Metrics Monitor, Hadoop Sink의 데이터 수집 Grafana 클..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 Ambari Metrics를 재시작했을때 wget에서 진행되지 않는 오류 해결 방법을 확인한다. 주로 프록시를 사용하는 폐쇄망에서 발생한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 javax/ws/rs/core/Link$Builder 오류 해결 방법을 확인한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS 7 환경 설정은 아래 포스팅을 참고한다. [Ambari 3..

Ambari를 설치하면서 변경하는 설정 항목들을 정리한다. 설치 이후에도 변경 가능하지만 가급적 설치 단계에서 변경하면 번거로운 작업들을 상당히 줄일 수 있다. Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은..

VirtualBox의 CentOS7에서 공유 폴더를 사용하는 방법을 정리한다. VirtualBox의 Guest Additions가 반드시 설치되어 있어야 한다. 설치 방법은 아래 포스팅을 참고한다. VirtualBox의 CentOS7에 Guest Additions 설치하기 VMware와 VirtualBox 같은 가상환경 프로그램들은 가상환경의 원활한 사용을 위해 확장 프로그램을 제공한다. VMware - VMware Tools VirtualBox - Guest Additions 일반적으로 PC나 노트북에 운영체제를 설치하면 www.bearpooh.com 데이터 파일을 VirtualBox로 구축한 Ambari 기반의 하둡 환경으로 옮기는데 시간이 오래 걸려서 사용했다. 가상환경으로 구축한 HDFS에 파일을..