:::: 곰탱푸닷컴 ::::

Nexus에 Maven 저장소를 설정하고 사용하는 경우 인증서 오류가 발생하는 경우가 존재한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com 인증서 오류는 대부분 자체 서명 인증서를 사용하는 경우로 한정된다. Let's Encrypt 같은 무료 인증서를 사용하면서 오류가 발생하는 경우에도 참고한다. Nexus 서버에 자체 서명 인증서를 사용하는 경우 개..

Ambari Metrics Collector는 Ambari 관리 클러스터에서 Hadoop 구성 요소와 시스템의 Metric (측정지표)을 수집하여 제공한다. AMS (Ambari Metrics System)이라고도 하며, 수집한 Metric 정보를 시각적으로 확인할 수 있는 장점이 있다. 다음과 같이 구성된다. 구분 내용 Metrics Monitor 클러스터의 Host에서 시스템 수준의 Metric을 수집하고 Metrics Collector에 전달 Hadoop Sink Hadoop 구성 요소에 연결되어 Metric을 Metrics Collector에 전달 Metrics Collector 클러스터의 특정 Host에 설치되어 Metrics Monitor, Hadoop Sink의 데이터 수집 Grafana 클..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 Ambari Metrics를 재시작했을때 wget에서 진행되지 않는 오류 해결 방법을 확인한다. 주로 프록시를 사용하는 폐쇄망에서 발생한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 javax/ws/rs/core/Link$Builder 오류 해결 방법을 확인한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS 7 환경 설정은 아래 포스팅을 참고한다. [Ambari 3..

기존 포스팅에서 Zeppelin 0.8.1 버전을 사용하기 위한 방법을 소개했다. Zeppelin 설정하고 노트북 생성하기 ## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소 www.bearpooh.com HDP Sandbox를 이용한 방법과 Zeppelin Docker를 이용한 방법을 다뤘다. 그러나 0.10.1 버전의 경우 기존 방법으로 사용할 수 없어서 새롭게 정리한다. 오류 증상 Zeppelin Docker를 이용한 방법으로 0.8.1 버전 대신 0.10.1 버전을 사용하면 아래와 같은 오류가 발생한다. Zeppelin 0.8.1 버전을 Docker로 사용..

MinIO 파이썬 클라이언트에서 자체 서명 인증서를 사용하는 방법에 대해 정리한다. Docker로 MinIO를 사용하는 방법은 다음 포스팅을 참고한다. Docker로 MinIO 사용하기 MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우 www.bearpooh.com Python으로 MinIO를 사용하는 방법은 다음 포스팅을 참고한다. Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치 MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO ..

이전 포스팅을 통해 Docker를 이용하여 GitLab을 설치했다. 시놀로지 NAS에서 Docker로 GitLab 설정하기 DSM 7.0으로 업데이트 되면서 기존에 사용하던 gitlab 패키지가 3rd-party라고 지원을 중단했다. 그래서 gitlab을 삭제하고 DSM 7.0으로 업데이트를 진행했다. GitLab을 새로 설치하기 위해 Docker를 이용한 www.bearpooh.com GitLab을 사용하다 보면 아래와 같이 500 Error가 간헐적으로 발생한다. 잠시 후 새로고침이나 재접속을 하면 해결되기도 하지만, 상위 페이지로 이동해버리거나 증상이 지속되기도 한다. 이전 포스팅에서 다룬 Docker 이미지는 sameersbn/gitlab 였다. 문제는 다른 서버에 설치한 GitLab-ce 컨테이..