HDP 20

[Ambari 8] 설치 완료 이후 서비스 탐색

모든 설치가 완료되면 하둡의 개별 서비스 UI에 접속해서 확인을 진행한다. 아래 과정으로 진행한다. 포트포워딩 설정 호스트 (물리) PC의 hosts에 IP와 FQDN 등록 동일 네트워크에 존재하는 다른 물리 PC에서도 접속 가능하다. hosts를 수정하고 대상 IP를 Ambari가 설치 된 호스트 (물리) PC로 지정한다. 확인하기 위한 서비스 목록은 다음과 같다. NameNode (Port 50070) - bdp01 / 192.168.56.51 NodeManager (Port 8042) - bdp01 / 192.168.56.51 Yarn (Port 8088) - bdp01 / 192.168.56.51 MR2 (Hadoop) JobHistory (Port 19888) - bdp02 / 192.168.5..

[Ambari 7] Ambari 설정과 Hadoop, Spark 설치

Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 생성 CentOS 가상 이미지 복제와 Ambari 설치 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 6] CentOS 가상 이미지 복제와 Ambari 설치 Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 ( www.bearpooh.com PostgreS..

[Ambari 6] CentOS 가상 이미지 복제와 Ambari 설치

Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 (server, agent, mpack) 각 설치 파일들을 빌드하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com 시간 단축을 위..

[Ambari 5] Bigtop 설치와 Ambari 빌드

가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. CentOS에 JDK, Maven을 설치하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다. Apache Bigtop 소개 Horton..

[Ambari 4] CentOS 7 추가 설정

가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 CentOS 운영체제의 기본 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. https://www.bearpooh.com/179 아래 과정은 다음 작업 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 ..

[Ambari 3] CentOS 7 기본 설정

가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 www.bearpooh.com 아래 과정은 다음 작업을 수행하기 위한 설정이 섞여 있다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다..

[Ambari 2] CentOS 7 가상 환경 생성

Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 www.bearpooh.com Bigtop을 이용한 Ambari 빌드는 다양한 운영체제를 지원한다. Bigtop 3.2.0 Release - Apache Bigtop - Apache Software Foundation bigtop 3.2.0 stack includes the following components alluxio 2.8.0 big..

[Ambari 1] Apache Ambari 소개

하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 도구이다. 아래 그림 처럼 Hadoop (+ HDFS, MapReduce2, YARN), Zookeeper, Spark, Hive, HBase 등을 통합 관리할 수 있다. 통합코덱팩을 생각하면 이해하기 쉽다. 개별 코덱을 따로 깔 수도 있지만 통합코덱팩을 사용하면 원하는 코덱들을 한번에 설치할 수 있다. 현재 문제점 Hortonworks가 개발하고 기여했지만, 2018년 Cloudera 합병 이후 개발이 중단되었다. 현재 Apache 재단에 의해 유지보수 정도만 유지되고 있는 것으로 보이며 최신 버전은 2...

Zeppelin 설정하고 노트북 생성하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. Zeppelin은 Spark 기반의 데이터 분석을 위한 인터프리터 환경을 제공한다. 파이썬의 데이터 분석 도구인 Jupyter Notebook과 비슷하다. Zeppelin은 HDP Sandbox에 포함되어 있으며, Docker로 Zeppelin만 독립적으로 사용할 수도 있다. HDP Sandbox에 포함 된 Zeppelin은 내부 Hadoop과 Spark을 기반으로 동작한다. Zeppelin을 독립적인 Docker로..

HDP Sandbox에서 Superset 사용하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox에서 Superset도 사용 가능하다. Superset은 에어비앤비에서 오픈소스로 공개한 데이터 분석 도구로 다음과 같은 장점이 있다. 다양한 시각화를 제공하여 대시보드 구성이 가능하다. SQL을 사용하기 때문에 기존 RDBMS에 익숙한 사용자들이 쉽게 사용할 수 있다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker ..