호튼웍스 13

[Ambari 2] CentOS 7 가상 환경 생성

Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 www.bearpooh.com Bigtop을 이용한 Ambari 빌드는 다양한 운영체제를 지원한다. Bigtop 3.2.0 Release - Apache Bigtop - Apache Software Foundation bigtop 3.2.0 stack includes the following components alluxio 2.8.0 big..

[Ambari 1] Apache Ambari 소개

하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 도구이다. 아래 그림 처럼 Hadoop (+ HDFS, MapReduce2, YARN), Zookeeper, Spark, Hive, HBase 등을 통합 관리할 수 있다. 통합코덱팩을 생각하면 이해하기 쉽다. 개별 코덱을 따로 깔 수도 있지만 통합코덱팩을 사용하면 원하는 코덱들을 한번에 설치할 수 있다. 현재 문제점 Hortonworks가 개발하고 기여했지만, 2018년 Cloudera 합병 이후 개발이 중단되었다. 현재 Apache 재단에 의해 유지보수 정도만 유지되고 있는 것으로 보이며 최신 버전은 2...

HDP Sandbox에서 Superset 사용하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox에서 Superset도 사용 가능하다. Superset은 에어비앤비에서 오픈소스로 공개한 데이터 분석 도구로 다음과 같은 장점이 있다. 다양한 시각화를 제공하여 대시보드 구성이 가능하다. SQL을 사용하기 때문에 기존 RDBMS에 익숙한 사용자들이 쉽게 사용할 수 있다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker ..

HDP Sandbox 3.0.1 사용 관련 참고 사항

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 www.bearpooh.com 그리고 HDP Sandb..

HDP Sandbox 3.0.1의 HDFS에 admin, root 계정 권한 추가하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 www.bearpooh.com 그리고 HDP Sandb..

HDP Sandbox 3.0.1 Docker 이미지로 Ambari 로그인하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 www.bearpooh.com 그리고 HDP Sandb..

설정 변경하여 배포한 HDP Sandbox의 Docker 이미지 사용

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox 2.6.5의 설정을 변경하고 사설 Docker 저장소에 배포하는 과정을 다뤘다. 배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있..

배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 생성한 이미지를 사용하기 위한 스크립트를 작성한다. Docker 컨테이너 실행할 때 개방하는 포트가 많아서 docker-compose 대신 Shell 스크립트를 사용한다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 ..

설정 변경한 HDP Sandbox 2.6.5의 Docker 이미지 배포

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox의 기본 설정 변경과 테스트 환경 구성이 완료되면 향후 재사용을 위해 Docker 이미지를 배포해야 한다. HDP Sandbox의 설치와 환경 설정을 변경한 Docker 컨테이너를 별도 저장소에 Docker 이미지로 배포하는 절차와 방법에 대해 정리한다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로..

HDP Sandbox 2.6.5 접속 관련 참고사항

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 프록시 환경에서 HDP Sandbox를 설정할 때 참고해야 하는 사항을 정리한다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였..