:::: 곰탱푸닷컴 ::::

하둡 클러스터 외부에서 하둡 클러스터에 접근하기 위한 에지 노드를 구성했다. 기본 Edge 노드 구성 방법은 아래 문서를 참고한다. Hadoop Edge 노드 구성하기 (1) - 컨테이너 설정 변경 현재 하둡 클러스터는 다수의 VirtualBox 가상환경을 이용하여 구성했다. 클러스터의 외부에 있는 다른 서버에서는 데이터 노드 접근이 제한된다. 이러한 이유로 HDFS의 데이터를 클러스터 외부로 www.bearpooh.com Hadoop Edge 노드 구성하기 (2) - 하둡 클라이언트 설정 HDFS를 CLI 환경에서 사용하기 위해서는 하둡 클라이언트가 반드시 설치되어 있어야 한다. Docker 컨테이너의 설정 변경이 완료되면 컨테이너 내부에 하둡 클라이언트를 설정한다. 하둡 클러스터 www.bearpoo..

HDFS를 CLI 환경에서 사용하기 위해서는 하둡 클라이언트가 반드시 설치되어 있어야 한다. Docker 컨테이너의 설정 변경이 완료되면 컨테이너 내부에 하둡 클라이언트를 설정한다. 하둡 클러스터 구성 방법은 아래 문서를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 www.bearpooh.com [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환..

Ambari를 설치하면서 변경하는 설정 항목들을 정리한다. 설치 이후에도 변경 가능하지만 가급적 설치 단계에서 변경하면 번거로운 작업들을 상당히 줄일 수 있다. Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은..

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 www.bearpooh.com 그리고 HDP Sandb..

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox의 HDFS에 데이터를 업로드 하는 절차와 방법에 대해 정리한다. HDP Sandbox에 대한 소개와 설치 스크립트 다운로드는 다음 포스팅을 참고한다. HDP Sandbox 소개와 Docker 셋팅 파일 다운로드 참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 ..