HDP Sandbox 3.0.1 사용 관련 참고 사항

## 참고사항 ##

빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다.
셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다.
오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다.

이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다.

HDP Sandbox 소개와 Docker 셋팅 파일 다운로드

그리고 HDP Sandbox 3.0.1 버전에 대한 설치와 Amabari 로그인하는 것도 진행했다.

HDP Sandbox 3.0.1 Docker 이미지로 Ambari 로그인하기

설정 변경과 배포하는 방법은 2.6.5 버전과 거의 동일하다.
따라서 별도로 작성하지 않고 2.6.5 버전의 포스트들을 공유한다.

HDP Sandbox 3.0.1 버전의 HDFS에 데이터 업로드

다음 포스팅을 참고한다.

HDP Sandbox 2.6.5 HDFS에 데이터 업로드 하기

Ambari Files View 사용
Ambari에 admin 계정으로 로그인 한 경우 아래 경로를 사용한다.

/user/admin

HDP Sandbox 3.0.1의 admin 계정에 HDFS 권한을 추가하면 다른 경로에서도 작업할 수 있다.
다음 포스팅을 참고한다.

HDP Sandbox 3.0.1의 HDFS에 admin, root 계정 권한 추가하기

cmd를 통한 업로드
HDFS에 root 계정 권한이 부여되지 않아 원활한 작업이 진행되지 않으므로 다음 경로로 업로드 해야 한다.

$ hadoop fs -put /HDPTestData /user/root # 각 항목은 다음을 의미한다. # hadoop fs - Hadoop 파일 시스템 명령어를 사용한다. # -put - 파일을 업로드한다. # /HDPTestData - 업로드하려는 파일의 경로와 이름 # /user/root - 파일을 저장할 HDFS의 경로

HDP Sandbox 3.0.1의 root 계정에 HDFS 권한을 추가하면 다른 경로에도 업로드 할 수 있다.
다음 포스팅을 참고한다.

HDP Sandbox 3.0.1의 HDFS에 admin, root 계정 권한 추가하기

HDP Sandbox 3.0.1의 접속 관련 참고사항

다음 포스팅을 참고한다.

HDP Sandbox 2.6.5 접속 관련 참고사항

설정 변경한 HDP Sandbox 3.0.1의 Docker 이미지 배포

다음 포스팅을 참고한다.

설정 변경한 HDP Sandbox 2.6.5의 Docker 이미지 배포

위의 포스팅에서 생성하는 이미지의 Label이 hdp-265-srteam:0.0.1로 되어 있다.
265를 301로 변경하여 hdp-301-srteam:0.0.1로 지정해야 한다.

배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성

다음 포스팅을 참고한다.

배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성

HDP Sandbox 2.6.5와 비교해서 3.0.1 버전은 포트가 약간 다르다.
방법은 위의 포스팅을 참고하되, 포트 목록은 3.0.1 버전의 assets/generate-proxy-deploy-script.sh 파일을 참고한다.

다음 변수들을 수정한다.

• httpPorts
• tcpPortsHDP
• tcpPortsHDF (2.6.5 버전과 동일)

배포한 HDP Sandbox의 Docker 이미지 사용

다음 포스팅을 참고한다.

설정 변경하여 배포한 HDP Sandbox의 Docker 이미지 사용