[Ambari 4] CentOS 7 추가 설정

가상환경에 CentOS  운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다.

 

아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다.

• Bigtop 설치와 Ambari 빌드
• Ambari 설치와 Agent 연동
• 하둡과 관련 서비스 설치

 

CentOS 운영체제의 기본 설정은 아래 포스팅 (문서)를 참고한다.

[Ambari 3] CentOS 7 기본 설정

 

시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다.

 

 

필수 yum 패키지 설치

Ambari는 파이썬으로 작성되었기 때문에 파이썬 개발 도구가 필요하다.

또한 Bigtop 빌드를 위한 개발 도구도 설치되어야 한다.

 

설치 방법은 모두 동일하기 때문에 아래와 같이 진행한다.

# Bigtop 소스코드를 받아오기 위한 git 설치
$ sudo yum install -y git

# CentOS의 yum 설치에 필요한 rpm 파일 빌드 도구
$ sudo yum install -y rpm-build
$ sudo yum install -y gcc 
$ sudo yum install -y gcc-c++

# Ambari의 동작에 필요한 파이썬 개발 도구
$ sudo yum install -y python2
$ sudo yum install -y python2-devel
$ sudo yum install -y python-pip

# Javascript 패키지 관리자 설치
$ sudo yum install -y npm

 

한줄에 몰아서 작성해도 되지만 정상 설치 여부 확인을 위해 각각 입력하는 것을 권장한다.

개인적으로는 -y 옵션도 제거하고 진행하는 편이다.

 

파이썬 버전은 반드시 2.7.5 버전 설치!
CentOS 7에서 파이썬은 2.7.5 버전이 설치된다.
현재 Bigtop을 이용하여 Ambari를 설치하는 경우 2.7.5 이상 버전은 인식하지 못하는 문제가 있다.
가급적 2.7.5 버전을 사용한다.

 

OpenJDK 1.8 설치

하둡은 Java를 사용하여 개발되었고, 1.8 버전에 최적화 되어 있다.

단, Oracle에서 제공하는 Java SDK는 유료화 되었으므로, 오픈소스인 OpenJDK를 설치한다.

 

다음과 같이 진행한다.

$ sudo yum update
$ sudo yum install java-1.8.0-openjdk-devel.x86_64
$ sudo vi /etc/bashrc    # 마지막 줄에 추가하고 :wq로 저장하고 종료

# 아래 내용을 추가한다.
export JAVA_HOME=/usr/lib/jvm/java
export PATH=$JAVA_HOME:$PATH

# 적용한 환경 변수 적용
$ source /etc/bashrc
$ java -version

 

Java 버전이 아래와 같이 정상적으로 출력되어야 한다.

 

Maven 설치

Maven은 Java 프로젝트의 빌드 자동화 도구이다.

Apache에 의해 관리되며 Hadoop과 관련 서비스도Maven을 이용하여 빌드한다.

wget 설치

CentOS 7의 최소 설치 버전에는 wget이 포함되어 있지 않기 때문에 아래와 같이 설치해야 한다.

# CentOS 7 최소 설치에 포함되지 않는 wget 설치
$ sudo yum install wget

 

폐쇄망의 프록시 환경인 경우
폐쇄망의 프록시를 통해 인터넷을 이용하는 경우 wget에 Proxy 설정을 추가해야 한다.
향후 Ambari Metrics Collector에서 관련 오류가 발생할 수 있으므로 아래와 같이 설정을 진행한다.

1. visudo에 프록시 환경 변수 전달

$ sudo visudo

# Default env_keep += 부분을 찾고 다음줄에 아래 내용 추가
Defaults env_keep += "HTTP_PROXY http_proxy HTTPS_PROXY no_proxy"

# 입력 완료 후 :wq로 저장하고 종료​

2. wget 명령어에 프록시 서버 정보 전달

$ sudo vi /etc/wgetrc

# 아래 부분 주석 해제
use_proxy=yes

# 바로 다음 줄에 아래 내용 추가
http_proxy=프록시서버주소:포트
https_proxy=프록시서버주소:포트

# 입력 완료 후 :wq로 저장하고 종료

# 재부팅
$ sudo reboot now​

 

Maven 설정

Maven의 경우 별도의 설치 없이 다운로드하고 심볼릭 링크를 연결하여 설정한다.

아래와 같이 진행한다.

# maven 3.6.3 버전 다운로드
$ wget https://www.apache.org/dist/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz -P /tmp

# maven 압축 해제, 폴더 이동, 심볼릭 링크 생성
$ sudo tar xf /tmp/apache-maven-3.6.3-bin.tar.gz -C /opt
$ sudo ln -s /opt/apache-maven-3.6.3 /opt/maven

# maven 경로의 환경 변수 등록을 위한 스크립트 작성
$ sudo vi /etc/profile.d/maven.sh
# 마지막 줄에 아래 내용을 추가하고 :wq로 저장하고 종료
export M2_HOME=/opt/maven 
export MAVEN_HOME=/opt/maven 
export PATH=$M2_HOME/bin:$PATH

# 스크립트에 실행 권한 부여
$ sudo chmod +x /etc/profile.d/maven.sh

# 환경변수에 maven 경로 설정 등록
$ source /etc/profile.d/maven.sh

# maven 버전 확인
$ mvn -version

 

Maven 버전이 아래와 같이 정상적으로 출력되어야 한다.

 

폐쇄망인 경우 별도 파일 준비 필요
폐쇄망인 경우 해당 파일 다운로드가 되지 않을 수 있다.
인터넷이 되는 환경에서 다운로드하거나 미리 준비한 파일로 진행한다.

 

 

스냅샷 생성

생성한 계정으로 로그인하고 아래 명령어를 실행해서 전원을 끈다.

$ sudo shutdown now

 

스냅샷 - 찍기 버튼을 클릭해서 스냅샷을 생성한다.

• 스냅샷 이름 - Step 3
• 스냅샷 설명 - CentOS 7 빌드 관련 Yum 설치, Mvn, JDK 1.8 설치

 

생성한 스냅샷은 이후 설정 과정에서 문제가 발생했을 경우 복원 지점으로 활용한다.

OS를 재설치하지 않고 특정 지점으로 복귀 할 수 있기 때문에 매우 중요하다.

 

이후 과정은 다음 포스팅(문서)로 진행한다.

[Ambari 5] Bigtop 설치와 Ambari 빌드