:::: 곰탱푸닷컴 ::::

Livy 서버를 통해 Spark에 Application을 Submit이 된 이후에는 정상적으로 실행되는지 확인해야 한다. 모니터링하는 방법은 크게 두가지가 있다. Jupyter Notebook에서 Livy에 실행 상태를 조회하는 코드 실행 Livy, Spark, Yarn의 웹 UI를 통한 직접 확인 AirFlow Jupyter 컨테이너를 구성하는 방법은 아래 문서를 참고한다. Jupyter Notebook으로 AirFlow 사용하기 Jupyter Notebook으로 AirFlow를 사용하는 방법에 대해 정리한다. Jupyter Notebook은 파이썬 기반의 데이터 과학에서 자주 사용하는 도구이다. 웹페이지 기반의 대화형 파이썬 인터프리터를 제공하기 때문 www.bearpooh.com Livy 서버와 S..

Bigtop에서 제공하는 Ambari의 YARN (Resource Manager)에서 사용 가능한 vCPU를 늘리는 방법을 정리한다. Ambari 설치를 위한 기본 환경 준비는 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필..

Ambari를 설치하면서 변경하는 설정 항목들을 정리한다. 설치 이후에도 변경 가능하지만 가급적 설치 단계에서 변경하면 번거로운 작업들을 상당히 줄일 수 있다. Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은..

모든 설치가 완료되면 하둡의 개별 서비스 UI에 접속해서 확인을 진행한다. 아래 과정으로 진행한다. 포트포워딩 설정 호스트 (물리) PC의 hosts에 IP와 FQDN 등록 동일 네트워크에 존재하는 다른 물리 PC에서도 접속 가능하다. hosts를 수정하고 대상 IP를 Ambari가 설치 된 호스트 (물리) PC로 지정한다. 확인하기 위한 서비스 목록은 다음과 같다. NameNode (Port 50070) - bdp01 / 192.168.56.51 NodeManager (Port 8042) - bdp01 / 192.168.56.51 Yarn (Port 8088) - bdp01 / 192.168.56.51 MR2 (Hadoop) JobHistory (Port 19888) - bdp02 / 192.168.5..