:::: 곰탱푸닷컴 ::::

Hadoop (+ YARN), Spark, Zeppelin의 설정을 마쳤으므로, Spark Job과 Application 제출을 위한 환경을 livy로 구성한다. Bigtop을 이용한 Ambari 설치와 설정 변경은 다음 포스팅을 참고한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com [Ambari 9] 데이터 탐색을 위한 하둡과 제플린 설정 HDFS에 데이터를 업로드하고 Zeppelin으로 분석과 탐색을 진행하기 위해서는 추가 설정..

Bigtop에서 제공하는 Ambari의 YARN (Resource Manager)에서 사용 가능한 vCPU를 늘리는 방법을 정리한다. Ambari 설치를 위한 기본 환경 준비는 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필..

Ambari Metrics 관련 트러블 슈팅을 진행하고 METRIC 탭의 그래프까지 표시되는데도 WARN 메시지가 계속 발생하는 경우가 있다. Ambari Metrics 관련 트러블 슈팅은 다음 포스팅을 참고한다. Ambari Metrics Collector의 javax/ws/rs/core/Link$Builder 오류 Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 javax/ws/rs/core/Link$Builder 오류 해결 방법을 확인한다. Am www.bearpooh.com Ambari Metrics 재시작이 wget에서 진행되지 않는 경우 Bigtop에서 배포한 Ambari 설치를..

Ambari Metrics Collector는 Ambari 관리 클러스터에서 Hadoop 구성 요소와 시스템의 Metric (측정지표)을 수집하여 제공한다. AMS (Ambari Metrics System)이라고도 하며, 수집한 Metric 정보를 시각적으로 확인할 수 있는 장점이 있다. 다음과 같이 구성된다. 구분 내용 Metrics Monitor 클러스터의 Host에서 시스템 수준의 Metric을 수집하고 Metrics Collector에 전달 Hadoop Sink Hadoop 구성 요소에 연결되어 Metric을 Metrics Collector에 전달 Metrics Collector 클러스터의 특정 Host에 설치되어 Metrics Monitor, Hadoop Sink의 데이터 수집 Grafana 클..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 Ambari Metrics를 재시작했을때 wget에서 진행되지 않는 오류 해결 방법을 확인한다. 주로 프록시를 사용하는 폐쇄망에서 발생한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS..

Bigtop에서 배포한 Ambari 설치를 완료하고 서비스를 시작했을 때 유독 Ambari Metrics만 빨간 불인 경우가 있다. 다양한 오류가 발생하는데 이번엔 javax/ws/rs/core/Link$Builder 오류 해결 방법을 확인한다. Ambari 설치 방법은 아래 포스팅을 확인한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com Ambari 설치를 위한 CentOS 7 환경 설정은 아래 포스팅을 참고한다. [Ambari 3..

Ambari를 설치하면서 변경하는 설정 항목들을 정리한다. 설치 이후에도 변경 가능하지만 가급적 설치 단계에서 변경하면 번거로운 작업들을 상당히 줄일 수 있다. Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 www.bearpooh.com [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은..

VirtualBox의 CentOS7에서 공유 폴더를 사용하는 방법을 정리한다. VirtualBox의 Guest Additions가 반드시 설치되어 있어야 한다. 설치 방법은 아래 포스팅을 참고한다. VirtualBox의 CentOS7에 Guest Additions 설치하기 VMware와 VirtualBox 같은 가상환경 프로그램들은 가상환경의 원활한 사용을 위해 확장 프로그램을 제공한다. VMware - VMware Tools VirtualBox - Guest Additions 일반적으로 PC나 노트북에 운영체제를 설치하면 www.bearpooh.com 데이터 파일을 VirtualBox로 구축한 Ambari 기반의 하둡 환경으로 옮기는데 시간이 오래 걸려서 사용했다. 가상환경으로 구축한 HDFS에 파일을..

VMware와 VirtualBox 같은 가상환경 프로그램들은 가상환경의 원활한 사용을 위해 확장 프로그램을 제공한다. VMware - VMware Tools VirtualBox - Guest Additions 일반적으로 PC나 노트북에 운영체제를 설치하면 드라이버를 설치하는데 이와 유사하다. 가상 머신에 필요한 드라이버들을 설치하며, 추가적으로 편의 기능까지 제공한다. 이러한 이유로 가상 머신을 사용하는 환경이라면 이러한 확장 프로그램을 사용하는 것을 권장한다. Guest Additions 기능 소개 VirtualBox의 Guest Additions의 경우 아래와 같은 기능을 제공한다. 일반적으로 우리가 잘 아는 기능은 다음과 같다. 구분 내용 마우스 포인터 통합 Guest OS와 Host OS는 하나의..

서버에 가상 머신을 이용한 하둡을 설치하면서 개별 머신당 20TB의 디스크를 사용해야 하는 상황이 발생했다. 리눅스의 ext4 파일 시스템의 경우 파일당 최대 16TB 까지 지원하는 제약이 있다. 20TB 저장소를 생성하려면 10TB 저장소 2개를 생성하고 RAID 0로 구성하는 것으로 결정했다. VirtualBox로 가상머신에 하드디스크를 2개 이상 추가하고 RAID 0로 설정하는 방법을 정리한다. 다음과 같이 진행한다. 가상 하드디스크 생성과 추가 하드디스크 파티션 생성 RAID 0 설정과 포맷 파일 시스템 Mount 하드디스크 1개를 추가하는 방법은 아래 포스팅을 참고한다. VirtualBox CentOS 가상머신의 하드디스크 추가와 파티션 설정 VirtualBox로 가상머신을 사용하다보면 저장소 ..

VirtualBox로 가상머신을 사용하다보면 저장소 용량이 모자란 경우가 발생한다. 일반적인 PC 환경에서는 하드디스크를 추가하거나 외장하드를 사용한다. 가상머신의 경우 저장소 파일을 추가하고 CentOS에서 Mount하고 파티션을 설정하면 된다. 아래와 같이 진행한다. 가상 하드디스크 생성과 추가 하드디스크 파티션 생성과 포맷 파일 시스템 Mount 가상 하드디스크 생성과 추가 가상머신의 설정 - 저장소 - 컨트롤러: SATA에서 HDD에 + 버튼을 눌러 가상 디스크를 추가한다. 2TB 이상인 경우 CLI에서 명령어를 사용해서 추가해야 한다. $ vboxmanage createmedium --filename "가상머신경로/파일명.vdi" --size 디스크용량(MB단위) \ --format VDI --..

VirtualBox의 GUI 환경에서 가상 하드디스크를 생성하거나 추가하는 경우 2TB로 크기가 제한된다. 2TB 이상으로 설정하면 아래와 같이 Create 버튼이 비활성화 되는 것을 확인할 수 있다. 그러나 CLI를 이용하면 2TB 이상의 가상 저장소(하드디스크) 생성이 가능하다. 리눅스 환경의 파일 시스템인 ext4가 지원하는 파일의 최대 크기인 16TB 까지 생성할 수 있다. 가상환경 생성 일반적으로 생성한 가상 디스크는 가상 환경에 추가해서 사용한다. 따라서 임의의 가상환경을 생성한다. 이미 사용 중인 가상 머신을 활용하려는 경우는 생략한다. 2TB 이상의 저장소 적용 이 경우 두 가지 옵션이 존재한다. 기존에 생성한 가상 머신의 저장소의 크기를 변경하는 경우 (변경) 새로운 저장소를 생성하고 가..

Ambari의 경우 설치하는 방법은 크게 세가지로 분류할 수 있다. Apache Ambari 소스코드 직접 빌드 Apache Bigtop 이용 (gradle) 이미 빌드 된 바이너리로 설치 Apache Bigtop을 이용한 빌드 방법은 아래 포스팅을 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com Ambari 설치를 위해 사전에 준비해야 하는 사항은 아래 포스팅을 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 Ce..

HDFS에 데이터를 업로드하고 Zeppelin으로 분석과 탐색을 진행하기 위해서는 추가 설정을 진행해야 한다. Ambari 설정과 Hadoop, Spark 등 서비스 설치는 아래 포스팅 (문서)를 참고한다. [Ambari 7] Ambari 설정과 Hadoop, Spark 설치 Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 www.bearpooh.com HDFS와 Zeppelin 추가 설정은 다음 순서로 진행한다. Ambari Admin에서 계정 추가 하둡 설정 변경 (Ambari, CentOS, HDFS) Zeppelin 설정 변경 ..

모든 설치가 완료되면 하둡의 개별 서비스 UI에 접속해서 확인을 진행한다. 아래 과정으로 진행한다. 포트포워딩 설정 호스트 (물리) PC의 hosts에 IP와 FQDN 등록 동일 네트워크에 존재하는 다른 물리 PC에서도 접속 가능하다. hosts를 수정하고 대상 IP를 Ambari가 설치 된 호스트 (물리) PC로 지정한다. 확인하기 위한 서비스 목록은 다음과 같다. NameNode (Port 50070) - bdp01 / 192.168.56.51 NodeManager (Port 8042) - bdp01 / 192.168.56.51 Yarn (Port 8088) - bdp01 / 192.168.56.51 MR2 (Hadoop) JobHistory (Port 19888) - bdp02 / 192.168.5..

Ambari 설치를 마쳤으므로 Ambari에 접속해서 하둡과 관련 서비스들을 설치한다. 아래 과정으로 진행한다. Ambari 웹페이지 포트포워딩 Ambari 접속과 Agent 구성 하둡과 관련 서비스 설치와 시작 스냅샷 생성 CentOS 가상 이미지 복제와 Ambari 설치 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 6] CentOS 가상 이미지 복제와 Ambari 설치 Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 ( www.bearpooh.com PostgreS..

Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 (server, agent, mpack) 각 설치 파일들을 빌드하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com 시간 단축을 위..

가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. CentOS에 JDK, Maven을 설치하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 4] CentOS 7 추가 설정 가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다. Apache Bigtop 소개 Horton..

가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 CentOS 운영체제의 기본 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. https://www.bearpooh.com/179 아래 과정은 다음 작업 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 ..

가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 www.bearpooh.com 아래 과정은 다음 작업을 수행하기 위한 설정이 섞여 있다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다..