:::: 곰탱푸닷컴 ::::

가상환경에 CentOS 운영체제의 기본 설정을 적용했으므로, 이후 과정에 공통으로 필요한 설정을 적용한다. 아래 과정은 다음 작업을 수행하기 위해 반드시 필요한 설정이다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 CentOS 운영체제의 기본 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 3] CentOS 7 기본 설정 가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. https://www.bearpooh.com/179 아래 과정은 다음 작업 www.bearpooh.com 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 ..

가상환경에 CentOS 운영체제를 설치했으므로, 이후 필요한 기본 설정을 진행한다. CentOS 설치를 위한 가상환경 설정은 아래 포스팅 (문서)를 참고한다. [Ambari 2] CentOS 7 가상 환경 생성 Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 www.bearpooh.com 아래 과정은 다음 작업을 수행하기 위한 설정이 섞여 있다. Bigtop 설치와 Ambari 빌드 Ambari 설치와 Agent 연동 하둡과 관련 서비스 설치 시간 단축을 위해 단일 가상 이미지를 만들고 복제해서 사용할 예정임을 참고한다..

Ambari 설치를 위한 CentOS7 가상 환경을 생성한다. Ambari 소개에 대한 내용은 다음 문서를 참고한다. [Ambari 1] Apache Ambari 소개 하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 www.bearpooh.com Bigtop을 이용한 Ambari 빌드는 다양한 운영체제를 지원한다. Bigtop 3.2.0 Release - Apache Bigtop - Apache Software Foundation bigtop 3.2.0 stack includes the following components alluxio 2.8.0 big..

하둡 에코시스템을 설치하기 위해 각 구성요소들을 직접 개별 설치하는 것은 여전히 어렵고 까다롭다. Apache Ambari는 하둡 에코시스템의 설치, 설정 배포, 모니터링 등의 운영 편의성을 제공하는 도구이다. 아래 그림 처럼 Hadoop (+ HDFS, MapReduce2, YARN), Zookeeper, Spark, Hive, HBase 등을 통합 관리할 수 있다. 통합코덱팩을 생각하면 이해하기 쉽다. 개별 코덱을 따로 깔 수도 있지만 통합코덱팩을 사용하면 원하는 코덱들을 한번에 설치할 수 있다. 현재 문제점 Hortonworks가 개발하고 기여했지만, 2018년 Cloudera 합병 이후 개발이 중단되었다. 현재 Apache 재단에 의해 유지보수 정도만 유지되고 있는 것으로 보이며 최신 버전은 2...

샘플서버망에서 Ubuntu Server 운영체제의 버전을 20.04에서 22.04로 업그레이드 하는 방법을 정리한다. 업그레이드를 진행하기 위해서는 do-release-upgrade 도구를 사용하면 쉽게 판올림을 할 수 있다. 해당 방법을 간략하게 정리한다. 사전 작업 Ubuntu 서버의 배포판을 업그레이드하기 위해서는 아래와 같은 사전 작업이 필요하다. SSH 터미널로 서버 연결 최신 업데이트 적용 실행 중인 서비스 중단 서버 재부팅 ssh 터미널로 서버 연결 일반적인 서버 배포판 업그레이드는 해당 서버에서 직접 작업하는 것이 가장 안전하다. 하지만 서버실에서 작업하기에는 작업 환경이 녹록하지 않다. (스탠딩 작업 + 서버들의 팬 소음) 서버 업그레이드 작업에 RDP 연결이나 SSH 연결을 권장하지 않..

오피니언 (칼럼) 메뉴를 개설했습니다. 책이나 뉴스를 보거나 업무를 하다가 떠오른 생각 등 특정 이슈에 대한 개인적인 견해를 정리하고자 합니다. 특히 외부 발표를 진행하면서 시간과 공간적 제약으로 인해 생략한 내용들을 정리할 목적도 있습니다. 주로 정보보안, 밀리터리, 성과관리를 다룰 것이지만, 다른 이슈도 필요하면 작성할 예정입니다. 개인적인 견해를 정리하는 공간이므로 보시는 분과 의견의 차이가 있을 수 있습니다. 이런 의견도 있구나 하고 너그럽게 이해 부탁 드립니다. 필요한 경우 댓글 남겨주시면 참고하도록 하겠습니다. 감사합니다.

기존 포스팅에서 Zeppelin 0.8.1 버전을 사용하기 위한 방법을 소개했다. Zeppelin 설정하고 노트북 생성하기 ## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소 www.bearpooh.com HDP Sandbox를 이용한 방법과 Zeppelin Docker를 이용한 방법을 다뤘다. 그러나 0.10.1 버전의 경우 기존 방법으로 사용할 수 없어서 새롭게 정리한다. 오류 증상 Zeppelin Docker를 이용한 방법으로 0.8.1 버전 대신 0.10.1 버전을 사용하면 아래와 같은 오류가 발생한다. Zeppelin 0.8.1 버전을 Docker로 사용..

파이썬으로 프로그램을 작성하다보면 설치 된 패키지의 버전 충돌 여부를 확인해야 할 필요가 있다. 특히 파이썬의 경우 다양한 라이브러리를 설치해서 사용하기 때문에 라이브러리간의 의존성 확인이 중요하다. 이럴때 pipdeptree 라이브러리를 사용하면 쉽게 확인할 수 있다. 설치 된 라이브러리들의 버전 정보 뿐 아니라, 각 라이브러리와 연결 된 다른 라이브러리 정보 확인도 가능하다. 그리고 JSON이나 Tree 형태로 출력할 수 있어 정보 관리에도 편리하다. 공식 사이트는 다음과 같다. GitHub - naiquevin/pipdeptree: A command line utility to display dependency tree of the installed Python packages A command l..

pymongo를 이용하여 MongoDB의 CRUD 클래스를 구현하는 방법에 대해 알아본다. pymongo로 MongoDB를 사용하는 방법에 대해서는 아래 포스팅을 참고한다. Python으로 MongoDB 사용하기 (pymongo) Python을 이용하여 MongoDB를 사용하는 방법에 대해 알아본다. MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. https://www.bearpooh.com/166 https://www.bea.. www.bearpooh.com MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. MongoDB의 Database..

Python을 이용하여 MongoDB를 사용하는 방법에 대해 알아본다. MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. MongoDB의 Database와 Collection 사용하기 Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Database와 Collection을 사용하는 방법에 대해 알아본다. MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. htt www.bearpooh.com MongoDB의 Document 사용하기 (CRUD) Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Document의 생성, 읽..