ssh 6

Hadoop Edge 노드간 통신 설정하기

하둡 클러스터 외부에서 하둡 클러스터에 접근하기 위한 에지 노드를 구성했다. 기본 Edge 노드 구성 방법은 아래 문서를 참고한다. Hadoop Edge 노드 구성하기 (1) - 컨테이너 설정 변경 현재 하둡 클러스터는 다수의 VirtualBox 가상환경을 이용하여 구성했다. 클러스터의 외부에 있는 다른 서버에서는 데이터 노드 접근이 제한된다. 이러한 이유로 HDFS의 데이터를 클러스터 외부로 www.bearpooh.com Hadoop Edge 노드 구성하기 (2) - 하둡 클라이언트 설정 HDFS를 CLI 환경에서 사용하기 위해서는 하둡 클라이언트가 반드시 설치되어 있어야 한다. Docker 컨테이너의 설정 변경이 완료되면 컨테이너 내부에 하둡 클라이언트를 설정한다. 하둡 클러스터 www.bearpoo..

::: IT인터넷 ::: 2023.10.16

Hadoop Edge 노드 구성하기 (1) - 컨테이너 설정 변경

현재 하둡 클러스터는 다수의 VirtualBox 가상환경을 이용하여 구성했다. 클러스터의 외부에 있는 다른 서버에서는 데이터 노드 접근이 제한된다. 이러한 이유로 HDFS의 데이터를 클러스터 외부로 전송하거나 반대의 작업을 수행하는데 제약 사항이 존재한다. 따라서 클러스터와 외부 환경을 중계하는 에지 노드가 필요하다. 특히 HDFS와 MinIO 간의 데이터 파일 전송을 통해 데이터 파이프라인을 구성하라면 에지노드가 필수적이다. 이러한 에지 노드는 다음과 같은 장점이 있다. 일반 사용자에게 클러스터의 내부 구조와 설정을 숨길 수 있다. 보안과 사용자를 효과적으로 관리할 수 있다. 사용자의 클러스터 설정 변경이 불가능하다. 외부 저장소(ex. MinIO)와 HDFS 간의 중계 역할을 수행하며, 추가적인 전처..

::: IT인터넷 ::: 2023.10.05

[Ambari 6] CentOS 가상 이미지 복제와 Ambari 설치

Ambari 설치 파일을 빌드 했으므로 Ambari 설치를 진행한다. 아래 과정으로 진행한다. VirtualBox 가상 이미지 복제 및 설정 변경 SSH 설정 진행 (Master) Worker Node에 Ambari 설치 (agent) Master Node에 ambari 설치 (server, agent, mpack) 각 설치 파일들을 빌드하는 방법은 아래 포스팅 (문서)를 참고한다. [Ambari 5] Bigtop 설치와 Ambari 빌드 가상환경에 공통으로 필요한 JDK와 Maven을 적용했으므로, Bigtop을 설치하고 Ambari 설치 파일을 빌드한다. 현재 yum 저장소에서 ambari 관련 설치 파일은 없기 때문에 불편하지만 직접 빌드해야 한다. C www.bearpooh.com 시간 단축을 위..

우분투 가상 머신에 ssh로 원격 접속하여 사용하기

이전 포스팅에서 우분투 운영체제에 openssh-server 패키지를 설치하여, ssh를 통해 원격 접속해서 사용하는 방법을 다뤘다. 해당 방법은 아래 포스팅을 참고한다. 우분투 또는 우분투 서버에 ssh로 원격 연결 사용하기 일반적으로 원격으로 서버나 PC에 접속해서 작업을 진행하기 위해서는 ssh를 주로 사용한다. 그러나 우분투 운영체제에는 기본적으로 설치되어 있지 않아 직접 설치해야 한다. ssh 서비스 동작 여 www.bearpooh.com VirtualBox나 VMware에 우분투 운영체제를 설치한 가상 머신의 경우에도 동일한 방법으로 ssh를 사용할 수 있다. 우분투 운영체제 특성상 재부팅 할 일이 많지 않다. 따라서 GUI 환경이 필요하지 않은 경우에는 ssh로 접속해서 사용하는 것이 훨씬 ..

::: IT인터넷 ::: 2022.01.10

우분투 또는 우분투 서버에 ssh로 원격 연결 사용하기

일반적으로 원격으로 서버나 PC에 접속해서 작업을 진행하기 위해서는 ssh를 주로 사용한다. 그러나 우분투 운영체제에는 기본적으로 설치되어 있지 않아 직접 설치해야 한다. ssh 서비스 동작 여부 확인 먼저 ssh 서비스가 동작 중인지 확인한다. 이미 동작 중이라면 굳이 설치할 필요가 없다. service 명령어 또는 systemctl 명령어를 사용하면 확인할 수 있다. service 명령어 사용 먼저 아래 명령을 통해 ssh 서비스가 동작 중인지 확인한다. # 아래 명령 입력 후 출력되는 목록에서 ssh가 존재하는지 확인 $ service --status-all service 명령어로 확인했을때 ssh 서비스가 동작 중이면 아래와 같이 확인 가능하다. ssh 서비스가 동작 중이지 않으면 서비스 목록에 ..

::: IT인터넷 ::: 2021.12.06

리눅스 Docker 컨테이너를 Jenkins 에이전트로 연결하기 (via. SSH)

이전 포스팅에서 jenkins/ssh-agent의 Dockerfile에 Anaconda를 추가하여 Python 빌드를 위한 리눅스 Docker 이미지를 생성하고 배포했다. 자세한 내용은 아래 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만들기 시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이다. 시놀로지 NAS에 Jenkins 구축하기 현재 근무 중인 회 www.bearpooh.com 이제 해당 도커 이미지를 사용해서 컨테이너를 생성하고 Jenkins에 에이전트로 등록해야 한다. 윈도우 환경에서는 Java의 JNLP 파일을 실행하는 방법을 사용했다. 윈도우 가상 환..

::: IT인터넷 ::: 2021.08.16