반응형

HDP Sandbox 3.0.1 사용 관련 참고 사항

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docke..

HDP Sandbox 3.0.1의 HDFS에 admin, root 계정 권한 추가하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docke..

HDP Sandbox 3.0.1 Docker 이미지로 Ambari 로그인하기

## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한 간략한 소개와 Docker 셋팅에 필요한 파일 다운로드를 진행했다. HDP Sandbox 소개와 Docke..

설정 변경하여 배포한 HDP Sandbox의 Docker 이미지 사용

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox 2.6.5..

배포한 HDP Sandbox Docker 이미지 사용을 위한 스크립트 작성

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 생성한 이미지를 사용하기 위한 스크..

설정 변경한 HDP Sandbox 2.6.5의 Docker 이미지 배포

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 하둡 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox의 기본 설정 변경과 테..

HDP Sandbox 2.6.5 접속 관련 참고사항

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 프록시 환경에서 HDP Sandbox를 설정..

HDP Sandbox 2.6.5 HDFS에 데이터 업로드 하기

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. HDP Sandbox의 HDFS에 데이터를 업로..

HDP Sandbox 2.6.5 Docker 설정과 Ambari 로그인하기

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 이전 포스팅에서 HDP Sandbox에 대한..

HDP Sandbox 소개와 Docker 셋팅 파일 다운로드

참고사항 본 글은 2018년에 기술 조사를 진행하면서 확인한 내용으로, 최신 상황에 맞게 업데이트 하였으나 일부 부족한 내용이 있을 수 있습니다. 빅데이터나 하둡 관련 전문가가 아니기 때문에 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소스 특성상 직접 조사하고 해결해야 하는 부분이 많습니다. 기본 셋팅 관련해서 참고만 부탁 드립니다. 개요 Hadoop과 Spark를 공부하거나..

Jenkins에서 파이썬 빌드 구성하기

이전 포스팅에서 Jenkins에서 사용할 Python 빌드 에이전트를 만들고, SSH로 Jenkins에 에이전트로 등록했다. Python 빌드 에이전트를 Docker 이미지로 만들고, SSH로 Jenkins 에이전트로 연결하는 방법은 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만들기 시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이..

::: IT인터넷 ::: 2021.09.09 0

gitlab에서 소스코드 Pull Request와 Merge 하기

이전 포스팅에서 gitlab에서 clone, checkout, commit, push 등 소스 코드 관련 작업 방법을 다뤘다. gitlab에서 소스코드 작업하기 (clone, checkout, commit, push) project와 branch까지 만들었으면 코드 개발을 위해 실제 개발 환경에 코드 저장소를 clone 해야 한다. gitlab에서 project 와 branch 생성하는 것은 아래 포스팅을 참고한다. gitlab에서 group, project 생성하.. www.bearpooh.com 간략하게 정리하면 다음..

::: IT인터넷 ::: 2021.09.06 0

윈도우 10에서 Docker Desktop 없이 Docker 사용하기

Docker Desktop 유료 전환 발표 Docker Inc.는 2021년 8월 31일에 Docker Desktop이 2022년 2월부터 유료로 전환 된다고 발표했다. Docker is Updating and Extending Our Product Subscriptions - Docker Blog Learn from Docker experts to simplify and advance your app development and management with Docker. Stay up to date on Docker events and new version announcements! www.docker.com Docker Inc.의 유료화 발..

::: IT인터넷 ::: 2021.09.03 1

파이썬 프로젝트 폴더 구성하기

이전 포스팅에서 PyCharm과 VS Code를 사용한 개발 환경 구성을 진행했다. PyCharm과 VS Code를 사용한 개발 환경 구성은 다음 포스팅을 참고한다. 파이썬 개발 환경 구성 (+ PyCharm) 우분투 20.04 LTS (focal)에서 Anaconda, PyCharm (Community Edition)을 사용한다. 다음 순서로 진행한다. APT 설치 패키지 최신화 Anaconda 설치 Python 환경 설정 PyCharm 설치 PyCharm 설정 변경 PyCharm 프로.. www.bearpooh.com 파이썬..

::: IT인터넷 ::: 2021.09.02 0

Jenkins 빌드에서 Git 경로로 릴리즈와 개발중 배포 구분하여 설정하기

이전 포스팅에서 Jenkins에서 빌드 설정을 위한 사전 작업과 빌드 구성에 대해 다뤘다. Jenkins에서 빌드 설정을 위한 사전 작업은 다음 포스팅을 참고한다. Jenkins에서 윈도우 에이전트를 이용한 Visual Studio 빌드 구성 (1) 이제 Jenkins에 등록한 윈도우 에이전트를 이용하여 Visual Studio 빌드를 구성한다. Jenkins와 Nexus에 추가로 설정할 것들이 있기 때문에 사전 준비와 빌드 설정을 나눠서 포스팅한다. 빌드 구성에..

::: IT인터넷 ::: 2021.08.30 0

Jenkins에서 빌드 산출물을 배포할때 자동으로 버전 지정하기

이전 포스팅에서 Jenkins에서 빌드 설정을 위한 사전 작업과 빌드 구성에 대해 다뤘다. Jenkins에서 빌드 설정을 위한 사전 작업은 다음 포스팅을 참고한다. Jenkins에서 윈도우 에이전트를 이용한 Visual Studio 빌드 구성 (1) 이제 Jenkins에 등록한 윈도우 에이전트를 이용하여 Visual Studio 빌드를 구성한다. Jenkins와 Nexus에 추가로 설정할 것들이 있기 때문에 사전 준비와 빌드 설정을 나눠서 포스팅한다. 빌드 구성에..

::: IT인터넷 ::: 2021.08.26 0

Jenkins에서 윈도우 에이전트를 이용한 Visual Studio 빌드 구성 (2)

이전 포스팅에서 Jenkins의 빌드 구성을 위한 사전 작업을 진행했다. Jenkins에서 윈도우 에이전트를 이용한 Visual Studio 빌드 구성 (1) 이제 Jenkins에 등록한 윈도우 에이전트를 이용하여 Visual Studio 빌드를 구성한다. Jenkins와 Nexus에 추가로 설정할 것들이 있기 때문에 사전 준비와 빌드 설정을 나눠서 포스팅한다. 빌드 구성에 필요 www.bearpooh.com 이제 Jenkins에 빌드 작업을 등록하고 실제 빌드가 잘 되는지 확..

::: IT인터넷 ::: 2021.08.23 0

Jenkins에서 윈도우 에이전트를 이용한 Visual Studio 빌드 구성 (1)

이제 Jenkins에 등록한 윈도우 에이전트를 이용하여 Visual Studio 빌드를 구성한다. Jenkins와 Nexus에 추가로 설정할 것들이 있기 때문에 사전 준비와 빌드 설정을 나눠서 포스팅한다. 빌드 구성에 필요한 사전 작업은 다음과 같다. Jenkins 플러그인 설치 배포에 사용할 Nexus 계정 생성 빌드에 사용할 GitLab 계정 생성 GitLab Access Token 발급 Jenkins에 GitLab Access Token 등록 MSBuild 설정 Nexus3 설정 빌드 설정과..

::: IT인터넷 ::: 2021.08.19 0

리눅스 Docker 컨테이너를 Jenkins 에이전트로 연결하기 (via. SSH)

이전 포스팅에서 jenkins/ssh-agent의 Dockerfile에 Anaconda를 추가하여 Python 빌드를 위한 리눅스 Docker 이미지를 생성하고 배포했다. 자세한 내용은 아래 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만들기 시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이다. 시놀로지 NAS에 Jenkins 구축하기 현재 근무..

::: IT인터넷 ::: 2021.08.16 0

Docker로 Jenkins의 Python 빌드 에이전트 만들기

시놀로지 NAS는 리눅스 기반의 운영체제를 기반으로 한 DSM으로 동작한다. 시놀로지 NAS에 Docker를 기반으로 셋팅한 Jenkins 역시 리눅스 기반이다. 시놀로지 NAS에 Jenkins 구축하기 현재 근무 중인 회사에서는 빌드 및 배포 시스템으로 Atlassian의 Bamboo를 사용 중이다. 기능도 익숙하고 사용하기 편리하지만 상용 제품이다 보니 개인이나 소규모로 사용하기에는 부담이 있다. www.bearpooh.com Jenkins의 SSH Agent 컨테이..

::: IT인터넷 ::: 2021.08.12 0
반응형