:::: 곰탱푸닷컴 ::::

Livy 서버에 Spark Application 실행을 요청하는 Livy 클라이언트를 구성한다. Livy 클라이언트는 AirFlow를 구성할때 생성한 AirFlow Jupyter 컨테이너에 구성한다. 해당 컨테이너는 Ubuntu 20.04 환경에 conda 가상 환경의 Jupyter Notebook이 실행 중이다. 파이썬 기반의 Livy 클라이언트를 아래 목적으로 실행하는데 편리하다. Livy 서버에 Spark Application을 제출 Livy 서버의 REST API를 호출하여 세션과 배치 작업 제어 굳이 AirFlow와 연동 된 Jupyter Notebook에 Livy Client를 구성한 이유는 다음과 같다. Spark을 이용한 ETL 파이프라인은 AirFlow를 통해 워크플로우를 제어할 것이다...

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하는 방법은 아래 포스팅을 참고한다. MinIO의 WebUI 사용법 정리 MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하 www.bearpooh.com MinIO의 mc (MinIO Client)를 설정하고 사용하는 방법은 아래 포스팅을 참고한다. mc (minio client) 사용법 정리 mc (minio ..

우분투 20.04 LTS (focal)에서 Anaconda, PyCharm (Community Edition)을 사용한다. 다음 순서로 진행한다. APT 설치 패키지 최신화 Anaconda 설치 Python 환경 설정 PyCharm 설치 PyCharm 설정 변경 PyCharm 프로젝트 생성 PyCharm 가상환경 변경 APT 설치 패키지 최신화 우분투 20.04 LTS의 apt 설치 패키지를 최신화 한다. 아래 포스팅을 참고한다. Nexus3를 이용한 APT 사설 저장소 구축 APT 저장소는 우분투 (데비안 계열) 패키지의 공식 저장소이다. Nexus3를 이용한 APT 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 APT 저장소의 패키지를 저장하고 내부 사용자에 www..

Nexus3를 이용한 PyPi 사설 저장소 구축은 3개의 저장소가 필요하다. hosted (Local) - 내부에서 작성한 Python 패키지인 Wheel (Whl) 파일을 배포한다. proxy (Remote) - 외부의 PyPi 저장소의 패키지를 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. group (Repos) - 다수의 hosted, proxy 저장소를 묶어 단일 경로를 제공한다. 그림으로 표현하면 다음과 같다. Local, Remote, Repos는 사내에서 운영중인 jFrog Artifactory에서 사용하는 용어이다. Nexus3의 용어보다 더 직관적이어서, Local, Remote, Repos 용어를 사용한다. blob store 생성 PyPi를 통해 공유되는 패키지 ..

파이썬을 설치하고 기본 pip 리파지토리를 사용하는 경우는 문제가 없다. bashrc 수정 (PIP Warning 무시) 사설 리파지토리가 https인 경우 인증서 정보를 요구하기 때문에 warning 메시지를 다수 발견할 수 있다. 또는 pip로 패키지를 설치할때 Deprecated (지원 종료 예정) 관련 Warning을 자주 보게 된다. 그냥 사용해도 문제는 없으나 눈에 거슬릴 경우 아래와 같이 .bashrc 파일을 수정하면 해결 가능하다. $ gedit ~/.bashrc # 제일 마지막 부분에 아래 코드 추가하고 저장 export PYTHONWARNINGS="ignore" $ source .bashrc $ pip install 파이썬모듈명 Python 코드 작성시 warning 무시 python ..

스포츠 관련 글을 제외하고는 경어체를 사용하지 않습니다. 작성 편의 및 작성 시간 단축이 가장 큰 이유이기도 하고, 저의 삽질기를 정리하는 것이 가장 큰 목표이기 때문에 양해 부탁드립니다. 앞서 python 설치 후 pip를 사용하기 위해 셋팅하는 방법을 알아 보았다. 윈도우 환경에서 파이썬의 easy_install, pip 사용하기 파이썬의 경우 활용할 수 있는 라이브러리가 무궁무진합니다. 보통 GitHub나 라이브러리를 제공하는 사이트에서 다운로드 해서 직접 Install 하는 방법으로 활용할 수 있습니다. 그러나 Python의 라 www.bearpooh.com 참고로 리눅스에서는 sudo apt-get update와 sudo apt-get upgrade를 통해 최신 버전으로 업데이트 한 다음, su..

파이썬의 경우 활용할 수 있는 라이브러리가 무궁무진합니다. 보통 GitHub나 라이브러리를 제공하는 사이트에서 다운로드 해서 직접 Install 하는 방법으로 활용할 수 있습니다. 그러나 Python의 라이브러리 패키지로 배포되는 경우 easy_install이나 pip를 이용하면 쉽게 설치할 수 있는데요. 문제는 파이썬을 설치하고 나면 easy_install이나 pip가 설치되어 있지 않아서 별도로 설치해줘야 한다는 것인데요. easy_install과 pip 설치 방법에 대해 간략하게 알아보도록 하겠습니다. easy_install 설치 방법 1. https://pypi.python.org/pypi/setuptools 사이트로 이동합니다. 2016년 3월 9일 현재 20.2.2 버전이 최신 버전이네요. 2..