:::: 곰탱푸닷컴 ::::

Livy 서버에 Spark Application 실행을 요청하는 Livy 클라이언트를 구성한다. Livy 클라이언트는 AirFlow를 구성할때 생성한 AirFlow Jupyter 컨테이너에 구성한다. 해당 컨테이너는 Ubuntu 20.04 환경에 conda 가상 환경의 Jupyter Notebook이 실행 중이다. 파이썬 기반의 Livy 클라이언트를 아래 목적으로 실행하는데 편리하다. Livy 서버에 Spark Application을 제출 Livy 서버의 REST API를 호출하여 세션과 배치 작업 제어 굳이 AirFlow와 연동 된 Jupyter Notebook에 Livy Client를 구성한 이유는 다음과 같다. Spark을 이용한 ETL 파이프라인은 AirFlow를 통해 워크플로우를 제어할 것이다...

우분투 20.04 LTS (focal)에서 Anaconda, PyCharm (Community Edition)을 사용한다. 다음 순서로 진행한다. APT 설치 패키지 최신화 Anaconda 설치 Python 환경 설정 PyCharm 설치 PyCharm 설정 변경 PyCharm 프로젝트 생성 PyCharm 가상환경 변경 APT 설치 패키지 최신화 우분투 20.04 LTS의 apt 설치 패키지를 최신화 한다. 아래 포스팅을 참고한다. Nexus3를 이용한 APT 사설 저장소 구축 APT 저장소는 우분투 (데비안 계열) 패키지의 공식 저장소이다. Nexus3를 이용한 APT 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 APT 저장소의 패키지를 저장하고 내부 사용자에 www..

Conda 저장소는 데이터 과학과 머신러닝, 딥러닝에 주로 사용하는 아나콘다 패키지의 공식 저장소이다. Nexus3를 이용한 Conda 사설 저장소 구축은 1개 저장소만 필요하다. proxy (Remote) - 외부의 Conda 저장소의 패키지를 저장하고 내부 사용자에게 전달한다. 캐시 (Cache) 역할이다. 그림으로 표현하면 다음과 같다. 참고로 Conda 저장소는 proxy만 제공하고 hosted와 group은 제공하지 않는다. Conda에서 conda 가상환경 설정을 제외하면 대부분 pip를 많이 사용한다. 직접 생성한 파이썬 패키지는 pypi 저장소(hosted, 내부 저장소)를 통해 배포하면 된다. blob store 생성 Conda를 통해 공유되는 패키지 파일들을 저장할 공간을 설정한다. C..

현재 근무 중인 회사에서는 사내 사설 저장소로 jFrog의 Artifactory를 사용 중이다. 기능도 익숙하고 사용하기 편리하지만 상용 제품이다 보니 개인이나 소규모로 사용하기에는 부담이 있다. 구글링을 해보니 Sonatype의 Nexus3가 jFrog와 상당히 유사한 기능을 제공한다고 하여 선택했다. (사용해보니 정말 잘한 결정이었다.) Sonatype의 Nexus3는 개발 관련 사설 저장소(리파지토리)이며, 오픈소스와 상용 제품을 동시에 제공하고 있다. 웬만한 기본 기능은 오픈소스로도 충분히 사용 가능하다. Maven, nuget, PyPi, Docker, APT, Conda, npm, Go, Helm, Ruby, Yum 외에 다양한 사설 저장소 운영이 가능하다. PyPi, APT, Conda, D..