:::: 곰탱푸닷컴 ::::

기존 포스팅에서 Zeppelin 0.8.1 버전을 사용하기 위한 방법을 소개했다. Zeppelin 설정하고 노트북 생성하기 ## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소 www.bearpooh.com HDP Sandbox를 이용한 방법과 Zeppelin Docker를 이용한 방법을 다뤘다. 그러나 0.10.1 버전의 경우 기존 방법으로 사용할 수 없어서 새롭게 정리한다. 오류 증상 Zeppelin Docker를 이용한 방법으로 0.8.1 버전 대신 0.10.1 버전을 사용하면 아래와 같은 오류가 발생한다. Zeppelin 0.8.1 버전을 Docker로 사용..

Jupyter Notebook으로 AirFlow를 사용하는 방법에 대해 정리한다. Jupyter Notebook은 파이썬 기반의 데이터 과학에서 자주 사용하는 도구이다. 웹페이지 기반의 대화형 파이썬 인터프리터를 제공하기 때문에 간단한 코드 스니펫 검증에 자주 사용된다. 또한 데이터 변환이나 학습, 또는 EDA와 같은 데이터 분석을 진행하기도 한다. AirFlow에서 Jupyter Notebook을 연동하여 사용하는 이유는 다음과 같다. AirFlow DAG 코드를 간단하게 수정 간단한 DAG 테스트를 위한 코드 작성 실제로 운영하고 있는 서버에서 테스트하는 것은 좋지 않다. 가급적 로컬 환경에 테스트 환경을 별도로 구성하고 진행하는 것을 추천한다. 파이썬으로 AirFlow의 DAG 패키지를 작성하는 방..

오픈소스 데이터베이스인 PostgreSQL의 SQL 기본 사용법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다. Do..

오픈소스 데이터베이스인 PostgreSQL의 Table을 관리하는 방법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다..

오픈소스 데이터베이스인 PostgreSQL의 Schema를 관리하는 방법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘..

오픈소스 데이터베이스인 PostgreSQL의 Database를 관리하는 방법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 ..

오픈소스 데이터베이스인 PostgreSQL의 psql을 사용하는 방법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다...

윈도우 10에서 지원하기 시작한 WSL (Windows Subsystem for Linux)은 상당히 편리하다. WSL 자체도 결국 윈도우 OS에서 가상 환경으로 동작하는 리눅스이다. VMware와 VirtualBox 없이 윈도우와 리눅스를 조합하여 사용하는 것은 아직도 어색하다. 그렇다고 해도 WSL 자체가 MS의 엄청난 결단인 것을 부정할 수는 없다. 그러나 기존에는 HyperV 가상 환경 기술의 충돌로 인해 Docker와 VMware를 동시에 사용할 수 없었다. Docker를 사용하려면 HyperV를 켜야 하는데, VMware는 자체 가상화 기술 사용을 위해 HyperV를 꺼야 했다. 결국 둘 중 하나를 포기하거나, VMware 내부에서 Docker를 사용해야 했는데 2021년에 아래와 같이 해결되..

이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다. Docker를 이용하여 PostgreSQL을 설정하는 방법은 다음 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL이 제공하는 공식 Docker 이미지를 사용했다. 문제는 영어 기반이라 Encoding에서 한글 지원이 안된다. 이미지를 생성하는 단계에서 UTF8의 영문만 설정하고 한글 설정은 빠져있다. 따라서 en_US.utf8만 지원하고 ko_KR.utf8은 지원..

mongo-express는 기본적으로 http로 설정되어 있다. SSL (https)를 설정하기 위해서는 추가 설정이 필요하다. Docker를 사용하여 MongoDB와 mongo-express를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 자체 서명 인증서를 생성하는 방법은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다..