:::: 곰탱푸닷컴 ::::

오픈소스 데이터베이스인 PostgreSQL의 psql을 사용하는 방법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL 공식 Docker 이미지에 한글을 설정한 Docker 이미지 생성 방법은 아래 포스팅을 참고한다. 공식 PostgreSQL Docker 이미지에 한글 적용하기 이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다...

윈도우 10에서 지원하기 시작한 WSL (Windows Subsystem for Linux)은 상당히 편리하다. WSL 자체도 결국 윈도우 OS에서 가상 환경으로 동작하는 리눅스이다. VMware와 VirtualBox 없이 윈도우와 리눅스를 조합하여 사용하는 것은 아직도 어색하다. 그렇다고 해도 WSL 자체가 MS의 엄청난 결단인 것을 부정할 수는 없다. 그러나 기존에는 HyperV 가상 환경 기술의 충돌로 인해 Docker와 VMware를 동시에 사용할 수 없었다. Docker를 사용하려면 HyperV를 켜야 하는데, VMware는 자체 가상화 기술 사용을 위해 HyperV를 꺼야 했다. 결국 둘 중 하나를 포기하거나, VMware 내부에서 Docker를 사용해야 했는데 2021년에 아래와 같이 해결되..

이전 포스팅에서 Docker를 이용하여 PostgreSQL을 설정하는 방법을 다뤘다. Docker를 이용하여 PostgreSQL을 설정하는 방법은 다음 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. www.bearpooh.com PostgreSQL이 제공하는 공식 Docker 이미지를 사용했다. 문제는 영어 기반이라 Encoding에서 한글 지원이 안된다. 이미지를 생성하는 단계에서 UTF8의 영문만 설정하고 한글 설정은 빠져있다. 따라서 en_US.utf8만 지원하고 ko_KR.utf8은 지원..

mongo-express는 기본적으로 http로 설정되어 있다. SSL (https)를 설정하기 위해서는 추가 설정이 필요하다. Docker를 사용하여 MongoDB와 mongo-express를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 자체 서명 인증서를 생성하는 방법은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다..

MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 가능 기본적으로 Key-Value 형태의 데이터 구조 데이터 형태에 따라 와이드 컬럼 (유연한 스키마), 그래프, 도큐먼트 등의 형태로 구분 이러한 특징은 기존 RDBMS에서 자료 구조의 변경이 빈번하거나, 처리하기 어려운 데이터를 처리하는데 장점으로 작용한다. RDBMS에 비해 Join 연산이 빠른 장점이 있지만, 데이터의 일관성은 RDBMS에 비해 떨어진다. 따라서 데이터의 일관성 유지가 중요한 데이터에는 사용하기 어렵다. MongoDB는 Document 형태의 데이터를 사용하는..

Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ GitHub - https://www.github.com/bitnami/bitnami-docker-airflow AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.be..

Apache에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Apache에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/apache/airflow GitHub - https://github.com/apache/airflow docker-compos..

RDBMS에서 가장 유명한 것은 Oracle이다. 그러나 유료이고 주로 대형 프로젝트에 적합하다. 유료라고 나쁜 것은 아니지만 개인이나 소규모 조직에서 사용하기엔 부담스러운 가격인 것은 사실이다. 서비스가 커지거나 데이터가 많아지면 스케일업을 해야 한다. 그러나 실제로 Oracle의 경우 비용 증가가 확실히 부담 되기 때문에 PostgreSQL을 대안으로 전환하는 곳도 많아졌다. 또는 RDBMS 대신 하둡과 같은 빅데이터를 도입하는 경우도 많다. 데이터나 파일들은 MinIO나 하둡 같은 분산 시스템의 도입을 검토할 수 있다. 그러나 메타 정보나 인덱스 정보 같은 소규모 데이터는, 비용 대비 복잡성과 효율성을 비교하면 여전히 RDBMS로 운용하는 것이 적합하다. 오픈소스 데이터베이스 소개 개인이나 소규모 ..

MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우가 많다. 또는 AWS S3와 용어가 거의 동일하기 때문에, AWS S3를 사용하기 전에 숙달하는 목적으로 사용하기도 한다. GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/minio/minio/ GitHub - https://github.com/minio/minio 원래 Apache V2 라이선스였는데, 2021년 5월 AGPL (Affero General Public License) v3.0 으로 변경되었다. ..

사내망에서 172.1x.x 대역을 사용하는 경우 Docker 네트워크를 추가하는데 주의가 필요하다. 사내에서 172 대역의 사설 네트워크를 사용하는데, Docker Network를 추가한 이후 해당 대역 연결이 되지 않는 증상이 발생했다. 그 외에 인터넷이나 다른 망대역에는 정상적으로 접근이 되어서, 프록시 설정이나 네트워크 자체의 문제는 아닌 것으로 보였다. 네트워크 설정 초기화까지 진행하며 삽질을 했는데, 원인은 정작 가까운 곳에 있었다. 원인 Docker Desktop의 유료화 정책으로 인해 윈도우 환경에서 WSL로 사용 중이므로, WSL 환경을 기준으로 정리한다. 윈도우 10에서 Docker Desktop 없이 Docker 사용하기 Docker Desktop 유료 전환 발표 Docker Inc.는..