:::: 곰탱푸닷컴 ::::

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 파이썬 라이브러리 소개와 설치 방법은 다음 포스팅을 참고한다. Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치 MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하 www.bearpooh.com MinIO의 WebUI를 사용하는 방법은 아래 포스팅을 참고한다. MinIO의 WebUI 사용법 ..

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하는 방법은 아래 포스팅을 참고한다. MinIO의 WebUI 사용법 정리 MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하 www.bearpooh.com MinIO의 mc (MinIO Client)를 설정하고 사용하는 방법은 아래 포스팅을 참고한다. mc (minio client) 사용법 정리 mc (minio ..

mc (minio client)의 사용법을 정리한다. 파일 이동, 계정 관리, 정책 등 MinIO 서버와 관련된 다양한 설정을 위해 MinIO 클라이언트를 사용한다. 사용자가 minio client를 사용하는 방법은 다음 문서를 참고한다. MinIO | The complete guide to the MinIO client MinIO Client Complete Guide MinIO Client (mc) provides a modern alternative to UNIX commands like ls, cat, cp, mirror, diff etc. It supports filesystems and Amazon S3 compatible cloud storage service (AWS Signature v2..

mc (minio client)의 사용법을 정리한다. 파일 이동, 계정 관리, 정책 등 MinIO 서버와 관련된 다양한 설정을 위해 MinIO 클라이언트를 사용한다. 사용자가 minio client를 사용하는 방법은 다음 문서를 참고한다. MinIO | The complete guide to the MinIO client MinIO Client Complete Guide MinIO Client (mc) provides a modern alternative to UNIX commands like ls, cat, cp, mirror, diff etc. It supports filesystems and Amazon S3 compatible cloud storage service (AWS Signature v2..

MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하는데 큰 어려움은 없을 것으로 판단된다. Docker를 사용하여 MinIO를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MinIO 사용하기 MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우 www.bearpooh.com Dashboard 이해 Dashboard는 MinIO의 개략적인 운영 현황을 표현한다. Ger..

mongo-express는 기본적으로 http로 설정되어 있다. SSL (https)를 설정하기 위해서는 추가 설정이 필요하다. Docker를 사용하여 MongoDB와 mongo-express를 설정하는 방법은 다음 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 자체 서명 인증서를 생성하는 방법은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다..

MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 가능 기본적으로 Key-Value 형태의 데이터 구조 데이터 형태에 따라 와이드 컬럼 (유연한 스키마), 그래프, 도큐먼트 등의 형태로 구분 이러한 특징은 기존 RDBMS에서 자료 구조의 변경이 빈번하거나, 처리하기 어려운 데이터를 처리하는데 장점으로 작용한다. RDBMS에 비해 Join 연산이 빠른 장점이 있지만, 데이터의 일관성은 RDBMS에 비해 떨어진다. 따라서 데이터의 일관성 유지가 중요한 데이터에는 사용하기 어렵다. MongoDB는 Document 형태의 데이터를 사용하는..

AirFlow의 Webserver에 SSL (HTTPS) 접속을 설정하는 방법이다. 자체 서명 인증서 생성은 아래 포스팅을 참고한다. 자체 서명 인증서 만들기 Docker로 테스트하거나 실서비스 운영을 하다보면 HTTPS 접근 방법에 대한 고민을 하게 된다. HTTPS를 사용하려면 공인 인증서 또는 사설 인증서를 적용해야 한다. 공인 인증서를 사용하는 방법은 크 www.bearpooh.com SSL 적용 관련 정보는 아래 기술 문서를 참고한다. Webserver SSL 적용 방법 Webserver — Airflow Documentation airflow.apache.org 웹서버 관련 환경 변수 Configuration Reference — Airflow Documentation airflow.apach..

Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ GitHub - https://www.github.com/bitnami/bitnami-docker-airflow AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.be..

Apache에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. AirFlow 소개와 구조에 대해서는 다음 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Apache에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/apache/airflow GitHub - https://github.com/apache/airflow docker-compos..