반응형

파이썬 32

AirFlow DAG 소개와 기본 구조

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Binami에서 배포한 AirFlow Docker 이미지를 사용하는 방법은 아래 포스팅을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlo..

::: IT인터넷 ::: 2022.06.13

psycopg2로 PostgreSQL CRUD 클래스 구현하기

psycopg2의 개요와 자주 사용하는 함수들에 대해 알아보았다. 해당 내용은 아래 포스팅을 참고한다. psycopg2으로 PostgreSQL 사용하기 psycopg2-binary 라이브러리에서 제공하는 함수로 PostgreSQL을 사용하는 방법이다. psycopg2에 대한 소개와 설치 방법은 다음 포스팅을 참고한다. psycopg2의 소개와 설치 방법 Python을 이용하여 PostgreSQL을.. www.bearpooh.com psycopg2의 소개와 설치 방법은 다음 포스팅을 참고한다. psycopg2의 소개와 설치 방법 Python을 이용하여 PostgreSQL을 사용하는 방법에 대해 알아본다. PostgreSQL의 psql에서 SQL과 JOIN을 사용하는 방법에 대해 다뤘다. 해당 내용은 다음 ..

::: IT인터넷 ::: 2022.06.02

psycopg2으로 PostgreSQL 사용하기

psycopg2-binary 라이브러리에서 제공하는 함수로 PostgreSQL을 사용하는 방법이다. psycopg2에 대한 소개와 설치 방법은 다음 포스팅을 참고한다. psycopg2의 소개와 설치 방법 Python을 이용하여 PostgreSQL을 사용하는 방법에 대해 알아본다. PostgreSQL의 psql에서 SQL과 JOIN을 사용하는 방법에 대해 다뤘다. 해당 내용은 다음 포스팅을 참고한다. PostgreSQL의 SQL 기본 사용법 오픈 www.bearpooh.com 해당 함수들은 CRUD 클래스로 래핑 (Wrapping)할 때 기능 정의에 사용한다. 사용하기 전에 코드 상단에 해당 라이브러리를 사용할 것으로 정의해야 한다. # 라이브러리 이름은 psycopg2-binary이지만 # 코드에서 사용..

::: IT인터넷 ::: 2022.05.30

psycopg2의 소개와 설치 방법

Python을 이용하여 PostgreSQL을 사용하는 방법에 대해 알아본다. PostgreSQL의 psql에서 SQL과 JOIN을 사용하는 방법에 대해 다뤘다. 해당 내용은 다음 포스팅을 참고한다. PostgreSQL의 SQL 기본 사용법 오픈소스 데이터베이스인 PostgreSQL의 SQL 기본 사용법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참고한다. Docker로 PostgreSQL 사용하기 RDBMS에서 가장 유명 www.bearpooh.com PostgreSQL의 JOIN 사용하기 오픈소스 데이터베이스인 PostgreSQL의 JOIN 사용법에 대해 정리한다. PostgreSQL 소개와 Docker를 사용하여 설정하는 방법은 아래 포스팅을 참..

::: IT인터넷 ::: 2022.05.26

MinIO 파이썬 클라이언트에서 자체 서명 인증서 사용하기

MinIO 파이썬 클라이언트에서 자체 서명 인증서를 사용하는 방법에 대해 정리한다. Docker로 MinIO를 사용하는 방법은 다음 포스팅을 참고한다. Docker로 MinIO 사용하기 MinIO는 AWS S3와 같은 오브젝트(객체) 스토리지 서비스를 오픈소스로 제공하는 인프라이다. AWS S3의 API와 호환되기 때문에 로컬에서 S3를 온프레미스 (On-premise) 형태로 사용하기 위해 구축하는 경우 www.bearpooh.com Python으로 MinIO를 사용하는 방법은 다음 포스팅을 참고한다. Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치 MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO ..

::: IT인터넷 ::: 2022.05.24

Python으로 MinIO를 사용하는 방법 (3) - 데이터 관리

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 파이썬 라이브러리 소개와 설치 방법은 다음 포스팅을 참고한다. Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치 MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하 www.bearpooh.com MinIO의 파이썬 라이브러리로 Bucket을 관리하는 방법은 다음 포스팅을 참고한다. MinIO..

::: IT인터넷 ::: 2022.04.18

Python으로 MinIO를 사용하는 방법 (2) - Bucket 관리

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 파이썬 라이브러리 소개와 설치 방법은 다음 포스팅을 참고한다. Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치 MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하 www.bearpooh.com MinIO의 WebUI를 사용하는 방법은 아래 포스팅을 참고한다. MinIO의 WebUI 사용법 ..

::: IT인터넷 ::: 2022.04.14

Python으로 MinIO를 사용하는 방법 (1) - 소개와 설치

MinIO는 AWS S3와 호환되는 파이썬 라이브러리를 제공한다. 해당 라이브러리를 활용하면 MinIO의 WebUI나 mc (MinIO Client)에서 제공하는 기능의 일부를 파이썬에서 사용할 수 있다. MinIO의 WebUI를 사용하는 방법은 아래 포스팅을 참고한다. MinIO의 WebUI 사용법 정리 MinIO WebUI의 사용법을 정리한다. 버킷과 데이터 관리, 계정 관리, 정책 등을 WebUI로 사용할 수 있어 상당히 편리하다. WebUI의 화면 구성이 상당히 직관적으로 되어 있다. 용어만 익숙해지면 사용하 www.bearpooh.com MinIO의 mc (MinIO Client)를 설정하고 사용하는 방법은 아래 포스팅을 참고한다. mc (minio client) 사용법 정리 mc (minio ..

::: IT인터넷 ::: 2022.04.11

Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (3)

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이번 포스팅에서는 6. 테스트와 7. 형상 관리에 대해 다룬다. 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Py..

::: IT인터넷 ::: 2021.12.30

Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (2)

파이썬 빌드를 위한 예제 코드를 생성하는 방법에 대해 정리한다. 기능을 정의하고 코드와 테스트를 구현하고, whl (Wheel) 패키지로 빌드하여 배포하는 과정을 다룬다. 기능 정의 프로젝트 생성 기능 코드 작성 (srtest) 테스트 코드 작성 (tests) 패키지 정의 테스트 형상 관리 이전 포스팅에서 1. 기능 정의 부터 3. 기능 코드 작성 (srtest) 부분까지 다뤘다. 해당 내용은 아래 포스팅을 참고한다. Jenkins 파이썬 빌드 구성의 예제 코드 만들기 (1) 이전 포스팅에서 Jenkins의 파이썬 빌드 구성을 위해, Docker로 빌드 에이전트로 만들고 ssh로 Jenkins에 연결하는 방법을 다뤘다. 다음 포스팅을 참고한다. Docker로 Jenkins의 Python 빌드 에이전트 만..

::: IT인터넷 ::: 2021.12.27
반응형