반응형

카카오 전 대표님 IT는 이미 충분한 피를 흘렸습니다

"모든 항공 규정은 피로 쓰여졌다." 이번 데이터센터 화재로 인한 카카오 먹통 사건의 책임을 지고 물러난 남궁훈 카카오 전 대표가 남긴 메시지이다. 발언의 의도는 충분히 이해한다. 항공 안전 규정은 각종 테러와 사고로 보완하고 발전해왔다. 이번 사건의 핵심이자 피해자인 카카오도 앞으로의 운영과 발전에 반면교사로 삼겠다는 의지의 피력일 것이다. 그러나 IT 분야 종사자, 특히 항상 사건사고와 함께하는 보안업계 종사자 입장에서는 굉장히 엉뚱한 발언일 수 밖에 없다. 마지막까지 책임 회피와 면피를 위한 행동으로 느껴진다. 왜냐하면 IT 업계에서 흘린 피는 이미 차고 넘치기 때문이다. 관련 사고 사례는 이미 언론에서 수없이 다뤘다. 심지어 8년 전 삼성 SDS 데이터센터 화재 당시 대응했던 임직원의 회고까지 기..

::: 끄적끄적 ::: 2022.10.25 0

끄적끄적 (칼럼) 메뉴 개설

오피니언 (칼럼) 메뉴를 개설했습니다. 책이나 뉴스를 보거나 업무를 하다가 떠오른 생각 등 특정 이슈에 대한 개인적인 견해를 정리하고자 합니다. 특히 외부 발표를 진행하면서 시간과 공간적 제약으로 인해 생략한 내용들을 정리할 목적도 있습니다. 주로 정보보안, 밀리터리, 성과관리를 다룰 것이지만, 다른 이슈도 필요하면 작성할 예정입니다. 개인적인 견해를 정리하는 공간이므로 보시는 분과 의견의 차이가 있을 수 있습니다. 이런 의견도 있구나 하고 너그럽게 이해 부탁 드립니다. 필요한 경우 댓글 남겨주시면 참고하도록 하겠습니다. 감사합니다.

::: 끄적끄적 ::: 2022.10.24 0

Zeppelin 0.10.1 버전 Docker로 사용하기

기존 포스팅에서 Zeppelin 0.8.1 버전을 사용하기 위한 방법을 소개했다. Zeppelin 설정하고 노트북 생성하기 ## 참고사항 ## 빅데이터나 하둡 관련 전문가가 아니기 때문에 일부 부족한 내용이 있을 수 있습니다. 셋팅과 기본적인 사용 외에, 하둡과 관련 생태계 운영의 트러블 슈팅은 잘 모릅니다. 오픈소 www.bearpooh.com HDP Sandbox를 이용한 방법과 Zeppelin Docker를 이용한 방법을 다뤘다. 그러나 0.10.1 버전의 경우 기존 방법으로 사용할 수 없어서 새롭게 정리한다. 오류 증상 Zeppelin Docker를 이용한 방법으로 0.8.1 버전 대신 0.10.1 버전을 사용하면 아래와 같은 오류가 발생한다. Zeppelin 0.8.1 버전을 Docker로 사용..

파이썬 라이브러리 의존성 확인하기

파이썬으로 프로그램을 작성하다보면 설치 된 패키지의 버전 충돌 여부를 확인해야 할 필요가 있다. 특히 파이썬의 경우 다양한 라이브러리를 설치해서 사용하기 때문에 라이브러리간의 의존성 확인이 중요하다. 이럴때 pipdeptree 라이브러리를 사용하면 쉽게 확인할 수 있다. 설치 된 라이브러리들의 버전 정보 뿐 아니라, 각 라이브러리와 연결 된 다른 라이브러리 정보 확인도 가능하다. 그리고 JSON이나 Tree 형태로 출력할 수 있어 정보 관리에도 편리하다. 공식 사이트는 다음과 같다. GitHub - naiquevin/pipdeptree: A command line utility to display dependency tree of the installed Python packages A command l..

::: IT인터넷 ::: 2022.08.25 0

pymongo를 이용한 MongoDB의 CRUD 클래스 구현

pymongo를 이용하여 MongoDB의 CRUD 클래스를 구현하는 방법에 대해 알아본다. pymongo로 MongoDB를 사용하는 방법에 대해서는 아래 포스팅을 참고한다. Python으로 MongoDB 사용하기 (pymongo) Python을 이용하여 MongoDB를 사용하는 방법에 대해 알아본다. MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. https://www.bearpooh.com/166 https://www.bea.. www.bearpooh.com MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. MongoDB의 Database..

::: IT인터넷 ::: 2022.08.22 0

Python으로 MongoDB 사용하기 (pymongo)

Python을 이용하여 MongoDB를 사용하는 방법에 대해 알아본다. MongoDB의 mongosh에서 Database, Collection, Documnet를 사용하는 방법은 다음 포스팅을 참고한다. MongoDB의 Database와 Collection 사용하기 Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Database와 Collection을 사용하는 방법에 대해 알아본다. MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. htt www.bearpooh.com MongoDB의 Document 사용하기 (CRUD) Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Document의 생성, 읽..

::: IT인터넷 ::: 2022.08.18 0

MongoDB 권한과 역할 관리 방법

MongoDB에서 권한과 역할을 생성하고 관리하는 방법에 대해 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS www.bearpooh.com MongoDB를 Docker로 설정하는 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되..

::: IT인터넷 ::: 2022.08.15 0

MongoDB 계정 관리 방법

MongoDB에서 계정을 생성하고 관리하는 방법에 대해 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS www.bearpooh.com MongoDB를 Docker로 설정하는 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. ..

::: IT인터넷 ::: 2022.08.11 0

MongoDB의 Document 사용하기 (CRUD)

Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Document의 생성, 읽기, 수정, 삭제에 대해 알아본다. MongoDB의 Database와 Collection을 사용하는 방법은 아래 포스팅을 참고한다. MongoDB의 Database와 Collection 사용하기 Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Database와 Collection을 사용하는 방법에 대해 알아본다. MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. htt www.bearpooh.com MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. MongoDB의 Document 구조와 관계 패턴..

::: IT인터넷 ::: 2022.08.08 0

MongoDB의 Database와 Collection 사용하기

Docker를 이용하여 MongoDB를 설정했다면 실제 명령어를 사용해 볼 필요가 있다. Database와 Collection을 사용하는 방법에 대해 알아본다. MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. MongoDB의 Document 구조와 관계 패턴 MongoDB의 Document의 구조와 관계 패턴을 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. https://www.bearpooh.com/163 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정.. www.bearpooh.com MongoDB의 구조와 특징은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다...

::: IT인터넷 ::: 2022.08.04 0

MongoDB의 데이터 모델링 패턴

MongoDB의 데이터 모델링 패턴에 대해 정리한다. MongoDB의 Document 구조와 관계 패턴은 아래 포스팅을 참고한다. MongoDB의 Document 구조와 관계 패턴 MongoDB의 Document의 구조와 관계 패턴을 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. https://www.bearpooh.com/163 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정.. www.bearpooh.com MongoDB의 구조와 특징은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정..

::: IT인터넷 ::: 2022.08.01 0

MongoDB의 Document 구조와 관계 패턴

MongoDB의 Document의 구조와 관계 패턴을 정리한다. MongoDB의 특징과 주요 개념은 아래 포스팅을 참고한다. MongoDB 특징과 주요 개념 MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS www.bearpooh.com 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정말 깔끔하게 정리가 잘 되어 있으므로 해당 포스팅을 읽어볼 것을 권한다. MongoDB 이해하기 사내에서 MongoDB를 잘 쓰기위한 스터디를 하게되어 이번 기회에 관련 자료를 정리하기로 했다. Mo..

::: IT인터넷 ::: 2022.07.28 0

MongoDB 특징과 주요 개념

MongoDB의 구조와 주요 특징에 대해 정리한다. Docker를 이용한 MongoDB 설정 방법은 아래 포스팅을 참고한다. Docker로 MongoDB 설정하기 MongoDB는 대표적인 NoSQL 데이터베이스 서비스이다. NoSQL은 기존 RDBMS의 단점을 극복하고, 보다 유연한 데이터 저장과 처리를 위해 제안되었다. 기존 RDBMS는 불가능한 스키마 (Schema)의 수평적 확장 www.bearpooh.com 본 포스팅은 MongoDB 공식 문서와 아래 문서를 참고하여 작성했다. 정말 깔끔하게 정리가 잘 되어 있으므로 해당 포스팅을 읽어볼 것을 권한다. MongoDB 이해하기 사내에서 MongoDB를 잘 쓰기위한 스터디를 하게되어 이번 기회에 관련 자료를 정리하기로 했다. MongoDB가 왜 필요한..

::: IT인터넷 ::: 2022.07.25 0

Jupyter Notebook으로 AirFlow 사용하기

Jupyter Notebook으로 AirFlow를 사용하는 방법에 대해 정리한다. Jupyter Notebook은 파이썬 기반의 데이터 과학에서 자주 사용하는 도구이다. 웹페이지 기반의 대화형 파이썬 인터프리터를 제공하기 때문에 간단한 코드 스니펫 검증에 자주 사용된다. 또한 데이터 변환이나 학습, 또는 EDA와 같은 데이터 분석을 진행하기도 한다. AirFlow에서 Jupyter Notebook을 연동하여 사용하는 이유는 다음과 같다. AirFlow DAG 코드를 간단하게 수정 간단한 DAG 테스트를 위한 코드 작성 실제로 운영하고 있는 서버에서 테스트하는 것은 좋지 않다. 가급적 로컬 환경에 테스트 환경을 별도로 구성하고 진행하는 것을 추천한다. 파이썬으로 AirFlow의 DAG 패키지를 작성하는 방..

::: IT인터넷 ::: 2022.07.21 0

AirFlow DAG 패키지를 AirFlow에서 사용하기

파이썬 패키지로 작성하여 배포한 AirFlow의 DAG을 실제로 AirFlow에 적용하는 방법에 대해 정리한다. 다음 과정으로 진행한다. AirFlow DAG 패키지 설치 AirFlow WebUI 확인 DAG 동작 상태 확인 AirFlow DAG 패키지 설치 파이썬 패키지로 작성하여 배포한 AirFlow의 DAG 패키지를 AirFlow에 설치한다. 해당 작업은 AirFlow의 Scheduler와 Worker 컨테이너 내부에서 진행해야 한다. DAG 패키지 작성과 배포 AirFlow의 DAG을 파이썬 패키지로 작성하는 방법은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. D..

::: IT인터넷 ::: 2022.07.18 0

AirFlow의 DAG을 파이썬 패키지로 구성하기 (4)

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (2) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 www.bearpooh.com AirFlow의 DAG을 파이썬 패키지로 구성하기 (3) DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 ..

::: IT인터넷 ::: 2022.07.14 0

AirFlow의 DAG을 파이썬 패키지로 구성하기 (3)

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. config.yml, srtest.py, email..

::: IT인터넷 ::: 2022.07.11 0

AirFlow의 DAG을 파이썬 패키지로 구성하기 (2)

DAG를 파이썬 패키지로 구성하는 방법에 대해 정리한다. 기능 정의 프로젝트 생성 DAG 코드 작성 기능 코드 작성 (1) 기능 코드 작성 (2) 테스트 코드 작성 패키지 정의 테스트 형상 관리, 빌드, 배포 기능 정의, 프로젝트 생성, DAG 코드 작성은 아래 포스팅을 참고한다. AirFlow의 DAG을 파이썬 패키지로 구성하기 (1) AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한 www.bearpooh.com 기능 코드는 항목이 많아서 나눠서 정리한다. 먼저 __init__.py, info.py, ini..

::: IT인터넷 ::: 2022.07.07 0

AirFlow의 DAG을 파이썬 패키지로 구성하기 (1)

AirFlow의 환경 구성과 DAG에 대한 구조와 개념에 대해 다뤘다. 아래 포스팅들을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlow를 설정하는 방법에 대해 정리한다. Bitnami에서 제공하는 GitHub과 DockerHub 사이트는 다음과 같다. DockerHub - https://hub.docker.com/r/bitnami/airflow/ Git.. www.bearpooh.com AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅..

::: IT인터넷 ::: 2022.07.04 0

AirFlow DAG의 Jinja Templating, Xcom, Variable, SubDags

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. 이번에는 DAG의 구성 요소에 대해 정리한다. DAG 소개와 기본 구조는 아래 포스팅을 참고한다. AirFlow DAG 소개와 기본 구조 실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFl www.bearpooh.com AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 Ai..

::: IT인터넷 ::: 2022.06.30 0
반응형