라이선스 2

Ubuntu 22.04에 IntelliJ 설치하기

Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexus에 Maven 저장소를 설정하는 방법은 아래 포스팅을 참고한다. Nexus에 Maven 저장소 설정 (for Scala Application) Spark 어플리케이션 개발을 위해 Scala 개발 환경을 구성해야 하는 상황에 직면했다. Scala는 Java 기반의 함수형 언어이며, 빌드하면 Jar 파일이 생성된다. 생성 된 Jar 파일은 개발 단계에 따라 아래와 www.bearpooh.com IntelliJ 간단한 소개 IntelliJ는 JetBrains에서 개발한 개발도구로 사용해보면 상..

::: IT인터넷 ::: 2023.07.24

AirFlow 소개와 구조

데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apache에서 관리하기 때문에 Apache 라이선스를 따른다. Apache 라이선스도 BSD, MIT와 같이 코드 수정을 해도 공개 여부는 선택 가능하다. (할 일이 있을까 싶지만..) 단, 코드 수정 후 배포할 때 Apache 라이선스 고지가 포함되어야 한다. AirFlow는 Workflow를 정의하고 실행 가능한 플랫폼으로, 반복 된 작업을 자동화하기 위해 사용한다. EDA (Event Driven Architecture)로서 각 작업들은 DAG(Directed Acyclic Graph..

::: IT인터넷 ::: 2022.03.10