:::: 곰탱푸닷컴 ::::

기본적인 Scala 개발 환경 구성이 완료되었으면 간단한 Spark 어플리케이션을 만들어본다. 해당 과정을 통해 sbt로 라이브러리를 잘 받아오는지, Spark 라이브러리가 잘 동작하는지 확인할 수 있다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. IntelliJ 설치와 초기 설정은 아래 포스팅을 참고한다. Ubuntu 22.04에 IntelliJ 설치하기 Java와 Scala를 사용하는 개발 프로젝트에 널리 사용되는 IntelliJ IDE (통합개발환경)를 설치한다. 아래 내용들은 리눅스 운영체제를 기반으로 설명한다. 윈도우 환경인 경우 WSL을 통해 진행한다. Nexu www.bearpooh.com 윈도우 WSL 환경에서 IntelliJ 사용하기 ..

실행할 작업들의 순서를 구성한 워크플로우(WorkFlow)는 AirFlow에서 DAG 이라는 형태로 사용한다. DAG에 대한 개념과 기본 구조에 대해 정리한다. AirFlow의 소개와 구조는 아래 포스팅을 참고한다. AirFlow 소개와 구조 데이터 과학 분야에서 ETL 자동화 파이프라인을 구성하는데 사용되는 AirFlow에 대해 알아본다. AirFlow 소개 AirFlow는 Airbnb에서 시작되어 현재 아파치 재단에서 관리 중인 오픈소스 프로젝트이다. Apa www.bearpooh.com Binami에서 배포한 AirFlow Docker 이미지를 사용하는 방법은 아래 포스팅을 참고한다. Docker로 AirFlow 설정하기 (Bitnami) Bitmani에서 제공하는 Docker 이미지로 AirFlo..

개발자나 프로그램 소스코드를 티스토리 블로그에서 표현할때 불편한 점이 있다. 바로 소스코드를 표현해주는 공식 플러그인이 없다. 개발 관련 블로그는 네이버 블로그보다 티스토리가 훨씬 많은데 이러한 기능을 지원하지 않는 것은 이해하기 어렵다. 그냥 텍스트로 넣으면 문법 강조가 되지 않아서 보기 어렵고, 캡쳐해서 넣으면 길이가 긴 코드는 표현하기 어렵다. 그러나 방법이 아주 없는 것은 아니다. 오픈소스로 공개 된 툴을 티스토리 스킨 소스코드에 적용하면 된다. 다음과 같은 기능을 사용할 수 있다. 소스코드의 문법 강조 줄번호 표시 특정 행 강조 오픈소스로 공개 된 툴은 여러가지가 있지만, 구글링이나 포털 검색을 해보면 Syntax Highlighter가 가장 일반적이다. 여러 블로그에 이미 충분히 소개되어 있지..