:::: 곰탱푸닷컴 ::::

  • Home
  • Guestbook
  • Admin
  • Write

메소드 1

Spark Application 패키지 작성하기 (2) - 헬퍼 기능 작성

기본적인 Scala 개발환경이 구축되고 나면 목표로 했던 Spark Application을 작성한다. 앞서 테스트에 사용한 Spark Application은 main 함수에 기능을 구현한 단순한 예제 프로그램이다. 기존에 Hadoop 기반의 Spark 클러스터를 구축했으므로, Spark Application은 해당 환경에서 실행할 수 있는 형태로 작성해야 한다. 따라서 Spark Application 작성을 위한 기본 형태 (Skeleton) 제공을 위한 예제 프로그램을 재작성한다. 참고로 예전에 실무에서 활용했던 Spark Application 코드에서 재사용 또는 공개가 가능한 코드만 활용하여 정리하였다. 전체적인 내용은 아래 문서를 참고하고, 변경 사항을 중심으로 정리한다. 간단한 Spark App..

::: 데이터 분석 ::: 2023.09.07
1
  • 세상공부 (216)
    • ::: 정보보안 ::: (9)
    • ::: IT인터넷 ::: (160)
    • ::: 데이터 분석 ::: (38)
    • ::: 취미 & 기타 ::: (8)
    • ::: 끄적끄적 ::: (1)

Tag

hortonworks, build, 저장소, ambari, 에어플로우, ubuntu, 도커, 파이썬, HDP, 배포, Jenkins, apache, 젠킨스, Airflow, Spark, Python, 빌드, 우분투, 스파크, docker,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

이력서 (국문) 이력서 (영문) 곰탱이의 쉬운보안

Copyright © bearpooh.com All rights reserved.

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.