Apache Spark
소개
Apache Spark는 UC Berkeley AMPLab에서 시작된 오픈소스 분산 분석 엔진으로, 인메모리 컴퓨팅 아키텍처를 통해 MapReduce 대비 최대 100배 빠른 대규모 데이터 처리 성능을 제공합니다. 배치 처리, 실시간 스트리밍, SQL 분석, 머신러닝(MLlib), 그래프 처리(GraphX)를 단일 엔진에서 통합 지원하며, PySpark·Scala·Java·R·SQL 등 5개 언어로 개발할 수 있습니다. Fortune 500 기업의 80% 이상이 사용하며, AWS EMR, Google Dataproc, Databricks 등 주요 클라우드에서 관리형 서비스로 제공되어 인프라 부담 없이 바로 활용할 수 있습니다.
장점
- •인메모리 처리로 MapReduce 대비 최대 100배 빠른 대규모 데이터 분석 가능
- •배치·스트리밍·SQL·ML·그래프 분석을 하나의 엔진에서 통합 처리
- •PySpark로 Python 생태계(NumPy, Pandas, scikit-learn)와 자연스럽게 연동
- •Apache License 2.0 완전 무료 오픈소스로 라이선스 비용 없음
- •AWS EMR, Dataproc, Databricks 등 모든 주요 클라우드에서 관리형 서비스 제공
단점
- •클러스터 설정·튜닝에 분산 시스템 전문 지식이 필요하여 진입 장벽이 높음
- •소규모 데이터(수 GB 이하)에는 단일 머신 도구 대비 오버헤드가 큼
- •인메모리 처리 특성상 대규모 클러스터의 메모리 비용이 높을 수 있음
- •공식 문서와 UI가 영어로만 제공되어 한국어 사용자에게 언어 장벽 존재
핵심 기능
인메모리 분산 처리
RDD 기반 인메모리 컴퓨팅으로 MapReduce 대비 최대 100배 빠른 대규모 데이터 처리
통합 배치·스트리밍 엔진
Structured Streaming으로 배치와 실시간 스트리밍을 단일 엔진에서 처리
Spark SQL
ANSI SQL 쿼리를 분산 환경에서 실행하여 대부분의 데이터 웨어하우스보다 빠른 분석 제공
MLlib 머신러닝 라이브러리
분류·회귀·클러스터링·차원 축소 등 분산 ML 알고리즘을 클러스터 규모로 실행
다중 언어 지원
Python(PySpark), Scala, Java, R, SQL 등 5개 언어로 개발 가능
적응형 쿼리 실행(AQE)
런타임에 실행 계획을 자동 최적화하여 TPC-DS 쿼리 최대 8배 가속
GraphX 그래프 처리
RDD 기반 분산 그래프 처리 프레임워크로 대규모 그래프 분석 지원
공식 사이트 2026-04-19 검증
영상 가이드
요금제
2026-04-19 기준
오픈소스 (Apache License 2.0)
Free
- 전체 기능 무료 사용
- 자체 클러스터 구축 필요
- 커뮤니티 지원
클라우드 관리형 서비스
종량제
(클라우드별 상이)
- AWS EMR, Google Dataproc, Azure HDInsight 등
- 클러스터 자동 관리
- 사용한 만큼 과금
이 도구를 추천하는 직업
사용자 리뷰
불러오는 중...