大数据技术Spark详解

一、Spark 核心

1、Spark简介

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Hadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里就不得不提到Spark和Hadoop的关系。

首先从时间节点上来看：

• Hadoop

1. 2006年1月，Doug Cutting加入Yahoo，领导Hadoop的开发
2. 2008年1月，Hadoop成为Apache顶级项目
3. 2011年1.0正式发布
4. 2012年3月稳定版发布
5. 2013年10月发布2.X (Yarn)版本