Spark的一些问题汇总 及 Yarn与Spark架构的对比

1、Spark解决什么问题？

        海量数据的计算可以进行离线批处理以及实时流计算。

 

2、Spark有哪些模块？

        核心SparkCore、SQL计算（SparkSQL）、流计算（SparkStreaming）、图计算（Graphx）、机器学习（MLlib）

 

3、Spark有哪些特点？

        速度快、使用简单、通用性强、支持多种模式运行

 

4、Saprk的运行模式

        本地模式

        集群模式（StandAlone、YARN、K8S）

        云模式

 

5、Spark的运行角色（对比YARN）

        Master：集群资源管理（类同ResourceManager）

        Worker：单机资源模式（类同NodeManager）

        Driver：单任务管理者（类同ApplicationMaster）

        Executor：单任务执行者（类同YARN容器内的Task）

 

Yarn、Spark架构对比

1、YARN主要有4类角色，从两个层面去看：

# 资源管理层面

        1、集群资源管理者（Master）:ResourceManger（RM）

        2、单机资源管理者（Worker）:NodeManger

# 任务计算层面

        1、单任务管理者（Master）:ApplicationMaster

        2、单任务执行者（Worker）:Task(容器内计算框架的工作角色)

 

 2、Spark主要有4类角色，从两个层面去看：

# 资源管理层面

        1、集群资源管理者:Master

        2、单机资源管理者:Worker

# 任务计算层面

        1、单任务管理者:Driver

        2、单任务执行计算者:Executor (干活的)