Spark中宽依赖、窄依赖、Job执行流程

一、宽依赖和窄依赖的定义

【宽依赖：】
宽依赖表示同一个父（上游）RDD 的 Partition 被多个子（下游）RDD 的 Partition 依赖，会引起 Shuffle，总结：宽依赖我们形象的比喻为多生。有shuffle阶段

【窄依赖：】
窄依赖表示每一个父(上游)RDD 的 Partition 最多被子（下游）RDD 的一个 Partition 使用，窄依赖我们形象的比喻为独生子女。没有shuffle阶段

二、为什么要区分宽窄依赖

【宽依赖】
Spark可以根据宽依赖进行Stage阶段划分，同一个stage阶段中的都是窄依赖，可以对该阶段内的窄依赖优化

【窄依赖】
Spark可以对窄依赖进行优化：合并操作，形成pipeline(管道)，同一个管道中的各个操作可以由同一个线程执行完，且如果有一个分区数据丢失，只需要从父RDD的对应分区做重新计算即可，不需要重新计算整个任务，提高容错

【总结】
窄依赖：并行化+容错
宽依赖：进行阶段划分(shuffle后的阶段需要等待shuffle前的阶段计算完成才能执行)

三、DAG和Stage

【DAG】
Spark的DAG:就是spark任务/程序执行的流程图!
DAG的开始:从创建RDD开始
DAG的结束:到Action结束
一个Spark程序中有几个Action操作就有几个DAG!

【Stage】
为什么要划分Stage？
Spark会根据代码执行流程形成一张有向无环图DAG，在执行的时候可以按照图中的流程顺序进行执行，并进行优化，但是如何优化呢？
对于宽依赖：由于Shuffle的存在，必须等到RDD的shuffle处理完成后，才能开始接下来的计算，所以需要在此处进行Stage的切分
对于窄依赖：RDD之间的数据没有shuffle，多个数据处理可以在同一台机器的内存中完成，所以窄依赖在Spark中被划分为同一个Stage
所以，可以根据宽窄依赖对DAG进行Stage阶段划分，同在一个stage阶段中的就是窄依赖。

Stage:是DAG中根据shuffle划分出来的阶段!
前面的阶段执行完才可以执行后面的阶段!
同一个阶段中的各个任务可以并行执行无需等待!

1.Application：应用,就是程序员编写的Spark代码,如WordCount代码

2.Driver：驱动程序,就是用来执行main方法的JVM进程,里面会执行一些Drive端的代码,如创建SparkContext,设置应用名,设置日志级别…

3.SparkContext:Spark运行时的上下文环境,用来和ClusterManager进行通信的,并进行资源的申请、任务的分配和监控等

4.ClusterManager：集群管理器,对于Standalone模式,就是Master,对于Yarn模式就是ResourceManager/ApplicationMaster,在集群上做统一的资源管理的进程

5.Worker:工作节点,是拥有CPU/内存等资源的机器,是真正干活的节点

6.Executor：运行在Worker中的JVM进程!

7.RDD：弹性分布式数据集

8.DAG：有向无环图,就是根据Action形成的RDD的执行流程图—静态的图

9.Job：作业,按照DAG进行执行就形成了Job—按照图动态的执行

10.Stage：DAG中,根据shuffle依赖划分出来的一个个的执行阶段!

11.Task：一个分区上的一系列操作(pipline上的一系列流水线操作)就是一个Task,同一个Stage中的多个Task可以并行执行!(一个Task由一个线程执行),所以也可以这样说:Task(线程)是运行在Executor(进程)中的最小单位!

12.TaskSet:任务集,就是同一个Stage中的各个Task组成的集合!

Job提交执行流程