Yarn框架原理

一、Yarn框架原理

1.基本介绍

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

1.ResourceManager（RM）主要作用如下

1. 处理客户端请求
2. 监控NodeManager
3. 启动或监控ApplicationMaster
4. 资源的分配与调度

2.NodeManager（NM）主要作用如下

1. 管理单个节点上的资源
2. 处理来自ResourceManager的命令
3. 处理来自ApplicationMaster的命令

3.ApplicationMaster（AM）主要作用下

1. 为应用程序申请资源并分配给内部的任务
2. 任务的监控与容错

4.Container主要作用下

1. Container是YARN中的资源抽象，它封装了某个节点上的多位度资源，如内存、cpu、磁盘、网络等

2.Yarn工作机制☆☆☆

1. Mr程序提交任务，创建一个YranRunner（集群模式）并向ResourceManager申请一个Application
2. RM将该应用程序的资源路径返回给YarnRunner
3. 该程序将运行所需资源提交到HDFS上，如：切片信息、jar包、xml文件等
4. 提交完成以后，申请运行MRApplicationMaster
5. RM将用户的请求初始化成一个Task，可能会有多个任务，于是把任务放到一个任务队列中，默认是一个Capacity（容量调度器）
6. 集群其中一个NodeManager领取队列中的Task任务，同时创建容器Container，并产生MRAppMaster（因为任何任务的执行都是在容器中执行的）
7. Container从HDFS上拷贝资源到本地 如：切片信息等
8. MRAppMaster向RM 申请运行MapTask资源。如果切片是两个，就开启两个MapTask
9. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
10. MRAppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
11. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
12. ReduceTask向MapTask获取相应分区的数据。
13. 程序运行完毕后，MRAppMaster会向RM申请注销自己

3.Yarn调度器

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。
Apache Hadoop3.1.3 默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler。

1. FIFO Scheduler：先进先出调度器：优先提交的，优先执行，后面提交的等待【生产环境不会使用】
2. Capacity Scheduler：容量调度器：允许看创建多个任务对列，多个任务对列可以同时执行。但是一个队列内部还是先进先出。
3. Fair Scheduler：公平调度器：第一个程序在启动时可以占用其他队列的资源（100%占用），当其他队列有任务提交时，占用资源的队列需要将资源还给该任务。还资源的时候，效率比较慢。