• Hadoop3教程(二十二):Yarn的基础架构与工作流程


    (126)基础架构

    之前基本介绍完了Hadoop的几个核心组件,接下来可以思考下,在MR程序运行过程中,整个集群的资源是如何管理的,以及每个任务该分配多少资源才合适?

    这就是YARN需要考虑的问题。

    YARN是一个资源调度平台,负责为各个任务提供运行资源。可以简单理解成YARN是windows系统,而MR等程序就是运行在这个操作系统之上的应用进程。

    YARN中的组件,包括ResourceManagerNodeManagerContainerApplicationMaster等。

    关于YARN的运行流程,我们之前在"概念"一节里也有简单介绍了。

    如图:

    在这里插入图片描述

    ResourceManager,整个YARN中最重要的组件,老大哥,领导角色,基本每个组件都会跟它做交互,负责:

    • 接收、处理客户端传过来的请求(提交的作业);
    • 监控NodeManager;
    • 启动、监控ApplicationMaster(如果任务挂了,会协调切换到其他节点继续执行);
    • 资源的分配与调度。

    按我的理解,RM更多的是做的是整个集群的资源管理,一般不会实际落地去分配资源,具体的落地工作,都是由对应的NodeManager来实现的。

    NodeManager,单个节点(一般是指单台服务器)上的老大,负责:

    • 管理自己节点上的资源;
    • 处理来自ResourceManage的命令(比如说RM告诉NM,需要从你的节点上运行个任务,那么NM就需要实际分配资源,来做配合);
    • 处理来自ApplicationMaster的命令(如App Mstr要求申请资源)。

    ApplicationMaster,是单个job的老大,负责:

    • 为应用申请资源(向RM提申请),并分配给内部的任务;
    • 对内部的任务,进行监控和容错。

    Container,是YARN中对资源的一个抽象概念,它封装了某个节点上的多维度资源,如内存、CPU、磁盘和网络。如果要类比的话,相当于是每个节点上的一台台虚拟机?

    (127)YARN的工作机制

    即YARN在底层是怎么运行的,是面试中经常会被问到的一类面试题。

    图形化展示下步骤:

    在这里插入图片描述

    1. Mr程序首先被提交到客户端所在的节点,客户端会启动一个YarnRunner来做对内外的交互;

    2. YarnRunner会向ResourceManager发出请求,申请一个Application,来执行自己的job;

    3. 接着RM确认可以创建Application之后,会把这个Application的id和资源提交路径等返回给客户端,告知其可以将资源提交至这个路径;

    4. 客户端的YarnRunner在接收到反馈后,就开始提交job运行所需的资源到指定路径,重点提交三个文件:

      • job.split:即数据的切片文件,关系到后续的切片流程以及MapTask数量;
      • job.xml:即任务执行的参数配置等
      • xx.jar:即任务本身的程序代码

      这些都会在job.submit()之后生成;

    5. 资源提交完毕后,客户端向RM提出申请,申请运行对应的ApplicationMaster;

    6. RM接收到申请,然后将申请初始化成一个Task,放进自己的调度队列里,如FIFO调度队列;

    7. 当一个Task可以被调度时(即资源允许),RM会根据情况,选择一个NodeManager,将Task分配给它;

    8. NM收到任务,会在自己内部创建一个Container,分配好资源,来执行这个Task。接着,Container内部会再启动一个MrAppMaster,来管理整个任务,或者说整个job的运行。

    9. MrAppMaster会去当前job的资源路径,去读取切片信息,即job.split,下载到节点本地;

    10. 拿到切片后,MrAppMaster会再向RM申请,申请资源来运行MapTask。RM会将申请先放进队列,等调度到的时候,就会去挑选并通知对应的NodeManager们,准备分配资源来做MapTask;

    11. 对应的NodeManager接收到通知,然后在自己内部创建好对应的Container;

    12. MrAppMaster直接发送程序的启动脚本给刚创建好的Container们,让它们启动MapTask,开始正式运行代码,这个过程里,每个MapTask会生成一个YarnChild,负责对外的交流;待MapTask执行完,数据会按照分区持久化到磁盘;

    13. 待MapTask执行完后,MrAppMaster会再向RM申请几个Container,来运行ReduceTask。流程跟刚才介绍的MapTask启动基本一致,开启Container、启动ReduceTask、启动YarnChild等;

    14. ReduceTask启动后,会向MapTask里去获取对应分区的数据;

    15. ReduceTask执行完后,标志着整个MR基本运行完成,MrAppMaster会向RM提出申请,任务完成,请求注销掉自己,并回收资源等;

    16. RM接收申请,并开始收尾工作。

    (128)作业全流程

    主要讲解下,HDFS、YARN、MapReduce三者的关系。

    HDFS里有DataNode、NameNode和SecondaryNameNode,其中DataNode用来存储,NameNode则是用来管理DataNode的,比如说记录DataNode的一些元数据等。至于SecondNameNode,是辅助NameNode工作的。

    然后YARN的话,是有一个ResourceManage,负责管理全局的资源,一至多个NodeManager用来管理单节点的资源。

    教程里没有详细展开说,我只做个简单总结吧。

    还是以上一节YARN的工作流程为例,那里清晰展示了YARN跟MapReduce的交互,至于HDFS在哪儿起作用,其实也好理解,HDFS就可以简单理解成磁盘。

    比如说第3步里,client需要提交资源至指定的路径,其实就是提交到HDFS的路径下。另外,每个MapTask启动之后要去资源路径拿数据,其实也是跟HDFS的DataNode交互的过程。

    参考文献

    1. 【尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放】
  • 相关阅读:
    Transformers are RNNs (linear transformer)论文阅读
    (一)k8s-模板准备(虚拟机)
    Visual Studio中的四款代码格式化工具
    HTML 13 HTML a 标签
    【MATLAB】CEEMDAN_ MFE_SVM_LSTM 神经网络时序预测算法
    WebStorm使用PlantUML
    Spring Boot : ORM 框架 JPA 与连接池 Hikari
    贪心算法之最优装船问题
    Jenkins用户管理(二):不同用户分配不同的任务访问权限
    Explore EP9164S HDMI2.0 1分4分配器
  • 原文地址:https://blog.csdn.net/wlh2220133699/article/details/133917326