• Hadoop集群配置相关架构介绍


    1.HDFS组成架构介绍

    NameNode介绍

    NameNode翻译过来就是名称节点,也就是一个节点管理者,记录者

    NameNode是一个中心服务器,负责管理文件系统的名字空间,以及客户端对文件的访问,管理数据块的映射关系

    鄙人对NameNode理解存在于表层,这边贴另一位博主的文章帮助大家理解Hadoop之NameNode、SecondaryNameNode_麦兜仔的博客-CSDN博客_hadoop namenode secondnamenode

    DataNode介绍

    DataNode翻译过来是数据节点,也就是一个工厂仓库,负责存储和处理

    Datanode是HDFS文件系统的工作节点,它们根据客户端或者是NameNode的调度进行存储和检索数据,并且定期向NameNode发送它们所存储的块(block)的列表。

    所以在集群部署时我们可以多个部署Datanode,用来缓解储存运行压力,相当于扩建工厂

    SecondaryNameNode介绍

    SecondaryNameNode翻译过来就是次要名称节点,也就是辅助NameNode管理HDFS,相当于一个秘书

    辅助NarmeNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode ,在紧急情况下,可辅助恢复NameNode

    SecondaryNameNode分担了NameNode,在长时间运行下NameNode产生大量运行数据在启动NameNode时需要耗费大量时间,而有了SecondaryNameNode的加入,合并运行数据而减轻NameNode启动加载数据量,加快启动时间。

    而如果相关文件量巨大,合并会消耗大量的io资源,所以在配置时也可以配置多个NameNode以缓解io压力

    2.Yarn组成架构介绍

    ResourceManager介绍

    ResourceManager翻译过来就是资源管理器,对资源进行调度,是掌舵人

    分配运行ApplicationMaster的Container,并通知NodeManager加载Container

    响应ApplicationMaster申请资源的请求,将Container清单返回给ApplicationMaster

    监控NodeManager和ApplicationMaster的状态

    监控整个集群的可用资源

    整个ResourceManager内部结构复杂,有内部有很多细分组件,这边博主能力有限贴一个博主的文章把​​​​​​Hadoop之Yarn_麦兜仔的博客-CSDN博客

    主要是调度资源协调yarn内部各大基础主键,学习实验一般配置1个

    NodeManager介绍

    NodeManager翻译过来就是节点管理器,管理单个节点的资源,就是部门经理

    定时向ResourceManager汇报Container状态

    响应ResourceManager和ApplicationMaster的请求,例如启动或清除Container的命令

    监控Container资源使用情况

    管理Container日志文件

    监控Node节点的状态

    同样NodeManager内部结构复杂,可参考Hadoop之Yarn_麦兜仔的博客-CSDN博客

    节点管理器,就是相当于每台机子的代理人,所以除ResourceManager的主机,其他主机都需要配置


    作为一个初学者,也不知道理解是否正确,大部分是依据链接博主的文章理解

    如果有错误的地方,欢迎大家留言纠正

  • 相关阅读:
    百度校园招聘历年经典面试题汇总:测试开发
    【LeetCode-简单题】541. 反转字符串 II
    css设置浏览器表单自动填充时的背景
    IT职场生活工作感悟
    智慧公厕是对智慧城市“神经末梢”的有效激活,公共厕所实现可感知、可视化、可管理、可控制
    力扣刷题 day39:10-09
    curl网络请求命令
    MySQL总结(DDL、DML、TPL、DCL)
    P4396 [AHOI2013]作业(莫队+值域分块)
    Linux 下的 动静态库
  • 原文地址:https://blog.csdn.net/qq_51260764/article/details/126843738