码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hadoop集群配置相关架构介绍


    1.HDFS组成架构介绍

    NameNode介绍

    NameNode翻译过来就是名称节点,也就是一个节点管理者,记录者

    NameNode是一个中心服务器,负责管理文件系统的名字空间,以及客户端对文件的访问,管理数据块的映射关系

    鄙人对NameNode理解存在于表层,这边贴另一位博主的文章帮助大家理解Hadoop之NameNode、SecondaryNameNode_麦兜仔的博客-CSDN博客_hadoop namenode secondnamenode

    DataNode介绍

    DataNode翻译过来是数据节点,也就是一个工厂仓库,负责存储和处理

    Datanode是HDFS文件系统的工作节点,它们根据客户端或者是NameNode的调度进行存储和检索数据,并且定期向NameNode发送它们所存储的块(block)的列表。

    所以在集群部署时我们可以多个部署Datanode,用来缓解储存运行压力,相当于扩建工厂

    SecondaryNameNode介绍

    SecondaryNameNode翻译过来就是次要名称节点,也就是辅助NameNode管理HDFS,相当于一个秘书

    辅助NarmeNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode ,在紧急情况下,可辅助恢复NameNode

    SecondaryNameNode分担了NameNode,在长时间运行下NameNode产生大量运行数据在启动NameNode时需要耗费大量时间,而有了SecondaryNameNode的加入,合并运行数据而减轻NameNode启动加载数据量,加快启动时间。

    而如果相关文件量巨大,合并会消耗大量的io资源,所以在配置时也可以配置多个NameNode以缓解io压力

    2.Yarn组成架构介绍

    ResourceManager介绍

    ResourceManager翻译过来就是资源管理器,对资源进行调度,是掌舵人

    分配运行ApplicationMaster的Container,并通知NodeManager加载Container

    响应ApplicationMaster申请资源的请求,将Container清单返回给ApplicationMaster

    监控NodeManager和ApplicationMaster的状态

    监控整个集群的可用资源

    整个ResourceManager内部结构复杂,有内部有很多细分组件,这边博主能力有限贴一个博主的文章把​​​​​​Hadoop之Yarn_麦兜仔的博客-CSDN博客

    主要是调度资源协调yarn内部各大基础主键,学习实验一般配置1个

    NodeManager介绍

    NodeManager翻译过来就是节点管理器,管理单个节点的资源,就是部门经理

    定时向ResourceManager汇报Container状态

    响应ResourceManager和ApplicationMaster的请求,例如启动或清除Container的命令

    监控Container资源使用情况

    管理Container日志文件

    监控Node节点的状态

    同样NodeManager内部结构复杂,可参考Hadoop之Yarn_麦兜仔的博客-CSDN博客

    节点管理器,就是相当于每台机子的代理人,所以除ResourceManager的主机,其他主机都需要配置


    作为一个初学者,也不知道理解是否正确,大部分是依据链接博主的文章理解

    如果有错误的地方,欢迎大家留言纠正

  • 相关阅读:
    Wpf知识小结
    【小白从小学Python、C、Java】【Python-计算机等级考试二级】【Python-数据分析】Python中使用fromat进行进制转换
    第142篇 合约安全-重入锁
    [附源码]java毕业设计实践教学管理系统
    touchGFX综合学习十三、基于cubeMX、正点原子H750开发版、RGB4.3寸屏移植touchGFX完整教程+工程(一)
    全流量安全分析发现内部系统外联异常
    产品设计:如何准确定位设计风格?
    图论|841钥匙和房间
    hive笔记(五):查询、排序-join语句/连接/分区/sort by/distribute by/cluster by
    java计算机毕业设计基于安卓的城市公交查询小程序 uniapp
  • 原文地址:https://blog.csdn.net/qq_51260764/article/details/126843738
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号