码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hadoop集群配置相关架构介绍


    1.HDFS组成架构介绍

    NameNode介绍

    NameNode翻译过来就是名称节点,也就是一个节点管理者,记录者

    NameNode是一个中心服务器,负责管理文件系统的名字空间,以及客户端对文件的访问,管理数据块的映射关系

    鄙人对NameNode理解存在于表层,这边贴另一位博主的文章帮助大家理解Hadoop之NameNode、SecondaryNameNode_麦兜仔的博客-CSDN博客_hadoop namenode secondnamenode

    DataNode介绍

    DataNode翻译过来是数据节点,也就是一个工厂仓库,负责存储和处理

    Datanode是HDFS文件系统的工作节点,它们根据客户端或者是NameNode的调度进行存储和检索数据,并且定期向NameNode发送它们所存储的块(block)的列表。

    所以在集群部署时我们可以多个部署Datanode,用来缓解储存运行压力,相当于扩建工厂

    SecondaryNameNode介绍

    SecondaryNameNode翻译过来就是次要名称节点,也就是辅助NameNode管理HDFS,相当于一个秘书

    辅助NarmeNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode ,在紧急情况下,可辅助恢复NameNode

    SecondaryNameNode分担了NameNode,在长时间运行下NameNode产生大量运行数据在启动NameNode时需要耗费大量时间,而有了SecondaryNameNode的加入,合并运行数据而减轻NameNode启动加载数据量,加快启动时间。

    而如果相关文件量巨大,合并会消耗大量的io资源,所以在配置时也可以配置多个NameNode以缓解io压力

    2.Yarn组成架构介绍

    ResourceManager介绍

    ResourceManager翻译过来就是资源管理器,对资源进行调度,是掌舵人

    分配运行ApplicationMaster的Container,并通知NodeManager加载Container

    响应ApplicationMaster申请资源的请求,将Container清单返回给ApplicationMaster

    监控NodeManager和ApplicationMaster的状态

    监控整个集群的可用资源

    整个ResourceManager内部结构复杂,有内部有很多细分组件,这边博主能力有限贴一个博主的文章把​​​​​​Hadoop之Yarn_麦兜仔的博客-CSDN博客

    主要是调度资源协调yarn内部各大基础主键,学习实验一般配置1个

    NodeManager介绍

    NodeManager翻译过来就是节点管理器,管理单个节点的资源,就是部门经理

    定时向ResourceManager汇报Container状态

    响应ResourceManager和ApplicationMaster的请求,例如启动或清除Container的命令

    监控Container资源使用情况

    管理Container日志文件

    监控Node节点的状态

    同样NodeManager内部结构复杂,可参考Hadoop之Yarn_麦兜仔的博客-CSDN博客

    节点管理器,就是相当于每台机子的代理人,所以除ResourceManager的主机,其他主机都需要配置


    作为一个初学者,也不知道理解是否正确,大部分是依据链接博主的文章理解

    如果有错误的地方,欢迎大家留言纠正

  • 相关阅读:
    Linux搭建GitLab私有仓库,并内网穿透实现公网访问
    Vite项目配置resolve.alias后提示『找不到模块』的解决办法
    Ajax、Axios、Vue、Element与其案例
    Codeforces Round 910 (Div. 2) --- B-E 补题记录
    error: undefined reference to ‘vtable for …’
    Linux如何写C语言
    趣链BaaS服务平台调研
    关于RabbitMQ的一些面试题
    什么是云计算中的资源调度,解释资源调度的挑战和算法
    深入理解MySQL索引:从原理到最佳实践
  • 原文地址:https://blog.csdn.net/qq_51260764/article/details/126843738
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号