码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hadoop HA (一) --------- HA 概述 与 HDFS-HA 集群搭建


    目录

    • 一、HA 概述
    • 二、HDFS-HA 集群搭建


    一、HA 概述

    所谓 HA (High Availablity),即高可用 (7*24 小时不中断服务) 。实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA。

    机制:HDFS 的 HA 和 YARN 的 HA。

    NameNode 主要在以下两个方面影响 HDFS 集群

    • NameNode 机器发生意外,如宕机,集群将无法使用,直到管理员重启
    • NameNode 机器需要升级,包括软件、硬件升级,此时集群也将无法使用

    HDFS HA 功能通过配置多个 NameNodes (Active/Standby) 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

    二、HDFS-HA 集群搭建

    当前 HDFS 集群的规划

    在这里插入图片描述

    HA 的主要目的是消除 NameNode 的单点故障,需要将 HDFS 集群规划成以下模样

    在这里插入图片描述
    HDFS-HA 核心问题

    1)怎么保证三台 NameNode 的数据一致

    A、Fsimage : 让一台 nn 生成数据,让其他机器 nn 同步

    B、Edits : 需要引进新的模块 JournalNode 来保证 edtis 的文件的数据一致性

    2)怎么让同时只有一台 nn 是 active,其他所有是 standby 的

    A、手动分配

    B、自动分配

    3)2nn 在 HA 架构中并不存在,定期合并 fsimage 和 edtis 的活谁来干

    由 standby 的 nn 来干

    4)如果 nn 真的发生了问题,怎么让其他的 nn 上位干活

    A、手动故障转移

    B、自动故障转移

  • 相关阅读:
    2、计算机图形学——视图变换
    苹果WWDC 2024 带来的 AI 风暴:从生产力工具到个人助理,AI 将如何融入我们的生活?
    按照 STAR 法则介绍自己做过的项目
    保姆教程系列:小白也能看懂的 Linux 挂载磁盘实操
    如果你用Markdown写公众号文章,试试我做的在线转换神器
    C++基础入门 函数
    【组件攻击链】一文看懂 Spring 全家桶各类 RCE 漏洞
    使用 Pandas 和 SQL 进行实用数据分析,让我们用 pandas 和 SQL 进行数据分析并实际理解它们(教程含数据csv)
    常见的安全设备详解
    “热帖”统计
  • 原文地址:https://blog.csdn.net/m0_51111980/article/details/126060208
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号