• NameNode的HA热备实现


    对于NameNode的高可用主要可以分为共享editLog机制和ZKFC对namenode状态的控制。

    共享editLog机制

    • Active NameNode和StandBy NameNode:两台NameNode形成互备,Active为主NameNode,Standby为备NameNode。只有主NameNode才能对外界提供读写服务。
    • 各个NameNode之间通过共享文件系统(NFS、QJM)存储编辑日志文件。Active负责将信息写入共享文件系统,StandBy则读取共享文件系统中的源数据以保持与Active的同步,从而减少状态切换时间。如果Active挂掉了,共享存储会对Active进行隔离(fencing),确保只有一个NameNode能响应客户端请求,防止脑裂问题。此外,DataNode还需要同时向各个NameNode发送数据块处理报告。
    • 为了实现热备,在每一个NameNode节点上都运行着一个轻量级故障转移控制器ZKFC用于监视和控制NameNode进程。

    ZKFC对NameNode状态的控制

    • ZKFC:Zookeeper Failover Controller,是hadoop中通过ZK实现FC的一个实用工具。作用是作为一个ZK集群的客户端,用来监控NN的状态信息。每一个NN都会运行一个ZKFC。ZKFailoverController作为NameNode机器上一个独立的进行启动(在hdfs启动脚本之中的进程名为zkfc),启动的时候会创建HealthMonitor和ActiveStandByElector这两个主要内部组件。ZKFC在创建这两个组件的会注册相应的回调方法。
    • HealthMonitor:主要负责检测NameNode的健康状态,一旦检测到NameNode状态发生变化,就回调ZKFC相应的方法进行自动的主备选举。
    • ActiveStandBy:主要负责完成自动的主备选举,内部封装了Zookeeper的处理逻辑,一旦Zookeeper主备选举完成,会回调ZKFC的对应方法进行NameNode的主备状态切换。
    • NameNode实现主备切换的流程:HealthMonitor初始化完成后会启动内部的线程来定时调用HAServiceProtocol RPC接口的方法,对NameNode的健康状态进行检测。一旦检测到NameNode健康状态发生变化,会回调ZKFC注册的对应方法进行处理。如果ZKFC认为需要进行主备切换,会首先使用ActiveStandByElector进行自动主备选举。ActiveStandByElector与Zookeeper进行交互后完成自动主备选举。之后会回调ZKFC注册的相应方法来通知当前的NameNode成为主NameNode或备NameNode。ZKFC调用对应NameNode的HAServiceProtocol RPC接口的方法将NameNode转换为Active或StandBy状态。 请添加图片描述
  • 相关阅读:
    LeetCode 859. Buddy Strings
    第四章:利用Monorepo方式管理组件库生态【前端工程化入门-----从零实现一个react+ts+vite+tailwindcss组件库】
    LabVIEW性能和内存管理 3
    2024.05.10作业
    【操作系统-进程】进程的概念
    【2021集创赛】Digilent杯二等奖:基于FPGA的动态视觉感知融合的运动目标检测系统
    Python定制开发WebApi
    Mysql和Oracle的语法区别?
    基于STM32的超声波雷达项目【可拟合构建平面地图】(代码开源)
    ansible 003 常用模块
  • 原文地址:https://blog.csdn.net/Laoddaaa/article/details/126125413