• hdfs集群数据迁移/DataNode节点维护/集群重命名--小结


    hdfs集群数据迁移–Distcp工具使用
    假设我们想要把集群A的数据迁移到集群B中,首先我们要查看下集群A的NameNode界面上面是否有丢失块或者损坏快等信息,如果存在,首先用hadoop fsck 工具修复数据块,并且在随后迁移的过程中也要一直进行这个查找修复数据块的操作,随后可以用一下数据进行数据迁移操作,不过这里要根据集群A的是否静态还是动态分两种情况。
    情况1:假设集群A是静态集群,也就是集群A的数据是固定不变的,那么直接用Distcp把顶级目录迁移到集群B即可
    情况2:假设集群A的数据是动态变化的,那么我们可以先对集群A的目录进行一次快照操作,并把这次快照利用Distcp命令同步到集群B中,同步完后,再次对集群A的目录进行快照操作,不过随后可以利用Distcp的–delete --update的命令只同步增量变化的文件到集群B中,不断重复这个过程,直到集群B的数据和集群A的数据相同为止
    二.DataNode节点维护操作
    1.当我们想对某个DataNode进行比如一些短暂的停机维护操作时(不需要改变ip地址),为了防止集群中大量的块复制操作,我们只要能够在Namenode的心跳检测时间内完成DataNode的维护操作并启动节点即可,所以我们可以调整dfs.namenode.heartbeat.recheck-interval参数的数值适当增加心跳超时的配置
    2.切换DataNode的ip的情况,停止DataNode节点,修改ip地址,然后启动DataNode即可,只要我们能及时的启动切换ip后的DataNode服务,整个集群的块复制操作就会极少,对集群的影响也很小,其实这种情况和新增另一个带有数据的DataNode相似,当集群发现原来ip的DataNode不可用时,集群准备开始进行数据块的拷贝操作,此时当加入了新ip带有数据块的DataNode时,集群发现这些数据块不需要在拷贝了,每个数据块的副本数直接满足要求了
    三.集群的重命名操作
    3.1首先停机集群:包括hdfs,yarn等服务
    3.2 修改配置文件:
    a. core.xml文件中的fs.defaultFS的属性值
    b. yarn-site.xml文件中应用配置属性存放于hdfs的位置属性值:yarn.resourcemanager.fs.state-store.url的属性值
    c. hdfs-site.xml文件中和namenode相关的属性值
    3.3 重新格式化Hdfs所使用的Zookeeper的节点值(hdfs -zkfc formatZK),原因是hdfs会在zk上创建以集群名称命名的znode.

    参考书籍:
    深度剖析hadoop hdfs

  • 相关阅读:
    自学\跳槽\转行做网络安全行业的一些建议
    【vue设计与实现】异步组件与函数式组件 4 - 重试机制
    spring initializr脚手架搭建详解
    Spring面试题2:说一说IOC控制反转以及底层是如何实现的?说一说面向切面的编程(AOP)以及底层是如何实现的?
    IT信息技术-1.1 信息系统与信息化
    ElasticStack日志分析平台-ES 集群、Kibana与Kafka
    稳压电源: 电路图及类型
    【云原生】Containerd ctr 和 crictl 客户端命令介绍与实战操作(nerdctl )
    filter&listener
    工程师 - HUE(Humans in User Experience)介绍
  • 原文地址:https://blog.csdn.net/lixia0417mul2/article/details/126318095