Hadoop HDFS 服役新节点

新增hadoop105，在原有集群基础上动态添加该数据节点。

新增配置文件dfs.hosts

在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件

[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-2.7.2/etc/hadoop
1
2

添加如下主机名称(包含新服役的节点)

[root@hadoop102 hadoop]# vim dfs.hosts
hadoop102
hadoop103
hadoop104
hadoop105
1
2
3
4
5

修改 hdfs-site.xml

在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

    dfs.hosts
    /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts 

1
2
3
4

刷新namenode

[root@hadoop102 hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful
1
2

更新 resourcemanager 节点

[root@hadoop103 hadoop-2.7.2]# yarn rmadmin -refreshNodes
19/04/02 18:02:52 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033
1
2

修改 NameNode 的 slaves 文件

增加 105

[root@hadoop102 hadoop]# vim slaves 
hadoop102
hadoop103
hadoop104
hadoop105
1
2
3
4
5

启动新的数据节点和节点管理器

[root@hadoop105 hadoop-2.7.2]# hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-datanode-hadoop105.out
[root@hadoop105 hadoop-2.7.2]# yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop105.out
1
2
3
4

至此，hadoop105状态正常。

测试

操作上传2次图片

[root@hadoop102 ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/1.jpg
[root@hadoop102 ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/2.jpg
1
2

平衡数据

如果数据不均衡，可以用命令实现集群的再平衡。

[root@hadoop102 ~]# start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-balancer-hadoop102.out
1
2