Hadoop集群安装后观察datanode。
现象:
hadoop集群启动,namenode正常启动,datanode却没有启动
原因:
namenode的CLUSTERID和datanode的CLUSTERID不一致,导致namenode启动而datanode未启动
解决办法:
复制namenode的CLUSTERID 贴到datanode的CLUSTERID
确认:
我们可以看到两个datanode中的slave1和slave2已经启动。
解决步骤:
查看hadoop的安装路径,这里以hadoop-2.7.2为例。
#Hadoop安装路径
hadoop-2.7.2
1. 查看slaves节点
进入到hadoop安装路径
#vim etc/haoop/slaves
133.133.10.1
133.133.10.2
2. 集群namenode格式化
集群首次使用时,需要格式化。
bin/hdfs namenode -format
3. 查看namenode和datanode的CLUSTERID
cat /etc/hadoop/hdfs-site.xml
2) 查看namenode的CLUSTERID,替换datanode的CLUSTERID
登陆各个slaves,将该clusterID替换datanode上的clusterID
3)重启hdfs
sbin/start-all.sh
注:通过http://localhost:50700查看hadoop集群状况,如果发现进程都能够启动,web页面HDFS 50070无法访问。解决办法如下:
vim etc/hadoop/core-site.xml
将core-site.xml中的访问路径fs.default.name改成ip
<property>
<name>fs.default.name</name>
<value>hdfs://[主机名ip].Hadoop:9000</value>
</property>