利用Hadoop自带example实现wordCount

上次虽然把环境搭好了，但是实际运行起来一堆错误，下面简述一下踩的坑。

1、hadoop fs -put上传文件失败，WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master:8020

解决方案：https://www.cnblogs.com/BoqianLiu/p/10183535.html

2、NodeManager运行一段时间后自行消失

解决方案：同上，第1个问题解决了这个问题也消失了，亏我还给他准备了好几种解决方案。

具体过程：

1、开启hdfs与yarn集群

start-dfs.sh
start-yarn.sh

我这里测试图省事就直接start-all了，正常工作还是按照人家的建议来，分别开启好一点哈

2、确认hadoop已经成功运行

ps -ef|grep hadoop

3、在hdfs新建test目录并测试

hadoop fs -mkdir /test
hadoop fs -ls -R /

4、从本地向test目录上传文件

*.txt表示当前终端目录下所有txt类型的文件

hadoop fs -put *.txt /test

5、运行hadoop自带example里面的wordcount程序

hadoop jar /root/software/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /test /output

这个地方要注意的就是output必须是事先不存在的，如果已经存在会报错FileAlreadyExistsException，即便提前把里面的文件清空也是不可以的。

6、打印/output结果

hadoop fs -cat /output/part-r-00000

参考资料：

1、Ubuntu16.04 上运行 Hadoop2.7.3 自带example wordCount摸索记录

2、Hadoop学习之路（七）Hadoop集群shell常用命令

转载于:https://www.cnblogs.com/BoqianLiu/p/10188068.html

l