HDFS:NameNode、DataNode、SecondaryNameNode
Yarn:ResourceManager、NodeManager
前提:部署好hadoop的本地模式
点击设置hadoop的本地模式
伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。
注:如果在本地模式已经配置完成,这个文件则不需要重复配置。
路径:/root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)
更改第25行 export JAVA_HOME=/root/training/jdk1.8.0_181
进入 /root/training/hadoop-2.7.3/etc/hadoop/ 路径找到 hdfs-site.xml 文件进行编辑。
vi hdfs-site.xml
将下面xml代码添加该文件
<property>
<name>dfs.replicationname>
<value>1value>
property>
需要在hadoop目录下,先创建出tmp文件,作为HDFS对应的操作系统目录。
mkdir /root/training/hadoop-2.7.3/tmp
编辑操作与上面文件相同,则不演示。
<property>
<name>fs.defaultFSname>
<value>hdfs://bigdata111:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/root/training/hadoop-2.7.3/tmpvalue>
property>
这个文件默认没有,需要我们先复制
cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>bigdata111value>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
执行下面这条命名
hdfs namenode -format
成功则出现下面这句话。
start-all.sh
需要输入4次密码和yes。
至此部署完成,下面进行测试!
将本地文件上传到hdfs
进入/root/training/hadoop-2.7.3/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output/wc
停止集群
stop-all.sh
也需要输入4次密码,输入密码太麻烦,所以我们还需要配置免密码模式。
ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata111
注:root@bigdata111 是你当前的主机名
免密码模式配置完成!