1、安装jdk环境
安装包如下:
链接:https://pan.baidu.com/s/1Y__XyvHJuKlsaBPmBot2qQ?pwd=65we
提取码:65we
把安装包放入/data/soft ,然后解压 tar -zxvf jdk-8u202-linux-x64.tar
配置环境变量JAVA_HOME
vi /etc/profile 后在文件中添加
export JAVA_HOME=/data/soft/jdk1.8
export PATH=.:$JAVA_HOME/bin:$PATH
最后验证即可:
二、安装hadoop(伪集群安装)
安装包:链接:https://pan.baidu.com/s/1IjmhR3v48EMyw6LDE84Nsg?pwd=x9o4
提取码:x9o4
--来自百度网盘超级会员V1的分享
1.修改hadoop-env.sh 文件( /data/soft/hadoop-3.2.0/etc/hadoop)
- 添加JAVA_HOME :指定java安装位置
- 添加 HADOOP_LOG_DIR:hadoop的日志存放目录
2.修改core-site.xml文件 ( /data/soft/hadoop-3.2.0/etc/hadoop)
3、修改hdfs-site.xml文件,修改hdfs中文件副本的数量( /data/soft/hadoop-3.2.0/etc/hadoop)
4、 修改mapred-site.xml,设置mapreduce使用的资源调度框架( /data/soft/hadoop-3.2.0/etc/hadoop)
5、修改yarn-site.xml ( /data/soft/hadoop-3.2.0/etc/hadoop),设置yarn上支持运行服务和白名单
6、修改workers,设置群集中从节点的主机名称信息
7、格式化HDFS
- cd /data/soft/hadoop-3.2.0
- bin/hdfs namenode --format
注意格式化只能执行一次,要是想重复执行,需要把/data/hadoop_repo目录中的内容全部删除,然后再格式化
8、在启动脚本start-dfs.sh和stop-dfs.sh脚本上添加用户信息
在start-yarn.sh和stop-yarn.sh添加
9、启动sbin/start-all.sh
通过jps即可确定服务都已经启动
10、web管理页面
HDFS 界面:http://192.168.221.131:9870/
YARN界面 :http://192.168.221.131:8088/