搭建hadoop+spark完全分布式集群环境

目录

一、集群规划

二、更改主机名

 三、建立主机名和ip的映射

四、关闭防火墙（master，slave1，slave2）

五、配置ssh免密码登录

六、安装JDK

七、hadoop之hdfs安装与配置

1）解压Hadoop

2）修改hadoop-env.sh

3）修改 core-site.xml

4)修改hdfs-site.xml

5) 修改slave

八、配置hadoop环境变量

九、将hadoop拷贝到其他主机、

十、格式化元数据目录

十一、下载安装spark

十二、配置文件修改

1）复制模板文件

2）配置spark-env.sh(增加环境变量)

3) 配置slaves

4) 将master配置好的spark 拷贝到slave1,slave2

5) 配置环境变量

6）启动与验证

7）提交jar 包并观察验证

一、集群规划

二、更改主机名

分别修改主机名文件（重启永久生效）

sudo vi  /etc/sysconfig/network

 三、建立主机名和ip的映射

sudo vi /etc/hosts

 拷贝到slave1和slave2中

四、关闭防火墙（master，slave1，slave2）

关闭防火墙：sudo service iptables stop  

关闭防火墙自启：sudo chkconfig iptables off

五、配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id mast