LinuxHadoop环境

Hadoop集群拓扑

1、集群拓扑

一个主节点，两个从节点

2、角色分配

完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。

一、虚拟机安装

安装虚拟机CentOS 7

• 配置了静态IP地址（192.168.1.100）和主机名（ied）
  

• 关闭与禁用了防火墙
  

• 安装了vim编辑器
  

二、虚拟机克隆

1、克隆类型

（1）完整克隆

• 完整克隆是对原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源，可以脱离原始虚拟机独立使用。

（2）链接克隆

• 链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间，同时还节省物理磁盘空间。

2、克隆步骤

（1）克隆出master虚拟机

• 关闭CentOS 7虚拟机，在VMware工具左侧系统资源库中右键单击CentOS 7，选择“管理”列表下的“克隆”选项，弹出克隆虚拟机向导。
  
  

• 选择克隆源——虚拟机中的当前状态
  

• 选择克隆类型——创建链接克隆
  

• 设置新虚拟机名称和位置
  

• 单击【完成】按钮
  

• 单击【关闭】，查看master虚拟机
  

（2）克隆出slave1虚拟机

• 按照克隆master虚拟机的步骤克隆出slave1虚拟机
  

（3）克隆出slave2虚拟机

• 按照克隆master虚拟机的步骤克隆出slave2虚拟机
  

三 、虚拟机配置

1、配置master虚拟机

• 启动master虚拟机
  

（1）设置主机名

• 执行命令：hostnamectl set-hostname master
  

• 重启虚拟机，提示符变成[root@master ~]#
  

（2）设置静态IP地址

• 查看IP地址可选范围
  

• 查看网关配置
  

• 执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
  

• 存盘退出，执行命令：systemctl restart network
  

• 执行命令：ip addr，查看设置的静态IP地址
  

（3）配置主机名与IP地址映射

• 执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
  

• 存盘退出，验证配置效果
  

2、配置slave1虚拟机

• 启动slave1虚拟机
  

（1）设置主机名

• 执行命令：hostnamectl set-hostname slave1
  

• 重启虚拟机，提示符变成[root@slave1~]#
  

（2）设置静态IP地址

• 执行命令：vim /etc/sysconfig/network-scripts/ifcfg-ens33
  

• 存盘退出，执行命令：systemctl restart network
  

• 执行命令：ip addr，查看设置的静态IP地址
  

（3）配置主机名与IP地址映射

• 执行命令：vim /etc/hosts，添加三个映射（集群有三个虚拟机）
  

• 存盘退出，验证配置效果

• slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机
  

• master虚拟机可以通过主机名来ping通slave1虚拟机
  

3、配置slave2虚拟机

• 启动slave2虚拟机

操作与slave1相同

• slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机
  

• master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机
  

四、关闭SeLinux安全机制

• 安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。
• SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。
• SELinux 有三种工作模式，分别是enforcing：强制模式；permissive：宽容模式；disabled：关闭 SELinux。
• /etc/sysconfig/selinux 文件里SELINUX=enforcing，将enforcing改成disabled，就可以关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

• 执行命令：vim /etc/sysconfig/selinux
  

2、在slave1虚拟机上关闭SeLinux安全机制

• 执行命令：vim /etc/sysconfig/selinux
  

3、在slave2虚拟机上关闭SeLinux安全机制

• 执行命令：vim /etc/sysconfig/selinux