hadoop集群安装(一)：创建模型虚拟机

说明

创建hadoop集群需要先搭建服务器环境，这里使用vmware本地构建模型服务器，集群以该虚拟机为基础克隆创建，所以该虚拟机非常重要是整个集群的基础。

分享

• 大数据博客列表
• 开发记录汇总
• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。

资料

• 系统 centos 7.9 2009 下载地址
  • 这里使用的Minimal无桌面版

安装虚拟机

• vmware 创建安并装centos7.9 2009虚拟机，安装虚拟机可参照 vmware创建虚拟机 。
  • 存储 最低50G，后续增加比较麻烦。内存和处理器可动态调整。

配置虚拟机

关闭防火墙

• 执行命令

# 关闭防火墙服务
systemctl stop firewalld
# 关闭防火墙开机启动
systemctl disable firewalld.service
1
2
3
4

设置yum源

• 系统默认yum源为国外网站，网络会有异常这里切换为国内源：

#备份原配置
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

#使用163源，新文件添加163标识
curl -o /etc/yum.repos.d/CentOS-Base-163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo

# 清空缓存
yum clean all

# 生成新缓存
yum makecache
1
2
3
4
5
6
7
8
9
10
11

创建用户

• 创建模型服务器，使用root创建部署用户，此处用户名为wang，也可以是其他的。

# 创建用户
useradd wang
# 设置密码
passwd wang
1
2
3
4

• 授权用户wang (sudo root)权限，执行命令：vi /etc/sudoers，在%wheel行下添加：

wang    ALL=(ALL)      NOPASSWD:ALL
1

• 此后wang用户可以用sudo使用root权限

创建目录

• 使用root用户创建安装目录 /opt/module/ 和安装包存储目录 /opt/software/ 。

# 创建目录
mkdir /opt/module /opt/software
#授权给指定用户
chown wang: /opt/module
chown wang: /opt/software
1
2
3
4
5

网络配置

• 固定ip和主机名，参照 vmware配置静态ip ，主机名设置为：hadoop100，ip：192.168.10.100，更改完主机和ip必须重启服务器

• 查看主机名：hostname

• 查看ip：ifconfig
  

卸载jdk

• 卸载系统jdk：rpm -qa|grep -i java | xargs -n1 rpm -e --nodeps，参数说明：
  • rpm -qa：查询安装的所有rpm软件表
  • grep -i：忽略大小写
  • xargs -n1：每次只传递一个参数
  • rpm -e --nodeps：强制卸载软件

总结

• 本文涉及虚拟机创建、网络配置、用户设置、安装源管理、软件管理，按步骤完成即可。