• 第二章 Hadoop环境配置之虚拟机安装配置

    1. VMware

    1.1 VMware安装

    一台电脑本身是可以装多个操作系统的，但是做不到多个操作系统切换自如，所以我们需要一款软件帮助我们达到这个目的，不然数仓项目搭建不起来。
    推荐的软件为VMware，VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。
    以下是VMware Workstation Pro 16的下载安装步骤

    1.1.1 下载

    下载的官方网址：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html
    image.png
    下载完成后双击安装包开始安装
    image.png

    1.2 安装

    1.2.1欢迎界面

    安装向导1.png

    1.2.2 同意许可证

    安装向导2.png

    1.2.3 选择安装路径

    安装向导3.png

    1.2.4 用户体检计划

    每次开启虚拟机时，会提醒让你更新版本，建议两个都不勾
    安装向导4.png

    1.2.5 快捷方式

    建议勾选两个，安装后使用起来会比较方便
    安装向导5.png

    1.2.6 开始安装

    安装向导6.png

    1.2.7 等待安装完成

    等待进度条全部走完。

    1.2.8 安装完成

    输入许可证，激活VMware
    注：如果点击的是完成也没关系，后面还是输入许可证的。
    安装向导7.png

    1.2.9 输入许可证

    许可证可自行够买。
    在这里插入图片描述

    1.2.10 VMware安装完毕

    安装向导9.png

    1.2.11 快捷方式

    桌面上的快捷方式，双击图标就可以使用。

    2. CentOS7下载安装

    系统的安装得分两个步骤，第一步得配置一台电脑，选配CPU，内存，磁盘，网卡等硬件。第二步才是安装系统。

    2.1 配置电脑

    2.1.1 进入VMware

    双击VMware图标，打开VMware后看到如下界面：
    image.png
    点击"创建新的虚拟机"按钮进行新建虚拟机创建。

    2.1.2 自定义新的虚拟机

    选择自定义（高级）（C）选项，然后点击"下一步"。
    虚拟机1.png

    2.1.3 解决虚拟机的兼容性

    点击"下一步"。
    虚拟机2.png

    2.1.4 选择当前虚拟机的操作系统

    先配置电脑，再安装系统。选择"稍后安装操作系统（S）“后单击"下一步”。
    虚拟机3.png

    2.1.5 选择虚拟机将来需要安装的系统

    因为不同的操作系统需要解决不同的兼容性问题，所以需要选择将来用什么系统，提前做适配。选择"Linux(L)“，版本选择：CentOS 7 64位，然后单击"下一步”。
    虚拟机4.png

    2.1.6 命名虚拟机

    为虚拟机命名，并且修改存放物理机的目录，然后单击"下一步"。
    虚拟机5.png

    2.1.7 处理器配置

    虚拟机6.png
    原则就是可以选满（跟物理机的CPU个数相同，但是不能超过）
    1） 查看物理机CPU个数（Windows10为例）
    将鼠标移至下方任务栏，单击鼠标右键选择"任务管理器"，打开任务管理器后选择"性能"选项卡，如图：
    image.png
    点击"打开资源监视器"，在资源管理器中选择"CPU"，在右侧栏中拖动滚动条可以查看CPU个数，本机CPU从0~11总共12个。
    image.png
    2） 设置虚拟机处理器的数量
    设置处理器数量和内核数量尽量小于主机内核总数。

    在这里插入图片描述

    2.1.8 设置虚拟机的内存

    内存大小有一定要求，建议2G，不能给太多，后期会有多台虚拟机同时启动
    在这里插入图片描述

    2.1.9 选择虚拟机上网方式

    1） 选择NAT的方式
    虚拟机8.png

    2）安装VMware之后物理机的网络适配器信息（会多两个vmnet1和vmnet8）
    网络连接.jpg

    注：vmnet8是虚拟机使用NAT模式上网的网卡

    2.1.10 选择对应的文件系统的IO方式

    选择默认推荐的，点击"下一步"。
    虚拟机9.png

    2.1.11 选择磁盘的类型

    虚拟机10.png

    2.1.12 选择磁盘的种类

    虚拟机11.png

    2.1.13 选择虚拟机的磁盘大小

    虚拟机12.png

    2.1.14 虚拟机文件的存放位置

    虚拟机13.png

    2.1.15 电脑配置完毕

    点击"完成"，电脑配置完成。
    虚拟机14.png

    2.2 安装系统（CentOS7）

    在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开（大部分的电脑都是打开的，大家可以先尝试直接安装，如果出现错误再去调试，没有出错就不用管了）
    以下是查看虚拟机bios是否开启的方式
    （1）window10
    image.png
    （2）window7里面看不到（得去bios里面看）
    （3）如果发现bios虚拟化没有开启怎么办，重启电脑，在加载界面时按f1-f10,或者电脑旁边一个小洞，具体怎么进入得去查一下（按照自己电脑的型号去查）
    （4）修改虚拟化为开启（thinkpad为例）找到security 里面的VT并改成enabled

    注：如果虚拟化没有开启报的是以下错误：

    2.2.1 下载CentOS7

    1. Linux有很多种版本，我们选择使用：CentOS-7-x86_64-DVD-2009.iso 映像文件
    2. 官方地址：https://www.centos.org/image.png

    进入官网后点击"Download"按钮，进入下载页面：
    image.png
    选择"x86_64"进入镜像源文件的页面：
    centos官网.png
    官网提供了多种下载文件的镜像源地址，可以自行选择速度较快的镜像源进行下载，本文选用了重庆大学的镜像源地址：https://mirrors.cqu.edu.cn/CentOS/7.9.2009/isos/x86_64/
    在这里插入图片描述选择需要下载的版本，进行下载，文件较大，需要耐心等待，下载完成以后就可以进行安装了。

    2.2.2 选择CD/DVD的方式安装系统

    选择"使用ISO映像文件（M）"，点击"浏览"按钮，选择下载好的iso文件。
    虚拟机15.png

    点击"开启此虚拟机"，进行安装。
    虚拟机17.png

    2.2.3 系统安装引导界面

    需要将鼠标点击进入界面中，但是鼠标会消失，此刻使用键盘的上下键来控制选项，图标变白了表示当前选中的是哪个选项，然后敲回车，表示执行所选选项。
    注意：如果这个时候需要鼠标可以使用ctrl+alt一起按呼出鼠标。
    选择"Install CentOS 7"，然后点击回车键。
    虚拟机18(1).png
    （1）耐心等待它的安装
    虚拟机18(2).png
    （2）会自动跳转如下界面
    选择简体中文。
    虚拟机19.png

    2.2.4 需要定制化的内容

    日期和时间
    虚拟机20(1).png
    1）调整时间差

    2）安装GHOME（图形化界面的方式）注意图上标注的点击顺序

    3）配置磁盘分区

    （1）手动添加分区

    （2） 添加boot区 给上1G容量后点击添加挂载点


    （3）添加swap交换分区



    （4）配置根(/)目录

    根目录作为存储使用，将剩下的空间都给他（50 - 4 - 1）= 45

    3个分区都配置完毕过后可以点击完成

    （5）分区配置完毕，点击接受更改
    虚拟机21(6).png
    4）关闭kdump，节约内存

    5）修改主机名
    虚拟机22(1).png
    虚拟机22(2).png

    6）是否打开安全协议（开启与否都可以）

    7）开始安装

    8）安装时间比较长，大概需要10几分钟（设置root用户密码，一定要设置）
    虚拟机23(2).png
    密码设置成什么自己决定，但是不要忘。

    2.2.5 虚拟机的使用引导界面

    1） 安装完成 重启虚拟机

    2）进入引导界面（以下内容就按照图片走，就不做过多解释）







    虚拟机32.png
    虚拟机33.png

    安装完成

    2.2.6 切换root用户

    当前登录的用户是刚刚创建的用户，权限会缺少，所以使用root，修改一些内容更加方便

    1）切换root用户



    刚才的引导再来一遍（就不再放图片了）

    最后的用户变成root表示切换成功

    2.3 网络配置

    对安装好的VMware进行网络配置，方便虚拟机连接网络，本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

    2.3.1 编辑VMware的网络配置





    然后全部点击确定，VMware的网络配置就好了。

    2.3.2 Windows的网络配置

    以下以Window10为例
    1）找到






    按如上格式修改IP信息（地址，网关，DNS服务器），修改完毕后全部点击确定退出。

    2.4 虚拟机网络IP修改地址配置

    1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

    [root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33 

    • 1

    2）以下加粗的项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

    TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

    4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

    [root@hadoop100 ~]# systemctl restart network

    • 1

    5）使用ifconfig命令查看当前IP

    [root@hadoop100 ~]# ifconfig

    • 1


    6）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

    2.5 修改主机名和hosts文件

    1）修改主机名称

    [root@hadoop100 ~]# vim /etc/hostname
hadoop100

    • 1
    • 2

    2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

    [root@hadoop100 ~]# vim /etc/hosts

    • 1

    添加如下内容

    192.168.10.130 hadoop100
192.168.10.131 hadoop101
192.168.10.132 hadoop102
192.168.10.133 hadoop103
192.168.10.134 hadoop104
192.168.10.135 hadoop105
192.168.10.136 hadoop106
192.168.10.137 hadoop107
192.168.10.138 hadoop108

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    3）重启虚拟机hadoop100

    [root@hadoop100 ~]# reboot

    • 1

    4）修改windows的主机映射文件（hosts文件）
    （1）如果操作系统是window7，可以直接修改
    （a）进入C:\Windows\System32\drivers\etc路径
    （b）打开hosts文件并添加如下内容，然后保存

    192.168.10.130 hadoop100
192.168.10.131 hadoop101
192.168.10.132 hadoop102
192.168.10.133 hadoop103
192.168.10.134 hadoop104
192.168.10.135 hadoop105
192.168.10.136 hadoop106
192.168.10.137 hadoop107
192.168.10.138 hadoop108

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    （2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
    （a）进入C:\Windows\System32\drivers\etc路径
    （b）拷贝hosts文件到桌面
    （c）打开桌面hosts文件并添加如下内容

    192.168.10.130 hadoop100
192.168.10.131 hadoop101
192.168.10.132 hadoop102
192.168.10.133 hadoop103
192.168.10.134 hadoop104
192.168.10.135 hadoop105
192.168.10.136 hadoop106
192.168.10.137 hadoop107
192.168.10.138 hadoop108

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    （d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。

    2.6 检查网络配置

    配置完成后使用ping命令查看网络是否可以正常连接外部网络，以及主机与虚拟机之间网络是否通畅：

    ping www.baidu.com
ping 主机地址

    • 1
    • 2

    2.7 安装远程控制工具

    通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell，SecureCRT等，由于Xshell现在收费，我们使用MobaXterm免费版。
    MobaXterm官方下载网址：https://mobaxterm.mobatek.net/download.html。MobaXterm分了收费版和免费版，免费版就足够使用。
    在这里插入图片描述

    将下载好的压缩包解压后会得到
    在这里插入图片描述

    双击MobaXterm.exe就可以进行安装，根据需要选择安装路径。安装完成后桌面会出现图标：
    在这里插入图片描述

    双击图标打开远程控制工具进行使用：

    在这里插入图片描述

    在这里插入图片描述

    首次登录时需要输入用户名的密码，登录后的页面如下：
    在这里插入图片描述
    在这里插入图片描述

    MobaXterm自带了上传和下载文件的工具，并且展示了主机的目录结构，可以通过点击进行选择。

    2.8 配置模板机

    为了后期搭建集群时减少不必要的步骤，将hadoop100虚拟机作为模板机进行配置，配置要求如下：

    1. 安装epel-release

    Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数rpm包在官方 repository 中是找不到的）。注意：安装前需要保证网络的畅通。

    yum install -y epel-release

    • 1

    注意：
    如果Linux安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作：

    • net-tool：工具包集合，包含ifconfig等命令
    yum install -y net-tools

    • 1
    • vim：编辑器
    yum install -y vim

    • 1

    2. 关闭防火墙，关闭防火墙开机自启

    systemctl stop firewalld
systemctl disable firewalld.service

    • 1
    • 2

    注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

    3. 创建一个用户，并修改用户的密码

    useradd li
passwd xxxxxx

    • 1
    • 2

    4. 配置新用户具有root权限，方便后期加sudo执行root权限的命令

    vim /etc/sudoers

    • 1

    修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示：

    ## Allow root to run any commands anywhere
    root ALL=(ALL) ALL
    ## Allows people in group wheel to run all commands
    %wheel ALL=(ALL) ALL
    li ALL=(ALL) NOPASSWD:ALL

    注意：新用户这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了li具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以li要放到%wheel这行下面。

    5. 在/opt目录下创建文件夹，并修改所属主和所属组

    1. 在/opt目录下创建module、software文件夹
    [root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software

    • 1
    • 2
    1. 修改module、software文件夹的所有者和所属组均为li用户
    [root@hadoop100 ~]# chown li:li /opt/module 
[root@hadoop100 ~]# chown li:li /opt/software

    • 1
    • 2
    1. 查看module、software文件夹的所有者和所属组
    root@hadoop100 ~]# cd /opt/
[root@hadoop100 opt]# ll


    • 1
    • 2
    • 3

    6. 卸载虚拟机自带的JDK

    [root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

    • 1

    注意：如果你的虚拟机是最小化安装不需要执行这一步。

    • rpm -qa：查询所安装的所有rpm软件包
    • grep -i：忽略大小写
    • xargs -n1：表示每次只传递一个参数
    • rpm -e –nodeps：强制卸载软件

    7. 重启虚拟机

    [root@hadoop100 ~]# reboot

    • 1

    2.9 克隆虚拟机

    1. 利用模板机hadoop100，克隆四台虚拟机：hadoop101、hadoop102、 hadoop103、 hadoop104

    在菜单中选择"虚拟机"，“管理”，“克隆”。
    在这里插入图片描述

    注意：克隆时，要先关闭hadoop100
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    1. 克隆完成后修改克隆机的IP，以下以hadoop102举例说明

    启动hadoop102，修改IP地址，配置网络

    [root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

    • 1

    修改成：

    YPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="39ae2502-0908-4bd7-ab6d-e9f016dbcdfd"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.10.132
GATEWAY=192.168.10.2      
DNS1=192.168.10.2
PREFIX=24

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    注意：保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

    1. 修改克隆机主机名，以下以hadoop102举例说明

    修改主机名称

    [root@hadoop100 ~]# vim /etc/hostname
hadoop102

    • 1
    • 2

    配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

    [root@hadoop100 ~]# vim /etc/hosts
/etc/.hosts.swp"

    • 1
    • 2

    添加如下内容：

    192.168.10.130 hadoop100
192.168.10.131 hadoop101
192.168.10.132 hadoop102
192.168.10.133 hadoop103
192.168.10.134 hadoop104
192.168.10.135 hadoop105
192.168.10.136 hadoop106
192.168.10.137 hadoop107
192.168.10.138 hadoop108

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    1. 重启克隆机hadoop102
    root@hadoop100 ~]# reboot

    • 1

    其他机器也需要做如上配置，因为每台虚拟机的ip地址和主机名称都不一样。参考hadoop102对其他机器进行配置。

  • 相关阅读:
    JSP中page指令的import命令具有什么功能呢？
    MySQL数据库入门到精通3--进阶篇(存储引擎，索引)
    GitHub上线重量级分布式架构原理设计笔记，开源的东西看着就是爽
    vscode搭建Django自带后台管理系统
    【Aseprite】2D像素人物制作
    JavaScript_与html结合方式
    拼多多自动浏览商品
    Day9 ：面向对象进阶
    DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
    2022-08-30 第五组 张明敏 学习笔记
  • 原文地址：https://blog.csdn.net/shield911/article/details/126850442