• Hadoop搭建————搭建前的准备


    一 、搭建前提

    虚拟机建立Linux CentOS 7
    可参考博客:https://blog.csdn.net/weixin_45942827/article/details/108666928

    二、配置IP

    配置WMware网络

    1、选则VMware的编辑,单机虚拟网络编辑器。
    在这里插入图片描述
    2、点击 “更改设置”
    在这里插入图片描述
    3、选择VMnet8,并配置IP和子网掩码(IP是自定义的)在这里插入图片描述
    4、点击 “NAT设置”,设置网关,一定要与IP的一样,修改完毕点击 “确认”
    在这里插入图片描述
    在这里插入图片描述

    配置Window 10的网络

    1、打开网络适配器,找到WMnet8并右击,单击选择 “属性”
    选择在这里插入图片描述
    2、选则 “Internet 协议版本4(TCP/IPv4)”,点击 “使用下面的IP地址”,并输入对应的信息,确认无误之后一路 “确认”即可。

    在这里插入图片描述
    在这里插入图片描述

    配置虚拟机内的IP

    1、打开虚拟机之后,打开 “终端”,并输入以下代码,并按Enter键

    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
    • 1

    在这里插入图片描述
    2、进来之后按“i”进入插入模式,更改 BOOTPROTO="dhcp"为BOOTPROTO="static”(dhcp的话是动态获取IP,改为static便是静态,IP不会变)
    在这里插入图片描述

    3、添加IP、子网掩码、网关、DNS,更爱后如图所示。
    编辑结束后,按Esc键进入末行模式,输入:wq命令,然后按Enter键,保存代码并退出。

    在这里插入图片描述

    补充命令

    1、修改主机名

    vim /etc/hostname
    
    • 1

    2、修改自己所用节点的IP映射

    vim /etc/hosts
    
    
    192.168.40.100 master
    192.168.40.101 slave1
    192.168.40.102 slave2
    192.168.40.103 slave3
    192.168.40.104 slave4
    192.168.40.105 slave5
    192.168.40.106 slave6
    192.168.40.107 slave7
    192.168.40.108 slave8
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    在这里插入图片描述

    3、重启电脑, 在命令行输入 reboot 并回车;
    4、查看IP 在命令行输入 ifconfig 并回车;
    在这里插入图片描述

    三、Hadoop运行环境搭配

    虚拟机环境准备

    1、查看是否能连接外网

    ping www.baidu.com
    
    • 1

    在这里插入图片描述
    2、安装epel-release软件包
    EPEL (Extra Packages for Enterprise Linux)是基于Fedora的一个项目,为“红帽系”的操作系统提供额外的软件包,我们在Centos下使用yum安装时往往找不到rpm的情况,官方的rpm repository提供的rpm包也不够丰富,很多时候需要自己编译很痛苦,而EPEL恰恰可以解决这两方面的问题。装上了 EPEL之后,就相当于添加了一个第三方源。

    yum install -y epel-release
    
    • 1

    在这里插入图片描述
    如果出现进程被占用的情况需要关闭进程

    kill -9 进程号
    
    • 1

    == 注意如果Linuxan安装的是最小系统版,需要安装如下工具,如果安装的是Linux桌面标准版,不需要执行如下操作 ==
    net-tool:工具包集合,包含ifconfig等命令

    yum install -y net-tools
    
    • 1

    vim:编辑器

    yum install -y vim
    
    • 1

    3、关闭防火墙

    # 临时关闭防火墙
    systemctl stop firewalld
    # 永久关闭防火墙
    systemctl disable firewalld.service
    # 查看防火墙状态  出现  inactive (dead) 的字样表示关闭;active (running)表示开启
    systemctl status firewalld.service
    # 临时开启防火墙
    systemctl start firewalld
    # 永久开启防火墙
    systemctl enable firewalld
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    4、卸载虚拟机自带的JDK

    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
    
    • 1
    • rpm -qa:查询所安装的所有rpm软件包
    • grep -i:忽略大小写
    • xarge -n1:表示每次只能传递一个参数
    • rpm -e -nodeps:强制卸载软件
      在这里插入图片描述
      5、重启虚拟机
    reboot 
    
    • 1

    克隆虚拟机

    1、关闭虚拟机,右击需要关机的虚拟机,单机 “电源”,之后单机 “关闭客户机”

    在这里插入图片描述
    2、虚拟机关闭之后,右击需要克隆的虚拟机,单机 “管理”,之后单机 “克隆”
    在这里插入图片描述
    3、然后就是连续两个 “下一页”(记得是两个哦,第三个要停住)

    在这里插入图片描述
    在这里插入图片描述
    4、这里要选择 “创建完整克隆” ,然后点下一页
    在这里插入图片描述
    5、这里填好“虚拟机名称”和“位置”,点击“完成”,等待一下,单击关闭即可
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    == 这里需要克隆三台虚拟机,重读三次操作就行哦(我这里三台虚拟机分别是slave2、slave3、slave4) ==
    在这里插入图片描述
    6、进入root用户,密码都是和被克隆的虚拟机是一样的。(三台虚拟机都要进行)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    7、设置对应的IP(三台虚拟机都需要修改,IP需要和之前的映射对应)

     vim /etc/sysconfig/network-scripts/ifcfg-ens33
    
    • 1

    在这里插入图片描述
    7、设置对应的名称(三台虚拟机都需要修改,名称需要和之前的映射对应)

    vim /etc/hostname
    
    • 1

    在这里插入图片描述
    8、重启三台虚拟机 reboot

    9、检验查看各个虚拟机的 IP 以及 名字

    # ip
    ifconfig
    #名字
    hostname
    #是否能连接外网
    ping www.baidu.com
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    在slave2上面安装JDK

    == 这里只在slave2上面进行,是因为slave2安装的内容可以拷贝到slave3和slave4上 ==
    1、卸载现有的JDK(上文有解释,这里只放了个代码)

    rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
    
    • 1

    2、进入 opt 目录,新建目录 software 、module 并进入software目录

    cd /opt/
    
    mkdir software   #存放安装包
    mkdir module     #存放解压后的文件
    
    cd software/
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    3、打开xftp ,把本地的JDK和Hadoop包传到虚拟机中,并查看是否上传成功
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    4、解压JDK到指定位置 /opt/model/

    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
    
    • 1

    在这里插入图片描述
    5、回到上一级 /opt/ ,进入 /model/ 中,查看 /model/ 中的内容,并进入JDK

    在这里插入图片描述
    6、配置JDK环境变量,进入/etc/profile,在末尾加上代码块,保存并退出

     vim /etc/profile
    
    • 1
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin
    
    • 1
    • 2
    • 3

    在这里插入图片描述
    7、使环境变量生效,并检验是否配置成功

     source  /etc/profile
     
     java -version
    
    • 1
    • 2
    • 3

    在这里插入图片描述

    在slave2上面安装Hadoop

    1、进入 opt/software 目录

    cd /opt/software/
    
    • 1

    在这里插入图片描述

    2、解压Hadoop到指定位置 /opt/model/

    tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
    
    • 1

    在这里插入图片描述
    3、回到上一级 /opt/ ,进入 /model/ 中,查看 /model/ 中的内容,并进入hadoop
    在这里插入图片描述
    4、配置JDK环境变量,进入/etc/profile,在末尾加上代码块,保存并退出

     vim /etc/profile
    
    • 1
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    
    • 1
    • 2

    在这里插入图片描述
    5、使环境变量生效,并检验是否配置成功

    source  /etc/profile
     
    hadoop
    
    • 1
    • 2
    • 3

    在这里插入图片描述

    常⽤快捷键

    Ctrl L 清屏
    Ctrl U光标之前全部删除
    Ctrl K 光标之后全部删除
    Ctrl A 光标移动到⾏⾸
    Ctrl E 光标移动到⾏尾
    Ctrl C 取消 中断
    Ctrl Z 暂停进程(fg命令恢复)jobs打印后台暂停的⼯作
    Ctrl S 锁定屏幕(Ctrl Q命令恢复)
    TAB: 完整的把⽂件名输⼊到命令⾏。

  • 相关阅读:
    稳定性实践:全链路跟踪系统,技术运营能力的体现
    unable to boot the simulator. domain nsposixerrordomain code 4
    封装MyBatis输出结果-简单类型,对象类型,map,resulemap,模糊查询
    汇编语言实验1:汇编语言环境的搭建与使用
    centos7搭建maven私服nexus
    18.Raising and Lower Indexs
    满足你甜食需求的葡萄酒是怎样的?
    青岛大学数据结构与算法——第2章
    对象存储基本知识
    LyScript 获取上一条与下一条指令
  • 原文地址:https://blog.csdn.net/weixin_45942827/article/details/125402841