• Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录


    2.Hadoop运行环境搭建(开发重点)

    2.4在hadoop102安装Hadoop

    2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面

    在这里插入图片描述
    点这个

    在这里插入图片描述
    将这两个包拖到/opt/software文件下

    下面是这个包
    链接:https://pan.baidu.com/s/1LO-jFODTQOlOF2gPvey4bg?pwd=fe5h
    提取码:fe5h

    2.4.2在Linux系统下的opt目录中查看软件包是否导入成功

    在这里插入图片描述

    然后再software下可以看到有这两个包了

    2.4.3解压Hadoop到/opt/module目录下

    • [summer@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

    在这里插入图片描述

    在这里插入图片描述

    2.4.4配置Hadoop环境变量

    先进入安装的Hadoop中
    在这里插入图片描述
    在这里插入图片描述

    将目录复制下来后面会用,以防手打出错
    /opt/module/hadoop-3.1.3

    本来是在/etc/profile里配置的,后来发现这条语句
    在这里插入图片描述

    是profile.d的所有.sh后缀的文件全局生效,因此在profile.d下新建一个文件来配置Hadoop
    先到这个文件下

    • [summer@hadoop102 hadoop-3.1.3]$ cd /etc/profile.d

    在这里插入图片描述

    系统启动的时候就会加载这里面的文件
    新建一个文件,名字自己取

    • [summer@hadoop102 profile.d]$ sudo vim my_env_hadoop-3.1.3.sh

    在这里插入图片描述

    在这里插入图片描述

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    2.4.5测试Hadoop是否安装成功

    在这里插入图片描述

    配置好后需要source一下,重新加载一下内容

    • [summer@hadoop102 profile.d]$ source /etc/profile

    在这里插入图片描述

    2.4.6重启(如果Hadoop命令不能用再重启虚拟机)

    • [summer@hadoop102 profile.d]$ sudo reboot

    2.5Hadoop目录结构

    2.5.1查看Hadoop目录结构

    在这里插入图片描述

    2.5.2hadoop重要目录

    (1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
    (2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
    (3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
    (4)sbin目录:存放启动或停止Hadoop相关服务的脚本
    (5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

    bin、etc、sbin是经常使用的

  • 相关阅读:
    SIT3485E:3.0V~5.5V 供电,12Mbps 半双工 RS485/RS422 收发器
    Mybatis与Mybatis-Plus(注解与Xml)(单表与多表)
    Pr:与 Ps、Ae、Au 的协同编辑
    单调队列优化DP 上 day46
    ESP8266-Arduino编程实例-HDC2080温湿度传感器驱动
    [附源码]计算机毕业设计springboot个人博客系统
    webpack提升开发体验之SourceMap
    Spring Boot拦截器(Interceptor)详解
    打破数据孤岛,开启新篇章
    FastAdmin 列表多选后批量操作数据
  • 原文地址:https://blog.csdn.net/Redamancy06/article/details/126111760