码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hadoop运行环境搭建(开发重点四)在hadoop102安装hadoop、配置hadoop环境变量、测试Hadoop是否安装成功、hadoop重要目录


    2.Hadoop运行环境搭建(开发重点)

    2.4在hadoop102安装Hadoop

    2.4.1用Xftp传输工具将JDK导入到opt目录下面的software文件夹下面

    在这里插入图片描述
    点这个

    在这里插入图片描述
    将这两个包拖到/opt/software文件下

    下面是这个包
    链接:https://pan.baidu.com/s/1LO-jFODTQOlOF2gPvey4bg?pwd=fe5h
    提取码:fe5h

    2.4.2在Linux系统下的opt目录中查看软件包是否导入成功

    在这里插入图片描述

    然后再software下可以看到有这两个包了

    2.4.3解压Hadoop到/opt/module目录下

    • [summer@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

    在这里插入图片描述

    在这里插入图片描述

    2.4.4配置Hadoop环境变量

    先进入安装的Hadoop中
    在这里插入图片描述
    在这里插入图片描述

    将目录复制下来后面会用,以防手打出错
    /opt/module/hadoop-3.1.3

    本来是在/etc/profile里配置的,后来发现这条语句
    在这里插入图片描述

    是profile.d的所有.sh后缀的文件全局生效,因此在profile.d下新建一个文件来配置Hadoop
    先到这个文件下

    • [summer@hadoop102 hadoop-3.1.3]$ cd /etc/profile.d

    在这里插入图片描述

    系统启动的时候就会加载这里面的文件
    新建一个文件,名字自己取

    • [summer@hadoop102 profile.d]$ sudo vim my_env_hadoop-3.1.3.sh

    在这里插入图片描述

    在这里插入图片描述

    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-3.1.3
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
    
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    2.4.5测试Hadoop是否安装成功

    在这里插入图片描述

    配置好后需要source一下,重新加载一下内容

    • [summer@hadoop102 profile.d]$ source /etc/profile

    在这里插入图片描述

    2.4.6重启(如果Hadoop命令不能用再重启虚拟机)

    • [summer@hadoop102 profile.d]$ sudo reboot

    2.5Hadoop目录结构

    2.5.1查看Hadoop目录结构

    在这里插入图片描述

    2.5.2hadoop重要目录

    (1)bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本
    (2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
    (3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
    (4)sbin目录:存放启动或停止Hadoop相关服务的脚本
    (5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

    bin、etc、sbin是经常使用的

  • 相关阅读:
    新型基础测绘与实景三维中国建设技术文件【2】基础地理实体分类、粒度及精度基本要求
    Ubuntu卸载或重置防火墙规则
    sql注入information_schema代替,无列名注入之[SWPU2019]Web11
    图解LeetCode——1422. 分割字符串的最大得分(难度:简单)
    CAA的VS Studio安装
    Java核心技术卷Ⅰ-第一章Java程序设计概述
    手把手教你解决循环依赖,一步一步地来窥探出三级缓存的奥秘
    Nginx可用参数
    论文写作——结论的内容和类型
    Matlab2022b软件如何切换中/英文界面?
  • 原文地址:https://blog.csdn.net/Redamancy06/article/details/126111760
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号