• Hadoop下载与安装


    安装Hadoop

    介绍:Hadoop是一个开源软件框架,用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储,巨大的处理能力以及处理几乎无限的并发任务或作业的能力。

    https://blog.csdn.net/tototuzuoquan/article/details/79954234 (安装教程)

    第一步:前期需要准备的材料:

    ① Hadoop-3.0.0下载
    从http://archive.apache.org/dist/hadoop/core/下载Hadoop-3.0.0,下载二进制压缩包文件:hadoop-3.0.0.tar.gz

    (https://blog.csdn.net/mr_yuntuo/article/details/90728174)

    ② 下载hadoop在windows环境下支持包hadoopwindows-master.
    https://github.com/sardetushar/hadooponwindows

    ③ 下载hadoop的hadoop.dll和winutils.exe
    https://github.com/4ttty/winutils

    第二步:安装包及环境变量配置

    ①解压hadoop-3.0.0安装包到本地路径

    ②将hadoop.dll和winutils.exe两个文件放入到/hadoop-3.0.0/bin目录下
    在这里插入图片描述
    ③配置hadoop环境变量:
    在这里插入图片描述
    ⑤ 添加path属性,将;%HADOOP_HOME%in;添加到path环境变量中
    在这里插入图片描述
    ⑥ 验证hadoop环境,在windows控制台输入: hadoop version

    出错: 在这里插入图片描述
    解决:系统变量里查看JAVA_HOME,发现路径是C:Program Files,其中包含了空格,因此hadoop报错。所以要把JDK移动到另一个不包含空格名称的文件夹下,例如C:Javajdk1.8.0_201

    在这里插入图片描述
    第三步:修改hadoop配置文件
    文件位置:hadoop-3.0.0etchadoopXXX

    1.配置core-site.xml

    
        
           fs.default.name
           hdfs://localhost:9000
       
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    2.配置hdfs-site.xml

    
          
        
            dfs.replication
            1
        
        
         dfs.permissions
         false
      
       
           dfs.namenode.name.dir
           /D:/Installed/hadoop-3.0.0/data/namenode
       
       
            fs.checkpoint.dir
            /D:/Installed/hadoop-3.0.0/data/snn
        
        
            fs.checkpoint.edits.dir
            /D:/Installed/hadoop-3.0.0/data/snn
        
           
           dfs.datanode.data.dir
           /D:/Installed/hadoop-3.0.0/data/datanode
       
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27

    3.配置mapred-site.xml

    
        
           mapreduce.framework.name
           yarn
       
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    4.配置yarn-site.xml

      
      
          
            yarn.nodemanager.aux-services  
            mapreduce_shuffle  
         
         
             yarn.nodemanager.auxservices.mapreduce.shuffle.class    
            org.apache.hadoop.mapred.ShuffleHandler  
         
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    5.运行hadoop

    以管理员方式打开cmd,运行hadoop:

    cd D:javahadoop-3.0.0in
    hadoop namenode –format

    在这里插入图片描述

  • 相关阅读:
    对中台的探索与思考
    touchGFX综合学习八、touchGFX在其他线程直接更新控件(不使用邮箱、队列、信号量等IPC)
    409. 最长回文串
    多线程(四) | 聊聊Callable和Future
    SSM基于WEB的房屋出租管理系统 毕业设计-附源码261620
    ubuntu系统开启ssh用户名密码登录
    Ceph块存储
    centos7安装mysql5.7步骤(图解版)
    .NET 托管vs非托管
    采用Spring Boot框架开发的医院预约挂号系统3e3g0+vue+java
  • 原文地址:https://blog.csdn.net/m0_67392010/article/details/126367076