• 在Windows 10上安装单机版的hadoop-3.3.5

    1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下，开发分布式程序。充分利用集群进行高速运算和存储。

    2、下载Hadoop，我们在清华大学的镜像站下载

    Index of /apache/hadoop/core/hadoop-3.3.6 (tsinghua.edu.cn)

    3、下载之后解压缩

    ​4、安装相应的环境

    4.1、jdk1.8或者jdk11，

    4.2、配置hadoop环境

    ​

    ​

    5、修改hadoop配置

    5.1、修改start-all.cmd中的配置

    1. @rem start hdfs daemons if hdfs is present
    2. if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (
    3.   call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
    4. )
    5.  
    6. @rem start yarn daemons if yarn is present
    7. if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (
    8.   call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
    9. )

    5.2、修改yarn-site.xml

    1. <configuration>
    2.  
    3. <!-- Site specific YARN configuration properties -->
    4.  <property>
    5.         <name>yarn.nodemanager.aux-services</name>
    6.         <value>mapreduce_shuffle</value>
    7.     </property>
    8.     <property>
    9.         <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    10.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    11.     </property>
    12.     <property>
    13.         <name>yarn.resourcemanager.hostname</name>
    14.         <value>localhost</value>
    15.     </property>
    16. </configuration>

    5.3、mapred-site.xml

    1. <configuration>
    2.  <property>
    3.        <name>mapreduce.framework.name</name>
    4.        <value>yarn</value>
    5.     </property>
    6. </configuration>

    5.4、hdfs-site.xml

    1. <configuration>
    2. 	<property>
    3.         <name>dfs.replication</name>
    4.         <value>1</value>
    5.     </property>
    6.     <property>
    7.         <name>dfs.namenode.name.dir</name>
    8.         <value>/D:/bigdata/hadoop/data/namenode</value> //注意前面部分路径修改为自己的
    9.     </property>
    10.     <property>
    11.         <name>dfs.datanode.data.dir</name>
    12.         <value>/D:/bigdata/hadoop/data/datanode</value> //注意前面部分路径修改为自己的
    13.     </property>
    14. 	<property>
    15. 	   <name>dfs.permissions.enabled</name>
    16. 	   <value>false</value>
    17. 	</property>
    18. </configuration>

    5.5、core-site.xml

    1. <configuration>
    2. 	<property>
    3.         <name>hadoop.tmp.dir</name>
    4.         <value>/D:/bigdata/hadoop/data/tmp</value> //注意前面部分路径修改为自己的
    5.     </property>
    6.     <property>
    7.         <name>fs.defaultFS</name>
    8.         <value>hdfs://localhost:9000</value>
    9.     </property>
    10. 	<property>
    11.         <name>hadoop.http.authentication.simple.anonymous.allowed</name>
    12.         <value>true</value>
    13.     </property>
    14. </configuration>

    5.6、需要拷贝winutils下的winutils.exe，hadoop.dll到hadoop的bin下面

    在/ect/hadoop/hadoop-env.cmd中设置set JAVA_HOME=D:/Java/jdk1.8.0_311，jdk的环境地址

    修改start-yarn.cmd的配置

    1. setlocal enabledelayedexpansion
    2.  
    3. echo starting yarn daemons
    4.  
    5. if not defined HADOOP_BIN_PATH ( 
    6.   rem set HADOOP_BIN_PATH=%~dp0
    7.   set HADOOP_BIN_PATH=%HADOOP_HOME%\bin
    8. )
    9.  
    10. if "%HADOOP_BIN_PATH:~-1%" == "\" (
    11.   set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1%
    12. )
    13.  
    14. set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec
    15. if not defined HADOOP_LIBEXEC_DIR (
    16.   set HADOOP_LIBEXEC_DIR=%DEFAULT_LIBEXEC_DIR%
    17. )
    18.  
    19. call %HADOOP_LIBEXEC_DIR%\yarn-config.cmd %*
    20. if "%1" == "--config" (
    21.   shift
    22.   shift
    23. )
    24.  
    25. @rem start resourceManager
    26. start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn resourcemanager
    27. @rem start nodeManager
    28. start "Apache Hadoop Distribution" %HADOOP_HOME%\bin\yarn nodemanager
    29. @rem start proxyserver
    30. @rem start "Apache Hadoop Distribution" %HADOOP_HOME%\yarn proxyserver
    31.  
    32. endlocal

    5.7、输入hdfs namenode -format格式化

    hdfs namenode -format

    5.8、进入hadoop/sbin目录执行start-all.cmd

    1. D:\bigdata\hadoop\sbin>start-all.cmd
    2. This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
    3. starting yarn daemons

    5.9、jps查看

    1. D:\bigdata\hadoop\sbin>jps
    2. 8448 Jps
    3. 28360 NameNode
    4. 29592 ResourceManager
    5. 18108 NodeManager
    6. 20940 DataNode

    5.10、启动成功后界面

    http://localhost:8088/cluster

    http://localhost:9870/

    单机版的hadoop就启动成功

  • 相关阅读:
    第十一周内容回顾
    数据结构之散列表
    Python爬虫之Scrapy框架（CrawlSpider的简单使用）
    python——上下文管理器with
    使用Spring的StopWatch类优雅打印方法执行耗时
    ArcGIS API for JavaScript 4.x 实现动态脉冲效果
    剑指offer常见题 - 二叉树问题（三）
    【STM32】FSMC—扩展外部 SRAM 初步使用 1
    ARM KEIL流程_job
    maltose-BSA 麦芽糖-牛血清白蛋白 BSA-PEG-maltose,牛血清白蛋白-PEG-麦芽糖
  • 原文地址：https://blog.csdn.net/itorac/article/details/134299995