• Windows下hadoop单点部署


    前期准备

    电脑安装java8以上的版本
    下载hadoop压缩包,演示选用hadoop-2.7.3,解压到本地路径下

    更改环境变量

    在系统变量的Path中添加%HADOOP_HOME%\bin%JAVA_HOME%\bin
    如图,新建两个系统变量
    在这里插入图片描述

    更改hadoop配置文件

    进入hadoop-2.7.3/etc/hadoop文件夹
    hadoop-env.cmd
    更改java路径,如果在Program File下,将Program File改成PROGRA~1

    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_121
    
    • 1

    core-site.xml

    <configuration>
    	<property>
        <name>fs.defaultFSname>
        <value>hdfs://localhost:9000value>   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    mapred-site.xml
    mapred-site.xml.templatetemplate后缀删除
    hdfs-site.xml
    先创建两个文件夹namenodedatanodenamenode文件夹用来存放hadoop的名称节点namenode里的metadatadatanode用来存放HDFS文件系统数据文件的目录。

    <configuration>
    	<property>       
    	<name>dfs.replicationname>       
    	<value>1value>   
    	property>   
    	<property>       
    	<name>dfs.namenode.name.dirname>       
    	<value>/H:/hadoop/hadoop-2.7.3/namenodevalue>//路径为你的namenode存放路径   
    	property>   
    	<property>       
    	<name>dfs.datanode.data.dirname>     
    	<value>/E://hadoop/hadoop-2.7.3/datanodevalue>//路径为你的datanode存放路径   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    yarn-site.xml

    <configuration>   
    	<property>       
    	<name>yarn.nodemanager.aux-servicesname>       
    	<value>mapreduce_shufflevalue>   
    	property>   
    	<property>       
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>       
    	<value>org.apache.hadoop.mapred.ShuffleHandlervalue>   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    启动hadoop

    进入Hadoop-2.7.3的bin文件夹下,输入hdfs namenode -format执行到如下图所示
    在这里插入图片描述
    然后转到Hadoop-2.7.3的sbin文件夹下,输入./start-all.cmd,启动hadoop服务,等待他启动完成。
    在这里插入图片描述

    完成之后,输入jps可以查看运行的所有服务 (前提是java路径设置正确)
    在这里插入图片描述

  • 相关阅读:
    如何在Go中使用变量和常量
    IP数据包分片理解
    Js运算符
    CSDN 编程竞赛第五期题解
    吃货联盟订餐系统(用对象和数组来写的)
    Kafka 消息队列 ( 四 ) 复杂应用
    项目二---04.基于Nginx、keepalived的高可用集群之Apache Bench测试
    怎么制作流程图?介绍制作方法
    springboot+rocketmq(5):实现批量消息
    推荐几个好用的redis可视化工具
  • 原文地址:https://blog.csdn.net/weixin_47726676/article/details/126507727