码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Windows下的Hadoop(个人附加,有需要的看看,当个参考)


     一、解压Hadoop安装包

    在D盘创建一个文件夹,将Hadoop解压到该文件夹内,本人的是HadoopWindowsEclipse内

    二、添加系统环境变量

    1. Hadoop环境变量:
    2. 变量名:HADOOP_HOME 变量值:D:\HadoopWindowsEclipse\hadoop-2.10.2 注:自己Hadoop的地址
    3. 变量名:HADOOP_USER_NAME 变量值:root

    三、Hadoop的Windows安装
    1.进入D:\HadoopWindowsEclipse\hadoop-2.10.2\etc\hadoop中找到以下几个文件用文本编辑器打开
    2.打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存

    1. <configuration>
    2.     <property>
    3.     <name>fs.defaultFSname>
    4.     <value>hdfs://localhost:9000value>   
    5.     property>
    6. configuration>

    3.打开 hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存

    1. <configuration>   
    2.     <property>       
    3.     <name>mapreduce.framework.namename>       
    4.     <value>yarnvalue>   
    5.     property>
    6. configuration>

    4.打开 hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存

    在hadoop-2.10.2文件夹内创建两个文件夹namenode;datanode

    1. <configuration>
    2.     <property>       
    3.     <name>dfs.replicationname>       
    4.     <value>1value>   
    5.     property>   
    6.     <property>       
    7.     <name>dfs.namenode.name.dirname>       
    8.     <value>/D:/HadoopWindowsEclipse/hadoop-2.10.2/namenodevalue>  
    9.     property>   
    10.     <property>       
    11.     <name>dfs.datanode.data.dirname>     
    12.     <value>/D:/HadoopWindowsEclipse/hadoop-2.10.2/datanodevalue> 
    13.     property>
    14. configuration>

    4.打开 hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存

    1. <configuration>   
    2.     <property>       
    3.     <name>yarn.nodemanager.aux-servicesname>       
    4.     <value>mapreduce_shufflevalue>   
    5.     property>   
    6.     <property>       
    7.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>       
    8.     <value>org.apache.hadoop.mapred.ShuffleHandlervalue>   
    9.     property>
    10. configuration>

    四、启动Hadoop服务
    1、以管理员身份打开命令提示符到Hadoop-2.7.3\bin下,输入hdfs namenode -format执行到如下图所示 格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

    2、然后转到Hadoop-2.7.3\sbin下,输入start-all.cmd,启动hadoop服务,等待他启动完成。
    完成之后,输入jps可以查看运行的所有服务 ,显示的就是正在运行的,确保以上服务全部都启动了!

  • 相关阅读:
    基于指数积的串联机构运动学标定
    在pandas中使用query替代loc进行高效简洁的条件筛选
    JavaScript 验证 API
    【C++】多态 ④ ( 多态实现原理 | C++ 联编概念 | 链接属性 | 内部链接 | 外部链接 | 联编与链接 | 静态联编 | 动态联编 | 联编 与 virtual 关键字 )
    【Python爬虫原理与基本请求库urllib详解】
    07 _ 链表(下):如何轻松写出正确的链表代码?
    图像处理之matlab中imnoise函数用法详解
    如何在生产环境中安装jdk+监控关键字错误日志脚本
    part_two:多媒体软硬件平台技术
    计算机毕业设计——基于html汽车商城网站页面设计与实现论文源码ppt(35页) HTML+CSS+JavaScript
  • 原文地址:https://blog.csdn.net/qq_62845367/article/details/127803644
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号