• Hadoop运行模式

    目录

     一、本地运行模式

     二、完全分布式运行模式

    1、编写集群分发脚本xsync

    2、SSH无密登录配置

    输入ssh hadoop102实现无密码直接进入

    3、集群配置

    4、群起集群并测试

    Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

    Hadoop官方网站：Apache Hadoop

     一、本地运行模式

     官方Grep案例

    1. 创建在hadoop-2.7.2文件下面创建一个input文件夹

     mkdir input

    2. 将Hadoop的xml配置文件复制到input

     cp etc/hadoop/*.xml input

    3. 执行share目录下的MapReduce程序

     bin/hadoop jar

    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

    4. 查看输出结果

    cat output/*

     二、完全分布式运行模式

    1、编写集群分发脚本xsync

    将三台服务器都放入hadoop和jdk

    hadoop103删除文件 hadoop102通过rsync同步数据

    （第一次拷贝推荐用scp，之后用sync）

    1. cd /opt/module/
    2. 将本地文件推发送给局域网服务器
    3. scp -r jdk1.8.0_212/ root@hadoop103:/opt/module/
    4.  
    5. 输入yes
    6. 输入密码
    7.  
    8. 拉取局域网的文件
    9. scp -r root@hadoop102:/opt/module/hadoop-3.1.3 ./
    10. 将102服务器的工具拷贝到104
    11.  scp -r root@hadoop102:/opt/module/* root@hadoop104:/opt/module/
    1.  
    2. rm -rf wcinput
    3.  
    4.  
    5.  rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

    创建脚本并执行，然后输入其他两个服务器的密码

    1. cd /usr/local/
    2.  
    3. mkdir bin
    4.  
    5. vim xsync
    6.  
    7.  
    8. #!/bin/bash
    9. #1 获取输入参数个数，如果没有参数，直接退出
    10. pcount=$#
    11. if((pcount==0)); then
    12. echo no args;
    13. exit;
    14. fi
    15.  
    16. #2 获取文件名称
    17. p1=$1
    18. fname=`basename $p1`
    19. echo fname=$fname
    20.  
    21. #3 获取上级目录到绝对路径
    22. pdir=`cd -P $(dirname $p1); pwd`
    23. echo pdir=$pdir
    24.  
    25. #4 获取当前用户名称
    26. user=`whoami`
    27.  
    28. #5 循环
    29. for((host=103; host<105; host++)); do
    30.         echo ------------------- hadoop$host --------------
    31.         rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
    32. done
    33.  
    34.  
    35.  
    36. xsync /usr/local/bin

    配置环境变量

    1. 102服务器
    2.  
    3. xsync /etc/profile.d/my_env.sh
    4.  
    5. 103服务器、104服务器都执行
    6.  
    7. source /etc/profile

    2、SSH无密登录配置

     ① 进入用户目录，输入   ls -al查看隐藏目录，如果没有ssh文件 连接自己建立ssh文件

    如果是root用户，输入 cd

    ll -al可以看到.ssh文件

    ssh localhost

    ②跟103和104建立连接，实现免密登录

    1. cd .ssh/
    2. 按三下enter,建立自己的密钥
    3. ssh-keygen -t rsa
    4.  
    5.  
    6. ssh-copy-id hadoop102
    7.  
    8. ssh-copy-id hadoop103
    9.  
    10. ssh-copy-id hadoop104
    11.

    输入ssh hadoop102实现无密码直接进入

    进入103、104重新执行一下上述操作

    3、集群配置

    1.  vim core-site.xml
    2.  
    3.  
    4. <!-- 指定HDFS中NameNode的地址 -->
    5.  <property>
    6.         <name>fs.defaultFS</name>
    7.         <value>hdfs://hadoop102:8020</value>
    8. </property>
    9. <!-- 指定Hadoop运行时产生文件的存储目录 -->
    10.  <property>
    11.         <name>hadoop.tmp.dir</name>
    12.         <value>/opt/module/hadoop-3.1.3/data</value>
    13.  </property>
    14.  
    15.  
    16.  
    17.  
    18. vi hdfs-site.xml
    19.  
    20. <property>
    21.       <name>dfs.namenode.http-address</name>
    22.       <value>hadoop102:9870</value>
    23. </property>
    24. <property>
    25.       <name>dfs.namenode.secondary.http-address</name>
    26.       <value>hadoop104:9868</value>
    27. </property>
    28.  
    29.  
    30. vim yarn-site.xml
    31.  
    32. <!-- Reducer获取数据的方式 -->
    33. <property>
    34.                 <name>yarn.nodemanager.aux-services</name>
    35.                 <value>mapreduce_shuffle</value>
    36. </property>
    37. <!-- 指定YARN的ResourceManager的地址 -->
    38. <property>
    39.                 <name>yarn.resourcemanager.hostname</name>
    40.                 <value>hadoop103</value>
    41. </property>
    42.  
    43.   <property>
    44.  
    45.     <name>yarn.nodemanager.env-whitelist</name>
    46.     <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    47.   </property>
    48.  
    49.  
    50. vim mapred-site.xml
    51.  
    52.  
    53. <!-- 指定MR运行在Yarn上 -->
    54.  
    55. <property>
    56.  
    57.                 <name>mapreduce.framework.name</name>
    58.  
    59.                 <value>yarn</value>
    60.  
    61. </property>

    给103、104分发文件

    1. cd /usr/local/bin
    2.  
    3. xsync /opt/module/hadoop-3.1.3/
    4.  
    5.  
    6. 进入103
    7.  
    8.  cd /opt/module/hadoop-3.1.3/etc/hadoop/
    9.  
    10.  
    11. vim core-site.xml

    4、群起集群并测试

    给102配置workers,并分发给103，104

    1.  cd /opt/module/hadoop-3.1.3/etc/hadoop/
    2.  
    3.  
    4.  vim workers 
    5.  
    6.  
    7.  
    8. hadoop102
    9. hadoop103
    10. hadoop104
    11.  
    12.  
    13.  
    14.  xsync workers

    将102初始化,如果文件夹里有 data和logs文件夹先删掉要不然启动失败

    1. cd /opt/module/hadoop-3.1.3/
    2.  
    3. hdfs namenode -format
    4.  
    5.  
    6. cd data/dfs/name/current/
    7.  
    8. vim VERSION
    9.  
    10.  
    11. namespaceID=8697062
    12. clusterID=CID-ab379c11-26c3-4584-b0f3-5e992ecb9628
    13. cTime=1669127949039
    14. storageType=NAME_NODE
    15. blockpoolID=BP-745685491-192.168.48.102-1669127949039
    16. layoutVersion=-64

    编辑启动和停止文件，防止启动集群失败,并同步服务器

    1. vim sbin/start-dfs.sh 
    2.  vim sbin/stop-dfs.sh
    3.  
    4. HDFS_DATANODE_USER=root
    5. HADOOP_SECURE_DN_USER=hdfs
    6. HDFS_NAMENODE_USER=root
    7. HDFS_SECONDARYNAMENODE_USER=root
    8.  
    9.  vim sbin/start-yarn.sh 
    10.  vim sbin/stop-yarn.sh 
    11.  
    12.  
    13. YARN_RESOURCEMANAGER_USER=root
    14. HADOOP_SECURE_DN_USER=yarn
    15. YARN_NODEMANAGER_USER=root
    16.  
    17.  
    18. xsync start-dfs.sh
    19. xsync stop-dfs.sh
    20. xsync start-yarn.sh
    21. xsync stop-yarn.sh

    最后启动集群

    1. 102，启动dfs
    2. sbin/start.dfs.sh
    3. 用jps查看结果

     输入http://hadoop102:9870/dfshealth.html#tab-overviewhttp://hadoop102:9870/dfshealth.html#tab-overview

    进入103，输入    sbin/start-yarn.sh 和jps

    进入 104，输入jps

    输入  地址启动成功

    http://http:/hadoop03:8088/clusterhttp://http:/hadoop03:8088/cluster

    1、集群测试，hdfs上传文件到集群

     hadoop fs -mkdir /wcinput

     ①上传小文件到文件夹发现文件夹下多了一个文件并且可以预览

     hadoop fs -put wcinput/word.txt /wcinput

     ②上传大文件到集群

    hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

     查看上传的文件位置

    1.  cd data/dfs/data/current/BP-1360615751-192.168.48.102-1669300615773/current/finalized/subdir0/subdir0/
    2.  
    3.  
    4. vim blk_1073741825

     

     

    将上传的jdk还原到压缩包并解压

    1. cat blk_1073741826 >> tmp.tar.gz
    3. cat blk_1073741827 >> tmp.tar.gz
    5. tar -zxvf tmp.tar.gz

     并且可以看到103，104都有此文件夹

     

    执行 wordcout程序

      hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput 

     

    集群异常处理 

    问题

    将102、103、104的data删除

    发现文件下载失败

     解决方案

    1. 将服务器的data和log都删掉
    2.  
    3. rm -rf data/  logs/
    4. 格式化
    5. hdfs namenode -format
    6. 启动hdfs
    7. sbin/start-dfs.sh

    配置历史服务器

    1.  cd /opt/module/hadoop-3.1.3/etc/hadoop/
    2.  
    3. vim mapred-site.xml 
    4.  
    5. <!-- 历史服务器端地址 -->（内部通讯端口）
    6.  
    7. <property>
    8.  
    9.     <name>mapreduce.jobhistory.address</name>
    10.  
    11.     <value>hadoop102:10020</value>
    12.  
    13. </property>
    14.  
    15. <!-- 历史服务器web端地址 -->(访问地址)
    16.  
    17. <property>
    18.  
    19.     <name>mapreduce.jobhistory.webapp.address</name>
    20.  
    21.     <value>hadoop102:19888</value>
    22.  
    23. </property>
    24.  
    25.  
    26. xsync mapred-site.xml 
    27.  
    28.  cd /opt/module/hadoop-3.1.3/
    29.  
    30.  
    31. bin/mapred --daemon start historyserver
    32.  
    33.  
    34. jps

    1.  hadoop fs -mkdir /input
    2.  
    3. hadoop fs -put wcinput/word.txt /input
    4.  
    5.  
    6. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

    配置日志的聚集

    日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

    日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

    注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

    开启日志聚集功能具体步骤如下：

    1. cd /opt/module/hadoop-3.1.3/etc/hadoop/
    2.  
    3. vim yarn-site.xml
    4.  
    5.  
    6.  
    7. <!-- 开启日志聚集功能 -->
    8. <property>
    9.     <name>yarn.log-aggregation-enable</name>
    10.     <value>true</value>
    11. </property>
    12. <!-- 设置日志聚集服务器地址 -->
    13. <property>  
    14.     <name>yarn.log.server.url</name>  
    15.     <value>http://hadoop102:19888/jobhistory/logs</value>
    16. </property>
    17. <!-- 设置日志保留时间为7天 -->
    18. <property>
    19.     <name>yarn.log-aggregation.retain-seconds</name>
    20.     <value>604800</value>
    21. </property>
    22.  
    23. ##102关闭HistoryManager
    24.  mapred --daemon stop historyserver
    25.  
    26. ##103关闭NodeManager
    27.  sbin/stop-yarn.sh
    28.  
    29. ##103启动NodeManager
    30. sbin/start-yarn.sh
    31.  
    32. ##102启动HistoryManager

    集群启动/停止方式总结

    1）各个模块分开启动/停止（配置ssh是前提）常用

    （1）整体启动/停止HDFS

    start-dfs.sh/stop-dfs.sh

    （2）整体启动/停止YARN

    start-yarn.sh/stop-yarn.sh

    2）各个服务组件逐一启动/停止

    （1）分别启动/停止HDFS组件

    hdfs --daemon start/stop namenode/datanode/secondarynamenode

    （2）启动/停止YARN

    yarn --daemon start/stop  resourcemanager/nodemanager

    编写Hadoop集群常用脚本

     启动和停止所有集群脚本

    1.  cd /usr/local/
    2.  
    3.  
    4.  vim myhadoop.sh 
    5.  
    6.  
    7. #!/bin/bash
    8.  
    9. if [ $# -lt 1 ]
    10. then
    11.     echo "No Args Input..."
    12.     exit ;
    13. fi
    14.  
    15. case $1 in
    16. "start")
    17.         echo " =================== 启动 hadoop集群 ==================="
    18.  
    19.         echo " --------------- 启动 hdfs ---------------"
    20.         ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
    21.         echo " --------------- 启动 yarn ---------------"
    22.         ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
    23.         echo " --------------- 启动 historyserver ---------------"
    24.         ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
    25. ;;
    26. "stop")
    27.         echo " =================== 关闭 hadoop集群 ==================="
    28.  
    29.         echo " --------------- 关闭 historyserver ---------------"
    30.         ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
    31.         echo " --------------- 关闭 yarn ---------------"
    32.         ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
    33.         echo " --------------- 关闭 hdfs ---------------"
    34.         ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
    35. ;;
    36. *)
    37.     echo "Input Args Error..."
    38. ;;
    39. esac
    40.  
    41.  
    42. chmod +x myhadoop.sh
    43.  
    44.  
    45. 停止集群
    46. ./myhadoop.sh stop

    ./myhadoop.sh start

     

     查看集群脚本

    1. vim jpsall
    2.  
    3.  
    4.  
    5. #!/bin/bash
    6.  
    7. for host in hadoop102 hadoop103 hadoop104
    8. do
    9.         echo =============== $host ===============
    10.         ssh $host jps 
    11. done
    12.  
    13.  
    14.  chmod 777 jpsall
    15.  
    16.  
    17. jpsall

  • 相关阅读:
    ESP8266-Arduino编程实例-PCF8574IO扩展模块驱动
    mac for m1(arm)：安装redis的四种方式（本机安装、homebrew安装、虚拟机安装、docker安装）
    全网最全Python系列教程（非常详细）---Python注释讲解（学Python入门必收藏）
    OpenDataV低代码平台新增组件流程
    Java 嵌入数据引擎：从 SQLite 到 SPL
    openssl学习——消息认证码原理
    csp-j
    【分布式】大模型分布式训练入门与实践 - 04
    Linux UOS统信系统安装并使用KVM
    31 - 认识MySQL
  • 原文地址：https://blog.csdn.net/ONLYYD/article/details/127949713