• hadoop学习使用

    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

    文章目录

    一、hadoop的作用？

    hadoop是什么？

    Hadoop是一个开源的框架，可编写和运行分布式应用，处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。

    HDFS|sbin/start-dfs.sh
    NameNode | 主节点 |sbin/hadoop-daemon.sh start namenode
    DataNode | 数据存储节点 |sbin/hadoop-daemon.sh start datanode
    Yarn|sbin/start-yarn.sh
    ResourceManager|全局的资源管理器|sbin/yarn-daemon.sh start resourcemanager
    NodeManager|分节点资源和任务管理器|

    hadoop能做什么？

    hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）

    搭建HadoopHA高可用集群

    1普通集群配置文件

    1. hdfs-site.xml

      
  
  
    dfs.namenode.secondary.http-address
    hadoop-3:50090
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10

    2. core-site.xml

      
  
    fs.defaultFS
    hdfs://hadoop-1:8020
  
  
    hadoop.tmp.dir
    /opt/data/tmp
  
  
    dfs.namenode.name.dir
    file://${hadoop.tmp.dir}/dfs/name
  
  
    dfs.datanode.data.dir
    file://${hadoop.tmp.dir}/dfs/data
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18

    3. slaves

      hadoop-1
hadoop-2
hadoop-3

      • 1
      • 2
      • 3

    4. yarn-site.xml

      
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.resourcemanager.hostname
    hadoop-2
  
  
    yarn.log-aggregation-enable
    true
  
  
    yarn.log-aggregation.retain-seconds
    106800
  
 

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18

    5. mapred-site.xml

      
  
    mapreduce.framework.name
    yarn
  
  
    mapreduce.jobhistory.address
    hadoop-1:10020
  
  
    mapreduce.jobhistory.webapp.address
    hadoop-1:19888
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14

    2 高可用集群配置

    1. hdfs-site.xml

      
  
    
    dfs.nameservices
    ns1
  
  
    
    dfs.ha.namenodes.ns1
    nn1,nn2
  
  
    
    dfs.namenode.rpc-address.ns1.nn1
    hadoop-1:8020
  
  
    
    dfs.namenode.rpc-address.ns1.nn2
    hadoop-2:8020
  
  
    
    dfs.namenode.http-address.ns1.nn1
    hadoop-1:50070
  
  
    
    dfs.namenode.http-address.ns1.nn2
    hadoop-2:50070
  
  
    
    dfs.namenode.shared.edits.dir
    qjournal://hadoop-1:8485;hadoop-2:8485;hadoop-3:8485/ns1
  
  
    
    dfs.journalnode.edits.dir
    /opt/data/tmp/dfs/jn
  
  
    
    dfs.client.failover.proxy.provider.ns1
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  
    
    dfs.ha.fencing.methods
    sshfence
  
  
    dfs.ha.fencing.ssh.private-key-files
    /root/.ssh/id_rsa
  
  
    
    dfs.ha.automatic-failover.enabled
    true
  
  
    dfs.replication.max
    32767
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18
      • 19
      • 20
      • 21
      • 22
      • 23
      • 24
      • 25
      • 26
      • 27
      • 28
      • 29
      • 30
      • 31
      • 32
      • 33
      • 34
      • 35
      • 36
      • 37
      • 38
      • 39
      • 40
      • 41
      • 42
      • 43
      • 44
      • 45
      • 46
      • 47
      • 48
      • 49
      • 50
      • 51
      • 52
      • 53
      • 54
      • 55
      • 56
      • 57
      • 58
      • 59
      • 60
      • 61
      • 62
      • 63
      • 64
      • 65

    2. core-site.xml

      fs.defaultFS hdfs://ns1 hadoop.tmp.dir /opt/data/tmp dfs.nameservices ns1 dfs.namenode.name.dir file://${hadoop.tmp.dir}/dfs/name dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data ha.zookeeper.quorum hadoop-1:2181,hadoop-2:2181,hadoop-3:2181

    3. slaves

      hadoop-1
hadoop-2
hadoop-3

      • 1
      • 2
      • 3

    4. yarn-site.xml

      
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.log-aggregation-enable
    true
  
  
    yarn.log-aggregation.retain-seconds
    106800
  
  
    
    yarn.resourcemanager.ha.enabled
    true
  
  
    
    yarn.resourcemanager.cluster-id
    yarn-cluster
  
  
    
    yarn.resourcemanager.ha.rm-ids
    rm12,rm13
  
  
    
    yarn.resourcemanager.hostname.rm12
    hadoop-2
  
  
    
    yarn.resourcemanager.hostname.rm13
    hadoop-3
  
  
    
    yarn.resourcemanager.zk-address
    hadoop-1:2181,hadoop-2:2181,hadoop-3:2181
  
  
    
    yarn.resourcemanager.recovery.enabled
    true
  
  
    
    yarn.resourcemanager.store.class
    org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18
      • 19
      • 20
      • 21
      • 22
      • 23
      • 24
      • 25
      • 26
      • 27
      • 28
      • 29
      • 30
      • 31
      • 32
      • 33
      • 34
      • 35
      • 36
      • 37
      • 38
      • 39
      • 40
      • 41
      • 42
      • 43
      • 44
      • 45
      • 46
      • 47
      • 48
      • 49
      • 50
      • 51
      • 52
      • 53
      • 54

    5. mapred-site.xml

      
  
    mapreduce.framework.name
    yarn
  
  
    mapreduce.jobhistory.address
    hadoop-1:10020
  
  
    mapreduce.jobhistory.webapp.address
    hadoop-1:19888
  


      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14

    整理和记录搭建hadoop HA高可用集群用到的命令

    1、上传文件到文件服务器

    #创建文件目录
[root@hadoop-1 hadoop]$ bin/hdfs dfs -mkdir /input

#上传文件
[root@hadoop-1 hadoop]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

#运行程序
[root@hadoop-1 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

#查看HDFS根目录
[root@hadoop-1 hadoop]$ hadoop fs -ls /   或  bin/hdfs fs -ls /

#在根目录创建一个目录test
[root@hadoop-1 hadoop]$ hadoop fs -mkdir /test   或  bin/hdfs fs -mkdir /test

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    2、查看文件服务器指定目录下是否上传过文件

    [root@hadoop-1 hadoop]$ bin/hdfs dfs -ls /input

    • 1

    如图：在这里插入图片描述

    3、namenode服务格式化的方式

    1. 直接格式化

      [root@hadoop-1 hadoop]$ bin/hdfs namenode -format

      • 1

    2. 集群节点格式化—将所有的node（包含namenode、datanode、journalnode的clusterId保持一致）

      [root@hadoop-1 hadoop]$ bin/hdfs namenode -format -clusterId hadoop-federation-clusterId

      • 1

    3. 以standby的状态启动namenode,该状态下namenode不处理请求`

      [root@hadoop-1 hadoop]$ bin/hdfs namenode -bootstrapStandby

      • 1

    4、查看namenode是否在使用中或Active状态

    [root@hadoop-1 hadoop]# hdfs dfsadmin -report

    • 1

    5、查看服务是否启动

    1. 使用jps查看是否有namenode

    2. 没有就使用

      [root@hadoop-1 hadoop]$ sbin/hadoop-daemon.sh start namenode

      • 1

    3. 或者使用启动namenode

      [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/start-dfs.sh 

      • 1

    4. 如果启动失败，有可能是namenode格式化多次导致的，需要先清理core-site.xml下配置的hadoop.tmp.dir路径下生成的data、name、jn（journalnode）文件

        
    hadoop.tmp.dir
    /opt/data/tmp
  

      • 1
      • 2
      • 3
      • 4

      再使用方法3-2的方式再次启动

    5. 如果还是失败，需要查看报错日志

      [root@hadoop-1 hadoop]cd logs
      [root@hadoop-1 logs]tail -fn 300 hadoop-root-namenode-hadoop-1.log

      再根据报错日志百度找到问题所在

    6、datanode启动失败

    1. 查看DataNode是否启动输入命令jps

    2. 如果发现没有datanode，执行以下

      [root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start datanode

      • 1

    3. 发现执行后依然没有启动成功，查看core-site.xml是否配置datanode的环境路径

        
    hadoop.tmp.dir
    /opt/data/tmp
  
  
    dfs.namenode.name.dir
    file://${hadoop.tmp.dir}/dfs/name
  
  
    dfs.datanode.data.dir
    file://${hadoop.tmp.dir}/dfs/data
  

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12

    4. 如果配置了没有生效，（没有就配置，重启服务5-3的命令即可），就进入到该路径下查看是否生成了current文件

      [root@hadoop-1 hadoop]# cd /opt/data/tmp/dfs/data/current/

      • 1

      如果出来了VERSION文件，即启动过，查看namenode的VERSION和datanode的版本是否一致
      在这里插入图片描述
      没有的话，就将datanode的版本号改成namnode一致的，如果还是失败，可能是元数据需要的空间过多，需要删除一些日志文件来保证datanode正常运行。如share/doc和logs/hadoop-root*

      #删除hadoop的功能文档文件
[root@hadoop-1 hadoop]# cd share/doc
[root@hadoop-1 doc]# rm -rf *

#删除hadoop的日志文件
[root@hadoop-1 hadoop]# cd logs/
[root@hadoop-1 doc]# rm -rf hadoop-root*

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7

    5. 再次启动datanode

      [root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start datanode

      • 1

      到了这一步大部分人可能datanode重启成功了，不过还可能有部分人因为配置文件的原因导致启动失败，这里建议将配置文件重新过一下这位大神的配置文件写的非常详细非常适合刚开始学习搭建hadoop集群的开发人员 https://blog.csdn.net/hliq5399/article/details/78193113/

    6、查看linux服务器之间是否可以相互访问

    1. 使用ping来查看是否可以相互访问Ip

      [root@hadoop-1 hadoop]ping hadoop-2

      • 1

    在这里插入图片描述

    1. 由于大部分配置都是通过服务器IP别名来配置的,因此需要在DNS域名服务上配置域名转换，确保自己的hostname已经更改，未更改以下操作无效，https://blog.csdn.net/qq_22310551/article/details/84966044 该大神较全面的讲解了hostname的配置，已经配置解析

      	[root@hadoop-1 hadoop]# cat /etc/hosts
	#127.0.0.1   localhost 
	#::1         localhost 
	#192.168.149.110  hadoop-1
	#127.0.0.1   localhost
	192.168.149.110 hadoop-1
	192.168.149.120 hadoop-2
	192.168.149.130 hadoop-3

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8

    代码如下（示例）：
    1、配置虚拟机hostname;

    vi /etc/sysconfig/network
#设置成这样
NETWORKING=yes
HOSTNAME=hadoop-1

#关闭--查看更改效果
more /etc/sysconfig/network
hostname
more /proc/sys/kernel/hostname

#然后重启虚拟机，永久改变
reboot

#切记/etc/hosts 和hostname没有任何关系 仅仅是一个dns 域名转换器

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    2、配置window的域名，可以直接通过域名访问linux对应IP服务器

    C:WindowsSystem32driversetc

#打开hosts 添加配置如
192.168.149.110 hadoop-1
192.168.149.120 hadoop-2
192.168.149.130 hadoop-3

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    以后可以直接用hadoop-1代替192.168.149.110来访问了。

    快速配置 scp -r /opt/data/tmp/dfs/jn/ hadoop-2:/opt/data/tmp/dfs/

    该处使用的url网络请求的数据。

    1. 查看服务是否启动----一般来讲8020端口是namenode启动后的端口，访问不了说明namenode无法被使用，8485是journalnode启动后的端口

      #查看端口是否启动
[root@hadoop-1 hadoop]# netstat -tpnl

      • 1
      • 2

    在这里插入图片描述

    1. 其中IP为0.0.0.0的端口的说明该服务可以支持多种方式远程访问：
      如0.0.0.0:80 可以使用127.0.0.1:80 或 服务IP:80 或 DNS域名转换:80

      #域名转换
[root@hadoop-1 hadoop]# curl hadoop-1:80

      • 1
      • 2

      或在节点hadoop-2上访问hadoop-1端口

      [root@hadoop-2 hadoop]# curl hadoop-1:80

      • 1

      IP为127.0.0.1的说明只能在本地访问，如在hadoop-2节点上无法通过curl 127.0.0.1 6010访问到hadoop-1的服务。
      IP为192.168.149.110说明其它服务器可以远程访问该端口

    2. 使用telnet来检测自己是否可以访问自己已启动的服务如

      	[root@hadoop-1 hadoop]# telnet hadoop-1 8020
		Trying 192.168.149.110...
		Connected to hadoop-1.
		Escape character is '^]'.

      • 1
      • 2
      • 3
      • 4

      发现连接成功，telnet需要自己通过百度下载

      #安装
      yum install telnet-server -y
      yum install xinetd -y
      yum install telnet
      启动systemctl start telnet.socket
      #加入开机启动
      systemctl enable telnet.socket

    3. 如果访问不了，也有可能是你没有输入访问账号、密码什么的（前提是防火墙都关闭了）通过设置ssh的方式免密访问

       #生成密匙，需要一路回车
 [root@hadoop-1 hadoop]$ ssh-keygen -t rsa 
 #发放密钥
 [root@hadoop-1 hadoop]$ ssh-copy-id hadoop-1
 [root@hadoop-1 hadoop]$ ssh-copy-id hadoop-2
 [root@hadoop-1 hadoop]# $ ssh-copy-id hadoop-3

      • 1
      • 2
      • 3
      • 4
      • 5
      • 6

      这样hadoop-2、hadoop-3就可以免密访问hadoop-1的服务了

    7、启动资源管理resourceManager，该服务未启动会导致hadoop无法上传文件

    1. 启动方式 一次性启动全部服务（包含resourceManager）

      [root@hadoop-1 hadoop]# sbin/start-all.sh 

      • 1

    2. 单个启动

      #启动yarn
      [root@hadoop-1 hadoop]$ sbin/start-yarn.sh
      #启动resourcemanager 在指定服务器上启动
      [root@hadoop-2 hadoop]$ sbin/yarn-daemon.sh start resourcemanager
      [root@hadoop-3 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

    8、服务启动后网站http://hadoop-1:50070/dfshealth.html#tab-overview添加链接描述里的namenode处于standby,可以采用强制激活

    #nn1是配置文件里的路径
[root@hadoop-1 hadoop]$ bin/hdfs haadmin -transitionToActive -forcemanual nn1

[root@hadoop-1 hadoop]$ vi etc/hadoop/hdfs-site.xml

    
    dfs.namenode.http-address.ns1.nn1
    hadoop-1:50070


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    9、任务节点journalnode的启动方式

    [root@hadoop-1 hadoop]# sbin/hadoop-daemon.sh start journalnode

    • 1

    10、在hadoop中创建一个zNode

    [root@hadoop-1 hadoop]$ bin/hdfs zkfc -formatZK

    • 1

    11、启动namenode、datanode、journalnode、zkfc

    [root@hadoop-1 hadoop]$ sbin/start-dfs.sh

    • 1

    总结

    提示：这篇文章只是作者开发过程中遇到的一些问题，并没有罗列太多，大部分都是namenode格式化太多导致的问题，只有愿意花费精力都很好结局

  • 相关阅读:
    基于Linux上MySQL8.*版本的安装-参考官网
    排障：记录一次NFS无法共享
    快速开发微信小程序之一登录认证
    【毕业设计】 基于Django的图书管理系统
    mulesoft Module 9 quiz 解析
    使用 FAT12 文件系统实现简单的 Boot 加载 Loader 到内存
    旧手机热点机改造成服务器方案
    【网站架构】服务器弹性伸缩不能全自动，实际如何追加服务器
    阿里云 MSE 支持 Go 语言流量防护
    Django Swagger文档库drf-spectacular
  • 原文地址：https://blog.csdn.net/m0_67390963/article/details/126666026