• Hadoop 生产调优 (一) --------- HDFS 核心参数



    一、NameNode 内存生产配置

    NameNode 内存计算

    每个文件块大概占用150 byte,一台服务器128 G内存为例,能存储多少文件块呢 ?

    在这里插入图片描述

    Hadoop2.x系列,配置NameNode内存

    NameNode 内存默认 2000 m,如果服务器内存4G,NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下

    HADOOP_NAMENODE_OPTS=-Xmx3072m
    
    • 1

    Hadoop3.x 系列,配置 NameNode 内存

    A、hadoop-env.sh中描述Hadoop的内存是动态分配的

    # The maximum amount of heap to use (Java -Xmx).  If no unit
    # is provided, it will be converted to MB.  Daemons will
    # prefer any Xmx setting in their respective _OPT variable.
    # There is no default; the JVM will autoscale based upon machine
    # memory size.
    # export HADOOP_HEAPSIZE_MAX=
    
    # The minimum amount of heap to use (Java -Xms).  If no unit
    # is provided, it will be converted to MB.  Daemons will
    # prefer any Xms setting in their respective _OPT variable.
    # There is no default; the JVM will autoscale based upon machine
    # memory size.
    # export HADOOP_HEAPSIZE_MIN=
    HADOOP_NAMENODE_OPTS=-Xmx102400m
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    B、查看NameNode占用内存

    [fancyry@hadoop102 ~]$ jps
    3088 NodeManager
    2611 NameNode
    3271 JobHistoryServer
    2744 DataNode
    3579 Jps
    [fancyry@hadoop102 ~]$ jmap -heap 2611
    Heap Configuration:
       MaxHeapSize     =     1031798784 (984.0MB)
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    C、查看 DataNode 占用内存

    [fancyry@hadoop102 ~]$ jmap -heap 2744
    Heap Configuration:
       MaxHeapSize    =   1031798784 (984.0MB)
    
    • 1
    • 2
    • 3

    查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的,且相等。不是很合理。

    经验参考:

    https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_hardware_requirements.html#concept_fzz_dq4_gbb

    在这里插入图片描述
    具体修改:hadoop-env.sh

    export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx1024m"
    
    export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m"
    
    • 1
    • 2
    • 3

    二、NameNode 心跳并发配置

    在这里插入图片描述
    A、hdfs-site.xml

    The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.

    NameNode 有一个工作线程池,用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。
    对于大集群或者有大量客户端的集群来说,通常需要增大该参数。默认值是10。

    <property>
        <name>dfs.namenode.handler.countname>
        <value>21value>
    property>
    
    • 1
    • 2
    • 3
    • 4

    企业经验:

    在这里插入图片描述

    比如集群规模 (DataNode台数) 为3台时,此参数设置为21。可通过简单的 python 代码计算该值,代码如下。

    [fancyry@hadoop102 ~]$ sudo yum install -y python
    [fancyry@hadoop102 ~]$ python
    Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
    [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
    Type "help", "copyright", "credits" or "license" for more information.
    >>> import math
    >>> print int(20*math.log(3))
    21
    >>> quit()
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    三、开启回收站配置

    开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。

    A、回收站工作机制

    在这里插入图片描述
    B、开启回收站功能参数说明

    默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。

    默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

    要求fs.trash.checkpoint.interval <= fs.trash.interval。

    C、启用回收站

    修改core-site.xml,配置垃圾回收时间为1分钟。

    <property>
        <name>fs.trash.interval</name>
        <value>1</value>
    </property>
    
    • 1
    • 2
    • 3
    • 4

    D、查看回收站

    回收站目录在HDFS集群中的路径:/user/fancyry/.Trash/….

    E、注意:通过网页上直接删除的文件也不会走回收站。

    F、通过程序删除的文件不会经过回收站,需要调用moveToTrash()才进入回收站

    Trash trash = New Trash(conf);
    trash.moveToTrash(path);
    
    • 1
    • 2

    G、只有在命令行利用 hadoop fs -rm 命令删除的文件才会走回收站。

    [fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /user/atguigu/input
    2022-07-14 16:13:42,643 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hadoop102:9820/user/fancyry/input' to trash at: hdfs://hadoop102:9820/user/fancyry/.Trash/Current/user/atguigu/input
    
    • 1
    • 2

    H、恢复回收站数据

    [fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mv
    /user/fancyry/.Trash/Current/user/fancyry/input    /user/fancyry/input
    
    • 1
    • 2
  • 相关阅读:
    使用Conda
    【大数据处理技术】第二篇 大数据存储与管理(持续更新)
    Consumer位移管理-Kafka从入门到精通(十一)
    Nocalhost安装操作步骤详解
    JVM 系列(6) —— JVM 类加载机制
    每日4道算法题——第030天
    MyBatis-Plus
    Spring @Scheduled学习
    Flexbox设计H5应用网页布局
    独立IP和共享IP的区别以及各自的优势有哪些
  • 原文地址:https://blog.csdn.net/m0_51111980/article/details/125898246