HBase的flush(刷写)及compact(合并)机制

1、Flush机制

（1）当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M

<property>
    <name>hbase.hregion.memstore.flush.sizename>
    <value>134217728value>
property>

（2）当memstore中的数据时间超过1小时，会flush到磁盘

<property>
    <name>hbase.regionserver.optionalcacheflushintervalname>
    <value>3600000value>
property>

（3）HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%

<property>
    <name>hbase.regionserver.global.memstore.sizename>
    <value>0.4value>
property>

（4）手动flush

flush tableName

2、阻塞机制

        以上介绍的是Store中memstore数据刷写磁盘的标准，但是Hbase中是周期性的检查是否满足以上标准满足则进行刷写，但是如果在下次检查到来之前，数据疯狂写入Memstore中，会出现什么问题呢？会触发阻塞机制，此时无法写入数据到Memstore，数据无法写入Hbase集群。

• memstore中数据达到512MB

     计算公式：base.hregion.memstore.flush.size*hbase.hregion.memstore..block.multiplier
  hbase.hregion.memstore.flush.size刷写的阀值，默认是 134217728，即128MB。
  hbase.hregion.memstore.block.multiplier是一个倍数，默认 是4。

• RegionServer全部memstore达到规定值

  hbase.regionserver.global.memstore.size.lower.limit是0.95，
  hbase.regionserver.global.memstore.size是0.4，
  堆内存总共是 16G，
  触发刷写的阈值是：6.08GB
  触发阻塞的阈值是：6.4GB

3、Compact合并机制

在hbase中主要存在两种类型的compac合并

• minor compact 小合并
  • 在将Store中多个HFile(StoreFile)合并为一个HFile

        这个过程中，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。

  • minor compact文件选择标准由以下几个参数共同决定：

    <property>
        <name>hbase.hstore.compaction.minname>
        <value>3value>
    property>
    <property>
        <name>hbase.hstore.compaction.maxname>
        <value>10value>
    property>
    <property>
        <name>hbase.hstore.compaction.min.sizename>
        <value>134217728value>
    property>
    <property>
        <name>hbase.hstore.compaction.max.sizename>
        <value>9223372036854775807value>
    property>
    

    触发条件

    • memstore flush

      在进行memstore flush前后都会进行判断是否触发compact

    • 定期检查线程

         周期性检查是否需要进行compaction操作,由参数：hbase.server.thread.wakefrequency决定，默认值是10000 millseconds

• major compact 大合并
  • 合并Store中所有的HFile为一个HFile

        这个过程有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

  • major compaction触发时间条件

    <property>
        <name>hbase.hregion.majorcompactionname>
        <value>604800000value>
    property>
    

  • 手动触发

    ##使用major_compact命令
    major_compact tableName