HBase之BlockCache

BlockCache

用于缓存从hdfs读的数据，有两种不同的实现，LruBlockCache(利用堆内存)和BucketCache(利用非堆内存)

LruBlockCache

使用LRU算法

• Single access级：首次从hdfs中读取的block位于该层级，后续也会首先考虑驱逐
• Multi access级：在single access中的block再次被访问则位于该层级，则block将会升级到该层级。
• In-memory access：如果列族配置了in-memory，则不考虑访问次数，直接处于该层级

处于用户block，还缓存

• Catalog Tables：即hbase:meta表
• HFiles Indexes：用于搜索hfile时无须读取整个数据文件。索引的大小受块大小、键大小和数据大小决定
• Keys：row key, family qualifier, and timestamp
• Bloom Filters：布隆过滤器

BucketCache

BucketCache是通过CombinedBlockCache来联合管理的：

• 使用LruBlockCache缓存index和bloom，数据block存储在BucketCache。
• BucketCache块缓存可以在堆外、文件或mmaped文件模式下。通过hbase.bucketcache.ioengine参数设定。

配置方法

1. 在hbase-env.sh中先配置堆外内存HBASE_OFFHEAPSIZE(比想要的值大，还有其他使用堆外的地方)
2. 配置相关参数：缓存模式hbase.bucketcache.ioengine、lru缓存大小hfile.block.cache.size、bucketcache缓存大小hbase.bucketcache.size

Compressed BlockCache

hbase.block.data.cachecompressed设置为true启用。提高吞吐，同时也会提高延迟和gc、cpu使用。

注意点

某些情况下不适合使用blockcache：

1. 完全随机读模式：数据短时间内不会访问第二次，此时在表上设置块缓存非常浪费。
2. 大数量的scan，此时可能会导致oom发生
3. 在一个典型的MapReduce作业中每一行只读取一次，因此不需要将它们放入块缓存。Scan对象可以通过setCacheBlocks方法（将其设置为false）禁用此选项。