阿里云Optane+QLC存储实践案例分享

作者简介：周雁波，阿里云资深云储研发工程师，曾就职Intel参与spdk软件研发工作， 《Linux开源存储全栈详解：从Ceph到容器存储》作者之一。

版权声明：本文由周雁波先生授权发表，未经授权请勿转载。

---

本文主要分享主题在阿里云本地盘存储中，基于Optane SSD和SPDK WSR的功能，降低QLC SSD的写放大。

本地盘是ECS实例所在物理机上的本地硬盘设备。本地盘能够为ECS实例提供本地存储访问能力，具有低时延、高随机IOPS、高吞吐量和高性价比的优势。

在本地盘会提供两种规格的产品：

• I系列实例：提供低延迟、高随机/顺序性能，适合OLTP/OLAP/NoSQL等数据库场景。

• D系列实例：提供高顺序带宽，低成本，适合HDFS/HBase等海量数据存储场景。

在云存储的演进过程中，有几个阶段：

• 第一阶段：基于SATA/SAS HDD高带宽、大容量、低成本的优势，在内核态virtio-blk虚拟化存储，提供中断响应的IO场景。

• 第二阶段：基于NVME 3D TLC NAND SSD低延迟、高性能的优势，基于SPDK用户态，提供Polling模式的IO场景。解决了基于传统软件栈一些开销

• 第三阶段：随着QLC和PLC SSD的来临，由于大容量低成本的特性，但是性能和寿命却受到写放大的影响。如何解决这个问题，也是本文的重点。

写放大是NAND-based SSD中最让人头疼的因素。主要的根源是操作粒度之间的差异：

• SSD IU(Indriection Unit, 盘内部物理的访问的大小)比用户操作数据块要大。Intel QLC SSD有16K IU和64K IU两个代次。

• SSD擦除的数据块大小比应用层的数据块也要大。

写放大会影响性能和寿命，比如下图，随机写IOPS性能会不断的下降直到一个稳态，此时盘内部的写放大会达到最大。写放大如果太大的话，也会降低SSD的寿命，加速盘的老化。

下图中，采用50%混合随机读场景比100%纯随机读场景的延迟要高出一个量级，这里面的原因也主要是GC和写放大对延迟的影响。

为了解决写放大对QLC SSD性能和寿命的影响，我们采用了基于Optane SSD的缓存和分层存储架构。Optane SSD的优势是高读写性能，高可靠性/耐久性，同时没有类似NAND-SSD因为复写而带来的写放大的影响。作为缓存层是非常理想的选择。

在写过程的IO传输路径中，IO会写到本地盘虚拟块设备中，然后优先落盘到Optane SSD，完成写入响应后，再从Optane SSD中通过聚合/压缩等算法，形成大块顺序写场景，把数据下刷到QLC SSD中，降低写放大。

• 传统的cache缓存改进基于bcache，OCF，对NAND不是很友好的写入。在Optane下刷过程，也不是SSD IU对齐的IO pattern。

• 基于WSR(Write-Shaping RAID)的写入对NAND非常友好，大块写且顺序，同时与SSD IU对齐。这样实现的方式从软件上做了彻底的优化，降低写放大。

整个WSR的数据流过程，主要有几个步骤：

• 第1步：数据会写写入WSR Bev

• 第2步：通过Append-only追加写的方式，写入数据到Optane SSD，同时基于VSS实现meta的安全校验，保证数据安全性。

• 第3步：更新软件管理的L2P映射表，这里面为了提升效果，热点访问的映射表放在DRAM，其他的放在Optane缓存盘。

• 第4步：通知用户完成写入。到这里跟用户之间的交互就完成了。

• 第5-7步：是后台执行的动作，Optane SSD中通过聚合/压缩等算法，形成大块顺序写场景，把数据下刷到QLC SSD，同时更新QLC对映的L2P映射表。

一些软件优化之后，分别针对QLC 10% OP、Optane+QLC & OCF、Optane+QLC & WSR三种场景测试IO性能，测试结果提升明显：

• 特别是#5，#6测试项，针对4K顺序和随机写场景，Optane+QLC & WSR的性能提升2个数量级

• #3，#4测试项中，基于齐普夫定律的反应热频高低，在热点数据场景(Zipf 1.2)中，Optane+QLC & WSR对性能的提升更加优异。

基于Optane+QLC和SPDK WSR的优化能力，在阿里云本盘D3C场景已经实现。