如何给一个 HTAP 数据库做基准测试？StoneDB学术分享会第4期

在最新一届国际数据库顶级会议 ACM SIGMOD 2022 上，来自清华大学的李国良和张超两位老师发表了一篇论文：《HTAP Database: What is New and What is Next》,并做了 《HTAP Database：A Tutorial 的专项报告。这几期学术分享会的文章，StoneDB 将系统地梳理一下两位老师的报告，带读者了解 HTAP 的发展现状和未来趋势。

在《深度干货！一篇 Paper 带您读懂 HTAP》这期中我们对HTAP产生的背景和现有的HTAP数据库及其技术栈做了比较全面的介绍。

在《爆肝整理 5000 字！HTAP 的关键技术有哪些？》这一期，我们对 HTAP 的五大关键技术进行了逐个解读。

本期主要介绍一下主流的几个的 HTAP 数据库基准测试。

编辑：宇亭

头图：Yeekin

关于 HTAP 数据库的基准测试，我们在学术分享会的第三期也介绍过一个来自慕尼黑工业大学 DB 组的相关工作，感兴趣可以了解一下，在这篇报告中，主要介绍两种：CH-Benchmark 和 HTAPBench。

如图所示，这两种基准测试的核心区别在于，CH-Benchmark 是混合负载测试，即 OLTP 和 OLAP 一起测；HTAPBench 是先固定统一 OLTP 的标准，然后在这个标准下再去控制测试 OLAP（当然还多了一个时间窗口的选择）。

这里顺便简单科普一下什么是 TPC-C 和 TPC-H：

先介绍一下 TPC 是啥，TPC（Transaction Processing Performance Council，事务处理性能委员会）是由数十家会员公司创建的非盈利组织，总部设在美国。TPC 的成员主要是计算机软硬件厂家，而非计算机用户，其功能是制定商务应用基准程序的标准规范、性能和价格度量，并管理测试结果的发布，其他更多信息就可以百度啦，总之这个组织在国际上很有影响力，学术界和工业界也都蛮认可的。

• TPC-C: TPC Benchmark C 于1992年7月批准，是一个在线交易处理（OLTP）基准。TPC-C 比以前的 OLTP 基准测试（如TPC-A）更复杂，因为它具有多种事务类型、更复杂的数据库和整体执行结构。TPC-C 涉及五个不同类型和复杂度的并发事务的混合，要么在线执行，要么排队等待延迟执行。数据库由九种类型的表组成，这些表存储的记录多而广泛。TPC-C 以每分钟事务数（tpmC）来衡量。虽然基准描述了批发供应商的活动，但 TPC-C 并不局限于任何特定业务部门的活动，而是代表必须管理、销售或分销产品或服务的任何行业。官网：https://www.tpc.org/tpcc/default5.asp
• TPC-H: TPC-H 是 TPC 组织制定的 OLAP 型数据库管理系统性能测试的一个标准，用来模拟真实商业的应用环境，以评估商业分析中决策支持系统（DSS）的性能。TPC-H 模拟真实商业交易数据库的动态查询，包含了一整套面向商业的 ad-hoc 查询和并发数据修改，强调测试的操作系统、数据库、和 I/O 性能，关注查询能力。通过TPC-H 测试，可以全方位评测系统的整体商业计算综合能力，具有普遍的商业实用意义。官网：