• 细说GaussDB(DWS)复杂多样的资源负载管理手段


    摘要:对于如此多的管控功能,管控起来实际的效果到底如何,本篇文章就基于当前最新版本,进行效果实测,并进行一定的分析说明。

    本文分享自华为云社区《GaussDB(DWS) 资源负载管理:并发管控以及CPU管控效果实测以及分析说明【这次高斯不是数学家】》,作者: Malick 。

    背景

    ​GaussDB(DWS)提供了复杂多样的资源负载管理手段:既可以从单个cn的总并发数限制作业的数量(max_active_statements),也可以创建资源池,对于指定资源池的用户进行并发限制。在资源池上,即可以进行内存、CPU的限制,也可以不进行资源限制。对于CPU资源的管控,即可以使用指定具体核数的硬限制,也可以使用空闲时按需分配,cpu跑满时按照配比分配资源的软限制。

    ​正因为有这么多的功能配置,才可以让DWS在不同的业务场景中,采取不同的配置方案,维持业务稳定性,保证重要业务的资源使用。

    ​对于如此多的管控功能,管控起来实际的效果到底如何,本篇文章就基于当前最新版本,进行效果实测,并进行一定的分析说明。主要分为以下几个部分:

    • 并发数限制在资源瓶颈时的作用
    • CPU限额的实际使用效果
    • CPU配额的实际效果,配额CPU与限额CPU的能力对比

    场景一:并发数限制在资源瓶颈时的作用

    ​所谓资源瓶颈,即CPU、内存、IO、网络其中的一项或者多项达到瓶颈,出现作业之前争抢资源,造成性能大幅下降。对于此类场景,我们日常解决问题时,通常想到的几个办法:

    ​1.降低业务的并发量; 2.抓出消耗资源高的sql语句,令其优化;3.对于耗费cpu高的作业进行资源限制,保障其他作业有足够的资源可以使用。

    ​理论上每个方法都有效果,但是效果如何,并不能简单得说清楚,需要数据来进行一些印证。

    环境搭建

    1.配置:3台物理机,规格:

    2.GaussDB(DWS)集群规格:

    PS:集群的版本对测试结果基本没有影响,各个版本功能规格基本没有变化。

    数据构造

    测试CPU资源管控对于灵活短查询以及复杂查询的影响,复杂查询采取TPCDS数据和灵活查询采取TPCC数据。此处构造1500x的TPCDS/100xTPCC。

    数据来源:

    1. tpcds数据由tpcds工具构造。耗时近一晚上。启动本地gds服务器,创建tpcds相应原表及外表,直接导入。HDD盘,导入性能也较差。
    2. tpcc数据在其余测试数据服务器中有现成数据,直接创建原表外表进行gds导入,100x数据,导入大约10min左右。

    测试思路

    1. 找到tpcds中高CPU消耗的语句,测试几个并发能将CPU打满,并且需要运行时间不要过长,避免影响测试效率。
    2. 找到语句后,定好一批作业的并发数,例如整体作业数量为30个,只需4并发就会将CPU打满,那么测试不同的并发控制下,作业性能情况。
    3. 不同并发下第一个完成作业时间由于CPU争抢程度不同,时间都不一样,因此也需要记录下来。

    测试数据

    说明:tpcds-Q9,在本测试环境1500x数据下,单并发可使物理机cpu达到30%-50%,单并发运行时间在100s左右。;本测试采取Q9*30作为一批作业。控制不同并发数,记录每批的运行情况;4并发时cpu基本已经达到瓶颈,因此本轮测试从4并发开始。

    测试结果如下:

    结论分析

    1. 首先我们绘制一个并发数与整体执行时间,单个执行时间的趋势变化图:

    图表如下:

    2.图表分析,由上折线图可以看出:

    1. 随着并发数的增加,整体运行时间略微有所提升,说明在CPU瓶颈的情况下,并发数的降低,并不能提升批量作业的整体性能。
    2. 作业整体平均运行时间也比较平稳,平均每个作业运行的时间消耗,在不同并发数下也没有大的差别。
    3. 第一个结束的作业运行时间,在并发数为4的情况下,只有400s+,而在并发数30拉满的情况,达到了1620s+,差距很大,变化趋势基本是随着并发数的增长线性变长。

    综合说明

    根据测试结论分析,在CPU瓶颈的情况下,限制并发数,实际并不能提升整体运行的性能;但是在不同场景下,可以选择不同的配置策略。

    例如:需要有作业及时响应的,可以将并发数限制少一些,这样能保证总有作业能以较快的速度完成;需要整体作业运行性能较快的,根据测试数据,可以将并发数设大,这样整体运行的时间最短。

     

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    修复img实际有正确的链接,但是不显示 (chrome 插件保存的html)--google镜像chatgpt
    发力“幸福感”消费,荟语酒店如何引领创新体验?
    Sora横空出世!AI自动直播是否可以带来创业新机遇?
    基于SSM实现微博系统
    论文阅读笔记——A deep tree-based model for software defect prediction
    Java 某个经纬度是否在genjson文件中
    给 visual studio 和 vscode 都换上 JetBrains Mono 字体
    数字IC手撕代码50题(11-20)
    驱动编写应用程序控制三盏灯亮灭
    向下沟通(上):无权无势,他们不听你的怎么办?
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/16424499.html