• 13年测试老鸟总结,真实性能测试如何做?性能测试完整流程+细节...



    前言

    性能测试什么时候开始?

    一般在系统功能稳定没有大的缺陷之后开始执行。但前期准备工作可以从系统需求分析时就开始:性能目标制定、场景获取、环境申请等。

    1、制定性能测试目标

    在特定的并发用户数下测试特定场景的响应时间;
    在一定的响应时间的要求下来测试特定场景的最大并发用户数;
    测试特定场景的TPS

    1)线上系统

    对线上系统的日志进行分析以获取到这个系统每个功能的访问情况、最大的并发用户量、平均/最大/最小响应时间。

    然后通过每日的增长趋势来确定最大的并发用户数、响应时间参考日志分析的结果,即与平均响应时间相当。

    2)全新项目

    开发过程相关文档:
    项目开发计划书、需求规格说明书、设计说明书等文档都可能涉及性能测试的要求。通过收集这些材料,可以找到初步的性能需求。但这些性能测试需求往往不够准确,需要性能测试人员进行专业的引导。

    类似项目:
    公司的其他产品或以往项目会累积出一些数据,可以作为参考。

    用户使用模型:
    分析用户使用模型是获取性能测试需求的有效手段,考虑哪些用户使用系统的哪些典型的业务,在什么时段有多少用户进行了什么功能的操作。

    例如:
    某OA系统每天早上8:00会有200个用户在10分钟内登录系统;

    每天查询交易的高峰是在9:00——11:00和下午的14:00——16:00等,然后根据这个用户使用模型并结合80/20原则计算OA系统的登录以及交易查询业务的并发量。

    80/20原则:
    80/20原理就是系统在每个工作日有80%的业务是在20%的时间内集中完成,或者系统80%的用户会在20%的时间内集中进行应用操作。

    举两个例子说明:

    例1:
    某网站每日的总访问人数为10万,其中浏览单品页占30%,搜索业务占20%,登录+购买业务占50%。

    采用80~20原则,8小时的20%作为基准时间,计算各个业务的并发数。

    搜索业务:(100000*20%*80%/8*3600*20%=2.78取整为3
    浏览单品页:(100000*30%*80%/8*3600*20%=4.17取整为5
    登录+购买:(100000*50%*80%/8*3600*20%=6.94取整为7
    
    • 1
    • 2
    • 3

    例2:
    系统每年的业务集中在8个月完成,每个月平均有20个工作日,每个工作日8小时,按照80/20原则,即每天80%的业务在1.6小时完成。

    去年全年处理业务约100万笔,其中15%的业务处理中每笔业务需对应用服务器提交7次请求,其中70%的业务处理中每笔业务需对应用服务器提交5次请求,剩余15%的业务处理中每笔业务需对应用服务器提交3次请求。

    根据以往的统计结果,每年的业务增长量为15%,考虑到今后3年的业务发展需要,测试需按现有业务量的两倍进行请求数来计算系统应该达到的TPS。

    每年的总请求数=(100*15%*7+100*70%*5+100*15%*3)*2=1000万
    TPS=(10000000*80%)/(8*20*8*3600*20%)=8.68,取整即TPS=9
    
    • 1
    • 2

    响应时间标准

    2秒以内,用户感受良好
    2~5秒,用户觉得可以接受
    5~10秒,用户会觉得很烦躁,无法接收,会频繁刷新页面
    10秒以上,用户完全无法接收,直接离开
    
    • 1
    • 2
    • 3
    • 4

    2、性能测试场景获取

    1)线上系统

    单场景:

    根据对线上系统的日志分析结果,访问量排在前面的功能、本次改动的以及可能会影响到的功能、和钱有关的功能。为保险起见最好再和开发确认一下会影响到的功能。

    混合场景:

    还是根据线上系统的日志分析结果,得到系统级别的最大并发数,再根据每日的增长趋势做一个增量从而得到最终的最大并发数。然后根据日志分析结果中的各个重要功能的占比数来进行用户分配。

    稳定性场景:

    确定好单场景和混合场景后,还应该考虑稳定性场景。其目的是测试系统是否有内存泄漏现象发生,同时也可以测试系统的平均无故障时间。

    所以,可以用混合场景做长时间的稳定性测试。

    2)全新项目

    单场景:
    重要、核心的功能
    常用功能
    业务流程复杂的功能
    资源占用严重的功能(比如多表查询或向多张表中插入数据)

    混合场景:
    根据一定的比例把所有重要的功能都加入混合场景

    稳定性场景:
    可以考虑用混合场景做长时间的稳定性测试。

    3、性能测试数据确定

    性能测试中很重要的一点就是场景数据的设计。比如一个数据查询场景,如果该场景对应的数据库表只有10条数据,那么查询结果肯定相对较快。

    但是,如果这个查询场景对应的数据库表有1000万条数据,那么查询结果肯定会比只有10条数据的查询结果要慢一些。如果性能测试不考虑数据量,那么性能测试的结果是不准确的,上线后由于未考虑数据量的因素而引发的性能问题几率会很大。

    对于线上系统来说,各表的数据量可以根据线上系统的各表数据量以及增量来确定。而新系统需要根据开发文档以及和相关项目干系人(如:客户代表、项目经理、需求分析员、系统架构师以及产品经理一起调研和讨论来决定)

    4、性能测试用例设计

    1)单场景

    场景描述:模拟用户进行登录操作
    并发量:分别模拟并发用户数为1、10、50三种情况进行测试
    压测时间:每次15分钟
    数据量:MySQL的user表中有70万账户
    集合点:不使用集合点

    重点关注指标:响应时间、事物成功率、应用服务器资源使用情况(CPU、内存、IO)、MySQL数据库资源使用情况(CPU、内存、IO)、应用日志是否有死锁等错误、数据库日志是否有死锁等错误、JVM内存使用情况和GC情况

    预期指标:响应时间在2秒内、事物成功率为100%、应用服务器和数据库服务器CPU使用率≤60%、没有内存泄漏、数据库死锁、线程死锁等现象

    2)混合场景

    混合场景不是把所有的测试场景糅合在一起形成一个大的场景,而应该先考虑不同的混合场景组合,如数据库查询操作的混合场景、数据库写操作的混合场景、数据库查询与写操作都包含的大混合场景。

    如下:
    场景描述:模拟系统不用用户进行数据库读写操作的混合场景,场景包括用户登录、广告词默认查询、新建广告组、广告词默认创建、广告审核、广告生效、广告词按价格排序。

    并发量:总共模拟300个用户同时操作,其中登录操作占比20%、广告词默认查询占比25%、新建广告组占比15%、广告词默认创建8%、广告审核10%、广告生效15%、广告词按价格排序7%

    压测时间:每次15分钟

    数据量:MySQL的cpc表有150万条数据、plan表有10万条数据、group表有50万条数据、audit表有100万条数据,MongoDB的report表有1TB数据、user表有90万条数据。

    集合点:不使用集合点

    重点关注指标:响应时间、事物成功率、应用服务器资源使用情况(CPU、内存、IO)、MySQL数据库资源使用情况(CPU、内存、IO)、应用日志是否有死锁等错误、数据库日志是否有死锁等错误、JVM内存使用情况和GC情况

    预期指标:登录、广告词默认查询、新建广告组等操作响应时间在2秒内,广告词默认创建、广告审核、广告生效、广告词按价格排序等操作响应时间在3秒内,事物成功率为100%、应用服务器和数据库服务器CPU使用率≤60%、没有内存泄漏、数据库死锁、线程死锁等现象

    3)稳定性场景

    场景描述:模拟系统不用用户进行数据库读写操作的混合场景,场景包括用户登录、广告词默认查询、新建广告组、广告词默认创建、广告审核、广告生效、广告词按价格排序。

    并发量:总共模拟300个用户同时操作,其中登录操作占比20%、广告词默认查询占比25%、新建广告组占比15%、广告词默认创建8%、广告审核10%、广告生效15%、广告词按价格排序7%

    压测时间:持续2*24小时

    数据量:MySQL的cpc表有150万条数据、plan表有10万条数据、group表有50万条数据、audit表有100万条数据,MongoDB的report表有1TB数据、user表有90万条数据。

    集合点:不使用集合点

    重点关注指标:JVM内存使用情况和GC情况

    预期指标:无内存泄漏现象或迹象发生

    5、性能测试环境准备与搭建

    性能测试环境包括软件环境、硬件环境和网络环境。这三大环境不仅是指应用服务器环境,还包括数据库服务器、缓存服务器、文件服务器以及其他中间应用服务器环境。

    硬件环境包括:CPU、内存、磁盘等基本因素。

    软件环境包括:操作系统版本号、配置,Linux磁盘分区、JDK版本、位数、厂商,中间件版本号、位数,数据库版本号、位数,以及这些软件的安装路径也最好与线上环境一致。配置文件包括JVM配置、中间件配置、数据库配置文件等。

    网络环境包括:网络协议及网络带宽。

    集群环境包括:应用相关服务器的负载均衡环境、数据库的热备或主从环境、集群环境等。

    申请线下仿真测试环境的时候,应遵循以下原则:

    1)硬件环境尽可能地保持与生产环境一致

    2)如果是集群环境,测试环境就不可能申请到那么多台服务器,那么可以考虑申请3台与线上生产环境一致的机器来作为线下的性能测试机器。

    在性能测试的过程中,可以分别测试单机、双机和三机负载均衡时候的性能表现,然后根据3种情况下性能表现计算出线上生产环境(比如说100台)进行负载均衡时的性能损耗率,从而较为真实的计算出线上100台机器进行负载均衡时候的性能指标。

    3)如果数据库集群环境太庞大,比如数据库是8组32台,那么线下测试不会申请32台机器进行性能测试。一般这种情况只会申请一组数据库(一主三从)作为性能测试的数据库即可。

    因为大型数据库的集群基本都是采用拆库分表策略,所以会导致数据库集群庞大。申请一组数据库机器就可以开展性能测试,只需要保证性能测试所用的用户数据都落在申请的这组数据库即可。

    4)如果实在无法保证硬件环境与线上一致,那么只能按照低配置环境进行测试,如果低配置环境测出的结果能满足线上要求,那么线上高配置环境肯定也能满足既定的性能要求。

    如果无法满足,则不建议做建模估算,因为如果CPU颗粒数、高速缓存、物理内存大小、磁盘转速不同,性能建模得出的性能结果也不够准确。如果在低配置的机器测试达不到要求,则要在测试报告中写明测试环境,并说明不能保证因为测试环境的提升而达到要求。

    6、做脚本

    7、跑场景

    根据测试用例来跑测试场景。

    8、做监控

    在性能测试的过程中,先用命令来监控,发现有问题再连上工具进行监控。

    9、分析调优

    每一个调优后,配置信息及测试结果都需要详细的记录下来。

    10、回归测试

    回归测试后,全部的目标达成后编写性能测试报告并发送给项目组成员。

    11、出图写测试报告

    下面是我整理的2023年最全的软件测试工程师学习知识架构体系图

    一、Python编程入门到精通

    请添加图片描述

    二、接口自动化项目实战

    请添加图片描述

    三、Web自动化项目实战

    请添加图片描述

    四、App自动化项目实战

    请添加图片描述

    五、一线大厂简历

    请添加图片描述

    六、测试开发DevOps体系

    请添加图片描述

    七、常用自动化测试工具

    请添加图片描述

    八、JMeter性能测试

    请添加图片描述

    九、总结(尾部小惊喜)

    没有什么比拥有一个不屈不挠的精神更重要了。在挫折与纷争中,坚持自己的理想,永不言败,这才是真正的胜利者所应具备的品质。加油!

    只要还有呼吸,就不能停止梦想的追求。不要怕失败,不要怨天尤人,勇往直前,相信未来,你会看到那道不可思议的彩虹!

    不论前方多么坎坷,不论风雨多么凛冽,只要心怀梦想,追逐自己的信仰,勇往直前,就能跨越万难,创造美好未来!奋斗不止,成就更大!

  • 相关阅读:
    MySQL事务
    hiredis C库调用的工具会话类封装。
    MAUI模板项目闪退问题
    学会这 29 个 函数,你就是 Pandas 专家
    【入门】.Net Core 6 WebApi 项目搭建
    理解V3中的proxy和reflect
    打造个性化代购商城,源码解决方案助您独占海外购物市场
    【第五篇】商城系统-商品属性管理
    Vue原理及源码设计模式
    JS 实现鼠标框选(页面选择)时返回对应的代码或文本内容
  • 原文地址:https://blog.csdn.net/csdnchengxi/article/details/133842573