• 【快手小玩法-弹幕游戏】开发者功能测试报告提交模板


    背景

    快手有明确的要求,准入和准出更加严格,要求有明确的测试报告。格式如下:

    *本文参考字节wiki:CP侧测试报告模板(复制填写轻雀文档)

    其他文章推荐:【抖音小玩法-弹幕游戏】开发者功能测试报告提交模板

    一、前言

    1、首次提交时,必须填写功能测试、客户端性能测试、服务端性能测试报告,建议用轻雀,不要用本地word

    2、更新迭代时,重大改动,必须填写功能测试、客户端性能测试、服务端性能测试报告

    3、更新迭代时,轻微改动,必须填写功能测试报告,客户端性能测试报告、服务端性能测试报告建议填写

    二、功能测试

    1、概述

    1.1、项目背景

    1.2、测试目的

    1.3、测试范围

    1.4、测试环境

    1.5、测试版本

    1.6、项目相关人员

    1)项目负责人

    2)产品负责人

    3)开发负责人

    4)测试负责人

    5)测试时间

    2、核心测试用例






































     

    基础checklist

    模块

    重要程度

    用例

    执行结果

    玩法截图

    开播

    非常重要

    通过PC伴侣正常开播

     

    评论

    非常重要

    在直播间内进行评论,评论内容包含“加战队指令关键字”,加入相应战队,“红”、“蓝”两方战队都需要验证

     

    加入战队成功后,用户名称和图像显示正确

     

    在直播间内进行评论,评论内容不包含“加战队指令关键字”,则不加入相应战队

     

    在直播间内进行评论,评论内容包含“召唤兵种关键字“,则输出对应兵种,数量和种类都需正确,且用户名称和图像显示正确

     

    在直播间内进行评论,评论内容不包含“召唤兵种关键字“,则不输出兵种

     

    点赞

    非常重要

    召唤兵种数量正确

     

    召唤兵种种类正确

     

    用户名称和图像展示正确

     

    送礼

    非常重要

    礼物1,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    礼物2,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    礼物3,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    礼物4,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    礼物5,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    礼物6,召唤兵种数量和种类正确,用户名称和图像展示正确

     

    弹幕玩法中

    非常重要

    血量正确扣减

     

    非常重要

    杀敌信息正常提示

     

    非常重要

    视角切换、鼠标操作正常

     

    玩法结果

    非常重要

    玩法结果展示正确

     

    用户排名等信息展示正确

     

    排行榜

    非常重要

    排行榜昵称、头像等显示正常

     

    非常重要

    排行榜数据更新正常

     

    非常重要

    排行榜结算规则不是单纯以付费维度衡量,且只按单场直播维度结算

     

    再来一局

    非常重要

    重新开局,正常开启

     

    正常出兵

     

    UI

    重要

    战斗通知完备(XX击败了谁;XX连杀)

     

    重要

    系统通知完备(XX加入了蓝队;XX获得了XX;还有X秒战斗结束等)

     

    重要

    付费通知完备( XX送出了XX礼物获得了XX,所有付费需求有外显)

     

    关闭玩法

    重要

    点击关闭按钮玩法可正常关闭

     

    弹幕玩法逻辑自测

    重要

    由CP侧提供补充完整测试报告

     

    新增功能回测

    重点关注:

    弹幕玩法常见问题举例(重要)

    弹幕玩法禁止事项(重要)

    3、测试录屏

    需要上传测试录频

    1、PC端开播视频

    2、直播间评论、点赞、送礼视频等

    4、测试结论

    质量评价

    ××(版本V1.0.0),部分功能未完全实现,有0.19%(3条)的用例没有通过;0%(0个)的Bug没有修复。

    测试结论

     

    评估人员

    测试人员:××

    开发人员:××

    审核人员

    ××

    三、客户端性能测试(第一次审核提交必须)

    1、设备信息

    1.1、PC伴侣竞品推荐弹幕玩法配置

    产品

    操作系统

    CPU

    主板

    显卡

    内存

    硬盘

    快手直播伴侣

    Windows 7/8/10

    i7-8700

    Z370

    RTX 2060

    16GB ddr4_2666

    512G SSD+ 1TB HDD

    抖音直播伴侣

    Windows 10/11

    i7-8700 或更高型号

    /

    NVIDIA GeForce RTX 2060 或更高型号

    16G以上

    /

    B站直播姬

    /

    英特尔酷睿i5 8400

    AMD 锐龙 Ryzen5 2500x

    Z370(英特尔)

    B450(AMD)

    GTX1660 Super/RX580 及以上

    16G以上

    /

    1.2、性能测试电脑配置

    机型

    操作系统

    CPU

    主板

    显卡

    内存

    联想XX

     

    联想XXX

     

    2、性能指标

    2.1、指标要求

    指标

    性能基线

    重要程度

    FPS帧率

    >=26 (业界标准,越高越好)

    主要指标

    卡顿率

    <=2%(业界标准,越低越好)

    主要指标

    CPU占用率

    60%及以下(越低越好)

    主要指标

    GPU占用率

    **%-**%(待确定)

    次要指标

    内存占用率

    越低越好

    次要指标

    2.2、测试场景及结果

    1)单一兵种











     

    兵种

    数量

    CPU

    GPU

    内存

    FPS帧率

    兵种1

    10

    **%

    **%

    **%

    30

    最大兵数/2

     

    最大兵数

     

    兵种2

    10

     

    最大兵数/2

     

    最大兵数

     

    兵种3

    10

     

    最大兵数/2

     

    最大兵数

     

    兵种4

    10

     

    最大兵数/2

     

    最大兵数

     

    兵种5

    10

     

    最大兵数/2

     

    最大兵数

     

    兵种6

    10

     

    最大兵数/2

     

    最大兵数

     

    ......

     

    2)混合兵种:使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布

    2.3、性能测试工具参考

    1) Windows系统自带的任务管理器

    2) Windows性能监控工具Perfmon

    3)  小玩法测试指南

    四、服务端性能测试(第一次审核提交必须)

    1、性能要求

     

    QPS

    P995(ms)

    支持多少用户

    参与弹幕玩法

    同一时间最多兵数

    单个直播间压测

    >=100

    <1000

    需要CP侧说明

    需要CP侧说明

    全局

    QPS

    成功率

    P995(ms)

    CPU

    内存

    支持主播<=760

    >=1000

    >=99.99%

    <1000

    <=60%

    <=60

    支持主播<=2000

    >=2000

    >=99.99%

    <1000

    <=60%

    <=60

    支持主播>=2000

    >=4000

    >=99.99%

    <1000

    <=60%

    <=60

    2、压测结果

    接口

    服务部署及配置情况

    QPS

    成功率

    P995(ms)

    CPU

    内存

    压测结论

    接口1

    双机房总共40实例

    XX机房:20

    YY机房:20

    服务实例配置 :24C、24G

    数据库配置:

    缓存配置:

    1000

     

    <=1000 ms

    <=60%

    <=60%

    通过

    接口2

     

    3、压测详情

    3.1、单场景(可省略)

    兵种

    最大QPS

    成功率

    TP995

    CPU使用率

    内存使用率

    兵种1

     

    兵种2

     

    兵种3

     

    兵种4

     

    兵种5

     

    兵种6

     

    ......

     

    3.2、混合场景(必须)

    使用单个玩法进程最大允许兵数,按照兵种对应礼物的价格分布,比如:价格1快币、52快币、99快币、199快币、299快币、666快币,则可以大致按照6:2:1:0.5:0.025:0.025的分布(后续可以更精细化)

    兵种

    兵种1

    兵种2

    兵种3

    兵种4

    兵种5

    兵种6

    占比

    60%

    20%

    10%

    5%

    2.5%

    2.5%

    4、压测监控图(必须)

    5、业界参考指标

    五、安全规范check(以下文档创建使用,在此处放连接即可)

    直播小玩法接入小玩法安全漏洞checklist

  • 相关阅读:
    Hibernate知识大合集
    FFmpeg入门详解之13:everything简介
    FDMA 3.1 米联客的Axi-DDR3控制器及其配套的Dbuf
    ubuntu下查看文件(夹)大小的命令
    jmeter模拟多用户并发
    双轴晶体中的锥形折射
    股票成交明细 易语言代码
    【Revit二次开发】模型中存储数据——参数和外部存储(Parameter, Schema and Entity)
    高性能 MySQL - 第六章 查询性能优化
    uniapp自定义右击菜单
  • 原文地址:https://blog.csdn.net/jlhx123456/article/details/132625914