• 基于Sikuli GUI图像识别框架的PC客户端自动化测试实践


    写在前面
    最近两天,公司有个PC客户端的测试任务,除了最基础的功能测试外,还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具,于是便应用于测试工作中,辅助测试任务。初步试用下来,总体效果还算差强人意。
     

    一、GUI图像识别框架元祖:Sikuli

    Sikuli 创始于 2009 年,是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。 它以图像检索技术为基础,提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程,完成交互操作。 Sikuli 一词取自墨西哥的土著语,意为“上帝之眼”,寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网:http://www.sikulix.com/
    SikuliX支持作为脚本语言:
    • Python 语言级别 2.7(由Jython支持)
    • 支持运行RobotFramework文本脚本
    • Ruby 语言级别 1.9 和 2.0(由JRuby支持)
    • JavaScript(受 Java 脚本引擎支持)
    SikuliX的常见用途:
    • 应用程序或网页的日常自动化任务
    • 玩游戏
    • IT系统和网络的管理
     

    二、Sikuli运行原理

     

    三、Sikuli安装

    Sikuli 支持跨平台运行,可以运行在Mac OS X、Windows 和 Linux 系统下。
    下载地址:https://launchpad.net/sikuli/+download 或者官网:http://sikulix.com/
    推荐安装x1.0-rc3(需要依赖JDK1.6版本)

     

     

    四、Sikuli IDE主界面基本使用

    Sikuli1.x版本官方文档:http://doc.sikuli.org/
    1.左侧为常用函数,包括查找、鼠标动作、键盘动作等
    2.点击元素的图片可以调节识别的偏移度、匹配的精度
    3.sikuli脚本首次保存会提示并弹出保存路径,可自定义保存路径
    4.脚本也可以导出为exe格式的可执行文件
    • 一个脚本对应一个目录,目录中对应脚本中的图标截图、python脚本,
     

    五、Sikuli 脚本语法

    Sikuli 的脚本编写遵循 Python 语法规范,其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython,其核心代码由 Java 编写,可在用户自定义的 Java 工程中将其作为 Java 标准类库进行
    • 定位APP窗口:myApp.window()
    • 聚焦到当前APP:myApp.focus()
    • 判断元素是否存在:exists()
    • 点击某个元素或图标:click()
    • 输入文本内容:type("http://www.baidu.com")
    • 按下键盘按键:type(Key.ENTER) 按键名要大写

     

    六、Sikuli 应用示例

    PC客户端的自动循环发送消息的脚本示例:
    复制代码
    import time
    import random
    
    myApp=App("yueyun-im")  # 声明APP实例
    if not myApp.window():  # 判断当前是否处于APP窗口
        openApp("D:\\yueyun-im\\yueyun-im.exe")  # 如果不处于APP窗口,则打开指定位置EXE
        myApp.focus()  # 聚焦于APP
    if exists("K7iX.png"):  # 判断图标是否存在
        click("K7iX.png")  # 点击指定图标按钮
    if not exists("1655945972853.png"):
        click("1655946081065.png")
    click("1655945972853.png")
    #while 'p' in 'python': 
    for i in range(10):
        type("TEST-SIKULI-MSG-"+str(i))
        time.sleep(0.2)  # 休眠3秒
        #click("1655946081065.png")
        type(Key.ENTER)  # 按下键盘的ENTER键,按键名要大写
        type(Key.ENTER)
    myApp.close()  # 关闭APP 
    复制代码
     

    七、Sikuli 优势及局限

    1.优势

    ① 学习成本低,只需掌握简单的python语法就能快速上手;
    ② 无需关注元素有哪些属性,所见即所得;
    ③ 适合非标准控件等自定义界面的定位,如游戏界面;
    ④ 支持跨平台,支持Windows、Linux、macOS;

    2.局限

    ① 基于图像识别,图片的大小、分辨率、色彩都会对识别造成影响,定位不能百分百准确地识别到元素;
    ② 只能定位当前正在操作的窗口界面;
    ③ 若流程过长,则会造成脚本过于臃肿;
    ④ 图片存在相似度,会对识别造成影响,需要手动一一调整图片的精度;
     

    Sikuli 使用小结

    • 尽管sikuli用来实现复杂的测试场景不太现实,这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余,比如:
    ① 循环、持续发送消息,7*24h运行,以检测程序运行稳定性;
    ② 持续发送图片或视频文件,以检测程序的连续上传、下载文件的稳定性;
    ③ 在不同的PC系统版本上运行,以检测程序的兼容性;
    • 对于web自动化、APP自动化主要用该端特定的自动化框架,如selenium、appium,sikuli作为辅助、可以和selenium等结合使用;
    • 对于特定的、复杂的场景,如游戏界面、flash应用等难以识别到元素的应用界面,可以使用sikuli;
    • 今天在测试场景②的过程中也发现了一个bug:【当前聊天窗口,连续下载图片过程中,程序闪退】。虽然硬说是sikuli测出来的bug有些牵强,但本身自动化测试也不是用来发现bug的,sikuli也算是出了很大一份力。只要能合理地利用,任何不起眼的工具都可以发挥它的价值!

    更多实用干货,同步首发于微信公众号【测试开发实战】,欢迎关注!

     

  • 相关阅读:
    JVM详解
    stm32之软件模拟IIC
    paddleocr-营业执照识别项目实战
    PLC无线通讯技术在汽车喷涂车间机械手臂上的应用
    AWS SAP-C02教程5--基础中间件
    Vuex基础使用存取值+异步请求
    C/C++ 程序员的职业生涯规划,你想从事哪方面呢?这里都有介绍
    【深入理解kafka系列】第一章 初识kafka
    一些Java相关的知识点
    【Unity开发】VSCode 代码补全缺失问题的各种修复方法
  • 原文地址:https://www.cnblogs.com/dagangtest/p/16546324.html