基于Sikuli GUI图像识别框架的PC客户端自动化测试实践

矫情吗；* 2024-03-23 12:20 36阅读 0赞

###  ###

**目录：导读**

引言

一、GUI图像识别框架元祖：Sikuli

二、Sikuli运行原理

三、Sikuli安装

四、Sikuli IDE主界面基本使用

五、Sikuli 脚本语法

六、Sikuli 应用示例

七、Sikuli 优势及局限

1.优势

2.局限

Sikuli 使用小结

--------------------

![61f6036e677e4e8aa6d18ac96cab9d50.png][]

### 引言 ###

**Sikuli是一种基于Python的GUI图像识别框架，它能够通过匹配屏幕截图上的图像元素来定位和操作目标应用程序的UI元素。**这意味着Sikuli可以用于各种不同类型的应用程序，无论是Web应用程序还是桌面应用程序，都可以使用Sikuli进行自动化测试。

**同时，它还具有跨平台性和易于学习等优点**。因此，在当前市场上，Sikuli自动化测试越来越受到广泛关注和应用。

本文将介绍如何使用Sikuli实现PC客户端自动化测试，并分享实践中遇到的问题和解决方案。希望能够为广大测试工程师提供参考和帮助。

········································

最近两天，公司有个PC客户端的测试任务，除了最基础的功能测试外，还包括稳定性测试和兼容性测试需求。刚好去年接触过Sikuli这款基于GUI图像识别框架的自动化测试工具，于是便应用于测试工作中，辅助测试任务。初步试用下来，总体效果还算差强人意。

### 一、GUI图像识别框架元祖：Sikuli ###

Sikuli 创始于 2009 年，是麻省理工学院用户界面设计小组的一个开源研究项目。2012 年由 RaiMan 接管开发和 支持并将其命名为 SikuliX。 它以图像检索技术为基础，提供了一套基于 Jython 的脚本语言以及集成开发环境。使用者可利用屏幕截图直接 引用 GUI 元素进行编程，完成交互操作。 Sikuli 一词取自墨西哥的土著语，意为“上帝之眼”，寓意—— Sikuli 让电脑能像人一样”看”这个”真实世 界”。官网：[RaiMan's SikuliX][RaiMan_s SikuliX]

![52afc331dc5130cd0a20247176501a18.png][]

SikuliX支持作为脚本语言：

*  Python 语言级别 2.7（由Jython支持）
 *  支持运行RobotFramework文本脚本
 *  Ruby 语言级别 1.9 和 2.0（由JRuby支持）
 *  JavaScript（受 Java 脚本引擎支持）

SikuliX的常见用途：

*  应用程序或网页的日常自动化任务
 *  玩游戏
 *  IT系统和网络的管理

### 二、Sikuli运行原理 ###

![55093359da06482ea6850a35a0717054.png][]

### 三、Sikuli安装 ###

Sikuli 支持跨平台运行，可以运行在Mac OS X、Windows 和 Linux 系统下。

下载地址：https://launchpad.net/sikuli/+download 或者官网：[RaiMan's SikuliX][RaiMan_s SikuliX 1]

推荐安装x1.0-rc3（需要依赖JDK1.6版本）

![d711e9bb135e8d9f9a15c1460b5e5308.png][]

###  ###

### 四、Sikuli IDE主界面基本使用 ###

Sikuli1.x版本官方文档：[Sikuli Documentation — Sikuli X 1.0 documentation][Sikuli Documentation _ Sikuli X 1.0 documentation]

![5fa738f9bd3d2d8dd103163cba1b76c6.png][]

1.左侧为常用函数，包括查找、鼠标动作、键盘动作等

2.点击元素的图片可以调节识别的偏移度、匹配的精度

3.sikuli脚本首次保存会提示并弹出保存路径，可自定义保存路径

4.脚本也可以导出为exe格式的可执行文件

![2ba6878c6f86a5519e68517437713584.png][]

*  一个脚本对应一个目录，目录中对应脚本中的图标截图、python脚本，

### 五、Sikuli 脚本语法 ###

Sikuli 的脚本编写遵循 Python 语法规范，其本身提供了多种自定义类及其自定义方法。由于 Sikuli 基于 Jython，其核心代码由 Java 编写，可在用户自定义的 Java 工程中将其作为 Java 标准类库进行

*  定位APP窗口：myApp.window()
 *  聚焦到当前APP：myApp.focus()
 *  判断元素是否存在：exists()
 *  点击某个元素或图标：click()
 *  输入文本内容：type("http://www.baidu.com")
 *  按下键盘按键：type(Key.ENTER) 按键名要大写

###  ###

### 六、Sikuli 应用示例 ###

PC客户端的自动循环发送消息的脚本示例：

import time
    import random
    
    myApp=App("yueyun-im")  # 声明APP实例
    if not myApp.window():  # 判断当前是否处于APP窗口
        openApp("D:\\yueyun-im\\yueyun-im.exe")  # 如果不处于APP窗口，则打开指定位置EXE
        myApp.focus()  # 聚焦于APP
    if exists("K7iX.png"):  # 判断图标是否存在
        click("K7iX.png")  # 点击指定图标按钮
    if not exists("1655945972853.png"):
        click("1655946081065.png")
    click("1655945972853.png")
    #while 'p' in 'python': 
    for i in range(10):
        type("TEST-SIKULI-MSG-"+str(i))
        time.sleep(0.2)  # 休眠3秒
        #click("1655946081065.png")
        type(Key.ENTER)  # 按下键盘的ENTER键，按键名要大写
        type(Key.ENTER)
    myApp.close()  # 关闭APP

### 七、Sikuli 优势及局限 ###

#### 1.优势 ####

① 学习成本低，只需掌握简单的python语法就能快速上手；

② 无需关注元素有哪些属性，所见即所得；

③ 适合非标准控件等自定义界面的定位，如游戏界面；

④ 支持跨平台，支持Windows、Linux、macOS；

#### 2.局限 ####

① 基于图像识别，图片的大小、分辨率、色彩都会对识别造成影响，定位不能百分百准确地识别到元素；

② 只能定位当前正在操作的窗口界面；

③ 若流程过长，则会造成脚本过于臃肿；

④ 图片存在相似度，会对识别造成影响，需要手动一一调整图片的精度；

### Sikuli 使用小结 ###

*  尽管sikuli用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实。但用来做一些特定场景的测试还是游刃有余，比如：

① 循环、持续发送消息，7\*24h运行，以检测程序运行稳定性；

② 持续发送图片或视频文件，以检测程序的连续上传、下载文件的稳定性；

③ 在不同的PC系统版本上运行，以检测程序的兼容性；

*  对于web自动化、APP自动化主要用该端特定的自动化框架，如selenium、appium，sikuli作为辅助、可以和selenium等结合使用；
 *  对于特定的、复杂的场景，如游戏界面、flash应用等难以识别到元素的应用界面，可以使用sikuli；
 *  今天在测试场景②的过程中也发现了一个bug：【当前聊天窗口，连续下载图片过程中，程序闪退】。虽然硬说是sikuli测出来的bug有些牵强，但本身自动化测试也不是用来发现bug的，sikuli也算是出了很大一份力。只要能合理地利用，任何不起眼的工具都可以发挥它的价值！

这篇文章讲到这里就结束了，喜欢的话可以给作者一个免费的三连哈！你的支持就是我创作的最大动力！

最后这些资料有需要的可以和我留个言【软件测试学习】

![0941240e05634b6e928f1dd7263bf69c.png][]

[61f6036e677e4e8aa6d18ac96cab9d50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/108d9c0db92c4da39f74aafb7e60fbfe.png
[RaiMan_s SikuliX]: http://www.sikulix.com/
[52afc331dc5130cd0a20247176501a18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/4b42c279df8b4e979720829ecf2f6143.png
[55093359da06482ea6850a35a0717054.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/6db5f0e13659420483bf6efa10fb19d8.png
[RaiMan_s SikuliX 1]: http://sikulix.com/
[d711e9bb135e8d9f9a15c1460b5e5308.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/b8621f41b3004011a4f256a996b9727d.png
[Sikuli Documentation _ Sikuli X 1.0 documentation]: http://doc.sikuli.org/
[5fa738f9bd3d2d8dd103163cba1b76c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/fb25cb58471a44be8d0e4f17dcf894b4.png
[2ba6878c6f86a5519e68517437713584.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/4af9ff44bfc944d7803a70b4c4314656.png
[0941240e05634b6e928f1dd7263bf69c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/23/fa1c7877559a438188b581e3bc1a2f29.png