Python笔记-uiautomator2截图点击，OpenCV找图

ゞ浴缸里的玫瑰 2022-09-11 07:10 293阅读 0赞

对应的代码如下：

import time
    
    import uiautomator2 as u2
    import cv2
    import numpy as np
    
    d = u2.connect_usb("6e0bc87e")
    
    displayWidth = d.info['displayWidth']
    displayHeight = d.info['displayHeight']
    
    
    if __name__ == '__main__':
        d.screenshot('pic/1.png')
        img_rgb = cv2.imread('./pic/1.png')
        img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
        template = cv2.imread('./template/finger2.png', 0)
    
        res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
        threshold = 0.7
    
        loc = np.where(res >= threshold)
    
    
    
        for pt in zip(*loc[::-1]):
            print(pt[0] / displayWidth, pt[1] / displayHeight)
            d.click(pt[1] / displayHeight, pt[0] / displayWidth)
            time.sleep(0.3)
    
            pass
    
        pass

结构如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVQxOTk1_size_8_color_FFFFFF_t_70_g_se_x_16][]

其中template是目标文件，OpenCV使用的是matchTemplate进行模板匹配找图。

这里有个要注意的地方：

uiautomator2中click输入的是比例，需要用当像素的宽 / 屏幕宽，当前像素长 / 屏幕长。这种，

可以通过

d = u2.connect_usb("6e0bc87e")
    
    displayWidth = d.info['displayWidth']
    displayHeight = d.info['displayHeight']

这种方式获取屏幕的宽度和高度。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBASVQxOTk1_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/e2379eb974bc4932bda9425347f09d39.png

发表评论取消回复

表情：

评论列表（有 0 条评论，293人围观）

还没有评论，来说两句吧...

相关阅读

相关 Excel截图，折线图截图，柱状图截图，饼图截图

package test; import java.io.ByteArrayOutputStream; import java.io.File

Myth丶恋晨/ 2023年10月06日 16:11/ 0 赞/ 25 阅读

相关 python实现鼠标手动截图(类似于QQ截图)

由于在网上找了很久，只找到按像素位置截图和全屏截图的，所以决定自己写一个。本程序实现原理是现用PIL里的ImageGrab进行全屏截图，然后通过模拟鼠标操作，进行截图，最

迈不过友情╰/ 2022年11月28日 00:58/ 0 赞/ 275 阅读

相关截图代码-窗口截图

bool Tool::capturePicture(QString strWndName, QString strFilepath) { HW

我不是女神ヾ/ 2022年09月15日 11:48/ 0 赞/ 298 阅读

相关 Python笔记-uiautomator2截图点击，OpenCV找图

对应的代码如下： import time import uiautomator2 as u2 import cv2 import n

ゞ浴缸里的玫瑰/ 2022年09月11日 07:10/ 0 赞/ 294 阅读

相关 Python笔记-利用OpenCV的matchTemplate屏幕找图并使用pyautogui点击

要找的图为计算机，也就是icon.png，对应的图标为： ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1

我会带着你远行/ 2022年09月11日 07:09/ 0 赞/ 92 阅读

相关 python opencv 检测移动物体并截图保存

最近在老家找工作，无奈老家工作真心太少，也没什么面试机会，不过之前面试一家公司，提了一个有意思的需求，检测河面没有有什么船只之类的物体，我当时第一反应是用opencv做识别，不

谁借莪１个温暖的怀抱￠/ 2022年05月31日 14:47/ 0 赞/ 243 阅读

相关 Unigine 截图与摄像机截图

if(engine.app.clearKeyState(APP\_KEY\_TAB)) \{ //窗口截图 engine.console.run("video\_exte

缺乏、安全感/ 2022年04月24日 09:42/ 0 赞/ 327 阅读

相关 python opencv 截图

import cv2 import numpy as np from PIL import ImageGrab def ca

布满荆棘的人生/ 2022年04月24日 01:26/ 0 赞/ 211 阅读

相关点击小图切换大图

点击任意一张图片都会变大，并显示在下方指定处。 <!DOCTYPE html> <html lang="en"> <head> <me

以你之姓@/ 2022年02月27日 13:54/ 0 赞/ 308 阅读

相关 html2canvas - 实现网页截图(+下载截图) 功能

实现：html2canvas + canvas.toDataURL 首先，引入依赖插件： import { html2canvas } from './html2c

偏执的太偏执、/ 2022年01月09日 06:41/ 0 赞/ 492 阅读