Skill脚本中CV的含义解析与实战应用指南

6次阅读

没有评论

共计 1786 个字符，预计需要花费 5 分钟才能阅读完成。

在自动化测试和技能脚本开发中，CV（Computer Vision）是一个强大的工具，但很多开发者在实际使用中会遇到各种问题。这些问题主要集中在以下几个方面：

环境依赖复杂 ：CV 库通常需要复杂的依赖环境，如 OpenCV 需要编译安装，Tesseract 需要语言包支持。
性能瓶颈 ：图像处理通常计算密集，脚本在低配置设备上运行缓慢。
鲁棒性差 ：光照变化、图像模糊等环境因素容易导致识别失败。
维护成本高 ：脚本中的硬编码参数（如阈值、模板图像）难以适应多变的应用场景。

主流 CV 库在技能脚本中有各自的适用场景：

OpenCV：适合通用的图像处理和基础识别任务，如边缘检测、模板匹配。
Tesseract：专攻 OCR（光学字符识别），适合文本提取场景。
PyTesseract：Tesseract 的 Python 封装，简化了 OCR 集成流程。
EasyOCR：基于深度学习的 OCR 库，识别准确率高但资源消耗大。

选择时需权衡识别精度、执行速度和资源消耗。例如，简单的按钮识别用 OpenCV 模板匹配即可，而复杂文本识别可能需要 Tesseract 或 EasyOCR。

以下是一个使用 OpenCV 实现基础图像识别的 Python 脚本示例：

import cv2
import numpy as np

def match_template(screen_path, template_path, threshold=0.8):
    """
    在屏幕截图中查找模板图像的位置
    :param screen_path: 屏幕截图路径
    :param template_path: 模板图像路径
    :param threshold: 匹配阈值（0-1）:return: 匹配位置的坐标列表
    """
    try:
        # 读取图像
        screen = cv2.imread(screen_path, cv2.IMREAD_COLOR)
        template = cv2.imread(template_path, cv2.IMREAD_COLOR)

        # 灰度化提升性能
        screen_gray = cv2.cvtColor(screen, cv2.COLOR_BGR2GRAY)
        template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)

        # 模板匹配
        res = cv2.matchTemplate(screen_gray, template_gray, cv2.TM_CCOEFF_NORMED)
        loc = np.where(res >= threshold)

        # 返回所有匹配位置
        return list(zip(*loc[::-1]))
    except Exception as e:
        print(f"匹配失败: {str(e)}")
        return []

# 使用示例
matches = match_template("screen.png", "button.png")
print(f"找到 {len(matches)} 个匹配")

优化点说明 ：