使用AI写测试UI自动化的技能：从原理到最佳实践

2次阅读

共计 1455 个字符，预计需要花费 4 分钟才能阅读完成。

UI 自动化测试是现代软件开发中不可或缺的一环，但传统方法面临诸多挑战：

元素定位不稳定 ：页面结构或样式微调可能导致 XPath/CSS 选择器失效
测试维护成本高 ：业务逻辑变更时需手动更新大量脚本
用例设计依赖经验 ：人工编写的测试场景可能遗漏边界条件
执行效率瓶颈 ：线性测试流程无法智能调整执行顺序

Testim：
优点：基于 ML 的自我修复定位器，可视化测试编排
缺点：闭源系统，定制化能力有限
Mabl：
优点：自动异常检测，云端执行环境
缺点：定价较高，本地化支持弱

优势：
保留原有框架灵活性
可增量式引入 AI 能力
社区生态丰富
典型技术栈 ：
元素定位：CV+DOM 的混合定位（如 SikuliX）
用例生成：GPT- 3 等 LLM 模型
异常预测：时序分类模型

# 使用 OpenCV 增强的定位方案
import cv2
from selenium.webdriver.common.by import By

def ai_locate_element(driver, template_img_path):
    # 截取当前屏幕
    screenshot = driver.get_screenshot_as_png()
    screenshot = cv2.imdecode(np.frombuffer(screenshot, np.uint8), 1)

    # 加载模板图像
    template = cv2.imread(template_img_path)

    # 模板匹配
    res = cv2.matchTemplate(screenshot, template, cv2.TM_CCOEFF_NORMED)
    _, _, _, max_loc = cv2.minMaxLoc(res)

    # 转换为 Selenium 可操作的坐标
    element = driver.execute_script(f"""return document.elementFromPoint({max_loc[0]}, {max_loc[1]});""")
    return element

# 使用 GPT- 3 生成测试步骤（需安装 openai 包）import openai

def generate_test_case(feature_desc):
    prompt = f""" 作为 QA 工程师，为以下功能编写 UI 测试步骤：功能描述：{feature_desc}
测试步骤：1."""

    response = openai.Completion.create(
        engine="text-davinci-003",
        prompt=prompt,
        max_tokens=500
    )
    return response.choices[0].text