测试Agent与Skill开发实战：从零构建智能测试框架

2次阅读

共计 2791 个字符，预计需要花费 7 分钟才能阅读完成。

面对迭代越来越快的产品需求，传统测试框架暴露了三个致命伤：

维护成本指数级增长：每次页面元素变更，都需要人工修改上百个用例的定位表达式
用例复用率不足 20%：相似的登录 / 支付流程，在不同测试场景中重复编写
回归测试需要通宵跑：串行执行模式让 500 个用例要跑 8 小时，CI/CD 流水线严重堵塞

去年双十一大促前，我们某个核心下单链路因为测试遗漏导致线上事故，促使团队开始寻找更智能的解决方案。

对比主流方案后，我们发现 Agent 架构有显著优势：

方案类型	代表工具	致命缺陷	Agent 解决方案
录制回放	Selenium IDE	无法应对动态元素	通过 OCR+AI 识别动态控件
行为驱动	Cucumber	自然语言解析耗时长	直接调用 Skill 原子操作
关键字驱动	RobotFramework	脚本可读性差	可视化编排测试流

关键突破点在于：将测试能力拆解为可组合的 Skill，就像乐高积木一样自由拼装。

采用观察者模式 + 状态机的混合架构：

事件总线（观察者核心）
所有 Skill 通过 register_skill 方法注册到事件总线
当测试流程触发 element_click 事件时，自动路由到对应处理器

状态流转控制

class TestAgentState(Enum):
    IDLE = 0
    EXECUTING = 1  
    WAITING_RETRY = 2
    FINISHED = 3

def handle_state_change(new_state):
    # 超时自动熔断设计
    if new_state == EXECUTING and timeouts > 3:
        trigger_assertion_fuse()

所有 Skill 必须实现以下接口：

class BaseSkill:
    @classmethod
    def skill_meta(cls) -> dict:
        return {
            "name": "元素存在性检查",
            "input_schema": {"xpath": "string"},
            "output_schema": {"exists": "boolean"}
        }

    def execute(self, context: dict) -> dict:
        try:
            # 实现核心逻辑
            return {"exists": True}
        except Exception as e:
            # 统一错误格式
            raise SkillException(
                error_code="ELEMENT_NOT_FOUND",
                recoverable=True  # 可自动重试
            )

class ScreenshotSkill(BaseSkill):
    """页面截图技能"""
    @classmethod
    def skill_meta(cls):
        return {
            "version": "1.0",
            "author": "测试架构组"
        }

    def execute(self, context):
        driver = context["webdriver"]
        filename = f"screenshot_{int(time.time())}.png"
        driver.save_screenshot(filename)
        return {"saved_path": filename}

class ElementCheckerSkill(BaseSkill):
    def execute(self, context):
        xpath = self.params["xpath"]
        driver = context["webdriver"]

        # 智能等待 + 多定位策略
        elements = WebDriverWait(driver, 10).until(lambda d: d.find_elements(By.XPATH, xpath) or 
                     d.find_elements(By.CSS_SELECTOR, convert_xpath_to_css(xpath))
        )

        if not elements:
            raise SkillException(
                error_code="ELEMENT_NOT_FOUND",
                extra_data={"xpath": xpath}
            )

        return {"count": len(elements),
            "text": elements[0].text
        }

class PerformanceSkill(BaseSkill):
    def execute(self, context):
        # 通过浏览器 API 采集指标
        metrics = context["driver"].execute_script("""
            return {
                memory: window.performance.memory,
                timing: window.performance.timing
            };
        """)

        # 计算关键路径耗时
        load_time = metrics["timing"]["loadEventEnd"] - metrics["timing"]["navigationStart"]

        return {"js_heap_size": metrics["memory"]["jsHeapSizeLimit"],
            "page_load_ms": load_time 
        }

动态分片技术

# 根据用例复杂度自动分配权重
def schedule_tasks(test_cases):
    weights = [estimate_complexity(case) for case in test_cases]
    return np.array_split(test_cases, 
                        math.ceil(sum(weights)/MAX_WEIGHT_PER_WORKER))