技能使用自动化测试实战：从零搭建高效测试框架

3次阅读

共计 2250 个字符，预计需要花费 6 分钟才能阅读完成。

在技能开发过程中，手动测试往往会遇到以下典型问题：

回归测试成本高 ：每次功能迭代都需要重复执行大量测试用例，占用大量开发时间。
环境依赖性强 ：测试结果容易受本地环境配置影响，难以保证一致性。
边界条件覆盖不全 ：人工测试难以穷尽所有输入组合，容易遗漏异常场景。

主流 Python 测试框架对比：

框架	优点	缺点	适用场景
Robot Framework	关键字驱动，易读性强	执行效率较低	验收测试 / 端到端测试
Unittest	Python 标准库	语法冗余，扩展性差	简单单元测试
Pytest	插件丰富，语法简洁	学习曲线略陡	复杂测试体系

选择 Pytest 的核心优势：

支持自动发现测试用例
丰富的参数化测试功能
完善的 fixture 管理机制
可与 Allure 等报告工具深度集成

import pytest

# 测试不同意图的返回结果
@pytest.mark.parametrize("intent,expected", [("weather", 200),  # 正常天气查询
    ("", 400),         # 空意图
    ("unknown", 404)   # 未知意图
])
def test_intent_response(intent, expected):
    response = skill_client.post("/intent", json={"intent": intent})
    assert response.status_code == expected

在 conftest.py 中定义全局 fixture：

import pytest
from skill_server import create_app

@pytest.fixture(scope="module")
def test_client():
    # 初始化测试客户端
    app = create_app(testing=True)
    with app.test_client() as client:
        yield client

@pytest.fixture
def mock_db(monkeypatch):
    # 替换真实数据库连接
    monkeypatch.setattr("skill.models.db", FakeDatabase())

安装依赖后，在 pytest.ini 中添加：

[pytest]
addopts = --alluredir=./reports

生成 HTML 报告：

allure serve ./reports

def test_skill_api(test_client, requests_mock):
    # 模拟外部 API 响应
    requests_mock.get(
        "https://weather.api", 
        json={"temp": 25}, 
        status_code=200
    )

    # 触发技能调用
    response = test_client.post("/weather", json={"city": "Beijing"})

    # 验证响应结构
    assert response.status_code == 200
    assert "temperature" in response.json
    assert response.json["city"] == "Beijing"

import asyncio

@pytest.mark.asyncio
async def test_async_operation():
    result = await async_process_data("test")
    assert result["status"] == "completed"

def test_db_operation(mock_db):
    initial_count = mock_db.query("SELECT COUNT(*) FROM users")

    # 执行插入操作
    add_test_user(mock_db)

    new_count = mock_db.query("SELECT COUNT(*) FROM users")
    assert new_count == initial_count + 1

为每个测试用例创建独立数据库 schema
使用事务回滚保证测试隔离
通过 factory_boy 生成测试数据

# .gitlab-ci.yml 示例
stages:
  - test

pytest:
  stage: test
  script:
    - pytest --cov=skill tests/
    - allure generate --clean
  artifacts:
    paths:
      - allure-report/

# 生成覆盖率报告
pytest --cov=skill --cov-report=html

# 设置质量门限
pytest --cov=skill --cov-fail-under=80

[测试套件]
    │
    ├── [单元测试] ← [Pytest]
    │       ├── 业务逻辑测试
    │       └── 工具类测试
    │
    ├── [接口测试] ← [Requests]
    │       ├── 正常流程
    │       └── 异常场景
    │
    └── [性能测试] ← [Locust]
            ├── 负载测试
            └── 压力测试