Agent测试集生成工具实战指南：从零构建高效测试数据集

1次阅读

共计 3535 个字符，预计需要花费 9 分钟才能阅读完成。

在 AI Agent 开发中，测试数据集的质量直接影响模型效果评估的准确性。传统测试集构建通常面临三大挑战：

人工成本高：手动标注 1000 条对话数据平均需要 3 人天工作量
场景覆盖有限：人工设计的测试案例往往集中在典型场景，难以覆盖长尾情况
迭代效率低：模型更新后需要重新构建测试集，人工维护成本呈指数增长

以对话系统为例，当需要测试 ” 航班查询 ” 意图时，人工编写的测试用例可能只包含 ” 查一下明天北京到上海的航班 ” 等常规表达，而忽略了 ” 帮我看看下周飞 LA 的商务舱，要靠窗座位 ” 这类复合请求。

Faker：
优势：支持 40+ 语言，生成姓名 / 地址等结构化数据性能优异
局限：无法生成符合业务逻辑的关联数据（如 ” 用户年龄 ” 与 ” 购买记录 ” 的关联）
Synthea：
医疗数据生成专用工具
可生成包含时间序列的完整电子病历

# 伪代码示例：工具选型决策树
def select_tool(requirements):
    if needs.medical_data:
        return Synthea
    elif needs.structured_data:
        return Faker
    elif needs.natural_language:
        return "GPT-3 + 规则引擎"

from dataclasses import dataclass
from typing import List
import random

@dataclass
class FlightQuery:
    departure: str
    destination: str
    date: str
    seat_class: str = "economy"

    def to_natural_language(self) -> str:
        variants = [f"查 {self.date} 从{self.departure}飞 {self.destination} 的{self.seat_class}舱",
            f"帮我看看 {self.destination} 的机票，{self.date}出发"
        ]
        return random.choice(variants)

def generate_base_dataset(size: int) -> List[FlightQuery]:
    cities = ["北京", "上海", "广州", "深圳"]
    dates = ["今天", "明天", "下周"]
    return [
        FlightQuery(departure=random.choice(cities),
            destination=random.choice([c for c in cities if c != departure]),
            date=random.choice(dates),
            seat_class=random.choice(["economy", "business", "first"])
        ) for _ in range(size)
    ]

import openai
from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def augment_with_ai(prompt: str) -> str:
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.7
    )
    return response.choices[0].message.content

def generate_variant(query: FlightQuery) -> str:
    prompt = f"请用不同的表达方式改写以下航班查询，保持语义不变:\n 原始查询: {query.to_natural_language()}"
    return augment_with_ai(prompt)

def clean_generated_text(text: str) -> str:
    # 去除 AI 生成内容中的特殊符号
    import re
    text = re.sub(r"[\"\'\[\]]", "", text)
    # 标准化日期表达
    date_map = {"明日": "明天", "今儿个": "今天"}
    for k, v in date_map.items():
        text = text.replace(k, v)
    return text.strip()

意图覆盖度：

def calculate_intent_coverage(test_set, all_intents):
    detected = set([x.intent for x in test_set])
    return len(detected) / len(all_intents)

实体覆盖度：

def calculate_entity_coverage(test_set, all_entities):
    entity_counts = {e:0 for e in all_entities}
    for case in test_set:
        for e in extract_entities(case.text):
            entity_counts[e] += 1
    return sum(v > 0 for v in entity_counts.values()) / len(all_entities)

极端值注入：在日期字段中混入 ” 昨天 / 前天 ” 等无效查询
组合测试：使用 pairwise 算法生成参数组合
负样本生成：通过规则反转合法查询（如 ” 查询不存在的城市间航班 ”）

from allpairspy import AllPairs

def generate_edge_cases():
    parameters = [["北京", "上海", "东京"],  # 包含不存在目的地
        ["今天", "明天", "昨天"],  # 包含无效日期
        ["经济舱", "头等舱", "超级舱"]  # 包含无效舱位
    ]
    for pairs in AllPairs(parameters):
        yield FlightQuery(*pairs)

分布检查：对生成数据的实体分布进行卡方检验

from scipy.stats import chisquare

def check_distribution(generated, expected):
    _, p_value = chisquare(generated, expected)
    return p_value > 0.05  # 是否通过检验

对抗验证：训练简单分类器区分生成数据与真实数据

批量生成：
“`python
# 糟糕的实现：串行调用 API
[augment_with_ai(q) for q in queries] # 慢！

# 优化方案：批量请求
def batch_augment(queries, batch_size=10):
batches = [queries[i:i+batch_size]
for i in range(0, len(queries), batch_size)]
return [
augment_with_ai(”
“.join([q.to_natural_language() for q in batch]))
for batch in batches
]
“`

内存管理：

# 使用生成器避免加载全部数据到内存
def stream_dataset(file_path):
    with open(file_path) as f:
        for line in f:
            yield json.loads(line)

任务：改进以下数据生成策略，使其能生成包含特殊要求的航班查询（如 ” 带婴儿同行 ”、” 需要轮椅服务 ” 等）

评估脚本：

def evaluate_special_requests(test_set):
    required_phrases = ["婴儿", "轮椅", "特殊餐食"]
    coverage = sum(any(phrase in case for phrase in required_phrases)
        for case in test_set
    ) / len(test_set)
    print(f"特殊需求覆盖度: {coverage:.1%}")