Agent训练数据构建指南：从数据清洗到模型优化的全流程解析

1次阅读

共计 1907 个字符，预计需要花费 5 分钟才能阅读完成。

在构建对话 Agent 时，我们常把 70% 的精力花在模型调参上，却容易忽视一个基本事实：训练数据的质量直接决定了模型性能的天花板。试想用错误标注的问答对训练客服机器人，就像用错别字教材教孩子说话——再聪明的算法也无力回天。

数据噪声 ：爬虫抓取的网页常混入广告文本、乱码等干扰信息
标注不一致 ：不同标注员对 ” 用户不满意 ” 的判断标准可能相差甚远
分布偏差 ：电商客服数据集中可能过度集中 ” 退货 ” 类问题

主动学习策略 ：优先采集模型预测不确定的样本

from modAL.uncertainty import entropy_sampling
# 选择信息量最大的 100 条未标注数据
query_idx = entropy_sampling(model, unlabeled_pool, n_instances=100)

混合数据源 ：结合公开数据集（如 ConvAI2）与业务日志

去重三连击 ：
精确去重（MD5 哈希）
模糊去重（MinHash+LSH）
语义去重（Sentence-BERT 编码后聚类）
异常检测工具箱 ：
规则过滤（URL/ 特殊字符）
统计异常（TF-IDF 离群值）
语言模型困惑度（GPT- 2 打分）

# 基于困惑度的清洗示例
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

def get_ppl(text):
    inputs = tokenizer(text, return_tensors="pt")
    with torch.no_grad():
        loss = model(**inputs, labels=inputs["input_ids"]).loss
    return torch.exp(loss).item()

# 过滤高困惑度样本
df = df[df["text"].apply(get_ppl) < 150]

文本手术刀 ：
同义词替换（WordNet+ 词向量）
实体替换（人名 / 地点随机替换）
回译增强（中 -> 英 -> 中轮回翻译）
对话特异性增强 ：
意图重组（相同意图不同表达）
对话树扩展（基于回复多样性）

# 使用 nlpaug 进行同义词替换
import nlpaug.augmenter.word as naw

aug = naw.ContextualWordEmbsAug(model_path='bert-base-uncased', action="substitute")
augmented_text = aug.augment("How to reset my password?")
print(augmented_text)  # 输出如 "How to reboot my password?"

量化指标三件套 ：
多样性（Unique n-gram 比例）
一致性（标注员间 Kappa 系数）
平衡性（类别 KL 散度）
模型验证法 ：
保留 5% 数据作为验证集
监控清洗前后模型 F1-score 变化

分布式处理框架 ：
小数据量（<1GB）：Pandas+ 多进程
中数据量（1-10GB）：Dask/Ray
大数据量（>10GB）：Spark+NLP4J
增量处理技巧 ：
分块读取（chunksize 参数）
缓存中间结果（Parquet 格式）
采样验证（先处理 1% 样本调试）

# Dask 并行处理示例
import dask.dataframe as dd

ddf = dd.read_csv('big_data/*.csv', blocksize=25e6)  # 每个分块 25MB
ddf = ddf.map_partitions(clean_text_function, meta=ddf)
ddf.to_parquet('cleaned_data')