共计 1409 个字符，预计需要花费 4 分钟才能阅读完成。

为什么需要数据合成？

在软件开发测试中，真实数据往往难以获取或涉及隐私问题。以下是几个典型场景：

• 金融风控模型测试：需要大量包含正常交易和欺诈行为的样本数据来验证模型效果
• 推荐系统 A / B 测试：要求用户行为数据具有多样性和代表性
• 医疗数据分析：需要保护患者隐私的同时保持数据的医学合理性

主流方案对比

常见数据生成工具各有特点：

• Faker 库：轻量级但缺乏关联规则支持
• Mockaroo：界面友好但扩展性有限
• Bob 框架 的核心优势：
• 支持复杂的数据关联定义
• 可编程的数据分布控制
• 内置隐私保护机制

基础使用教程

1. 数据模板定义

Bob 使用 YAML 格式定义数据结构：

# 用户数据模板
user_profile:
  fields:
    id: 
      type: uuid
      primary_key: true
    name:
      type: string
      generator: name
    age:
      type: integer
      distribution: normal(mean=30, std=5)
    credit_score:
      type: float  
      range: [300, 850]
      correlation:
        with: age
        factor: 0.6

2. 关联规则配置

通过 Python API 定义业务规则：

from bob import Generator

# 初始化生成器
gen = Generator(config='user_profile.yaml')

# 添加关联规则
def set_vip_status(record):
    """VIP 用户判定逻辑"""
    if record['credit_score'] > 700 and record['age'] > 25:
        record['is_vip'] = True
    return record

# 注册转换器
gen.add_transformer(set_vip_status)

# 生成 10 条数据
results = gen.generate(10)

3. 数据分布控制

Bob 支持多种统计分布：

• 正态分布：$X \sim N(\mu, \sigma^2)$
• 均匀分布：$X \sim U(a, b)$
• 泊松分布：$P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}$

示例配置：

income:
  type: float
  distribution: lognormal(mean=10, sigma=0.5)

生产环境避坑指南

1. 数据脱敏策略

• 对敏感字段使用哈希替换：

  from hashlib import sha256
  
  def hash_email(email):
      return sha256(email.encode()).hexdigest()[:20]

2. 特殊字符处理

• 统一使用 UTF- 8 编码
• 对文本字段进行标准化：

  import unicodedata
  
  def normalize_text(text):
      return unicodedata.normalize('NFKC', text)

3. 性能优化

• 批量生成比单条生成快 5 -10 倍
• 合理设置批次大小（建议 1000-5000 条 / 批）
• 启用并行生成模式：

  gen = Generator(parallel_workers=4)

实践挑战

尝试解决以下问题来巩固所学：

1. 如何生成包含地理时空关联的物流数据（发货地 -> 路线 -> 目的地）？
2. 当需要模拟用户行为序列（如购物车添加 -> 浏览 -> 支付）时，应该采用什么策略？
3. 如果业务要求某些字段组合必须唯一（如用户名 + 手机号），如何实现？

Bob 框架的灵活设计可以应对这些复杂场景，期待看到你的实现方案。