数据预处理全流程实战：从数据采集到合成数据的工程化实践

1次阅读

共计 2345 个字符，预计需要花费 6 分钟才能阅读完成。

在真实的机器学习项目中，数据预处理往往占据整个流程 70% 以上的时间。根据我的实践经验，最常见的三大痛点包括：

数据采集阶段：遇到动态加载网页时传统爬虫失效，需要处理反爬机制（如验证码、IP 封锁），不同网站结构差异导致采集规则难以复用
数据清洗阶段：缺失值处理方式选择困难（均值填充 / 删除 / 预测），异常值阈值设定缺乏客观标准，文本数据中的特殊字符和编码问题频发
数据标注阶段：标注人员理解不一致导致标签噪声，边界模糊样本（如图像中的部分遮挡物体）难以判定，标注工具不支持自定义标签体系

Requests：适合静态页面的简单抓取，优势是轻量级

import requests
response = requests.get('https://example.com', 
                       headers={'User-Agent': 'Mozilla/5.0'})  # 模拟浏览器

Scrapy：适合结构化数据的大规模爬取，内置去重和管道

class NewsSpider(scrapy.Spider):
    name = 'news'
    start_urls = ['http://news.site/archive']

    def parse(self, response):
        for article in response.css('div.article'):
            yield {'title': article.css('h2::text').get().strip(),
                'date': article.css('time::attr(datetime)').get()}

Selenium：应对 JavaScript 渲染的动态内容，但资源消耗较大

from selenium.webdriver import Chrome
driver = Chrome(executable_path='chromedriver')
driver.get("https://dynamic.site")
dynamic_content = driver.find_element_by_id("async-content").text

缺失值处理黄金法则：

数值型数据：采用中位数填充避免异常值影响
```
df['price'].fillna(df['price'].median(), inplace=True)
```
类别型数据：单独标记为 ”Unknown” 类别
```
df['category'] = df['category'].fillna('Unknown')
```

异常值检测实战（使用 IQR 方法）：

Q1 = df['value'].quantile(0.25)
Q3 = df['value'].quantile(0.75)
IQR = Q3 - Q1
df = df[~((df['value'] < (Q1 - 1.5*IQR)) | 
          (df['value'] > (Q3 + 1.5*IQR)))]

自定义标注模板（XML 格式）：

<View>
  <Image name="image" value="$image"/>
  <RectangleLabels name="label" toName="image">
    <Label value="Car" background="green"/>
    <Label value="Pedestrian" background="red"/>
  </RectangleLabels>
</View>

质量控制：设置标注一致性检查规则，要求至少两人标注相同样本

关键参数组合：

generator = Sequential([Dense(256*8*8, input_dim=100),
    Reshape((8, 8, 256)),
    Conv2DTranspose(128, (5,5), strides=2, padding='same'),  # 放大特征图
    BatchNormalization(),
    LeakyReLU(0.2),
    # 更多层...
])

学习率：生成器建议 0.0002，判别器建议 0.0001
Batch Size：根据显存选择 32-128
噪声向量维度：通常取 100-200

内存泄漏：
Pandas 操作时使用 inplace=True 要谨慎
大数据集优先使用dask.dataframe
标注回流问题：
建立版本控制（如 DVC）
每次迭代保留原始标注和修改记录
特征工程陷阱：
避免在清洗阶段泄露测试集信息
分训练集 / 测试集分别处理缺失值
合成数据偏差：
定期用真实数据分布检验生成效果
使用 FID（Frechet Inception Distance）指标量化评估
标注工具性能：
超过 10 万样本时建议使用数据库后端
启用预加载避免界面卡顿

处理 100GB+ 的 CSV 文件：

import dask.dataframe as dd
ddf = dd.read_csv('s3://bucket/large_*.csv', 
                 blocksize=1e8)  # 每个分区 100MB

# 并行清洗操作
ddf_clean = ddf[ddf['value'] > 0].groupby('category').mean()
result = ddf_clean.compute()  # 触发实际计算