Caffe-OCR中文合成数据生成：从原理到实战的完整指南

1次阅读

没有评论

共计 2161 个字符，预计需要花费 6 分钟才能阅读完成。

中文 OCR 模型的训练离不开大量标注数据，但真实场景下的中文标注数据获取成本极高。主要原因包括：

中文字符集庞大（常用汉字约 3500 个），覆盖所有字符的标注数据难以收集
真实场景文字变化多样（字体、背景、光照、形变等），标注工作复杂
涉及隐私的数据（如身份证、票据）难以合法获取
专业领域数据（如古籍、医疗报告）标注门槛高

合成数据通过计算机模拟真实场景，可以快速生成大量多样化的训练样本，有效缓解数据不足的问题。

目前主流的中文合成数据生成方法主要有三种：

简单渲染法：直接在白底上渲染文字
优点：实现简单，生成速度快
缺点：与真实场景差距大，模型泛化性差
游戏引擎法：使用 Unity/Unreal 等 3D 引擎模拟
优点：视觉效果真实，可模拟复杂场景
缺点：开发成本高，生成速度慢
Caffe-OCR 合成法（本文方案）
优点：在真实性和效率间取得平衡
缺点：需要调参经验

字体多样性：至少包含 5 种字体（宋体、黑体、楷体等），避免模型过拟合

抗锯齿处理 ：使用 PIL 的ImageFont.truetype 时开启抗锯齿

from PIL import ImageFont
font = ImageFont.truetype('simsun.ttf', size=32, layout_engine=ImageFont.LAYOUT_RAQM)

文字布局：
随机字号（24-48px）
随机字间距（- 5 到 5 像素）
10% 概率竖向排版

背景来源：
自然图像（MIT Places365 数据集）
人工纹理（Perlin 噪声生成）
文档扫描件（随机旋转 / 扭曲）

混合模式：

# 使用 alpha 混合
blended = Image.blend(background, text_layer, alpha=0.7)

透视变换：随机生成单应性矩阵模拟立体效果

高斯噪声：

import cv2
noise = np.random.normal(0, 0.1*255, image.shape)
noisy_img = np.clip(image + noise, 0, 255)

运动模糊：

kernel = np.zeros((5,5))
kernel[2,:] = 1/5  # 水平模糊
blurred = cv2.filter2D(image, -1, kernel)

打印效果模拟：随机添加墨点、断笔等缺陷

"""
Caffe-OCR 中文合成数据生成器
输入：文本文件（每行一个句子）输出：合成图像 + 标注文件
"""
import numpy as np
from PIL import Image, ImageDraw, ImageFont
import random
import cv2

def generate_sample(text, font_path, bg_path):
    # 1. 初始化画布
    bg = Image.open(bg_path).convert('RGB')
    width, height = bg.size

    # 2. 渲染文字
    font_size = random.randint(24, 48)
    font = ImageFont.truetype(font_path, font_size)
    text_layer = Image.new('RGBA', (width, height))
    draw = ImageDraw.Draw(text_layer)

    # 3. 计算文字位置（居中）bbox = draw.textbbox((0,0), text, font=font)
    text_width = bbox[2] - bbox[0]
    text_height = bbox[3] - bbox[1]
    x = (width - text_width) // 2
    y = (height - text_height) // 2

    # 4. 绘制文字（随机颜色）text_color = (random.randint(0,100), random.randint(0,100), random.randint(0,100))
    draw.text((x,y), text, fill=text_color, font=font)

    # 5. 合成背景
    final_img = Image.blend(bg, text_layer.convert('RGB'), alpha=0.8)

    # 6. 添加噪声
    if random.random() > 0.3:
        final_img = add_noise(np.array(final_img))

    return final_img

在 ICDAR2013 中文数据集上的测试结果：