基于Caffe-OCR的中文合成数据生成实战：从数据匮乏到高精度模型训练

1次阅读

没有评论

共计 2747 个字符，预计需要花费 7 分钟才能阅读完成。

中文 OCR 面临的核心挑战是标注数据的稀缺性。与英文相比，中文的复杂性体现在：

字符集庞大：GB2312 标准就包含 6763 个汉字，实际常用约 3500 字
标注成本高：人工标注中文字符的工时是拉丁字母的 5 - 8 倍
字体多样性：不同字体对笔画连接处的处理差异显著

合成数据通过程序化生成解决了这些问题：

无限扩展：可生成任意规模的训练集
精准标注：自动生成字符级 bounding box
控制变量：能精确调节字体、背景、噪声等参数

对比主流方案：

工具	中文支持	渲染质量	扩展性	性能
TextRecognitionDataGenerator	需插件	一般	中等	快
SynthText	不支持	优秀	差	慢
Caffe-OCR	原生支持	优秀	强	中等

Caffe-OCR 的核心优势：

专为中文优化的抗锯齿渲染引擎
支持 OpenCV/PIL 双渲染后端
提供字间距、行距等排版参数微调

推荐采用分层抽样策略：

基础字体（5-10 种）：
黑体：思源黑体、微软雅黑
宋体：思源宋体、标楷体
艺术体：方正舒体、华文行楷

合成时动态选择：

# 字体抽样示例
font_pool = {'serif': ['simsun.ttc', 'times.ttf'],
    'sans-serif': ['msyh.ttf', 'arialuni.ttf']
}

def select_font():
    font_type = random.choice(list(font_pool.keys()))
    return random.choice(font_pool[font_type])

三步生成逼真背景：

基础纹理生成：
使用 Perlin 噪声生成自然纹理
应用高斯模糊模拟景深
光照模拟：
添加径向渐变模拟点光源
随机生成阴影方向
文档退化：
模拟纸张褶皱（弹性变换）
添加墨迹渗透效果

# OpenCV 背景生成示例
def generate_bg(width, height):
    # 1. 生成噪声基底
    noise = np.random.randint(0, 256, (height, width), dtype=np.uint8)

    # 2. 应用光照
    x, y = np.meshgrid(np.linspace(-1,1,width), np.linspace(-1,1,height))
    d = np.sqrt(x*x + y*y)
    gradient = np.exp(-d*2).astype(np.float32)

    # 3. 混合处理
    bg = cv2.addWeighted(noise, 0.7, (gradient*255).astype(np.uint8), 0.3, 0)
    return cv2.GaussianBlur(bg, (5,5), 0)

关键变形技术：

透视变换：模拟镜头畸变

# 四点透视变换
pts_src = np.array([[0,0],[width,0],[width,height],[0,height]])
pts_dst = pts_src + np.random.randint(-10,10,size=(4,2))
M = cv2.getPerspectiveTransform(pts_src.astype(np.float32),
    pts_dst.astype(np.float32))
warped = cv2.warpPerspective(image, M, (width, height))

弹性变形：模拟纸张弯曲
运动模糊：模拟拍摄抖动

import numpy as np
import cv2
from PIL import Image, ImageFont, ImageDraw

class SyntheticGenerator:
    def __init__(self):
        self.fonts = self._load_fonts()

    def generate(self, text, output_path):
        # 1. 渲染文本
        img = self._render_text(text)

        # 2. 添加背景
        bg = self._generate_background(img.width, img.height)
        composite = self._blend_text_bg(img, bg)

        # 3. 添加退化效果
        degraded = self._add_degradation(composite)

        # 4. 保存结果
        cv2.imwrite(output_path, degraded)

    def _render_text(self, text):
        font = ImageFont.truetype(random.choice(self.fonts), 32)
        size = font.getsize(text)

        img = Image.new('L', (size[0]+20, size[1]+20), 255)
        draw = ImageDraw.Draw(img)
        draw.text((10,10), text, font=font, fill=0)

        return img

    # 其他方法实现...

查看完整 Colab 示例

定量评估采用：

PSNR（峰值信噪比）：
评估图像失真程度
理想值 > 25dB
SSIM（结构相似性）：
评估结构相似性
取值范围 [0,1]，越接近 1 越好

# 评估代码示例
def calculate_psnr(original, generated):
    mse = np.mean((original - generated) ** 2)
    return 10 * np.log10(255**2 / mse)

def calculate_ssim(original, generated):
    # 使用 skimage 的实现
    from skimage.metrics import structural_similarity
    return structural_similarity(original, generated, multichannel=True)