ChatGPT如何高效翻译PDF文档：从文本提取到AI翻译全流程实战

1次阅读

没有评论

共计 2658 个字符，预计需要花费 7 分钟才能阅读完成。

在开始技术实现之前，我们先明确 PDF 翻译的几个主要痛点：

格式丢失问题 ：传统 OCR 工具经常无法保留原文档的排版、表格和特殊字符
长文本分段困难 ：PDF 内容通常很长，而翻译 API 有 token 限制，需要智能分块
专业术语翻译不准 ：特别是技术文档，通用翻译模型难以准确处理领域术语

在解决 PDF 翻译问题时，我们通常面临三种主要技术路线：

传统 OCR 方案
优点：成熟稳定
缺点：格式保留差，需要后处理
ChatGPT 视觉能力
优点：可以处理扫描件
缺点：成本高，响应慢
PDF 文本直出
优点：保留格式好，速度快
缺点：仅适用于可搜索 PDF

对于大多数情况，我们推荐第三种方案，因为它平衡了效果和成本。

import PyPDF2
from pdfminer.high_level import extract_text

def extract_pdf_text(file_path, use_pypdf=True):
    try:
        if use_pypdf:
            with open(file_path, 'rb') as file:
                reader = PyPDF2.PdfReader(file)
                text = ''.join([page.extract_text() for page in reader.pages])
        else:
            text = extract_text(file_path)
        return text
    except Exception as e:
        print(f"Error extracting text: {e}")
        return None

我们使用 tiktoken 来计算 token 数量并合理分块：

import tiktoken

def chunk_text(text, model_name="gpt-3.5-turbo", max_tokens=2000):
    encoding = tiktoken.encoding_for_model(model_name)
    tokens = encoding.encode(text)

    chunks = []
    current_chunk = []
    current_length = 0

    for token in tokens:
        if current_length + 1 > max_tokens:
            chunks.append(encoding.decode(current_chunk))
            current_chunk = []
            current_length = 0
        current_chunk.append(token)
        current_length += 1

    if current_chunk:
        chunks.append(encoding.decode(current_chunk))

    return chunks

这里我们实现异步调用来提高吞吐量：

import aiohttp
import asyncio
from configparser import ConfigParser

config = ConfigParser()
config.read('config.ini')
API_KEY = config.get('openai', 'api_key')

async def translate_chunk(chunk, source_lang, target_lang, term_glossary=None):
    headers = {"Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    }

    glossary_prompt = ""
    if term_glossary:
        glossary_prompt = f"Use these translations for specific terms: {term_glossary}."

    prompt = (f"Translate the following text from {source_lang} to {target_lang}."
        f"Maintain original formatting and style.{glossary_prompt}"
        f"Text: {chunk}"
    )

    async with aiohttp.ClientSession() as session:
        async with session.post(
            "https://api.openai.com/v1/chat/completions",
            headers=headers,
            json={
                "model": "gpt-3.5-turbo",
                "messages": [{"role": "user", "content": prompt}],
                "temperature": 0.3
            }
        ) as response:
            data = await response.json()
            return data['choices'][0]['message']['content']

对于扫描件，我们可以先用 OCR 工具预处理：

import pytesseract
from PIL import Image

def ocr_pdf(pdf_path):
    images = convert_from_path(pdf_path)
    text = ""
    for img in images:
        text += pytesseract.image_to_string(img)
    return text

考虑两种计费方式：

按字符计费：适合短文本
按请求计费：适合长文本

建议根据平均文本长度选择更经济的方案。

在调用 API 前添加过滤层：

SENSITIVE_KEYWORDS = [...]  # 定义敏感词列表

def filter_sensitive_content(text):
    for keyword in SENSITIVE_KEYWORDS:
        if keyword in text.lower():
            raise ValueError("Sensitive content detected")
    return text

可以使用 Microsoft Graph API 获取文件流，然后应用相同的翻译流程。

可以训练一个小型模型来自动评估翻译质量，或使用 BLEU 等指标。

建议实现：