AI系统中PDF表格内容提取与向量数据库精确检索实战指南

1次阅读

没有评论

共计 2266 个字符，预计需要花费 6 分钟才能阅读完成。

在处理 PDF 表格内容时，开发人员经常会遇到以下几个典型问题：

复杂布局解析困难：传统解析工具如 PyPDF2 对合并单元格、嵌套表格等复杂结构支持有限，导致数据提取不完整。
跨页关联丢失：多页表格在解析时会被拆分为独立页面，表头与内容的对应关系难以保持。
语义信息损失：直接将表格内容转为文本进行向量化，会破坏行列间的结构化语义，影响检索准确性。

PyPDF2：基础文本提取尚可，但无法识别表格结构，适合简单文档
pdfplumber：能获取字符位置信息，配合算法可重建简单表格
OCR 方案：Tesseract+OpenCV 组合可处理扫描件，但需要后处理校准

基于规则的方法：通过分析文本对齐方式和空白区域划分行列，开发成本低但泛化性差
深度学习模型：TabNet、TableFormer 等专用模型识别准确率高，需要标注数据训练

Sentence-BERT：通用文本嵌入模型，可直接使用但忽略表格结构
Table-BERT：专为表格设计的预训练模型，能编码行列关系但资源消耗大

import pdfplumber
from typing import List, Dict

def extract_tables_with_structure(pdf_path: str) -> List[Dict]:
    """
    提取 PDF 表格并保持跨页关联
    Args:
        pdf_path: PDF 文件路径
    Returns:
        包含表格结构和内容的字典列表
    """
    tables = []
    try:
        with pdfplumber.open(pdf_path) as pdf:
            for page in pdf.pages:
                # 检测并提取当前页表格
                page_tables = page.extract_tables({
                    "vertical_strategy": "text", 
                    "horizontal_strategy": "text"
                })

                # 处理跨页表格续接
                if tables and _is_continuation(tables[-1], page_tables[0]):
                    tables[-1]["rows"].extend(page_tables[0]["rows"])
                else:
                    for table in page_tables:
                        tables.append({"header": table[0],
                            "rows": table[1:]
                        })
    except Exception as e:
        print(f"解析失败: {str(e)}")
        raise

    return tables

表头嵌入：使用 Column-BERT 模型为每个表头生成描述性向量
单元格增强：将单元格内容与对应表头拼接后输入 Sentence-BERT
联合表示：通过注意力机制融合表头和单元格向量

import pymilvus

# 连接 Milvus
conn = pymilvus.connections.connect(host='localhost', port='19530')

# 创建复合索引
table_schema = pymilvus.CollectionSchema(
    fields=[pymilvus.FieldSchema(name="id", dtype=pymilvus.DataType.INT64, is_primary=True),
        pymilvus.FieldSchema(name="header_vec", dtype=pymilvus.DataType.FLOAT_VECTOR, dim=768),
        pymilvus.FieldSchema(name="cell_vec", dtype=pymilvus.DataType.FLOAT_VECTOR, dim=768)
    ],
    description="PDF 表格向量存储"
)

# 使用 IVF_PQ 索引优化搜索性能
index_params = {
    "metric_type": "L2",
    "index_type": "IVF_PQ",
    "params": {"nlist": 1024, "m": 32}
}

使用 pdf2doi 库检测 PDF 版本
对加密文档先用 qpdf 进行转换

使用 PCA 对高维向量降维
采用乘积量化 (PQ) 压缩向量空间
实现渐进式加载避免内存溢出

在检索结果中返回匹配的表头信息
高亮显示原始表格中的命中区域
提供相似度得分分布直方图

from concurrent.futures import ThreadPoolExecutor

def batch_embed(texts: List[str], model, batch_size=32):
    """并行处理文本嵌入"""
    with ThreadPoolExecutor() as executor:
        batches = [texts[i:i + batch_size] 
                  for i in range(0, len(texts), batch_size)]
        results = list(executor.map(model.encode, batches))
    return np.vstack(results)