AnythingLLM多模态文档解析实战：如何选择最优嵌入模型

1次阅读

共计 1891 个字符，预计需要花费 5 分钟才能阅读完成。

现代企业文档通常包含文本、表格、图表等混合内容，传统 NLP 模型仅处理文本时面临特征空间割裂问题。当需要实现以下场景时尤为明显：

技术手册中的图示与说明文字语义关联
财务报表中数字表格与分析文本的联合理解
扫描版合同中的印章区域与条款对应关系

模型名称	维度	多模态支持	推理速度 (ms/query)	预训练数据量
CLIP-ViT-B32	512	是	45	4 亿图文对
sentence-bert-base	768	否	32	10 亿纯文本
text-embedding-ada-002	1536	否	60	未公开

关键指标说明：

维度：影响后续向量数据库的存储成本
多模态支持：决定能否统一处理图文特征
推理速度：关系实时性要求高的场景体验

import fitz  # PyMuPDF
import torch
from PIL import Image
from transformers import CLIPProcessor, CLIPModel

# 初始化多模态处理器
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

def extract_pdf_elements(file_path: str) -> dict:
    """PDF 文档结构解析"""
    doc = fitz.open(file_path)
    elements = {"text": [], "images": []}

    for page in doc:
        # 文本块提取（保留布局信息）text_blocks = page.get_text("dict")["blocks"]
        elements["text"].extend([b["text"] for b in text_blocks if b["type"] == 0])

        # 图像块提取
        for img in page.get_images():
            xref = img[0]
            pix = fitz.Pixmap(doc, xref)
            elements["images"].append(Image.frombytes("RGB", [pix.width, pix.height], pix.samples))

    return elements

# 特征向量融合示例
def multimodal_embedding(elements: dict) -> torch.Tensor:
    text_embeddings = model.get_text_features(**processor(text=elements["text"], return_tensors="pt", padding=True))
    image_embeddings = model.get_image_features(processor(images=elements["images"], return_tensors="pt").pixel_values)

    # 按块数量加权融合
    return torch.mean(torch.cat([text_embeddings, image_embeddings]), dim=0)

在 AWS g4dn.xlarge 实例（T4 GPU）上的测试结果：

batch_size	吞吐量 (docs/s)	GPU 显存占用 (GB)
1	8.2	2.1
4	28.5	3.8
8	41.3	5.6
16	OOM	–

显存占用增长曲线呈线性关系，建议生产环境采用动态批处理策略。

对扫描件图像采用 Tesseract+ 版面分析双重校验
文本置信度低于 0.8 时触发视觉特征增强

# 余弦相似度归一化
def normalized_sim(text_emb: torch.Tensor, img_emb: torch.Tensor) -> float:
    text_emb /= text_emb.norm(dim=-1, keepdim=True)
    img_emb /= img_emb.norm(dim=-1, keepdim=True)
    return (text_emb @ img_emb.T).item()