共计 2781 个字符，预计需要花费 7 分钟才能阅读完成。

背景痛点：为什么需要 RAG？

传统图书检索系统主要依赖关键词匹配和元数据过滤，存在三个核心问题：

• 语义鸿沟 ：用户用自然语言提问（如 ” 找本适合初学者的 Python 书 ”），但系统只能识别 ”Python”” 初学者 ” 等离散关键词
• 静态知识 ：无法融合图书内容外的动态知识（如最新书评、关联研究论文）
• 多模态壁垒 ：封面图片、内页插图等视觉信息完全未被利用

RAG（Retrieval-Augmented Generation）通过大语言模型 + 向量检索的组合，能实现：

1. 语义化搜索：理解查询的深层意图
2. 知识实时更新：只需扩展向量库
3. 跨模态检索：同时处理文本和图像特征

技术选型：从工具链到模型

向量数据库对比

嵌入模型选择

• 文本嵌入 ：
• BERT 系列：适合短语级语义（如 bert-base-uncased）
• GPT 系列：长文本表现更优（如 text-embedding-3-large）

• 专用模型：bge-small-en-v1.5 针对检索优化

• 图像嵌入 ：

• CLIP：跨模态对齐效果最佳
• ResNet50：传统 CV 方案作为备选

核心实现：从数据到服务

知识库搭建四步法

1. 数据采集 ：
2. 结构化数据：ISBN、作者、出版社等元数据
3. 非结构化数据：PDF 正文、EPUB 原始文本

4. 多模态数据：封面 JPG、内页插图

5. 数据清洗 ：

   def clean_text(text):
       # 移除特殊字符但保留数学公式
       text = re.sub(r'[^\w\s$\_{}^\\]', '', text)  
       # 标准化 Unicode
       return unicodedata.normalize('NFKC', text)

6. 智能分块 ：

7. 按章节拆分（Markdown/PDF 标题识别）

8. 滑动窗口重叠分块（窗口 512token，重叠 64token）

9. 向量化处理 ：

   from sentence_transformers import SentenceTransformer
   
   # 多语言支持
   text_encoder = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
   # 图像编码
   image_encoder = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")

系统架构设计

flowchart TD
    A[用户查询] --> B{多模态判断}
    B -->| 文本 | C[文本嵌入生成]
    B -->| 图像 | D[图像特征提取]
    C & D --> E[向量数据库混合检索]
    E --> F[大模型生成响应]
    F --> G[返回结构化结果]

多模态融合策略

• 早期融合 ：将文本和图像特征 concat 后统一检索
• 晚期融合 ：分别检索后按权重合并结果
• 混合方案 （推荐）：

  def hybrid_search(text_query, image_query=None):
      text_emb = text_encoder.encode(text_query)
      if image_query:
          image_emb = image_encoder.encode(image_query)
          # 加权融合
          combined_emb = 0.7*text_emb + 0.3*image_emb
          return vector_db.search(combined_emb)
      return vector_db.search(text_emb)

关键代码实现

文档预处理核心逻辑

from langchain.text_splitter import RecursiveCharacterTextSplitter

# 带语义感知的分块
splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    length_function=len,
    keep_separator=["\n##", "\n###", "\n"]  # 保留 Markdown 标题结构
)

chunks = splitter.create_documents([book_text])

向量检索服务

import faiss
import numpy as np

class VectorSearch:
    def __init__(self, dimension=768):
        self.index = faiss.IndexFlatIP(dimension)

    def add_vectors(self, vectors):
        """向量标准化后存入索引"""
        norms = np.linalg.norm(vectors, axis=1)
        normalized = vectors / norms[:, np.newaxis]
        self.index.add(normalized)

    def search(self, query_vector, k=5):
        """返回 top- k 相似结果"""
        query_norm = query_vector / np.linalg.norm(query_vector)
        distances, indices = self.index.search(np.array([query_norm]), k)
        return list(zip(indices[0], distances[0]))

性能优化实战

基准测试结果（10 万条数据）

优化技巧

• 分层索引 ：
• 第一层：元数据过滤（ISBN/ 分类）

• 第二层：向量精排

• 缓存策略 ：

  from functools import lru_cache
  
  @lru_cache(maxsize=1000)
  def cached_search(query: str):
      return original_search(query)

• 量化压缩 ：

  # 将 768 维向量量化为 96 字节
  quantizer = faiss.IndexScalarQuantizer(768, faiss.ScalarQuantizer.QT_8bit)

避坑指南

1. 冷启动问题 ：
2. 预加载热门查询的嵌入向量

3. 使用轻量级模型初始化

4. 数据不一致 ：

5. 实现版本化知识库

   class VersionedVectorDB:
       def __init__(self):
           self.current_version = 0
           self.indices = {}

6. 模态失衡 ：

7. 动态调整融合权重

   weight = 0.5 + 0.3 * image_quality_score  # 根据图像清晰度自适应 

开放思考

当系统需要同时支持：
– 学术论文的精确公式检索
– 儿童绘本的视觉搜索
– 有声书的内容片段定位

如何设计统一的检索架构？是采用多路召回 + 统一排序，还是构建超级嵌入空间？欢迎在评论区分享你的设计思路。