Milvus + RAG 实战：构建高性能电子书语义检索助手

1次阅读

共计 2484 个字符，预计需要花费 7 分钟才能阅读完成。

传统的关键词检索技术在电子书场景下存在明显短板：

语义缺失问题：搜索 ” 人工智能 ” 不会返回包含 ”AI” 但未出现该关键词的段落
长尾词召回困难：专业术语或低频词汇容易被忽略
上下文割裂：无法识别 ” 他 ” 在不同段落中指代的不同对象

这些局限性导致电子书检索经常出现 ” 搜不到 ” 或 ” 结果不相关 ” 的情况。

对比主流向量数据库的实测表现（测试环境：100 万条 768 维向量）：

方案	QPS	内存占用	扩展性	学习成本
Milvus	3500	中等	★★★★☆	中等
FAISS	4200	低	★★☆☆☆	高
Pinecone	2800	高	★★★★★	低

Milvus 的平衡特性使其成为最佳选择：

支持分布式部署和动态扩容
提供完善的 Python SDK 和 REST API
社区活跃，中文文档齐全

使用 Sentence-BERT 处理中文电子书内容：

from sentence_transformers import SentenceTransformer
import torch

# 启用 GPU 加速
device = 'cuda' if torch.cuda.is_available() else 'cpu'

# 加载预训练模型（建议使用专为中文优化的版本）model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2', 
                           device=device)

# 批量处理优化
def batch_embed(texts, batch_size=32):
    return [model.encode(batch) for batch in 
            [texts[i:i + batch_size] for i in range(0, len(texts), batch_size)]]

关键参数解析：

from pymilvus import CollectionSchema, FieldSchema, DataType

# 定义字段
book_id = FieldSchema(name="book_id", dtype=DataType.INT64, is_primary=True)
chapter_num = FieldSchema(name="chapter", dtype=DataType.INT32)
content_vector = FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=768)
content_text = FieldSchema(name="text", dtype=DataType.VARCHAR, max_length=65535)

# 构建 Schema
schema = CollectionSchema(fields=[book_id, chapter_num, content_vector, content_text],
    description="电子书语义检索集合"
)

# 索引配置（HNSW 适合高召回场景）index_params = {
    "index_type": "HNSW",
    "metric_type": "L2",
    "params": {"M": 16, "efConstruction": 200}
}

检索增强的关键步骤：

用户原始查询 → Query 改写模块（同义词扩展、疑问句转换）
向量检索 → 召回 Top- K 相关段落
结果重排序 → 基于语义相关性和位置权重
上下文组装 → 拼接前驱后续段落保持连贯

避免在章节中间截断的智能分块算法：

def smart_chunking(text, max_len=500):
    chunks = []
    current_chunk = ""

    # 按段落分割但保持语义完整
    for para in text.split('\n\n'):
        if len(current_chunk) + len(para) > max_len:
            if current_chunk:
                chunks.append(current_chunk)
            current_chunk = para
        else:
            current_chunk += '\n\n' + para

    if current_chunk:
        chunks.append(current_chunk)
    return chunks

内存缓存：高频查询结果的向量和文本
磁盘缓存：已处理章节的嵌入结果
模型缓存：HuggingFace 模型的本地镜像

通过 Milvus 的 partition 功能实现多租户隔离：

# 创建分区时指定电子书类别
collection.create_partition(partition_name="computer_science")

# 查询时限定分区范围
search_params = {"partition_names": ["computer_science"],
    "params": {"nprobe": 32}
}

常见错误：直接使用英文停用词列表
解决方案：