基于ClawHub PDF内容入库的语义检索个人知识库构建实战

1次阅读

共计 2738 个字符，预计需要花费 7 分钟才能阅读完成。

在日常工作和学习中，我们经常会积累大量的 PDF 文档，比如论文、电子书、技术手册等。传统的文件管理方式主要依赖于文件名和目录结构，检索时往往只能通过关键词匹配，存在以下几个痛点：

无法理解查询意图：比如搜索 ” 机器学习在医疗中的应用 ”，传统检索可能匹配不到包含 ”AI 辅助诊断 ” 但实质相关的文档
受限于文件命名：很多 PDF 的命名并不规范，难以通过文件名快速定位
内容碎片化：长文档中的关键段落难以被精准检索到

实现语义检索的方案有很多，常见的有：

传统搜索引擎方案（如 Elasticsearch）
优点：成熟稳定，支持复杂查询语法
缺点：仍基于关键词匹配，无法真正理解语义
商业解决方案（如 Azure Cognitive Search）
优点：开箱即用，功能完善
缺点：成本高，数据隐私性存疑
ClawHub 开源方案
优点：
- 本地部署保障数据安全
- 支持最新语义检索技术
- Python 友好，易于二次开发
缺点：需要一定的技术门槛

flowchart TD
    A[PDF 文档] --> B[文本提取]
    B --> C[文本清洗]
    C --> D[向量化]
    D --> E[向量数据库]
    F[查询请求] --> G[查询向量化]
    G --> H[向量相似度检索]
    H --> I[结果排序]
    I --> J[返回结果]

我们使用 PyPDF2 进行基础文本提取，配合正则表达式进行清洗：

import re
from PyPDF2 import PdfReader

def extract_text_from_pdf(pdf_path):
    reader = PdfReader(pdf_path)
    text = ""
    for page in reader.pages:
        text += page.extract_text()

    # 基础清洗
    text = re.sub(r'\s+', ' ', text)  # 合并空白字符
    text = re.sub(r'[^\w\s.,;:!?\-\u4e00-\u9fa5]', '', text)  # 保留常用标点和中英文
    return text

使用 Sentence-BERT 生成文本向量（需要先安装 sentence-transformers）：

from sentence_transformers import SentenceTransformer

# 加载预训练模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

def get_embeddings(text):
    return model.encode(text)

采用 FAISS 进行高效的向量相似度搜索：

import faiss
import numpy as np

class VectorStore:
    def __init__(self, dim=384):  # MiniLM 维度
        self.index = faiss.IndexFlatIP(dim)
        self.documents = []

    def add_document(self, embedding, text):
        self.index.add(np.array([embedding]))
        self.documents.append(text)

    def search(self, query_embedding, k=5):
        distances, indices = self.index.search(np.array([query_embedding]), k)
        return [(self.documents[i], distances[0][j]) 
                for j, i in enumerate(indices[0])]

import os
from tqdm import tqdm

def process_pdf_folder(folder_path, vector_store):
    for filename in tqdm(os.listdir(folder_path)):
        if filename.endswith('.pdf'):
            path = os.path.join(folder_path, filename)
            try:
                text = extract_text_from_pdf(path)
                # 长文本分块（每 500 字）chunks = [text[i:i+500] for i in range(0, len(text), 500)]
                for chunk in chunks:
                    embedding = get_embeddings(chunk)
                    vector_store.add_document(embedding, chunk)
            except Exception as e:
                print(f"Error processing {filename}: {str(e)}")

def semantic_search(query, vector_store, top_k=3):
    query_embedding = get_embeddings(query)
    results = vector_store.search(query_embedding, top_k)

    print(f"Results for:'{query}'")
    for i, (text, score) in enumerate(results):
        print(f"\nRank {i+1} (score: {score:.3f}):")
        print(text[:300] + "..." if len(text) > 300 else text)