AI结合Elasticsearch实现语义检索：从零搭建指南与避坑实践

1次阅读

没有评论

共计 2152 个字符，预计需要花费 6 分钟才能阅读完成。

在使用 Elasticsearch 进行传统的关键词检索时，经常会遇到以下几个问题：

同义词问题 ：比如搜索 ” 汽车 ”，无法匹配到 ” 轿车 ” 或 ”vehicle”
语义泛化 ：搜索 ” 苹果 ”，无法区分水果和科技公司
词序敏感 ：” 猫追狗 ” 和 ” 狗追猫 ” 会被认为是相同的内容
上下文缺失 ：”Python” 可能指编程语言也可能指蟒蛇，缺乏上下文理解

语义检索的核心是将文本转换为向量表示。以下是几种常见模型的对比：

BERT：
优点：准确率高，上下文理解能力强
缺点：计算量大，推理速度慢（~300ms/query），内存占用高
Sentence-BERT：
优点：专门优化了句子嵌入，速度快（~50ms/query）
缺点：准确率略低于 BERT
DistilBERT：
优点：模型小，速度快
缺点：准确率下降约 3 -5%

对于生产环境，推荐使用 Sentence-BERT 或 DistilBERT 作为平衡点。

from sentence_transformers import SentenceTransformer

# 加载预训练模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 文本转向量
def text_to_vector(text):
    return model.encode(text)

首先需要定义索引映射：

{
  "mappings": {
    "properties": {
      "content": {"type": "text"},
      "vector": {
        "type": "dense_vector",
        "dims": 384  # 与模型输出维度一致
      }
    }
  }
}

Elasticsearch 支持多种相似度计算方式，最常用的是余弦相似度：

query_vector = text_to_vector("搜索语句")

query = {
    "script_score": {"query": {"match_all": {}},
        "script": {"source": "cosineSimilarity(params.query_vector,'vector') + 1.0",
            "params": {"query_vector": query_vector}
        }
    }
}

from elasticsearch import Elasticsearch
import numpy as np

class SemanticSearch:
    def __init__(self, es_host='localhost', index_name='semantic_search'):
        self.es = Elasticsearch(es_host)
        self.index_name = index_name
        self.model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

    def create_index(self):
        # 索引创建代码（同上）pass

    def index_document(self, content):
        vector = self.model.encode(content)
        doc = {
            'content': content,
            'vector': vector.tolist()}
        self.es.index(index=self.index_name, body=doc)

    def search(self, query, top_k=5):
        query_vector = self.model.encode(query).tolist()
        # 查询代码（同上）return results

小数据集（<1M 文档）：1- 3 个分片
中等数据集（1-10M）：5-10 个分片
大数据集（>10M）：按节点数分配分片

使用 8 位量化可减少 75% 内存占用，精度损失约 1 -2%：

from transformers import AutoModel

model = AutoModel.from_pretrained('model_name', torch_dtype=torch.float16)

结合 BM25 和语义搜索：

query = {
    "query": {
        "bool": {
            "should": [{"match": {"content": "搜索词"}},
                {"script_score": {"query": {"match_all": {}}, "script": {...}}}
            ]
        }
    }
}