AnythingLLM向量数据库实战：文档相似性阈值设置原理与最佳实践

1次阅读

共计 1972 个字符，预计需要花费 5 分钟才能阅读完成。

在构建基于 AnythingLLM 的知识库应用时，文档相似性阈值（Similarity Threshold）就像搜索引擎的 ” 灵敏度旋钮 ”。设得太高，可能漏掉相关文档（低召回率 /recall）；设得太低，又会让无关结果混入（低准确率 /precision）。

客服问答系统 ：当用户问 ” 如何重置密码 ” 时，阈值过高可能错过含有 ” 账户恢复 ” 的相关文档，阈值过低则可能返回 ” 修改用户名 ” 的错误答案
法律文档检索 ：0.65 的相似度阈值可能让「劳动合同」匹配到「劳务协议」，而 0.8 的阈值又可能漏检关键条款

余弦相似度（Cosine Similarity）
公式：cos(θ) = (A·B) / (||A|| * ||B||)
特点：忽略向量长度，专注方向差异，适合文本语义匹配
欧式距离（Euclidean Distance）
公式：√Σ(Ai-Bi)²
特点：考虑绝对距离，适合空间位置敏感的场景
内积（Dot Product）
公式：A·B = Σ(Ai*Bi)
特点：计算效率高但受向量长度影响大

数据库	默认相似度类型	阈值范围建议	特点
Faiss	L2 距离	越小越相似	适合高精度计算
Annoy	余弦相似度	0-1	内存效率高
Pinecone	余弦相似度	0-1	云服务友好，自动归一化

# 安装依赖
!pip install sentence-transformers pandas numpy sklearn

from sentence_transformers import SentenceTransformer
from sklearn.metrics import precision_recall_curve
import numpy as np

# 1. 生成 embedding
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
corpus = ["如何重置密码", "账户恢复流程", "修改用户名方法"]  # 你的文档集
queries = ["忘记密码怎么办", "账号找不回"]  # 测试查询

corpus_emb = model.encode(corpus)
query_emb = model.encode(queries)

# 2. 计算相似度矩阵（余弦）similarity = np.dot(query_emb, corpus_emb.T) / (np.linalg.norm(query_emb, axis=1)[:, np.newaxis] * 
    np.linalg.norm(corpus_emb, axis=1)[np.newaxis, :]
)

# 3. 动态阈值优化
def optimize_threshold(similarities, y_true):
    """
    y_true: 人工标注的匹配关系矩阵（0/1）返回最优阈值和 PR 曲线数据
    """
    precisions, recalls, thresholds = precision_recall_curve(y_true.flatten(), similarities.flatten())

    # 寻找使 F1 最大的阈值
    f1_scores = 2 * (precisions * recalls) / (precisions + recalls + 1e-10)
    best_idx = np.argmax(f1_scores)
    return thresholds[best_idx], (precisions, recalls, thresholds)

# 4. 应用示例（假设 y_true 是标注数据）optimal_threshold, pr_data = optimize_threshold(similarity, y_true=np.array([[1,1,0]]))
print(f"最优阈值：{optimal_threshold:.2f}")