AnythingLLM 向量数据库入门指南：从零搭建到高效检索

1次阅读

没有评论

共计 1931 个字符，预计需要花费 5 分钟才能阅读完成。

传统关系型数据库（如 MySQL）擅长处理结构化数据，比如订单号、用户年龄这类精确匹配的场景。但当我们需要处理文本、图片等非结构化数据时，传统数据库就显得力不从心了。

向量数据库的核心价值在于：

语义搜索：可以理解 ” 猫 ” 和 ” 喵星人 ” 是相似概念
上下文记忆：LLM（大语言模型）能记住对话历史的关键信息
相似性推荐：根据内容特征自动关联相似项目

举个实际例子：当用户问 ” 推荐几本类似《三体》的书 ” 时，传统数据库只能匹配包含 ” 三体 ” 关键词的记录，而向量数据库能找到科幻题材、太空探索等语义相近的书籍。

推荐使用 Docker 方式部署 AnythingLLM，这是最省心的方案：

确保已安装 Docker（官方下载地址：https://www.docker.com/）
拉取最新镜像：
```
docker pull mintplexlabs/anythingllm
```

启动容器（默认使用 7680 端口）：

docker run -d -p 7680:7680 mintplexlabs/anythingllm

如果需要原生安装，需准备：

Python 3.8+
PostgreSQL 12+（作为底层存储）
CUDA 11.7（如果使用 GPU 加速）

我们使用 HuggingFace 的 all-MiniLM-L6-v2 模型（轻量级且效果不错）：

from sentence_transformers import SentenceTransformer

# 加载预训练模型（首次运行会自动下载）model = SentenceTransformer('all-MiniLM-L6-v2')

# 将文本转换为 384 维向量
texts = ["AnythingLLM 使用指南", "向量数据库教程"]
embeddings = model.encode(texts)

print(f"生成向量维度：{embeddings.shape}")  # 输出：(2, 384)

import anythingllm
from anythingllm import Collection

# 连接本地服务
client = anythingllm.Client("http://localhost:7680")

# 创建集合（类似数据库表）collection = client.create_collection(
    name="技术文档",
    metadata={"category": "developer"}
)

# 批量插入数据
records = [{"text": "AnythingLLM 安装教程", "embedding": embeddings[0].tolist()},
    {"text": "向量数据库原理", "embedding": embeddings[1].tolist()}
]

collection.insert(records)  # 实际项目建议分批插入

# 将查询语句也转换为向量
query = "如何搭建 LLM 数据库"
query_embedding = model.encode(query).tolist()

# 搜索最相似的 3 条记录
results = collection.query(
    query_embedding=query_embedding,
    top_k=3
)

for res in results:
    print(f"相似度：{res['score']:.3f}, 内容：{res['text']}")