C#与PostgreSQL向量数据库实战：从零构建高效相似性搜索系统

1次阅读

共计 2546 个字符，预计需要花费 7 分钟才能阅读完成。

在处理图像特征、文本嵌入等高维向量数据时，传统的 B -Tree 索引完全失效。我们使用 TPC-H 10GB 数据集测试发现：

对于 768 维的 BERT 嵌入向量，PostgreSQL 原生查询需要 14 秒 完成 100 条最近邻搜索
相同条件下，内存过滤方案的吞吐量仅为23 QPS（查询 / 秒）
随着维度增加，性能呈指数级下降，512 维以上时索引完全无法使用

对比当前主流方案：

FAISS：Facebook 开源的本地库，性能优异但缺乏事务支持
Milvus：专用向量数据库，运维复杂度高
PgVector：PostgreSQL 扩展，优势在于：
完全兼容 ACID 事务
与现有业务系统无缝集成
支持 SQL 标准查询语法
扩展性强（支持 IVFFlat/HNSW 算法）

-- 在 PostgreSQL 15+ 中执行
CREATE EXTENSION vector;

var dataSource = new NpgsqlDataSourceBuilder(connectionString)
    .EnableParameterLogging()
    .UseVector() // 关键：注册向量类型支持
    .ConfigureConnectionPooling(pool =>
    {
        pool.MaxPoolSize = 50;  // 根据并发量调整
        pool.ConnectionIdleLifetime = 300; // 秒
    })
    .Build();

// 创建包含 384 维向量的文档表
await using var cmd = dataSource.CreateCommand("""
CREATE TABLE document_embeddings (
    id BIGSERIAL PRIMARY KEY,
    content TEXT NOT NULL,
    embedding vector(384)  // 维度需与模型输出一致
);
""");
await cmd.ExecuteNonQueryAsync();

-- IVFFlat 索引（适合中等规模数据集）CREATE INDEX ON document_embeddings 
USING ivfflat (embedding vector_cosine_ops)
WITH (lists = 100);  -- 建议列表数为 sqrt(总行数)

-- HNSW 索引（适合超大向量集）CREATE INDEX ON document_embeddings 
USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);

// 使用 OpenAI 生成嵌入向量
var embedding = await openAIClient.GetEmbeddingAsync("搜索文本");

// 执行余弦相似度查询
var results = await dataSource.QueryAsync<SearchResult>("""
SELECT id, content, 1 - (embedding <=> @embedding) AS similarity
FROM document_embeddings
ORDER BY embedding <=> @embedding  -- 使用内建向量运算符
LIMIT 10;
""", new {embedding});

public record SearchResult(long Id, string Content, double Similarity);

IVFFlat：
lists：影响召回率和查询速度
重建索引时设置ALTER INDEX ... SET (lists_count = 200)
HNSW：
ef_search：控制搜索深度（默认 40）
动态调整：SET hnsw.ef_search = 100;

// 获取当前查询的 CPU/ 内存消耗
var perfData = await dataSource.QuerySingleAsync<(TimeSpan Cpu, int Memory)>("""
SELECT 
    total_time / calls AS cpu_time,
    shared_blks_hit * current_setting('block_size')::int / 1024 AS mem_kb
FROM pg_stat_statements 
WHERE query LIKE '%<=>%';
""");

维度不匹配错误
现象：插入时提示 vector(N) 维度不符
解决：检查模型输出维度与列定义是否一致
未归一化的向量
问题：余弦相似度计算需要单位向量
修复：插入前调用 SELECT vector_norm(embedding) 验证
索引未生效
排查：EXPLAIN ANALYZE查看是否走索引扫描
方案：确保查询使用索引运算符（如vector_cosine_ops）

结合 ML.NET 构建完整流水线：

使用 Sentence-BERT 模型生成查询嵌入
通过 pgvector 执行最近邻搜索
用交叉编码器 (Cross-Encoder) 对 Top 结果重排序

// ML.NET 管道示例
var pipeline = mlContext.Transforms
    .ApplyOnnxModel("sentence-encoder.onnx")
    .Append(mlContext.Transforms.NormalizeL2Norm("Features"));

在 16 核 /64GB 内存的 Azure D8s v3 实例上测试：