C# 向量数据库实战：构建高效的语义搜索系统

1次阅读

没有评论

共计 2022 个字符，预计需要花费 6 分钟才能阅读完成。

传统文本搜索（如 SQL LIKE 或全文索引）依赖于关键词匹配，无法理解查询的语义。例如搜索 ” 苹果 ” 时，可能返回水果或科技公司的结果，而无法区分用户真实意图。这种局限性源于：

无法处理同义词（如 ” 电脑 ” 和 ” 计算机 ”）
对拼写错误或变体（如 ”color” 和 ”colour”）敏感
缺乏上下文理解能力

语义搜索通过将文本转换为向量表示（即嵌入向量），在高维空间中进行相似性计算，从根本上解决了这些问题。

主流向量数据库对比：

Milvus：
优势：分布式架构、支持 GPU 加速、丰富的 API
缺点：运维复杂度较高
FAISS：
优势：Facebook 开源、内存效率高
缺点：缺少持久化存储
Qdrant：
优势：Rust 编写、HTTP API 友好
缺点：社区生态较小

对于 C# 开发者，推荐使用 Milvus 的 gRPC 接口，因其：

提供官方 C# SDK
支持水平扩展
具备生产级稳定性

// 安装 Milvus SDK
Install-Package Milvus.Client

var channel = new Channel("localhost", 19530, ChannelCredentials.Insecure);
var client = new MilvusService.MilvusServiceClient(channel);

var schema = new CollectionSchema
{
    Name = "products",
    Fields = 
    {new FieldSchema { Name = "id", DataType = DataType.Int64, IsPrimaryKey = true},
        new FieldSchema {Name = "embedding", DataType = DataType.FloatVector, Dim = 768}
    }
};

await client.CreateCollectionAsync(new CreateCollectionRequest { Schema = schema});

// 假设已通过 BERT 模型生成文本嵌入
var embeddings = new List<float[]> { /* 你的向量数据 */};

var insertRequest = new InsertRequest
{
    CollectionName = "products",
    FieldsData =
    {new FieldData { FieldName = "id", Int64Data = { 1, 2, 3} },
        new FieldData 
        { 
            FieldName = "embedding", 
            FloatVector = new FloatArray {Data = { /* 展开所有向量值 */} }
        }
    }
};

await client.InsertAsync(insertRequest);

var searchRequest = new SearchRequest
{
    CollectionName = "products",
    Vectors = {/* 查询向量 */},
    TopK = 5,
    Params = "{\"nprobe\":16}" // 搜索参数
};

var results = await client.SearchAsync(searchRequest);

IVF_FLAT 索引：适合中等规模数据集

await client.CreateIndexAsync(new CreateIndexRequest
{
    CollectionName = "products",
    FieldName = "embedding",
    IndexType = "IVF_FLAT",
    Params = "{\"nlist\":16384}"
});

HNSW 索引：适合大规模高精度搜索
```
{"M":16, "efConstruction":500}
```

合理设置 nprobe 参数（IVF 索引）
批量查询时使用 batch_size 参数
对过滤条件建立标量索引

维度超过 1024 时建议使用 PCA 降维
避免频繁修改向量维度（需重建集合）

定期调用 Flush 确保数据持久化
监控 GetCollectionStatistics 返回的内存使用量

try 
{
    // 向量维度不匹配会抛出此异常
    await client.InsertAsync(insertRequest);
}
catch (RpcException ex) when (ex.StatusCode == StatusCode.InvalidArgument)
{Console.WriteLine($"维度错误: {ex.Message}");
}

语义搜索可应用于：