Azure AI Search实战：从零构建高性能向量数据库的架构解析

1次阅读

共计 2764 个字符，预计需要花费 7 分钟才能阅读完成。

传统的关键词搜索（Keyword Search）依赖于精确匹配或词频统计，比如搜索 ” 苹果 ” 时，系统可能无法区分水果公司 (Fruit Company) 和科技巨头(Tech Giant)。这种基于文本字面匹配的方式缺乏语义理解能力，导致搜索结果相关性差。

向量数据库 (Vector Database) 通过将文本、图像等内容转换为高维向量(High-dimensional Vectors)，使得相似内容在向量空间中距离更近。例如：

语义搜索(Semantic Search)：” 猫咪 ” 和 ” 小老虎 ” 的向量距离比 ” 猫咪 ” 和 ” 汽车 ” 更近
推荐系统(Recommendation System)：用户行为向量与商品向量相似度计算

对比主流向量数据库方案：

方案	优势	劣势
Faiss	高性能本地库	需自建服务，无托管能力
Pinecone	全托管 API 服务	成本较高，功能单一
Azure AI Search	混合搜索能力 + 企业级 SLA	学习曲线略陡

Azure 的核心优势在于：

原生支持多模态 (Multimodal) 向量（文本 / 图像 / 视频）
与 Azure OpenAI 无缝集成
可横向扩展的分片 (Sharding) 架构

from azure.search.documents.indexes.models import (
    SearchIndex,
    SimpleField,
    SearchFieldDataType,
    SearchableField,
    VectorSearch
)

# 注意 Vector 字段的 1536 维度需与 Embedding 模型匹配
index = SearchIndex(
    name="products",
    fields=[SimpleField(name="id", type=SearchFieldDataType.String, key=True),
        SearchableField(name="name", type=SearchFieldDataType.String),
        SimpleField(name="vector", 
                   type=SearchFieldDataType.Collection(SearchFieldDataType.Single),
                   searchable=True,
                   vector_search_dimensions=1536,  # OpenAI 维度
                   vector_search_configuration="my-vector-config")
    ],
    vector_search=VectorSearch(
        algorithm_configurations=[
            {
                "name": "my-vector-config",
                "kind": "hnsw",  # 分层可导航小世界算法
                "hnsw_parameters": {
                    "m": 4,  # 层间连接数
                    "ef_construction": 400  # 构建时的候选集大小
                }
            }
        ]
    )
)

from azure.core.credentials import AzureKeyCredential
from azure.search.documents import SearchClient
import openai

# 初始化客户端
credential = AzureKeyCredential("<your-key>")
client = SearchClient("<endpoint>", "products", credential)

# 生成 Embedding 时建议批量处理
def generate_embeddings(texts):
    response = openai.Embedding.create(
        input=texts,
        engine="text-embedding-ada-002"
    )
    return [item["embedding"] for item in response["data"]]

# 幂等性写入（自动去重）documents = [{"id": "1", "name": "无线蓝牙耳机", "vector": generate_embeddings(["无线蓝牙耳机"])[0]},
    {"id": "2", "name": "头戴式降噪耳机", "vector": generate_embeddings(["头戴式降噪耳机"])[0]}
]

# 建议每批次 100-500 条
result = client.upload_documents(documents)
print(f"上传成功: {len(result)}条")

数据规模	推荐 SKU	分片数	查询延迟
<1M 向量	Basic	1	<50ms
1-5M	Standard S1	2	50-100ms
>5M	Standard S3	4+	需测试

调优建议：

监控 SearchLatency 指标，超过 200ms 需扩容
向量维度尽量控制在 2048 以内
启用 proximity 参数提升 HNSW 搜索质量

新索引创建后的 5 分钟内，Azure 会进行后台优化，此时：

初始 QPS 限制为 10
错误代码 503 Service Unavailable 表示需要重试
解决方案：实现指数退避重试(Exponential Backoff)

当同时使用关键词和向量搜索时：

# 向量权重 70%，关键词权重 30%
search_results = client.search(
    search_text="耳机",
    vector=generate_embeddings(["运动耳机"])[0],
    vector_fields="vector",
    top=10,
    select=["id", "name"],
    query_type="semantic",
    query_language="zh-CN",
    vector_query_mode="vectorThenHybrid",
    scoring_profile="weighted_combo"
)

不同 Embedding 模型产生的向量可能尺度不同，建议：

import numpy as np

# L2 归一化处理
def normalize_vector(vector):
    norm = np.linalg.norm(vector)
    return (vector / norm).tolist() if norm > 0 else vector