Cassandra向量数据库实战入门：从数据建模到性能调优

1次阅读

没有评论

共计 3652 个字符，预计需要花费 10 分钟才能阅读完成。

向量数据库在 AI 场景中越来越重要，特别是在推荐系统、图像搜索和自然语言处理等领域。Cassandra 作为一个分布式 NoSQL 数据库，具有高可用性、线性扩展性和出色的写入性能，这些特性使其成为向量存储的有力候选者。

与传统专用向量数据库如 Milvus 或 Pinecone 相比，Cassandra 的优势在于：

成熟的分布式架构，易于水平扩展
与现有 Cassandra 生态的无缝集成
更灵活的数据模型
更低的运维复杂度

当然，专用向量数据库在特定场景下可能有更好的性能，但 Cassandra 提供了一个良好的平衡点，特别是当你的应用已经使用了 Cassandra 或者需要同时处理结构化数据和向量数据时。

设计良好的数据模型是高效向量搜索的基础。在 Cassandra 中，我们需要考虑以下几个关键因素：

分区键选择：应该基于查询模式来确定，确保相关向量位于同一分区
向量列类型：可以使用 blob 类型存储原始向量，或者将向量拆分为多个列
元数据存储：与向量相关的属性应该与向量一起存储，避免额外查询

一个典型的数据模型可能如下所示：

CREATE TABLE vector_store (
    collection_id text,
    vector_id text,
    vector_data blob,
    metadata map<text, text>,
    timestamp timestamp,
    PRIMARY KEY ((collection_id), vector_id)
);

Cassandra 的 Storage Attached Index(SAI)是向量搜索的关键。SAI 允许我们在向量列上创建专门的索引，大大提高了相似性搜索的性能。

创建 SAI 索引的示例：

CREATE CUSTOM INDEX vector_sai_idx ON vector_store (vector_data) 
USING 'StorageAttachedIndex' 
WITH OPTIONS = {'similarity_function': 'cosine'};

from cassandra.cluster import Cluster
from cassandra.query import SimpleStatement
import numpy as np

# 连接集群
cluster = Cluster(['127.0.0.1'])
session = cluster.connect('vector_keyspace')

# 插入向量
def insert_vector(collection_id, vector_id, vector):
    # 将 numpy 数组转换为 bytes
    vector_bytes = vector.tobytes()

    query = """
    INSERT INTO vector_store (collection_id, vector_id, vector_data)
    VALUES (?, ?, ?)
    """

    session.execute(query, (collection_id, vector_id, vector_bytes))

# 向量查询
def search_similar_vectors(collection_id, query_vector, limit=10):
    query_vector_bytes = query_vector.tobytes()

    query = """
    SELECT vector_id, similarity_cosine(vector_data, ?) as similarity
    FROM vector_store
    WHERE collection_id = ?
    ORDER BY similarity DESC
    LIMIT ?
    """

    result = session.execute(query, (query_vector_bytes, collection_id, limit))
    return list(result)

import com.datastax.oss.driver.api.core.CqlSession;
import com.datastax.oss.driver.api.core.cql.*;
import java.nio.ByteBuffer;

public class VectorOperations {

    private final CqlSession session;

    public VectorOperations(CqlSession session) {this.session = session;}

    public void insertVector(String collectionId, String vectorId, float[] vector) {ByteBuffer vectorBytes = ByteBuffer.wrap(floatArrayToByteArray(vector));

        SimpleStatement stmt = SimpleStatement.builder("INSERT INTO vector_store (collection_id, vector_id, vector_data)" +
            "VALUES (?, ?, ?)")
            .addPositionalValues(collectionId, vectorId, vectorBytes)
            .build();

        session.execute(stmt);
    }

    public ResultSet searchSimilarVectors(String collectionId, float[] queryVector, int limit) {ByteBuffer queryVectorBytes = ByteBuffer.wrap(floatArrayToByteArray(queryVector));

        SimpleStatement stmt = SimpleStatement.builder("SELECT vector_id, similarity_cosine(vector_data, ?) as similarity" +
            "FROM vector_store" +
            "WHERE collection_id = ?" +
            "ORDER BY similarity DESC" +
            "LIMIT ?")
            .addPositionalValues(queryVectorBytes, collectionId, limit)
            .build();

        return session.execute(stmt);
    }

    private static byte[] floatArrayToByteArray(float[] values) {byte[] bytes = new byte[values.length * 4];
        for (int i = 0; i < values.length; i++) {int intBits = Float.floatToIntBits(values[i]);
            bytes[i * 4] = (byte) (intBits >> 24);
            bytes[i * 4 + 1] = (byte) (intBits >> 16);
            bytes[i * 4 + 2] = (byte) (intBits >> 8);
            bytes[i * 4 + 3] = (byte) (intBits);
        }
        return bytes;
    }
}

分区键的选择对查询性能有巨大影响。好的分区键应该：