AIS聚类实战：如何解决高维稀疏数据下的聚类难题

1次阅读

共计 3606 个字符，预计需要花费 10 分钟才能阅读完成。

在电商用户行为分析中，每个用户可能浏览过成千上万个商品，但实际交互的仅占极小比例，导致用户 - 商品矩阵极度稀疏。同样在 NLP 领域，当使用词袋模型或 TF-IDF 表示文本时，特征维度可能高达数万，而单个文档的非零特征却很少。

传统聚类方法面临两大挑战：

距离失效 ：在高维空间中，所有样本的距离趋于相同，使得基于欧式距离的 K -Means 失效
密度定义困难 ：DBSCAN 依赖密度可达性，但稀疏数据中密度难以明确定义

算法类型	时间复杂度	适合场景	稀疏数据表现
K-Means	O(nkt)	球形分布	极易陷入局部最优
DBSCAN	O(n log n)	任意形状	参数敏感，密度难定义
AIS 聚类	O(m*n)	动态适应	通过免疫网络自然处理稀疏性

其中 m 为抗体数量，n 为抗原数量。AIS 通过模拟生物免疫系统的以下特性取胜：

免疫记忆 ：保留优质抗体应对相似抗原
克隆选择 ：优秀抗体获得增殖机会
动态平衡 ：通过抑制机制保持抗体多样性

import numpy as np
from typing import List, Tuple

def initialize_antibodies(
    antigen_data: np.ndarray, 
    num_antibodies: int
) -> Tuple[np.ndarray, np.ndarray]:
    """
    从抗原数据中随机采样初始化抗体池
    :param antigen_data: (n_samples, n_features) 的抗原矩阵
    :param num_antibodies: 初始抗体数量
    :return: (antibodies, antibody_counts)
    """
    # 使用稀疏优化采样（仅对非零维度采样）nnz_mask = np.array(antigen_data != 0).any(axis=0)
    valid_indices = np.where(nnz_mask)[0]

    sample_indices = np.random.choice(len(antigen_data), 
        size=num_antibodies,
        replace=False
    )
    antibodies = antigen_data[sample_indices]

    # 初始化抗体浓度
    antibody_counts = np.ones(num_antibodies)

    return antibodies, antibody_counts

from scipy.spatial.distance import cdist

def calculate_affinity(
    antibodies: np.ndarray, 
    antigens: np.ndarray,
    threshold: float = 0.7
) -> np.ndarray:
    """
    使用余弦相似度计算亲和力矩阵（稀疏优化版）:param antibodies: (m, n_features)
    :param antigens: (k, n_features)
    :param threshold: 相似度阈值
    :return: (m, k) 的亲和力矩阵
    """
    # 仅计算非零维度的点积（稀疏优化）antibodies_norm = np.sqrt(np.einsum('ij,ij->i', antibodies, antibodies))
    antigens_norm = np.sqrt(np.einsum('ij,ij->i', antigens, antigens))

    dot_product = antibodies @ antigens.T
    norms = np.outer(antibodies_norm, antigens_norm)

    with np.errstate(divide='ignore', invalid='ignore'):
        sim_matrix = np.nan_to_num(dot_product / norms)

    # 应用阈值过滤
    sim_matrix[sim_matrix < threshold] = 0
    return sim_matrix

def clone_and_select(
    antibodies: np.ndarray,
    antibody_counts: np.ndarray,
    affinity_matrix: np.ndarray,
    clone_factor: float = 0.1
) -> Tuple[np.ndarray, np.ndarray]:
    """
    根据亲和力进行克隆扩增与选择
    :param clone_factor: 克隆扩增系数
    :return: 更新后的抗体池及计数
    """
    # 计算每个抗体的平均亲和力
    antibody_affinity = np.mean(affinity_matrix, axis=1)

    # 确定克隆数量（与亲和力成正比）clone_num = (antibody_affinity * clone_factor * len(antibodies)).astype(int)

    # 执行克隆
    new_antibodies = []
    new_counts = []
    for idx, num in enumerate(clone_num):
        if num > 0:
            clones = np.tile(antibodies[idx], (num, 1))
            # 添加高斯噪声（变异）clones += np.random.normal(0, 0.1, clones.shape)
            new_antibodies.append(clones)
            new_counts.extend([antibody_counts[idx]/num]*num)

    # 合并新旧抗体
    updated_antibodies = np.vstack([antibodies] + new_antibodies)
    updated_counts = np.concatenate([antibody_counts] + new_counts)

    # 浓度归一化
    updated_counts = updated_counts / np.sum(updated_counts)

    return updated_antibodies, updated_counts

抗原呈现率控制
建议值：0.3-0.7
过高会导致抗体过度特化，过低则收敛慢
动态调整策略：初始阶段取较高值 (0.6)，后期降至 0.4
抑制半径设置
计算公式：radius = np.percentile(pairwise_dist, 30)
需要随迭代动态缩小：radius *= (1 - 0.05*epoch)
记忆细胞更新频率
每 10 代执行一次记忆细胞归档
保留条件：affinity > np.mean(affinity_matrix) + 2*std

使用稀疏矩阵存储抗原 - 抗体矩阵
分批次计算亲和力（每批 1000 个抗原）

示例优化：

from scipy.sparse import csr_matrix

def sparse_affinity(antibodies, antigens, batch_size=1000):
    rows, cols, data = [], [], []
    for i in range(0, len(antigens), batch_size):
        batch = antigens[i:i+batch_size]
        aff = calculate_affinity(antibodies, batch)
        # 转换为稀疏三元组
        coo = csr_matrix(aff).tocoo()
        rows.extend(coo.row + i)
        cols.extend(coo.col)
        data.extend(coo.data)
    return csr_matrix((data, (rows, cols)))