基于非负矩阵分解的多视图聚类方法解析：从原理到工程实践

1次阅读

共计 2003 个字符，预计需要花费 6 分钟才能阅读完成。

在真实世界的机器学习场景中，数据往往从多个来源或不同特征空间收集。比如在推荐系统中，我们可能同时拥有用户行为日志（点击、购买）、社交网络关系和人口统计信息；在医疗影像分析中，CT、MRI 和 PET 扫描提供了互补的视角。这类多视图数据（Multi-view Data）的每个视图都可能包含独特的信息模式，但传统单视图聚类方法如 K -means 面临两大局限：

信息利用不充分：强制合并异构特征会破坏原始数据结构
视图权重固化：无法自动识别不同视图的贡献度差异

方法	特征融合能力	可解释性	计算复杂度	适用场景
PCA	线性组合	中等	O(n^3)	连续型数据降维
t-SNE	非线性映射	低	O(n^2)	高维可视化
NMF	加性分解	高	O(n^2k)	非负数据特征提取

给定非负矩阵 $X \in \mathbb{R}^{m\times n}+$，寻找非负因子 $W \in \mathbb{R}^{m\times k}+$ 和 $H \in \mathbb{R}^{k\times n}_+$ 使得：

$$
\min_{W,H} |X – WH|_F^2 \quad \text{s.t.} \quad W,H \geq 0
$$

通过交替最小化可推导出乘法更新规则（证明略）：

$$
H_{ij} \leftarrow H_{ij} \frac{(W^T X){ij}}{(W^T W H), \quad
W_{ij} \leftarrow W_{ij} \frac{(X H^T)}{ij}}{(W H H^T)
$$}

对于 $V$ 个视图的协同分解，目标函数变为：

$$
\sum_{v=1}^V \alpha_v |X^{(v)} – W H^{(v)}|_F^2 + \lambda \text{tr}(H L H^T)
$$

其中 $\alpha_v$ 为视图权重，图拉普拉斯矩阵 $L=D-A$ 编码样本间相似关系。

from sklearn.decomposition import NMF
import numpy as np

# 生成模拟数据
X = np.random.rand(100, 50)  # 100 样本 50 特征

# 训练模型
model = NMF(n_components=10, init='random', max_iter=500)
W = model.fit_transform(X)
H = model.components_

class MultiViewNMF:
    def __init__(self, n_views, n_components=10, lambda_=0.1):
        self.K = n_components
        self.lambda_ = lambda_  # 图正则系数
        self.alpha = np.ones(n_views)/n_views  # 初始化等权重

    def fit(self, X_list, adjacency, max_iter=200):
        """
        X_list: 视图数据列表 [X1, X2,...]
        adjacency: 样本相似度矩阵
        """
        # 标准化各视图
        X_norm = [self._normalize(X) for X in X_list]

        # 初始化共享基矩阵 W
        W = np.random.rand(X_norm[0].shape[0], self.K)

        for _ in range(max_iter):
            # 更新各视图系数矩阵
            H_list = [self._update_H(W, X) for X in X_norm]

            # 更新共享基矩阵
            W = self._update_W(X_norm, H_list)

        return W, H_list

迭代控制：
设置相对误差阈值 tol=1e-4 提前终止
使用 Numba 加速关键计算步骤

GPU 加速：

import cupy as cp

def gpu_update(W, X, H):
    W_gpu = cp.array(W)
    X_gpu = cp.array(X)
    # ... GPU 计算过程 ...
    return W_gpu.get()

特征尺度统一：对各视图分别做 MinMaxScaler

稀疏矩阵处理：

from scipy.sparse import csr_matrix
X_sparse = csr_matrix(X)
model.fit(X_sparse)  # 使用稀疏运算接口

超参数调优：

from sklearn.model_selection import GridSearchCV

param_grid = {'n_components': [5,10,15], 'alpha': [0.1,1,10]}
grid = GridSearchCV(NMF(), param_grid, cv=3)
grid.fit(X)

当前视图权重 $\alpha_v$ 需要手动设定，如何实现自适应分配？可尝试：