深入解析ART神经网络原理：从数学基础到高效实现

1次阅读

没有评论

共计 1878 个字符，预计需要花费 5 分钟才能阅读完成。

ART（Adaptive Resonance Theory）神经网络的自适应特性使其在增量学习场景中表现突出。与传统的 BP（Backpropagation）网络相比，ART 具有几个关键差异点：

学习方式 ：BP 网络需要整个数据集进行批量训练，而 ART 支持单样本增量学习
灾难性遗忘 ：BP 网络在新数据上训练时会覆盖旧知识，ART 则通过警戒机制保留已学模式
结构灵活性 ：BP 网络结构固定，ART 能动态增长输出节点以适应新类别

这种特性使得 ART 在实时系统、在线推荐等场景中具有不可替代的价值。

警戒参数（vigilance parameter）ρ∈[0,1] 决定了模式被归入现有类别或创建新类的临界条件。其数学表达式为：

$$
\frac{|\mathbf{x} \wedge \mathbf{w}_j|}{|\mathbf{x}|} \geq \rho
$$

分子计算输入 x 与权重 w_j 的按位与（表示共同激活的特征数）
分母是输入向量的 L1 范数（总激活特征数）

当 ρ 接近 1 时网络趋向创建新类（高区分度），ρ 较低时则倾向于合并相似模式。实验表明，0.7-0.9 是大多数视觉特征的合理区间。

import numpy as np

class ART1:
    def __init__(self, input_dim, rho=0.8, beta=1.0, max_categories=10):
        # 初始化权重（遵循 ART- 1 规范）self.W = np.ones((max_categories, input_dim)) * (1 / (1 + input_dim))
        self.rho = rho  # 警戒阈值
        self.beta = beta  # 选择参数
        self.categories = 0  # 当前类别数

    def similarity(self, x, w_j):
        """计算二进制输入的相似度"""
        intersection = np.sum(x * w_j)
        return intersection / np.sum(x)

    def predict(self, x):
        # 竞争层选择
        while True:
            scores = [self.similarity(x, self.W[j]) for j in range(self.categories)]
            if not scores:  # 无现存类别
                return -1
            winner = np.argmax(scores)
            # 警戒测试
            if scores[winner] >= self.rho:
                return winner
            else:  # 重置机制
                scores[winner] = -1

    def fit(self, x):
        """单样本训练"""
        while True:
            winner = self.predict(x)
            if winner == -1:  # 创建新类
                if self.categories >= len(self.W):
                    raise ValueError("超出最大类别数")
                self.W[self.categories] = x * self.beta / (self.beta + np.sum(x) - 1)
                self.categories += 1
                return self.categories - 1
            else:  # 权重更新
                old_w = self.W[winner].copy()
                self.W[winner] = x * old_w / (self.beta + np.sum(old_w) - 1)
                if np.allclose(old_w, self.W[winner]):  # 收敛判断
                    return winner