基于神经网络的模式识别实验：从BP网络到Hopfield网络的实战指南

1次阅读

共计 2145 个字符，预计需要花费 6 分钟才能阅读完成。

神经网络作为模拟生物神经系统工作机理的计算模型，在模式识别领域展现出强大的特征学习和分类能力。Iris 鸢尾花数据集由 Fisher 于 1936 年整理发布，包含 3 类鸢尾花（Setosa、Versicolor、Virginica）的 4 个特征（萼片长宽、花瓣长宽），是机器学习领域最经典的基准数据集之一。

数据集特点 ：150 个样本，特征维度低，线性不可分
实验价值 ：验证网络对多类分类问题的处理能力
典型挑战 ：BP 网络需解决梯度传播问题，Hopfield 网络需处理模式存储容量

前馈结构 ：输入层→隐藏层→输出层（单向传播）
核心机制 ：误差反向传播（Backpropagation）
适用场景 ：监督学习、分类 / 回归问题

反馈结构 ：全连接递归网络
核心机制 ：能量函数最小化
适用场景 ：联想记忆、模式恢复

前向传播 ：

z_j^l = \sum_i w_{ji}^l a_i^{l-1} + b_j^l \quad (1)

反向传播关键公式 ：

\delta_j^L = \frac{\partial C}{\partial a_j^L} \sigma'(z_j^L) \quad (2)

\delta_j^l = \sum_k w_{kj}^{l+1} \delta_k^{l+1} \sigma'(z_j^l) \quad (3)

E = -\frac{1}{2} \sum_{i,j} w_{ij} x_i x_j + \sum_i \theta_i x_i \quad (4)

更新规则 ：

x_i(t+1) = \begin{cases} 
+1 & \text{if} \sum_j w_{ij}x_j(t) \geq \theta_i \\
-1 & \text{otherwise}
\end{cases}

# 数据预处理
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler

iris = load_iris()
X = StandardScaler().fit_transform(iris.data)
y = pd.get_dummies(iris.target).values

# 网络结构定义
class BPNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = np.tanh(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        return softmax(self.z2)

    def backward(self, X, y, lr=0.01):
        # 反向传播实现...
        pass

class HopfieldNetwork:
    def __init__(self, size):
        self.weights = np.zeros((size, size))

    def train(self, patterns):
        # Hebbian 学习规则
        for p in patterns:
            self.weights += np.outer(p, p)
        np.fill_diagonal(self.weights, 0)

    def recall(self, pattern, max_iter=100):
        # 异步更新
        for _ in range(max_iter):
            idx = np.random.randint(len(pattern))
            pattern[idx] = np.sign(self.weights[idx] @ pattern)
        return pattern