基于神经网络的模式识别实战：从BP网络到Hopfield网络的鸢尾花分类

1次阅读

共计 1791 个字符，预计需要花费 5 分钟才能阅读完成。

在模式识别领域，传统方法如 KNN、决策树等虽然简单直观，但面对高维非线性数据时往往表现不佳。以鸢尾花数据集为例，当特征维度增加到数十个时，传统方法的分类准确率会显著下降。而神经网络通过多层非线性变换，能够自动学习数据的复杂模式，这正是它的核心优势。

结构特点 ：前馈网络，包含输入层、隐藏层和输出层
训练机制 ：通过反向传播算法调整权重
适用场景 ：监督学习任务，如图像分类、回归预测

结构特点 ：全连接反馈网络
训练机制 ：基于 Hebbian 学习规则
适用场景 ：联想记忆、模式恢复

误差反向传播的核心公式：

\Delta w_{ij} = -\eta \frac{\partial E}{\partial w_{ij}}

其中 η 是学习率，E 是损失函数。

E = -\frac{1}{2}\sum_{i}\sum_{j} w_{ij}v_iv_j + \sum_{i}\theta_iv_i

import numpy as np
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler

# 数据加载与预处理
iris = load_iris()
X = iris.data
y = iris.target
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 网络参数初始化
input_size = 4
hidden_size = 10
output_size = 3
learning_rate = 0.01
epochs = 1000

# 权重初始化
W1 = np.random.randn(input_size, hidden_size)
W2 = np.random.randn(hidden_size, output_size)

# 训练过程
for epoch in range(epochs):
    # 前向传播
    hidden = np.tanh(X.dot(W1))
    output = softmax(hidden.dot(W2))

    # 反向传播
    output_error = output - one_hot(y)
    hidden_error = output_error.dot(W2.T) * (1 - hidden**2)

    # 权重更新
    W2 -= learning_rate * hidden.T.dot(output_error)
    W1 -= learning_rate * X.T.dot(hidden_error)

# 离散 Hopfield 网络实现
class HopfieldNetwork:
    def __init__(self, size):
        self.weights = np.zeros((size, size))

    def train(self, patterns):
        # Hebbian 学习规则
        for p in patterns:
            self.weights += np.outer(p, p)
        np.fill_diagonal(self.weights, 0)

    def predict(self, pattern, max_iter=10):
        for _ in range(max_iter):
            new_pattern = np.sign(self.weights.dot(pattern))
            if np.array_equal(new_pattern, pattern):
                return pattern
            pattern = new_pattern
        return pattern