BP神经网络解决异或问题：从数学原理到Python实现

1次阅读

共计 2685 个字符，预计需要花费 7 分钟才能阅读完成。

异或（XOR）问题是神经网络学习中的一个经典案例，它简单却富有挑战性。传统单层感知机无法解决异或问题，这促使了多层神经网络的发展。本文将带你一步步理解为什么单层感知机失败，以及如何用 BP 神经网络成功解决异或问题，并附上完整的 Python 实现代码。

异或运算的数学定义如下：

$$ A \oplus B = (A \land \neg B) \lor (\neg A \land B) $$

其真值表为：

A	B	A⊕B
0	0	0
0	1	1
1	0	1
1	1	0

单层感知机本质上是一个线性分类器，而异或问题是线性不可分的。这意味着我们无法用一条直线将输入空间划分为正确的类别。这就是为什么我们需要引入隐藏层，构建多层神经网络。

BP（Back Propagation）神经网络是一种多层前馈神经网络，通过反向传播算法来训练网络。它的基本结构包括：

输入层：接收输入数据
隐藏层：进行非线性变换
输出层：产生最终输出

对于异或问题，我们采用 2 -2- 1 结构：

输入层：2 个神经元（对应两个输入）
隐藏层：2 个神经元
输出层：1 个神经元

下面是完整的 Python 实现代码，我们使用 NumPy 进行矩阵运算。

import numpy as np
import matplotlib.pyplot as plt

# Sigmoid 激活函数及其导数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

# 输入数据（异或问题）X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

# 网络参数
input_neurons = 2
hidden_neurons = 2
output_neurons = 1

# 学习率和迭代次数
learning_rate = 0.5
epochs = 10000

# 权重初始化（使用较小随机值）weights_input_hidden = np.random.uniform(size=(input_neurons, hidden_neurons))
weights_hidden_output = np.random.uniform(size=(hidden_neurons, output_neurons))

# 训练过程
loss_history = []

for epoch in range(epochs):
    # 前向传播
    hidden_layer_input = np.dot(X, weights_input_hidden)
    hidden_layer_output = sigmoid(hidden_layer_input)

    output_layer_input = np.dot(hidden_layer_output, weights_hidden_output)
    predicted_output = sigmoid(output_layer_input)

    # 计算损失（均方误差）error = y - predicted_output
    loss = np.mean(np.square(error))
    loss_history.append(loss)

    # 反向传播
    d_predicted_output = error * sigmoid_derivative(predicted_output)

    error_hidden_layer = d_predicted_output.dot(weights_hidden_output.T)
    d_hidden_layer = error_hidden_layer * sigmoid_derivative(hidden_layer_output)

    # 更新权重
    weights_hidden_output += hidden_layer_output.T.dot(d_predicted_output) * learning_rate
    weights_input_hidden += X.T.dot(d_hidden_layer) * learning_rate

# 测试网络
hidden_layer_input = np.dot(X, weights_input_hidden)
hidden_layer_output = sigmoid(hidden_layer_input)
output_layer_input = np.dot(hidden_layer_output, weights_hidden_output)
predicted_output = sigmoid(output_layer_input)

print("最终输出：")
print(predicted_output)

# 绘制损失曲线
plt.plot(loss_history)
plt.title('Training Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()