从零开始理解ANN神经网络：核心原理与Python实战指南

1次阅读

没有评论

共计 2499 个字符，预计需要花费 7 分钟才能阅读完成。

第一次接触 ANN 时，我被三个问题卡住：

权重矩阵像天书：为什么 W 的维度是(输入特征数, 神经元数)？
反向传播像黑箱：误差怎么通过链式法则影响前面的权重？
参数调整靠玄学：学习率设 0.01 还是 0.001 全凭运气

后来发现，这些问题都源于没有把数学过程和代码执行对应起来。

单层感知机的决策函数：
$$ y = \sigma(w^Tx + b) $$

只能画 直线分割 数据（如 AND/OR 问题）
连简单的 XOR 问题都无法解决

加上隐藏层后，决策边界变成：
$$ z_1 = \sigma(W_1^Tx + b_1) $$
$$ y = \sigma(W_2^Tz_1 + b_2) $$

通过非线性激活函数（如 ReLU）的堆叠，网络可以拟合 任意复杂边界。下图展示了隐藏层如何组合出环形决策域：

# 可视化代码示例
import matplotlib.pyplot as plt
from sklearn.datasets import make_circles

X, y = make_circles(n_samples=1000, noise=0.1)
plt.scatter(X[:,0], X[:,1], c=y, cmap='bwr')

假设输入是 28×28 图片（784 维），第一个隐藏层有 128 个神经元：

初始化权重矩阵 W1 形状为 (784, 128)
计算 $z1 = X \cdot W1 + b1$（b1 形状(128,)）
通过 ReLU 激活：$a1 = max(0, z1)$

第二层做 10 分类（如 MNIST 数字识别）：

权重矩阵 W2 形状为 (128, 10)
计算 $z2 = a1 \cdot W2 + b2$
用 Softmax 得到概率分布：$\hat{y} = \frac{e^{z2}}{\sum e^{z2}}$

理解激活函数的内部机制：

import numpy as np

def sigmoid(x):
    """
    手动实现 Sigmoid 函数
    参数: x - 输入张量
    返回: 0 到 1 之间的激活值
    """
    return 1 / (1 + np.exp(-x))

带 Dropout 的正规实现：

import tensorflow as tf
from tensorflow.keras.layers import Dense, Dropout

model = tf.keras.Sequential([Dense(128, activation='relu', input_shape=(784,)),
    Dropout(0.5),  # 随机丢弃 50% 神经元防止过拟合
    Dense(10, activation='softmax')
])

model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

标准化让训练更稳定：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)  # 拟合训练集
X_test = scaler.transform(X_test)        # 用相同参数转换测试集

症状：ValueError 提示矩阵形状无法相乘
检查：
输入数据形状是否与 input_shape 一致
相邻层的神经元数是否匹配权重矩阵维度

现象：深层网络训练时 loss 长期不下降
解决：
改用 ReLU 激活替代 Sigmoid
添加残差连接（ResNet 思路）

识别：训练准确率高但测试准确率低
对策：
增加 Dropout 层
使用 L2 正则化
获取更多训练数据

表现：loss 震荡（太大）或下降过慢（太小）
调整：
使用学习率调度器
尝试 Adam 等自适应优化器

陷阱：全零初始化导致神经元对称更新
方案：
使用 He/Glorot 初始化
具体实现：kernel_initializer='he_normal'

在激活函数前插入：

model.add(tf.keras.layers.BatchNormalization())

作用：
– 减少内部协变量偏移
– 允许使用更大的学习率

动态调整策略示例：

lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=0.01,
    decay_steps=10000,
    decay_rate=0.9)
optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

# 加载数据集
fashion_mnist = tf.keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

# 预处理
train_images = train_images / 255.0
test_images = test_images / 255.0

# 构建模型（请补充完整）model = tf.keras.Sequential([tf.keras.layers.Flatten(input_shape=(28, 28)),
    # 在此添加你的网络层
])

进阶要求：
1. 达到测试集准确率 >88%
2. 尝试不同的优化器和学习率组合
3. 添加 Early Stopping 回调

最初觉得 ANN 像黑魔法，但拆解后发现核心就是加权求和 + 非线性变换的堆叠。建议新手：