Adaline神经网络从零实现：二分类问题的实战指南

1次阅读

共计 2449 个字符，预计需要花费 7 分钟才能阅读完成。

Adaline（Adaptive Linear Neuron）和感知机（Perceptron）都是单层神经网络，但它们在权重更新规则上有本质区别。感知机使用阶跃函数作为激活函数，直接输出离散的类别标签（如±1），而 Adaline 使用线性激活函数 φ(z)=z，通过最小化连续输出与真实标签的误差来更新权重。

数学上，Adaline 的权重更新规则为：

Δw = η(y - φ(z))x

其中 η 是学习率，y 是真实标签，φ(z)是当前样本的预测输出，x 是输入特征。相比之下，感知机的更新规则为：

Δw = η(y - ŷ)x

这里 ŷ是感知机的离散预测输出。Adaline 的连续误差信号使其收敛更平滑。

初学者在实现 Adaline 时常遇到以下问题：

学习率选择困难：过大导致震荡，过小导致收敛慢
解决方案：实现学习率衰减（如 η =η₀/(1+decay_rate×epoch)）
特征未标准化：不同尺度特征导致收敛路径扭曲
解决方案：使用 z -score 标准化（(x-μ)/σ）
梯度消失：当特征维度高时，梯度可能过小
解决方案：Xavier/Glorot 初始化权重

import numpy as np

class AdalineGD:
    """Adaline with Gradient Descent"""
    def __init__(self, eta=0.01, n_iter=50, random_state=1, decay_rate=0):
        self.eta = eta          # 初始学习率
        self.n_iter = n_iter    # 迭代次数
        self.random_state = random_state  # 随机种子
        self.decay_rate = decay_rate  # 学习率衰减系数

fit()方法 包含完整的训练逻辑：

def fit(self, X, y):
    # 初始化权重（+ 1 是偏置项）rgen = np.random.RandomState(self.random_state)
    self.w_ = rgen.normal(loc=0.0, scale=0.1, size=X.shape[1] + 1)

    self.losses_ = []  # 记录每轮损失

    for epoch in range(self.n_iter):
        # 计算当前学习率（带衰减）current_eta = self.eta / (1 + self.decay_rate * epoch)

        # 计算净输入和误差
        net_input = self.net_input(X)
        errors = (y - net_input)  # 注意这里是连续误差

        # 更新权重（向量化实现）self.w_[1:] += current_eta * X.T.dot(errors)
        self.w_[0] += current_eta * errors.sum()

        # 记录 MSE 损失
        loss = (errors**2).mean() / 2
        self.losses_.append(loss)
    return self

预测方法 保持简单：

def predict(self, X):
    return np.where(self.net_input(X) >= 0.0, 1, -1)

def net_input(self, X):
    return np.dot(X, self.w_[1:]) + self.w_[0]

使用 sklearn 生成可分二分类数据：

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=1000, n_features=10, 
                          n_classes=2, random_state=42)
y = np.where(y == 0, -1, 1)  # 将标签转为±1
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 特征标准化（关键步骤！）from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train_std = sc.fit_transform(X_train)
X_test_std = sc.transform(X_test)

import matplotlib.pyplot as plt

ada = AdalineGD(eta=0.01, n_iter=100, decay_rate=0.1)
ada.fit(X_train_std, y_train)

# 绘制损失曲线
plt.plot(range(1, len(ada.losses_) + 1), ada.losses_, marker='o')
plt.xlabel('Epochs')
plt.ylabel('Mean Squared Error')
plt.show()