自然梯度随机下降学习入门指南：从数学原理到Python实现

1次阅读

共计 1692 个字符，预计需要花费 5 分钟才能阅读完成。

传统梯度下降法在参数空间中进行线性更新，但许多机器学习模型的参数空间实际上是非欧几里得的。举个简单例子：当模型参数代表概率分布时，微小的参数变化可能导致完全不同的分布形态。自然梯度下降通过引入 Fisher 信息矩阵 $G(\theta)$，将更新方向调整为分布空间中最陡下降方向：

$$
\tilde{\nabla} = G(\theta)^{-1}\nabla_\theta J(\theta)
$$

核心优势：在分布空间保持等距更新，避免 ” 锯齿形 ” 收敛路径
物理意义：每次迭代相当于在 KL 散度约束下寻找最优更新方向

衡量概率分布对参数变化的敏感程度：

$$
G(\theta)_{ij} = \mathbb{E}\left[\frac{\partial \log p(x|\theta)}{\partial \theta_i} \frac{\partial \log p(x|\theta)}{\partial \theta_j}\right]
$$

自然梯度可以理解为带约束的优化问题：

$$
\min_{\Delta \theta} J(\theta + \Delta \theta) \quad \text{s.t.} \quad D_{KL}(p_\theta || p_{\theta+\Delta \theta}) \leq \epsilon
$$

import numpy as np
from scipy.linalg import pinvh

class NaturalGradientDescent:
    def __init__(self, learning_rate=0.01, batch_size=32):
        self.lr = learning_rate
        self.batch_size = batch_size

    def compute_fisher_matrix(self, log_prob_grads):
        """计算经验 Fisher 信息矩阵"""
        # log_prob_grads: [batch_size, num_params]
        return np.matmul(log_prob_grads.T, log_prob_grads) / self.batch_size

    def update(self, params, gradients):
        """带自然梯度的参数更新"""
        fisher = self.compute_fisher_matrix(gradients)
        try:
            nat_grad = pinvh(fisher) @ gradients.mean(axis=0)
        except np.linalg.LinAlgError:
            nat_grad = gradients.mean(axis=0)  # 退化到普通梯度

        return params - self.lr * nat_grad

使用单隐层神经网络 (128 units) 测试：