bp模糊函数反向传播：从数学原理到PyTorch实战指南

1次阅读

共计 1561 个字符，预计需要花费 4 分钟才能阅读完成。

模糊函数的前向传播可以表示为：

$$y = \frac{1}{n}\sum_{i=1}^n x_i \cdot w_i$$

其中 $x_i$ 是输入向量，$w_i$ 是模糊权重（通常通过高斯核等函数生成）。这个公式实现了对输入信号的加权平均模糊效果。

根据链式法则，我们需要计算损失函数 $L$ 对输入 $x$ 的偏导数：

$$\frac{\partial L}{\partial x_i} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial x_i} = \frac{\partial L}{\partial y} \cdot \frac{w_i}{n}$$

同理对权重 $w$ 的梯度为：

$$\frac{\partial L}{\partial w_i} = \frac{\partial L}{\partial y} \cdot \frac{x_i}{n}$$

优点：完全控制计算过程，便于调试和优化
缺点：需要手动推导梯度公式，容易出错

优点：自动计算梯度，开发效率高
缺点：某些特殊操作可能无法正确求导

import torch
from torch.autograd import Function

class BlurFunction(Function):
    @staticmethod
    def forward(ctx, input, weights):
        # 保存输入用于反向传播
        ctx.save_for_backward(input, weights)

        # 向量化实现前向传播
        output = torch.sum(input * weights, dim=1, keepdim=True) / weights.size(1)

        return output

    @staticmethod
    def backward(ctx, grad_output):
        input, weights = ctx.saved_tensors

        # 计算输入梯度
        grad_input = grad_output * weights / weights.size(1)

        # 计算权重梯度
        grad_weights = grad_output * input / weights.size(1)

        return grad_input, grad_weights

# 使用示例
blur = BlurFunction.apply
input = torch.randn(10, 3, requires_grad=True)
weights = torch.randn(10, 3, requires_grad=True)
output = blur(input, weights)
output.backward(torch.ones_like(output))