C++实现BP神经网络训练MNIST数据集：从理论到实践

1次阅读

共计 1956 个字符，预计需要花费 5 分钟才能阅读完成。

BP 神经网络是一种经典的人工神经网络模型，通过反向传播算法来调整网络权重，实现对输入数据的分类或回归。MNIST 数据集是机器学习领域的经典数据集，包含 60000 张手写数字图片，每张图片大小为 28×28 像素，分为 10 个类别（0-9）。使用 C ++ 实现 BP 神经网络训练 MNIST 数据集，可以深入理解神经网络的底层原理，同时发挥 C ++ 的高性能优势。

在选择实现 BP 神经网络的语言时，C++ 具有以下优势：

高性能：C++ 可以直接操作内存，避免解释型语言的性能开销
控制精细：可以精确控制内存分配、计算过程等细节
跨平台：编译后的可执行文件可以在不同平台上运行

相比之下，Python 等语言虽然开发效率高，但在性能关键场景下可能不如 C ++ 高效。

我们设计一个具有以下结构的 BP 神经网络：

输入层：784 个神经元（对应 28×28 像素）
隐藏层：128 个神经元
输出层：10 个神经元（对应 10 个数字类别）

// 前向传播函数
void forwardPropagation(const vector<double>& input) {
    // 输入层到隐藏层
    for (int i = 0; i < hiddenSize; ++i) {hidden[i] = 0;
        for (int j = 0; j < inputSize; ++j) {hidden[i] += input[j] * w1[j][i];
        }
        hidden[i] = sigmoid(hidden[i] + b1[i]);
    }

    // 隐藏层到输出层
    for (int i = 0; i < outputSize; ++i) {output[i] = 0;
        for (int j = 0; j < hiddenSize; ++j) {output[i] += hidden[j] * w2[j][i];
        }
        output[i] = sigmoid(output[i] + b2[i]);
    }
}

// 反向传播函数
void backwardPropagation(const vector<double>& input, const vector<double>& target) {
    // 计算输出层误差
    vector<double> outputDelta(outputSize);
    for (int i = 0; i < outputSize; ++i) {double error = target[i] - output[i];
        outputDelta[i] = error * sigmoidDerivative(output[i]);
    }

    // 计算隐藏层误差
    vector<double> hiddenDelta(hiddenSize);
    for (int i = 0; i < hiddenSize; ++i) {
        double error = 0;
        for (int j = 0; j < outputSize; ++j) {error += outputDelta[j] * w2[i][j];
        }
        hiddenDelta[i] = error * sigmoidDerivative(hidden[i]);
    }

    // 更新权重和偏置
    for (int i = 0; i < outputSize; ++i) {for (int j = 0; j < hiddenSize; ++j) {w2[j][i] += learningRate * outputDelta[i] * hidden[j];
        }
        b2[i] += learningRate * outputDelta[i];
    }

    for (int i = 0; i < hiddenSize; ++i) {for (int j = 0; j < inputSize; ++j) {w1[j][i] += learningRate * hiddenDelta[i] * input[j];
        }
        b1[i] += learningRate * hiddenDelta[i];
    }
}