C语言实现机器学习基础：手写数字识别从原理到实践

1次阅读

共计 2667 个字符，预计需要花费 7 分钟才能阅读完成。

在嵌入式系统和 IoT 设备中，机器学习应用越来越广泛。然而，这些设备通常资源有限，无法运行 Python 等高级语言和庞大的机器学习框架。本文将介绍如何用纯 C 语言实现一个基础的机器学习模型，用于手写数字识别，帮助开发者理解底层原理并在资源受限环境中部署轻量级模型。

Python 生态中有丰富的机器学习库，如 TensorFlow 和 PyTorch，但在嵌入式 /IoT 场景下存在以下局限性：

资源占用高：Python 解释器和大型库需要较多内存和存储空间。
运行效率低：Python 的动态类型和解释执行导致性能不如 C 语言。
依赖复杂：部署时需要安装大量依赖库，增加了系统复杂度。

相比之下，C 语言具有以下优势：

高效性：接近硬件的执行效率，适合资源受限环境。
可移植性：几乎所有的嵌入式平台都支持 C 语言。
可控性：可以直接管理内存和硬件资源，优化性能。

在数字识别任务中，单层感知机（Perceptron）和多层神经网络（MLP）的表现差异显著：

单层感知机：
结构简单，计算开销低。
仅能处理线性可分问题，MNIST 数据集上的准确率通常低于 90%。
多层神经网络：
包含隐藏层，能够学习非线性特征。
计算开销较高，但准确率可以提升到 95% 以上。

对于嵌入式场景，需要权衡准确率和计算资源。

矩阵运算是神经网络的基础。我们可以用 C 语言实现一个轻量级的矩阵库，并利用 SIMD 指令优化性能。

typedef struct {
    int rows;
    int cols;
    float *data;
} Matrix;

Matrix matrix_multiply(Matrix a, Matrix b) {
    Matrix result;
    result.rows = a.rows;
    result.cols = b.cols;
    result.data = (float *)malloc(a.rows * b.cols * sizeof(float));

    for (int i = 0; i < a.rows; i++) {for (int j = 0; j < b.cols; j++) {
            float sum = 0;
            for (int k = 0; k < a.cols; k++) {sum += a.data[i * a.cols + k] * b.data[k * b.cols + j];
            }
            result.data[i * result.cols + j] = sum;
        }
    }
    return result;
}

Sigmoid 函数将输出映射到 (0,1) 区间，适合二分类问题。交叉熵损失则用于衡量预测与真实值的差异。

float sigmoid(float x) {return 1.0 / (1.0 + exp(-x));
}

float cross_entropy_loss(float *predictions, float *labels, int n) {
    float loss = 0;
    for (int i = 0; i < n; i++) {loss += -labels[i] * log(predictions[i]) - (1 - labels[i]) * log(1 - predictions[i]);
    }
    return loss / n;
}

反向传播通过链式法则计算梯度，用于更新网络权重。以下是简化实现：

void backward(Matrix *weights, Matrix *gradients, float learning_rate) {for (int i = 0; i < weights->rows; i++) {for (int j = 0; j < weights->cols; j++) {weights->data[i * weights->cols + j] -= learning_rate * gradients->data[i * gradients->cols + j];
        }
    }
}

以下是一个完整的 MNIST 数据加载和训练推理的 C 项目结构，使用 CMake 管理：

cmake_minimum_required(VERSION 3.10)
project(mnist_c)

set(CMAKE_C_STANDARD 11)

add_executable(mnist_c
    src/main.c
    src/matrix.c
    src/network.c
    src/mnist.c
)

关键函数添加 Doxygen 注释：

/**
 * @brief Load MNIST dataset from file
 * @param images_path Path to images file
 * @param labels_path Path to labels file
 * @param dataset Pointer to dataset structure
 * @return 0 on success, -1 on failure
 */
int mnist_load(const char *images_path, const char *labels_path, Dataset *dataset);

内存池管理实现：

#define MEMORY_POOL_SIZE 1024 * 1024
static uint8_t memory_pool[MEMORY_POOL_SIZE];
static size_t pool_index = 0;

void *pool_alloc(size_t size) {if (pool_index + size > MEMORY_POOL_SIZE) return NULL;
    void *ptr = &memory_pool[pool_index];
    pool_index += size;
    return ptr;
}

在 ARM Cortex- M 系列芯片上，定点数和浮点数的性能差异显著：