C++实现生成式AI：从零构建简易语言模型的实践指南

1次阅读

没有评论

共计 2030 个字符，预计需要花费 6 分钟才能阅读完成。

很多开发者可能认为 Python 是 AI 开发的唯一选择，毕竟 TensorFlow 和 PyTorch 生态太强大了。但 C ++ 在性能敏感场景下有着不可替代的优势：

计算效率：Python 的 numpy 底层其实是 C 实现的，每次运算都有跨语言调用的开销
内存控制：大模型推理时，Python 的 GC 机制可能导致不可预测的延迟
部署便利：C++ 编译后的二进制可以直接嵌入各种生产环境

不过必须承认，用 C ++ 做 AI 开发确实存在生态碎片化的问题。比如没有统一的自动微分库，各家的矩阵运算 API 也不尽相同。这是我们需要克服的首要难题。

我们采用经典的分层架构，整个流程如下：

Tokenizer 层：处理文本分词
Embedding 层：将 token 映射为向量
Transformer 层：核心的注意力机制
Sampler 层：从输出分布中采样结果

项目使用 CMake 构建，目录结构建议这样组织：

├── CMakeLists.txt
├── include/
│   ├── tokenizer.hpp
│   ├── transformer.hpp
│   └── ...
└── src/
    ├── main.cpp
    └── ...

用 Eigen 库实现 Self-Attention 的关键部分：

/**
 * 计算带 mask 的 self-attention
 * @param Q 查询矩阵 [n_seq, d_model]
 * @param K 键矩阵 [n_seq, d_model] 
 * @param V 值矩阵 [n_seq, d_model]
 * @return 注意力加权后的特征矩阵
 * 时间复杂度: O(n_seq^2 * d_model)
 */
MatrixXf selfAttention(const MatrixXf& Q, const MatrixXf& K, const MatrixXf& V) {
    // 缩放点积注意力
    MatrixXf scores = (Q * K.transpose()) / sqrt(Q.cols());

    // 数值稳定的 softmax
    ArrayXf maxs = scores.rowwise().maxCoeff();
    MatrixXf exps = (scores.colwise() - maxs).array().exp();
    MatrixXf attn = exps.array().rowwise() / exps.rowwise().sum();

    return attn * V;
}

使用 unique_ptr 管理模型参数，确保异常安全：

class TransformerBlock {
    std::unique_ptr<MatrixXf> Wq, Wk, Wv;

public:
    TransformerBlock(int d_model, int d_head) {
        // He 初始化
        auto init = [](int rows, int cols) {return std::make_unique<MatrixXf>(MatrixXf::Random(rows, cols) * 
                sqrt(2.0f / (rows + cols)));
        };

        Wq = init(d_model, d_head);
        Wk = init(d_model, d_head);
        Wv = init(d_model, d_head);
    }
};

Eigen 默认会使用 SIMD 指令，但我们可以进一步优化：

确保矩阵尺寸是 4 / 8 的倍数（x86 的 AVX 是 256bit）
对小的固定尺寸矩阵使用 Matrix<float,4,4> 而非动态矩阵
使用 Eigen::Map 直接操作现有内存缓冲区

在矩阵乘法等操作上添加并行化：

Eigen::initParallel();
Eigen::setNbThreads(4);

// 自动并行化的矩阵运算
MatrixXf C = A * B;

将 float32 转为 int8 可以大幅减少内存占用：

// 量化函数
void quantize(const MatrixXf& src, Matrix<int8_t, Dynamic, Dynamic>& dst) {float scale = 127.0f / src.cwiseAbs().maxCoeff();
    dst = (src * scale).cast<int8_t>();}

处理中文时需要特别注意：