C++实现生成式AI：从零构建简易语言模型的实践指南

1次阅读

没有评论

共计 2243 个字符，预计需要花费 6 分钟才能阅读完成。

很多开发者一提到 AI 开发就想到 Python，但其实 C ++ 在性能敏感场景下有独特优势。Python 生态虽然丰富，但存在两个致命问题：

计算效率瓶颈：NumPy 底层虽是 C 实现，但 Python 层调度开销在循环密集型操作中仍会造成 30%+ 性能损失
部署复杂度高：生产环境常需要额外技术栈（如 ONNX Runtime）来解决 Python 的依赖管理问题

而 C ++ 的劣势在于：

生态碎片化（不同版本的 BLAS 库兼容性问题）
开发调试周期较长

但通过现代 C ++ 特性（如智能指针、Eigen 库），我们完全可以构建既高效又易维护的 AI 系统。

采用经典的分层架构，通过 CMake 管理模块依赖：

cmake_minimum_required(VERSION 3.20)
project(llm_cpp)

find_package(Eigen3 REQUIRED)

add_library(core
    tokenizer/bpe.cpp
    layers/attention.cpp
    layers/feedforward.cpp
    sampler/top_p.cpp
)

关键模块分工：

Tokenizer 层：处理 UTF- 8 到 token_id 的转换
Embedding 层：将 token 映射为向量
Transformer Block：包含多头注意力机制
Sampler：控制生成多样性（top-p/top-k）

使用 Eigen 库实现带数值稳定的 Self-Attention：

/**
 * @brief 带 mask 的缩放点积注意力
 * @param Q 查询矩阵 [n_head, seq_len, d_k]
 * @param K 键矩阵   [n_head, seq_len, d_k]
 * @param V 值矩阵   [n_head, seq_len, d_v]
 * @param mask 注意力掩码 [seq_len, seq_len]
 * @return 注意力加权后的值矩阵
 * @note 时间复杂度 O(n^2*d) 
 */
MatrixXf scaled_dot_product_attention(const MatrixXf& Q, 
                                    const MatrixXf& K,
                                    const MatrixXf& V,
                                    const MatrixXf& mask) {float sqrt_dk = sqrt(K.cols());
    MatrixXf scores = (Q * K.transpose()) / sqrt_dk;

    // 数值稳定性处理
    scores = scores.array().exp();
    scores = scores.array() * mask.array();
    MatrixXf weights = scores.array().rowwise() / scores.colwise().sum().array();

    return weights * V;
}

采用 unique_ptr 实现 RAII 风格参数管理：

class TransformerBlock {std::unique_ptr<MatrixXf[]> query_weights; // [n_head, d_model, d_k]
    std::unique_ptr<MatrixXf[]> value_weights;

public:
    TransformerBlock(int n_head, int d_model) {query_weights = std::make_unique<MatrixXf[]>(n_head);
        // 初始化各头部参数...
    }

    // 自动释放内存
    ~TransformerBlock() = default;};

通过 Eigen 内置的向量化优化：

// 编译时添加 -mavx2 -mfma
Eigen::setCpuCompilerFeatures(Eigen::AVX2 | Eigen::FMA);

在矩阵乘法处插入并行指令：

#pragma omp parallel for
for(int h=0; h<n_head; ++h) {attention[h] = Q[h] * K[h].transpose();}

将 FP32 转为 INT8 的典型实现：

void quantize(const float* src, int8_t* dst, int size, float scale) {for(int i=0; i<size; ++i) {dst[i] = static_cast<int8_t>(round(src[i] * scale));
    }
}

处理 UTF- 8 多字节字符时的正确姿势：

std::vector<std::string> bpe_tokenize(const std::string& text) {
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> conv;
    auto utf32 = conv.from_bytes(text);

    // 按字符边界处理
    for(char32_t c : utf32) {// 合并连续中文字符...}
}