AMD高带宽统一内存架构入门指南：从基础概念到实战应用

1次阅读

共计 2424 个字符，预计需要花费 7 分钟才能阅读完成。

在传统异构计算系统中（例如 CPU+GPU），计算单元和内存通常是分离的。这种设计带来了两个主要问题：

数据拷贝开销：每次 GPU 计算前，都需要将数据从 CPU 内存拷贝到 GPU 显存，计算完成后再拷贝回来。根据我们的测试，在 PCIe 3.0 x16 链路上，这种拷贝可能占用 30-50% 的总计算时间。
内存带宽限制：当 GPU 需要频繁访问 CPU 内存时（例如深度学习中的参数服务器场景），PCIe 带宽会成为性能瓶颈。即使是 PCIe 4.0 x16，理论带宽也只有 32GB/s，远低于现代 GPU 的显存带宽（如 Radeon Instinct MI100 的 1.2TB/s）。

AMD 的高带宽统一内存架构（HUMA）通过三个核心设计解决上述问题：

统一地址空间：CPU 和 GPU 看到的是同一个物理内存地址空间，指针在设备间可以直接传递。下图展示了传统架构与 HUMA 的内存访问区别：

graph LR
传统架构: CPU 内存 -->|PCIe 拷贝 | GPU 显存
HUMA 架构: CPU 内存 == 共享物理内存 == GPU 显存

缓存一致性：通过 AMD 的 Infinity Fabric 总线，所有计算单元维护一致的缓存状态。当 GPU 修改数据后，CPU 能立即看到更新，无需手动刷新缓存。
页面迁移：操作系统和驱动协同工作，自动将热点数据迁移到访问设备的本地内存。例如 GPU 频繁访问的数据会逐渐迁移到显存。

以下示例展示如何在 ROCm 环境下使用统一内存（需要 AMD GPU 和 ROCm 5.0+）：

#include <iostream>
#include <vector>
#include <hip/hip_runtime.h>

// 统一内存分配宏
#define HIP_CHECK(status) \
    if(status != hipSuccess) { \
        std::cerr << "HIP error:" << hipGetErrorString(status) << std::endl; \
        exit(1); \
    }

__global__ void vectorAdd(float* A, float* B, float* C, size_t N) {
    size_t i = blockIdx.x * blockDim.x + threadIdx.x;
    if (i < N) C[i] = A[i] + B[i];
}

int main() {
    const size_t N = 1 << 20; // 1M elements
    const size_t bytes = N * sizeof(float);

    // 1. 分配统一内存（可从 CPU/GPU 直接访问）float *A, *B, *C;
    HIP_CHECK(hipMallocManaged(&A, bytes));
    HIP_CHECK(hipMallocManaged(&B, bytes));
    HIP_CHECK(hipMallocManaged(&C, bytes));

    // 2. CPU 端初始化数据
    for(size_t i=0; i<N; i++) {A[i] = 1.0f; B[i] = 2.0f;
    }

    // 3. GPU 计算（无需显式拷贝）dim3 blocks(1024);
    dim3 threads(256);
    vectorAdd<<<blocks, threads>>>(A, B, C, N);
    HIP_CHECK(hipDeviceSynchronize());

    // 4. 验证结果（CPU 直接访问 GPU 计算结果）std::cout << "C[0] =" << C[0] << "(预期: 3.0)\n";

    HIP_CHECK(hipFree(A));
    HIP_CHECK(hipFree(B));
    HIP_CHECK(hipFree(C));
    return 0;
}

关键点说明：