5090显卡算力测试脚本开发指南：从基准测试到性能优化

1次阅读

共计 2320 个字符，预计需要花费 6 分钟才能阅读完成。

NVIDIA 5090 显卡采用新一代 Ada Lovelace 架构，配备 18432 个 CUDA 核心和 96GB GDDR6X 显存。其第四代 Tensor Core 和光流加速器特别适合深度学习训练场景。但峰值算力 (82.6 TFLOPS FP32) 仅反映理论性能，实际应用中会受内存带宽、散热和软件栈限制。专业测试脚本可帮助开发者：

量化硬件真实性能
定位计算瓶颈（如寄存器压力或共享内存冲突）
验证不同精度计算（FP16/FP32/FP64）的效率差异

峰值测试失真：常见工具如 CUDA- Z 仅运行短时计算，无法反映持续负载下的时钟频率下降
场景单一：缺乏对 Tensor Core 和 RT Core 的专项测试
监控不足：不显示 SM（流式多处理器）利用率和 L2 缓存命中率等关键指标

PyCUDA：直接调用 CUDA API 进行内核计时
NVML：通过 nvidia-ml-py3 库获取实时硬件状态
NumPy：生成测试数据集并验证计算结果

初始化阶段
检测 GPU 设备属性（计算能力、SM 数量）
预热 GPU 避免 boost 时钟影响
分配固定内存 (pinned memory) 减少传输延迟
基准测试套件
计算能力测试：矩阵乘法（FP32/FP64）、卷积运算
内存测试：全局内存 / 共享内存带宽测量
特殊单元测试：Tensor Core 混合精度矩阵乘(GEMM)
结果分析模块
计算实际达到的理论算力百分比
生成各 SM 单元的占用率热力图
输出显存延迟统计数据

import pycuda.autoinit
import pycuda.driver as cuda
from pycuda.compiler import SourceModule
import numpy as np

# FP32 矩阵乘测试内核
matrix_mult_kernel = """
__global__ void matmul(float *C, float *A, float *B, int N) {
    int row = blockIdx.y * blockDim.y + threadIdx.y;
    int col = blockIdx.x * blockDim.x + threadIdx.x;

    if (row < N && col < N) {
        float sum = 0.0f;
        for (int k = 0; k < N; ++k) {sum += A[row*N + k] * B[k*N + col];
        }
        C[row*N + col] = sum;
    }
}
"""

def test_fp32_perf(matrix_size=4096):
    # 初始化数据
    A = np.random.randn(matrix_size, matrix_size).astype(np.float32)
    B = np.random.randn(matrix_size, matrix_size).astype(np.float32)
    C = np.zeros_like(A)

    # 传输数据到 GPU
    A_gpu = cuda.mem_alloc(A.nbytes)
    B_gpu = cuda.mem_alloc(B.nbytes)
    C_gpu = cuda.mem_alloc(C.nbytes)
    cuda.memcpy_htod(A_gpu, A)
    cuda.memcpy_htod(B_gpu, B)

    # 编译并执行内核
    mod = SourceModule(matrix_mult_kernel)
    matmul = mod.get_function("matmul")

    block = (32, 32, 1)
    grid = (matrix_size//block[0] + 1, matrix_size//block[1] + 1)

    start = cuda.Event()
    end = cuda.Event()
    start.record()

    matmul(C_gpu, A_gpu, B_gpu, np.int32(matrix_size),
           block=block, grid=grid)

    end.record()
    end.synchronize()

    # 计算耗时和算力
    ms = start.time_till(end)
    flops = 2 * matrix_size**3 / (ms * 1e-3)
    print(f"FP32 性能: {flops/1e12:.2f} TFLOPS, 耗时: {ms:.2f}ms")

    # 验证结果
    cuda.memcpy_dtoh(C, C_gpu)
    assert np.allclose(C, A @ B, rtol=1e-3)