AI算力指标入门指南：从基础概念到实践应用

1次阅读

共计 1265 个字符，预计需要花费 4 分钟才能阅读完成。

在 AI 模型部署过程中，算力指标直接影响推理速度和训练效率。选错硬件配置可能导致资源浪费或性能不达标。理解这些指标是优化计算成本的必经之路。

TOPS（Tera Operations Per Second）：每秒钟可执行的万亿次操作数，1 TOPS = 10^12 次操作 / 秒。常用于描述芯片的整数运算能力，公式为：
```
TOPS = (运算单元数量 × 每单元每周期操作数 × 频率) / 10^12
```
FLOPS（Floating Point Operations Per Second）：每秒浮点运算次数，衡量 FP32/FP16 等精度计算能力。ResNet-50 的 FLOPS 计算公式示例：
```
总 FLOPS = ∑(卷积核 H × 卷积核 W × 输入通道 × 输出通道 × 输出特征图 H × 输出特征图 W × 2)
```
其中乘加运算计为 2 次操作
内存带宽（Memory Bandwidth）：单位时间内数据传输量(GB/s)，计算公式：
```
带宽 = 位宽(bit) × 频率 × 通道数 / 8 / 10^9
```

计算密度（Arithmetic Intensity）：单个字节数据传输对应的计算量(FLOPS/Byte)，决定芯片是否处于 ” 计算绑定 ” 或 ” 带宽绑定 ” 状态
Roofline 模型：当计算密度 < 硬件平衡点，性能受限于带宽；反之受限于计算单元

import torch
from torchvision.models import resnet50

# 计算单次推理的 FLOPS
def calculate_flops(model, input_size=(1,3,224,224)):
    inputs = torch.randn(input_size)
    flops = torch.profile(model, inputs=(inputs,), verbose=False)[0]
    return flops

# 示例输出
model = resnet50()
total_flops = calculate_flops(model)
print(f"ResNet-50 单次推理需 {total_flops/1e9:.2f} GFLOPs")

"""
输出示例（NVIDIA V100 GPU）:
ResNet-50 单次推理需 4.11 GFLOPs
"""