AI算力单位全解析：从基础概念到实际应用指南

1次阅读

共计 1668 个字符，预计需要花费 5 分钟才能阅读完成。

FLOPS（Floating Point Operations Per Second）是衡量硬件每秒浮点运算次数的核心指标。比如 1 TFLOPS 表示每秒 1 万亿次浮点运算。计算公式为：
```
 理论峰值 FLOPS = 核心数 × 每周期运算次数 × 主频（Hz）
```
例如 NVIDIA A100 GPU 有 6912 个 CUDA 核心，运行在 1.41GHz 时，其理论算力为：
```
6912 × 2 × 1.41GHz ≈ 19.5 TFLOPS
```
TOPS（Tera Operations Per Second）更常用于量化 AI 加速器性能，1 TOPS 代表每秒 1 万亿次整数运算。注意 FLOPS 与 TOPS 不可直接比较，因运算类型不同。

硬件类型	典型型号	算力（FP32）	适用场景
CPU	AMD EPYC 7763	3.5 TFLOPS	通用计算
GPU	NVIDIA A100	19.5 TFLOPS	训练 / 推理
TPU	Google TPU v4	275 TFLOPS	矩阵运算密集型任务

以 ResNet-50 为例，计算其前向传播的 FLOPs 量：

import torch
from torchvision.models import resnet50

model = resnet50()
input = torch.randn(1, 3, 224, 224)  # batch_size=1

# 计算 FLOPs 的函数
def count_flops(model, x):
    total_flops = 0
    def hook(module, input, output):
        nonlocal total_flops
        if isinstance(module, torch.nn.Conv2d):
            # 卷积层 FLOPs 公式: out_h*out_w*(Cin*K*K)*Cout*2
            h, w = output.shape[2:]
            k = module.kernel_size[0]
            total_flops += h * w * (module.in_channels * k * k) * module.out_channels * 2
        elif isinstance(module, torch.nn.Linear):
            # 全连接层 FLOPs: in_features*out_features*2
            total_flops += module.in_features * module.out_features * 2

    handles = []
    for layer in model.modules():
        handles.append(layer.register_forward_hook(hook))

    with torch.no_grad():
        model(input)

    for handle in handles:
        handle.remove()

    return total_flops

flops = count_flops(model, input)
print(f"ResNet-50 单样本 FLOPs: {flops/1e9:.2f} GFLOPs")  # 输出约 3.9 GFLOPs