共计 1197 个字符，预计需要花费 3 分钟才能阅读完成。
架构对比
NVIDIA 的 Ampere（A100）和 Hopper（H100）架构代表了 GPU 技术的两代演进。对于 AI 工程师来说，理解这些架构差异对选型至关重要。
- 计算核心
- A100 使用第三代 Tensor Core，支持 TF32 和 BF16 格式
-
H100 引入第四代 Tensor Core，新增 FP8 支持，理论性能提升 6 倍
-
内存系统
- A100：40GB/80GB HBM2，带宽 1555GB/s
-
H100：80GB HBM3，带宽 3TB/s
-
Transformer 引擎
H100 独有的特性，能动态管理 FP8/FP16 精度，在 LLM 训练中可减少显存占用 50% 以上。
| 参数 | A100 80GB | H100 80GB |
|---|---|---|
| FP32 TFLOPS | 19.5 | 34 |
| FP16 TFLOPS | 312 | 756 |
| FP8 TFLOPS | 无 | 1512 |
| 显存带宽 | 2039GB/s | 3TB/s |
算力实测
测试环境：
– Ubuntu 20.04
– CUDA 12.2
– PyTorch 2.0
– batch_size=32
| 任务 | A100 吞吐量 | H100 吞吐量 | 提升幅度 |
|---|---|---|---|
| ResNet50 训练 | 1200img/s | 2100img/s | 75% |
| BERT-large 推理 | 85samples/s | 150samples/s | 76% |
成本分析
- 能效比
- A100：400W TDP，62.5 TFLOPS/W（FP16）
-
H100：700W TDP，108 TFLOPS/W（FP16）
-
云服务成本
（以 AWS 为例） - p4d.24xlarge（8xA100）：$32.77/ 小时
- p5.48xlarge（8xH100）：$98.32/ 小时
避坑指南
- 多卡训练瓶颈
- A100 NVLink 带宽：600GB/s
- H100 NVLink 带宽：900GB/s
-
当使用 4 卡以上时，H100 的通信优势更明显
-
精度选择误区
- FP8 并非万能，需要检查模型数值稳定性
-
推荐先在 A100 上验证 BF16，再迁移到 H100 尝试 FP8
-
显存管理
- H100 的显存压缩技术实际可用显存比标称值高 5 -8%
- 使用
nvidia-smi -q查看真实显存占用
代码示例
# H100 混合精度训练配置
torch.cuda.set_device('h100')
scaler = torch.cuda.amp.GradScaler() # 处理 FP16 梯度下溢
with torch.autocast(device_type='cuda', dtype=torch.float8):
outputs = model(inputs)
loss = criterion(outputs, targets)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()选型决策树
回答这三个问题可以帮助确定选择：
1. 您的模型是否受内存带宽限制？
2. 训练 batch size 是否大于 4000？
3. 是否使用超过 4 卡进行分布式训练？
如果任一答案为是，H100 可能带来显著收益。对于小规模实验或推理任务，A100 仍具性价比优势。
正文完
