共计 1877 个字符，预计需要花费 5 分钟才能阅读完成。
背景痛点
大模型微调过程中，显存不足是最常见的瓶颈之一。特别是在使用像 5070ti 这样的消费级显卡时，单卡显存往往无法容纳整个模型及其训练数据。这时候，双卡配置成为了一个经济实惠的解决方案。
然而，5070ti 双卡配置也带来了特有的挑战：
- PCIe 带宽瓶颈：5070ti 通常运行在 PCIe 3.0 x16 接口上，双卡共享带宽会导致通信延迟增加。
- 显存分配不均：模型和数据在两张卡上的分配如果不合理，会导致一张卡过载而另一张卡闲置。
技术方案
DataParallel vs DistributedDataParallel
在 PyTorch 中，我们有两种主要的多卡训练方式：
- DataParallel (DP)：简单易用，适合小规模多卡训练，但存在 GIL 锁和单进程瓶颈。
- DistributedDataParallel (DDP)：更高效，每个 GPU 都有独立的进程，适合大规模训练。
对于 5070ti 双卡配置，DDP 通常是更好的选择。
NCCL 通信库调优
NCCL (NVIDIA Collective Communications Library) 是多卡训练中的关键组件。在双卡环境下，我们可以通过以下参数优化性能：
os.environ["NCCL_SOCKET_IFNAME"] = "eth0" # 指定网卡
os.environ["NCCL_DEBUG"] = "INFO" # 开启调试信息
os.environ["NCCL_NSOCKS_PERTHREAD"] = "4" # 增加 socket 数量 模型并行策略选择
根据模型大小和显存限制，我们可以选择不同的并行策略：
- 数据并行 ：每张卡处理不同的数据批次，适用于大多数情况。
- 模型并行 ：将模型的不同层分配到不同的卡上，适用于超大模型。
- 流水线并行 ：将模型按层切分，每张卡处理不同的阶段，适合深度模型。
代码实现
显存预分配
try:
torch.cuda.empty_cache()
torch.cuda.memory_reserved(0) # 预分配显存
torch.cuda.memory_reserved(1)
except RuntimeError as e:
print(f"显存预分配失败: {e}")梯度聚合 CUDA 核函数
__global__ void gradient_aggregate(float* grad1, float* grad2, int size) {
int idx = blockIdx.x * blockDim.x + threadIdx.x;
if (idx < size) {grad1[idx] += grad2[idx]; // 梯度聚合
__syncwarp(); // warp 内同步}
}使用 nsight 监控显存碎片
nsys profile -t cuda,nvtx --stats=true python train.py性能考量
PCIe 带宽利用率
通过测试不同 batch_size 下的 PCIe 3.0 x16 带宽利用率，我们发现：
- batch_size 较小时，带宽利用率低，通信开销占比高。
- batch_size 较大时，带宽利用率提升，但显存可能不足。
kernel launch overhead
小 batch_size 下，kernel 启动开销会成为性能瓶颈。可以通过增大 batch_size 或使用 CUDA Graph 来优化。
避坑指南
常见的 CUDA stream 同步错误
- 未同步 stream：在不同 stream 上执行的操作没有正确同步，导致数据竞争。
- 错误的 stream 顺序 ：操作顺序不正确，可能导致依赖关系错误。
- 过度同步 ：过多的同步操作会降低性能。
混合精度训练
在混合精度训练中，loss scaling 是关键。建议初始 scale 设为 65536，然后根据梯度动态调整。
scaler = torch.cuda.amp.GradScaler(init_scale=65536)延伸思考
扩展到 4 卡配置
当从双卡扩展到 4 卡时，需要重新设计以下组件：
- 通信拓扑 ：从简单的双卡通信变为更复杂的多卡通信。
- 负载均衡 ：确保每张卡的负载均衡，避免瓶颈。
- 故障恢复 ：多卡环境下，故障恢复机制更为复杂。
梯度分布对比
使用 TensorBoard 可以直观地比较单卡和双卡训练的梯度分布差异，帮助诊断训练问题。
from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter()
writer.add_histogram("gradients", gradients, epoch)结语
通过合理的配置和优化，5070ti 双卡配置可以显著提升大模型微调的效率。希望本文的实践经验能帮助你在资源有限的情况下，最大化硬件性能。
正文完
