从零搭建4090算力集群：组网方案选型与避坑指南

1次阅读

共计 2077 个字符，预计需要花费 6 分钟才能阅读完成。

在分布式深度学习训练中，通信效率往往是制约算力扩展的关键瓶颈。以典型的 8 卡 A100 节点为例，当执行 AllReduce 操作时：

在 PCIe 4.0 x16 拓扑下，单卡双向带宽仅限 32GB/s
使用低效的 TCP/IP 协议栈时，跨节点通信延迟可达 50μs 以上
在 BERT-Large 模型训练中，通信耗时占比可能超过 40%

4090 GPU 虽然拥有更强的单卡算力（TF32 可达 330 TFLOPS），但若组网方案不当，其实际训练效率可能不足理论值的 60%。

技术指标	NVLink Bridge	InfiniBand HDR	RoCEv2
拓扑结构	全连接 mesh	胖树拓扑	二层 CLOS
单链路带宽	600GB/s	200Gbps	100Gbps
跨节点延迟	N/A	0.7μs	1.5μs
单端口成本	$300/ 卡	$800/ 端口	$400/ 端口
协议栈	NVIDIA 私有	IBTA 标准	IEEE 802.1Q

#!/bin/bash
# Ubuntu 22.04 基础配置
apt install -y libibverbs-dev rdma-core nvidia-fabricmanager

# 关键内核参数
echo "kernel.sem=250 32000 100 128" >> /etc/sysctl.conf
sysctl -p

# GPUDirect RDMA 设置
cat <<EOF > /etc/modprobe.d/mlx4_core.conf
options mlx4_core log_num_mgm_entry_size=-1
EOF

# NCCL 环境变量
echo "export NCCL_IB_HCA=mlx5" >> ~/.bashrc
echo "export NCCL_SOCKET_IFNAME=eth0" >> ~/.bashrc

执行 nvidia-smi topo -m 后重点关注：

GPU0    GPU1    GPU2    GPU3    GPU4    GPU5    GPU6    GPU7    CPU Affinity
GPU0     X      NV12    NV12    NV12    NV12    NV12    NV12    NV12    0-23
GPU1    NV12     X      NV12    NV12    NV12    NV12    NV12    NV12    0-23
...

其中 NV12 表示 NVLink 3.0 x12 连接，带宽可达 600GB/s。若出现 PIX（通过 PCIe 交换）则需调整插槽位置。

# 强制按物理总线顺序分配设备
export CUDA_DEVICE_ORDER=PCI_BUS_ID

# 验证拓扑
nvidia-smi -q | grep "Bus Id"

# 启用详细日志
export NCCL_DEBUG=INFO

torchrun --nproc_per_node=8 train.py

# 典型日志分析
"[1,0]<stderr>:NCCL INFO Channel 00 : 0[90000] -> 1[50000] via P2P/direct pointer"

此日志表明 GPU0 与 GPU1 建立了直达的 P2P 通道。若出现 ”via NET/IB” 则说明走了网络栈。

Mellanox ConnectX- 6 需要固件版本≥20.31.1014
更新命令：mlxfwmanager -i /dev/mst/mt4119_pciconf0 -f fw-ConnectX6.mlx

# 使用 NVIDIA MIG 分区
nvidia-smi mig -cgi 1g.5gb -C

# 通过 cgroups 限制 RDMA 带宽
echo "mlx5_0:536870912" > /sys/fs/cgroup/rdma/max

import torch.distributed as dist

def benchmark_allreduce(size=1024**3, rounds=10):
    tensor = torch.ones(size, device='cuda')
    start = torch.cuda.Event(enable_timing=True)
    end = torch.cuda.Event(enable_timing=True)

    start.record()
    for _ in range(rounds):
        dist.all_reduce(tensor)
    end.record()
    torch.cuda.synchronize()

    time_ms = start.elapsed_time(end)/rounds
    bandwidth = (2*(size/1e9)) / (time_ms/1e3)  # GB/s
    print(f"Bandwidth: {bandwidth:.2f} GB/s")

if __name__ == "__main__":
    dist.init_process_group(backend='nccl')
    benchmark_allreduce()

在 200Gbps 网络环境下，当模型参数量超过 100B 时：