All-Reduce 流量估算器
数据并行训练每一步都用 All-Reduce 同步梯度。在带宽最优的环形算法中,每张 GPU 发送和接收的数据量均为梯度缓冲区的 2(N−1)/N 倍:8 卡同步 70 亿个 FP16 梯度(14 GB),每卡每步传输 24.5 GB。本估算器把模型规模、GPU 数量和网卡速率换算成每卡流量、全网流量、单次耗时、算法带宽和 NCCL 口径的总线带宽。
训练任务与网络
输入环中 GPU 数量、梯度规模和每卡网络带宽。
通常等于可训练参数量。
每卡网卡单向线速。
协议开销与拥塞,建议用 nccl-tests 实测。
环形 All-Reduce 共 2(N−1) 步。
计算结果
每卡字节 = 2(N−1)/N × S;耗时 = 2(N−1)·α + 每卡字节 ÷ 有效带宽。
每卡发送数据量
—估算 All-Reduce 耗时
—假设单一扁平环、计算与通信不重叠、无网内归约。Tree、分层和 SHARP 算法会改变时延项和流量模式。
计算方法与工程说明
计算方法
Time = 2(N−1)·α + per-GPU bytes ÷ effective bandwidth
使用方法
- 输入环中的 GPU(rank)数量。
- 输入梯度元素数(通常为可训练参数量)和数据类型。
- 输入每卡网卡带宽、可达效率和每步时延。
- 查看每卡与全网流量、耗时和总线带宽。
环形 All-Reduce
环形 All-Reduce 由 Reduce-Scatter 和 All-Gather 组成,各需 N−1 步,每步每个 rank 发送 S/N 字节,因此每个 rank 发送 2(N−1)/N × S,接收同样多。全网流量为 N × 2(N−1)/N × S = 2(N−1) × S。该算法带宽最优(Patarasuk & Yuan, 2009)。
耗时与带宽
耗时 ≈ 2(N−1)·α + 2(N−1)/N × S ÷ B,B 为每卡带宽 × 效率(字节/秒)。算法带宽 = S ÷ 耗时;NCCL 总线带宽 = 算法带宽 × 2(N−1)/N,可与链路速率直接比较。
算例:8 卡、7B FP16、400 Gbps
S = 7 × 10⁹ × 2 B = 14 GB。环形系数 2 × 7 / 8 = 1.75,每卡发送 24.5 GB,全网 196 GB。400 Gbps(50 GB/s)、效率 100% 时带宽项 490 ms;效率 80% 时 612.5 ms,再加 14 × 5 µs = 70 µs 时延。此时总线带宽略低于有效链路速率 40 GB/s。
常见问题
常见问题
环形 All-Reduce 每卡发送多少数据?
缓冲区的 2(N−1)/N 倍。8 卡为 1.75 × S,N 越大越接近 2 × S。
NCCL 中的总线带宽是什么?
对 All-Reduce,busBW = algBW × 2(N−1)/N,用于消除 GPU 数量的影响,以便与硬件链路速率比较。
梯度 All-Reduce 需要多长时间?
约为 2(N−1)/N × S ÷ 链路带宽,加上 2(N−1) × 每步时延。8 卡、14 GB、50 GB/s 约 0.49 s。
增加 GPU 会增加每卡流量吗?
只略微增加:系数从 4 卡的 1.5 到 8 卡的 1.75、128 卡的 1.98;时延项随 N 线性增长。
环形是唯一的 All-Reduce 算法吗?
不是。Tree、双二叉树、分层以及网内归约(SHARP)在大规模下可降低时延;本工具以带宽最优的环形为基线。
最近计算记录
工程记录
标准与参考资料
工程参考
- NVIDIA nccl-tests PERFORMANCE.md——“Bus bandwidth”:All-Reduce 的 busBW = algBW × 2(n−1)/n
- Patarasuk & Yuan,JPDC 69(2),2009:工作站集群的带宽最优 All-Reduce 算法
- Thakur、Rabenseifner、Gropp,IJHPCA 19(1),2005:MPICH 集合通信优化
效率和每步时延为用户假设,做容量决策前请在目标网络上用 nccl-tests 校准。 最后审核: 2026-10-20.
工程工作流
继续下一步工程任务
先估算梯度 All-Reduce 流量,再规划承载它的 Leaf-Spine 网络。