All-Reduce 流量估算器

数据并行训练每一步都用 All-Reduce 同步梯度。在带宽最优的环形算法中,每张 GPU 发送和接收的数据量均为梯度缓冲区的 2(N−1)/N 倍:8 卡同步 70 亿个 FP16 梯度(14 GB),每卡每步传输 24.5 GB。本估算器把模型规模、GPU 数量和网卡速率换算成每卡流量、全网流量、单次耗时、算法带宽和 NCCL 口径的总线带宽。

☷

训练任务与网络

输入环中 GPU 数量、梯度规模和每卡网络带宽。

×10⁹

通常等于可训练参数量。

Gbps

每卡网卡单向线速。

%

协议开销与拥塞,建议用 nccl-tests 实测。

µs

环形 All-Reduce 共 2(N−1) 步。

▥

计算结果

每卡字节 = 2(N−1)/N × S;耗时 = 2(N−1)·α + 每卡字节 ÷ 有效带宽。

每卡发送数据量

—

估算 All-Reduce 耗时

—
梯度缓冲区 S—
环形系数 2(N−1)/N—
全网流量—
带宽项耗时—
时延项耗时—
算法带宽 S/t—
总线带宽(NCCL)—

假设单一扁平环、计算与通信不重叠、无网内归约。Tree、分层和 SHARP 算法会改变时延项和流量模式。

计算方法与工程说明

计算方法

Per-GPU bytes = 2(N−1)/N × S
Time = 2(N−1)·α + per-GPU bytes ÷ effective bandwidth

使用方法

  1. 输入环中的 GPU(rank)数量。
  2. 输入梯度元素数(通常为可训练参数量)和数据类型。
  3. 输入每卡网卡带宽、可达效率和每步时延。
  4. 查看每卡与全网流量、耗时和总线带宽。

环形 All-Reduce

环形 All-Reduce 由 Reduce-Scatter 和 All-Gather 组成,各需 N−1 步,每步每个 rank 发送 S/N 字节,因此每个 rank 发送 2(N−1)/N × S,接收同样多。全网流量为 N × 2(N−1)/N × S = 2(N−1) × S。该算法带宽最优(Patarasuk & Yuan, 2009)。

耗时与带宽

耗时 ≈ 2(N−1)·α + 2(N−1)/N × S ÷ B,B 为每卡带宽 × 效率(字节/秒)。算法带宽 = S ÷ 耗时;NCCL 总线带宽 = 算法带宽 × 2(N−1)/N,可与链路速率直接比较。

算例:8 卡、7B FP16、400 Gbps

S = 7 × 10⁹ × 2 B = 14 GB。环形系数 2 × 7 / 8 = 1.75,每卡发送 24.5 GB,全网 196 GB。400 Gbps(50 GB/s)、效率 100% 时带宽项 490 ms;效率 80% 时 612.5 ms,再加 14 × 5 µs = 70 µs 时延。此时总线带宽略低于有效链路速率 40 GB/s。

常见问题

常见问题

环形 All-Reduce 每卡发送多少数据?

缓冲区的 2(N−1)/N 倍。8 卡为 1.75 × S,N 越大越接近 2 × S。

NCCL 中的总线带宽是什么?

对 All-Reduce,busBW = algBW × 2(N−1)/N,用于消除 GPU 数量的影响,以便与硬件链路速率比较。

梯度 All-Reduce 需要多长时间?

约为 2(N−1)/N × S ÷ 链路带宽,加上 2(N−1) × 每步时延。8 卡、14 GB、50 GB/s 约 0.49 s。

增加 GPU 会增加每卡流量吗?

只略微增加:系数从 4 卡的 1.5 到 8 卡的 1.75、128 卡的 1.98;时延项随 N 线性增长。

环形是唯一的 All-Reduce 算法吗?

不是。Tree、双二叉树、分层以及网内归约(SHARP)在大规模下可降低时延;本工具以带宽最优的环形为基线。

最近计算记录

工程记录

标准与参考资料

工程工作流

继续下一步工程任务

当前流程AI 训练网络规划工作流

先估算梯度 All-Reduce 流量,再规划承载它的 Leaf-Spine 网络。

步骤 1 / 2

相关工具