Estimador de tráfico All-Reduce

El entrenamiento con paralelismo de datos sincroniza los gradientes con un all-reduce en cada paso. En el anillo óptimo cada GPU envía y recibe 2(N−1)/N veces el búfer, así que 8 GPU con 7.000 millones de gradientes FP16 (14 GB) mueven 24,5 GB cada una por paso. Este estimador convierte tamaño de modelo, número de GPU y velocidad de NIC en tráfico por GPU, tráfico total, tiempo, algBW y busBW al estilo NCCL.

☷

Trabajo y red

Introduzca el número de GPU del anillo, el tamaño de los gradientes y el ancho de banda de red por GPU.

×10⁹

Normalmente el número de parámetros entrenables.

Gbps

Velocidad de NIC por GPU, un sentido.

%

Sobrecarga y congestión; mida con nccl-tests.

µs

El anillo realiza 2(N−1) pasos.

▥

Resultado del cálculo

Bytes por GPU = 2(N−1)/N × S. Tiempo = 2(N−1)·α + bytes por GPU ÷ ancho de banda efectivo.

Datos enviados por GPU

—

Tiempo estimado de all-reduce

—
Búfer de gradientes S—
Factor de anillo 2(N−1)/N—
Tráfico total de la red—
Término de ancho de banda—
Término de latencia—
Ancho de banda de algoritmo S/t—
Ancho de banda de bus (NCCL)—

Supone un anillo plano, sin solapamiento de cómputo y comunicación ni reducción en red. Los algoritmos de árbol, jerárquicos y SHARP cambian la latencia y el patrón.

Metodología y notas de ingeniería

METODOLOGÍA

Per-GPU bytes = 2(N−1)/N × S
Time = 2(N−1)·α + per-GPU bytes ÷ effective bandwidth

Cómo usar

  1. Introduzca el número de GPU (rangos) del anillo.
  2. Introduzca el número de elementos de gradiente, normalmente los parámetros entrenables, y el tipo de dato.
  3. Introduzca el ancho de banda de NIC por GPU, la eficiencia alcanzable y la latencia por paso.
  4. Lea el tráfico por GPU y total, el tiempo y el busBW.

All-reduce en anillo

Un all-reduce en anillo es un reduce-scatter seguido de un all-gather. Cada fase tiene N−1 pasos en los que cada rango envía S/N bytes, así que cada rango envía 2(N−1)/N × S y recibe lo mismo. El tráfico total es N × 2(N−1)/N × S = 2(N−1) × S. Es óptimo en ancho de banda (Patarasuk y Yuan, 2009).

Tiempo y ancho de banda

Tiempo ≈ 2(N−1)·α + 2(N−1)/N × S ÷ B, donde B es el ancho de banda por GPU × eficiencia en bytes/s. algBW = S ÷ tiempo; busBW de NCCL = algBW × 2(N−1)/N, comparable con la velocidad del enlace.

Caso práctico: 8 GPU, 7B FP16, 400 Gbps

S = 7 × 10⁹ × 2 B = 14 GB. Factor 2 × 7 / 8 = 1,75: cada GPU envía 24,5 GB y la red transporta 196 GB. A 400 Gbps (50 GB/s) y 100 % de eficiencia el término de ancho de banda es 490 ms; al 80 % son 612,5 ms, más 14 × 5 µs = 70 µs de latencia. El busBW queda justo por debajo de la tasa efectiva de 40 GB/s.

Preguntas frecuentes

PREGUNTAS FRECUENTES

¿Cuántos datos envía cada GPU en un all-reduce en anillo?

2(N−1)/N veces el búfer. Con 8 GPU son 1,75 × S; al crecer N se acerca a 2 × S.

¿Qué es el ancho de banda de bus en NCCL?

busBW = algBW × 2(N−1)/N para all-reduce. Normaliza el número de GPU para compararlo con la velocidad del enlace.

¿Cuánto tarda el all-reduce de gradientes?

Aproximadamente 2(N−1)/N × S ÷ ancho de banda más 2(N−1) × latencia por paso. 14 GB en 8 GPU a 50 GB/s tardan unos 0,49 s.

¿Añadir GPU aumenta el tráfico por GPU?

Solo un poco: el factor pasa de 1,5 con 4 GPU a 1,75 con 8 y 1,98 con 128. El término de latencia crece linealmente con N.

¿El anillo es el único algoritmo all-reduce?

No. Árbol, doble árbol binario, jerárquico y reducción en red (SHARP) reducen la latencia a escala; aquí se usa el anillo óptimo en ancho de banda.

Cálculos recientes

REGISTROS DEL PROYECTO

Normas y referencias

REFERENCIAS DE INGENIERÍA

La eficiencia y la latencia por paso son supuestos del usuario; calíbrelos con nccl-tests en la red real antes de decidir capacidad. Última revisión: 2026-10-20.

Flujo de ingeniería