Estimador de tráfico All-Reduce
El entrenamiento con paralelismo de datos sincroniza los gradientes con un all-reduce en cada paso. En el anillo óptimo cada GPU envía y recibe 2(N−1)/N veces el búfer, así que 8 GPU con 7.000 millones de gradientes FP16 (14 GB) mueven 24,5 GB cada una por paso. Este estimador convierte tamaño de modelo, número de GPU y velocidad de NIC en tráfico por GPU, tráfico total, tiempo, algBW y busBW al estilo NCCL.
Trabajo y red
Introduzca el número de GPU del anillo, el tamaño de los gradientes y el ancho de banda de red por GPU.
Normalmente el número de parámetros entrenables.
Velocidad de NIC por GPU, un sentido.
Sobrecarga y congestión; mida con nccl-tests.
El anillo realiza 2(N−1) pasos.
Resultado del cálculo
Bytes por GPU = 2(N−1)/N × S. Tiempo = 2(N−1)·α + bytes por GPU ÷ ancho de banda efectivo.
Datos enviados por GPU
—Tiempo estimado de all-reduce
—Supone un anillo plano, sin solapamiento de cómputo y comunicación ni reducción en red. Los algoritmos de árbol, jerárquicos y SHARP cambian la latencia y el patrón.
Metodología y notas de ingeniería
METODOLOGÍA
Time = 2(N−1)·α + per-GPU bytes ÷ effective bandwidth
Cómo usar
- Introduzca el número de GPU (rangos) del anillo.
- Introduzca el número de elementos de gradiente, normalmente los parámetros entrenables, y el tipo de dato.
- Introduzca el ancho de banda de NIC por GPU, la eficiencia alcanzable y la latencia por paso.
- Lea el tráfico por GPU y total, el tiempo y el busBW.
All-reduce en anillo
Un all-reduce en anillo es un reduce-scatter seguido de un all-gather. Cada fase tiene N−1 pasos en los que cada rango envía S/N bytes, así que cada rango envía 2(N−1)/N × S y recibe lo mismo. El tráfico total es N × 2(N−1)/N × S = 2(N−1) × S. Es óptimo en ancho de banda (Patarasuk y Yuan, 2009).
Tiempo y ancho de banda
Tiempo ≈ 2(N−1)·α + 2(N−1)/N × S ÷ B, donde B es el ancho de banda por GPU × eficiencia en bytes/s. algBW = S ÷ tiempo; busBW de NCCL = algBW × 2(N−1)/N, comparable con la velocidad del enlace.
Caso práctico: 8 GPU, 7B FP16, 400 Gbps
S = 7 × 10⁹ × 2 B = 14 GB. Factor 2 × 7 / 8 = 1,75: cada GPU envía 24,5 GB y la red transporta 196 GB. A 400 Gbps (50 GB/s) y 100 % de eficiencia el término de ancho de banda es 490 ms; al 80 % son 612,5 ms, más 14 × 5 µs = 70 µs de latencia. El busBW queda justo por debajo de la tasa efectiva de 40 GB/s.
Preguntas frecuentes
PREGUNTAS FRECUENTES
¿Cuántos datos envía cada GPU en un all-reduce en anillo?
2(N−1)/N veces el búfer. Con 8 GPU son 1,75 × S; al crecer N se acerca a 2 × S.
¿Qué es el ancho de banda de bus en NCCL?
busBW = algBW × 2(N−1)/N para all-reduce. Normaliza el número de GPU para compararlo con la velocidad del enlace.
¿Cuánto tarda el all-reduce de gradientes?
Aproximadamente 2(N−1)/N × S ÷ ancho de banda más 2(N−1) × latencia por paso. 14 GB en 8 GPU a 50 GB/s tardan unos 0,49 s.
¿Añadir GPU aumenta el tráfico por GPU?
Solo un poco: el factor pasa de 1,5 con 4 GPU a 1,75 con 8 y 1,98 con 128. El término de latencia crece linealmente con N.
¿El anillo es el único algoritmo all-reduce?
No. Árbol, doble árbol binario, jerárquico y reducción en red (SHARP) reducen la latencia a escala; aquí se usa el anillo óptimo en ancho de banda.
Cálculos recientes
REGISTROS DEL PROYECTO
Normas y referencias
REFERENCIAS DE INGENIERÍA
- NVIDIA nccl-tests PERFORMANCE.md – «Bus bandwidth»: busBW = algBW × 2(n−1)/n para all-reduce
- Patarasuk y Yuan, JPDC 69(2), 2009: algoritmos all-reduce óptimos en ancho de banda
- Thakur, Rabenseifner y Gropp, IJHPCA 19(1), 2005: optimización de colectivas en MPICH
La eficiencia y la latencia por paso son supuestos del usuario; calíbrelos con nccl-tests en la red real antes de decidir capacidad. Última revisión: 2026-10-20.