Google añade entrenamiento con contexto de millones de tokens a MaxText en TPU

Google agregó soporte de entrenamiento con contexto largo a MaxText, su framework de código abierto, permitiendo que las secuencias de entrenamiento escalen hasta 14 millones de tokens en chips Cloud TPU 5p y TPU 7.

Google anunció soporte de entrenamiento con contexto largo en MaxText, su framework de entrenamiento de código abierto basado en JAX, el 9 de noviembre de 2026, permitiendo que las secuencias de entrenamiento escalen hasta 14 millones de tokens en chips Cloud TPU 5p y TPU 7 (Ironwood), según la publicación Announcing Long-Context Training on TPUs with MaxText Context Parallelism del Google Developers Blog.

Qué está cambiando

MaxText, el framework de entrenamiento de código abierto en JAX de Google, ahora admite entrenamiento con contexto largo en Cloud TPU.
Las secuencias de entrenamiento escalan sin problemas hasta 14 millones de tokens en los chips TPU 5p y TPU 7 (Ironwood).
Se admiten cuatro estrategias de paralelismo de contexto: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) y un híbrido USP que combina A2A y P2P.
Un kernel Tokamax Splash Attention gestiona el cómputo y la memoria de atención sin materializar la secuencia completa de clave y valor en HBM.
Llama 3.1 8B alcanza un 70% de utilización de FLOPs del modelo (MFU) en TPU 5p para longitudes de secuencia de hasta 4 millones de tokens, mientras que TPU 7 mantiene un 50% de MFU en todas las escalas de secuencia por debajo de 6 millones de tokens.

Qué significa para quienes construyen con IA

El paralelismo de contexto divide una secuencia larga entre varios chips, de modo que ningún chip individual tiene que mantener las activaciones de toda la secuencia, lo cual es justamente lo que hace posible el entrenamiento a estas longitudes. Para los equipos que preentrenan o ajustan sus propios modelos de lenguaje grandes, esto ofrece una vía de código abierto y nativa de TPU hacia ventanas de contexto de varios millones de tokens, muy por encima de las ventanas de 1 a 2 millones de tokens habituales en los modelos de producción actuales, sin tener que construir infraestructura propia de entrenamiento con contexto largo.

Disponibilidad

La funcionalidad está disponible en MaxText v0.2.4 en PyPI.
Google ofrece recetas de entrenamiento de ejemplo para configuraciones de TPU 7 y TPU 5p.

Fuentes

Announcing Long-Context Training on TPUs with MaxText Context Parallelism (Google Developers Blog, 9 de noviembre de 2026, oficial)

Redactado con ayuda de IA, únicamente a partir de las fuentes indicadas arriba. Antes de publicarse, controles automáticos verificaron sus fechas, sus fuentes y todas sus versiones de idioma.