AWS Labs libera HOPE, un método de poda de segundo orden para modelos MoE

AWS Labs publicó HOPE, un método de poda de código abierto para modelos mixture-of-experts que tiene en cuenta las interacciones entre expertos y supera al método anterior, REAP, en benchmarks de programación agéntica.

AWS Labs, el laboratorio de Amazon, publicó HOPE (Higher-Order Pruning of Experts) en el blog de Hugging Face el 9 de noviembre de 2026, presentando un método de código abierto para podar modelos de lenguaje de tipo mixture-of-experts que tiene en cuenta las interacciones entre los expertos. Los detalles están en la publicación del blog de Hugging Face que anuncia HOPE.

Los cambios concretos

El código está publicado en GitHub como awslabs/HOPE, y el método se describe en un artículo en arXiv (2609.18916).
Con una poda del 50%, HOPE alcanzó un rango promedio de 1.58, frente a 2.42 del siguiente mejor método, REAP.
HOPE logró mejoras de hasta 6.1% en tareas de programación agéntica en comparación con el siguiente mejor método de poda.
En el benchmark SWE-Bench Pro, un modelo Qwen3.5-35B podado al 50% con HOPE obtuvo 42.3 puntos, frente a 41.8 del modelo base sin podar y 36.2 de REAP.
HOPE se probó en los modelos Qwen3.5-122B, Qwen3.5-35B y GLM-4.5-Air (106B parámetros), quedando en primer lugar en el 39% de las condiciones evaluadas y entre los dos primeros en el 67%.
La ventaja de HOPE sobre otros métodos de poda fue mayor en tasas de poda del 40-50%.

Qué significa para quienes construyen con IA

Los equipos que alojan por su cuenta grandes modelos mixture-of-experts de pesos abiertos para agentes de código pueden usar HOPE para reducir esos modelos hasta a la mitad, perdiendo menos calidad que con métodos de poda existentes como REAP. Eso reduce el costo de ejecutar modelos agénticos de código capaces sin tener que reentrenarlos desde cero.

Disponibilidad

Los checkpoints podados resultantes son compatibles con la biblioteca transformers de Hugging Face, y el código y el artículo de HOPE están publicados de forma abierta junto con la publicación del blog, de modo que los equipos pueden aplicar el método a sus propios modelos mixture-of-experts.

Fuentes

Your Experts Have Partners. There's HOPE for Keeping Them Together (Hugging Face / Amazon, 9 de noviembre de 2026, oficial)

Redactado con ayuda de IA, únicamente a partir de las fuentes indicadas arriba. Antes de publicarse, controles automáticos verificaron sus fechas, sus fuentes y todas sus versiones de idioma.