Un estudio de Microsoft halla que los agentes de IA confían en las etiquetas SemVer y no en el código

Microsoft publicó el 9 de noviembre de 2026 una investigación que muestra que las decisiones de los agentes de IA para programar sobre si verificar una actualización de dependencias dependen de la etiqueta SemVer asignada, y no del cambio real en el código. El estudio, escrito por Waldek Mastykarz, Principal Developer Advocate de Microsoft, se detalla en el artículo Do AI coding agents care about SemVer?.

Principales hallazgos del estudio

• El primer experimento incluyó unas 1000 ejecuciones en cuatro modelos, Claude Sonnet 5.5, Claude Opus 5.5, GPT-6.1 Sol y GPT-6.1 Terra, probando actualizaciones idénticas que rompen la compatibilidad bajo distintas etiquetas de versión SemVer.
• Claude Sonnet 5.5 revisó el código en solo 2 de 10 ejecuciones cuando la actualización se etiquetó como versión patch, frente a 10 de 10 ejecuciones cuando el mismo cambio se etiquetó como versión major.
• Un segundo experimento abarcó 540 ejecuciones en seis modelos; Claude Haiku 5.5 fusionó actualizaciones que rompen compatibilidad etiquetadas como patch sin revisar el código el 37% de las veces, frente a 7% en las etiquetadas como major.
• En todo el estudio, las actualizaciones que no rompen compatibilidad se fusionaron correctamente en 268 de 270 ejecuciones, mientras que las que sí rompen compatibilidad se manejaron correctamente en solo 13 de 270 ejecuciones.
• Cuatro de esas 13 fusiones en apariencia correctas de todos modos dejaron la rama principal rota, dos por Claude Haiku 5.5 y dos por GPT-6 Luna, todas etiquetadas por error como patch o minor.

Qué significa para quienes construyen con IA

Los hallazgos les dan a los mantenedores de bibliotecas y a los equipos que usan flujos de actualización de dependencias basados en agentes evidencia concreta de que los agentes de código actuales pueden dejarse llevar por la etiqueta de versión en lugar de por el contenido real del cambio. Para los equipos que permiten que los agentes fusionen automáticamente actualizaciones de dependencias, la investigación señala la necesidad de diseñar puertas de CI y políticas de fusión automática que exijan revisar el diff del código sin importar cómo el paquete de origen etiquete su versión, ya que la etiqueta por sí sola resultó una señal poco confiable en todos los modelos probados.

Fuentes

• Do AI coding agents care about SemVer? (Microsoft, 9 de noviembre de 2026, oficial)

Redactado con ayuda de IA, únicamente a partir de las fuentes indicadas arriba. Antes de publicarse, controles automáticos verificaron sus fechas, sus fuentes y todas sus versiones de idioma.