Ai2 lanza XYBench, un benchmark sobre si la IA resuelve el problema correcto

El Allen Institute for AI (Ai2) publicó XYBench el 13 de noviembre de 2026, un benchmark con más de 8000 preguntas del mundo real que mide si los asistentes de IA resuelven la solicitud literal del usuario o su objetivo real, el clásico problema XY. Los detalles aparecieron en XYBench: Helping with the problem behind the question.

Qué incluye XYBench

• El conjunto de datos incluye 8115 preguntas: 1557 de Stack Overflow, 184 de Stack Exchange, 102 ejemplos curados manualmente y 6272 de WikiHow.
• XYBench evalúa si un modelo resuelve la solicitud literal del usuario (Y) o su objetivo real (X), el clásico problema XY.
• Los modelos evaluados son Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B y DeepSeek-V4 Pro.
• En estos modelos, la solicitud literal se resuelve correctamente entre el 75 y el 86 por ciento de las veces.
• Una solución enfocada en el objetivo real, generada sin indicación, aparece solo entre el 35 y el 41 por ciento de las veces.
• En formato de opción múltiple, los mismos modelos eligen la respuesta enfocada en el objetivo entre el 71 y el 84 por ciento de las veces.

Qué significa para quienes construyen con IA

La brecha entre la precisión al resolver la solicitud literal y la precisión al generar sin indicación una solución enfocada en el objetivo real cuantifica una falla conocida en los asistentes de código y los agentes: responder a la pregunta literal en lugar del problema real detrás de ella. Como los mismos modelos eligen la respuesta enfocada en el objetivo con mucha más frecuencia en formato de opción múltiple que cuando la generan por su cuenta, los resultados apuntan a una brecha entre reconocimiento y producción, no a una falta de conocimiento. Esa distinción importa directamente a cualquiera que construya o evalúe herramientas de IA para desarrolladores, donde una respuesta técnicamente correcta a la pregunta equivocada todavía puede dejar atascado al usuario.

Construido por un equipo de varias instituciones

XYBench fue construido por el Allen Institute for AI junto con Carnegie Mellon University, NVIDIA y Johns Hopkins University. El artículo que describe el benchmark ganó el Best Resource Paper Award en EMNLP 2026.

Fuentes

• XYBench: Helping with the problem behind the question (Allen Institute for AI / Hugging Face, 13 de noviembre de 2026, oficial)

Redactado con ayuda de IA, únicamente a partir de las fuentes indicadas arriba. Antes de publicarse, controles automáticos verificaron sus fechas, sus fuentes y todas sus versiones de idioma.