Ai2 lança o XYBench, um benchmark sobre se a IA resolve o problema certo

O Allen Institute for AI (Ai2) lançou o XYBench em 13 de novembro de 2026, um benchmark com mais de 8.000 perguntas do mundo real que mede se os assistentes de IA resolvem o pedido literal do usuário ou seu objetivo real, o clássico problema XY. Os detalhes aparecem em XYBench: Helping with the problem behind the question.

O que há no XYBench

• O conjunto de dados inclui 8.115 perguntas: 1.557 do Stack Overflow, 184 do Stack Exchange, 102 exemplos selecionados manualmente e 6.272 do WikiHow.
• O XYBench testa se um modelo resolve o pedido literal do usuário (Y) ou seu objetivo real (X), o clássico problema XY.
• Os modelos avaliados são Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro.
• Nesses modelos, o pedido literal é resolvido corretamente entre 75 e 86 por cento das vezes.
• Uma solução voltada ao objetivo real, gerada sem indicação, aparece em apenas 35 a 41 por cento das vezes.
• No formato de múltipla escolha, os mesmos modelos escolhem a resposta voltada ao objetivo entre 71 e 84 por cento das vezes.

O que isso significa para quem constrói com IA

A diferença entre a precisão ao resolver o pedido literal e a precisão ao gerar, sem indicação, uma solução voltada ao objetivo real quantifica uma falha conhecida em assistentes de código e agentes: responder à pergunta literal em vez do problema real por trás dela. Como os mesmos modelos escolhem a resposta voltada ao objetivo com muito mais frequência no formato de múltipla escolha do que quando a geram por conta própria, os resultados apontam para uma diferença entre reconhecimento e produção, não para falta de conhecimento. Essa distinção importa diretamente para quem constrói ou avalia ferramentas de IA voltadas a desenvolvedores, onde uma resposta tecnicamente correta para a pergunta errada ainda pode deixar o usuário sem solução.

Construído por uma equipe de várias instituições

O XYBench foi construído pelo Allen Institute for AI em conjunto com Carnegie Mellon University, NVIDIA e Johns Hopkins University. O artigo que descreve o benchmark ganhou o Best Resource Paper Award na EMNLP 2026.

Fontes

• XYBench: Helping with the problem behind the question (Allen Institute for AI / Hugging Face, 13 de novembro de 2026, oficial)

Escrito com ajuda de IA, apenas a partir das fontes listadas acima. Antes de ir ao ar, verificações automáticas conferiram as datas, as fontes e todas as versões de idioma.