Estudo da Microsoft mostra que agentes de IA confiam em rótulos SemVer, não no código

Um estudo da Microsoft descobriu que o Claude Sonnet 5.5 e outros agentes de IA para codificação deixam de verificar atualizações de dependências quando a mudança é rotulada como patch, mesmo quando o código é, na verdade, uma mudança que quebra a compatibilidade.

A Microsoft publicou em 9 de novembro de 2026 uma pesquisa que mostra que as decisões dos agentes de IA para codificação sobre verificar ou não uma atualização de dependência são influenciadas pelo rótulo SemVer atribuído a ela, e não pela mudança real no código. O estudo, escrito por Waldek Mastykarz, Principal Developer Advocate da Microsoft, está detalhado no artigo Do AI coding agents care about SemVer?.

Principais descobertas do estudo

O primeiro experimento reuniu cerca de 1000 execuções em quatro modelos, Claude Sonnet 5.5, Claude Opus 5.5, GPT-6.1 Sol e GPT-6.1 Terra, testando atualizações idênticas que quebram a compatibilidade com rótulos de versão SemVer diferentes.
O Claude Sonnet 5.5 verificou o código em apenas 2 das 10 execuções quando a atualização foi rotulada como versão patch, contra 10 de 10 execuções quando a mesma mudança foi rotulada como versão major.
Um segundo experimento abrangeu 540 execuções em seis modelos; o Claude Haiku 5.5 mesclou atualizações que quebram a compatibilidade rotuladas como patch sem verificar o código em 37% das vezes, contra 7% nas rotuladas como major.
Em todo o estudo, as atualizações que não quebram a compatibilidade foram mescladas corretamente em 268 das 270 execuções, enquanto as que quebram a compatibilidade foram tratadas corretamente em apenas 13 das 270 execuções.
Quatro dessas 13 mesclagens aparentemente corretas ainda assim deixaram a branch principal quebrada, duas pelo Claude Haiku 5.5 e duas pelo GPT-6 Luna, todas rotuladas por engano como patch ou minor.

O que isso significa para quem constrói com IA

As descobertas dão a mantenedores de bibliotecas e a equipes que usam fluxos de atualização de dependências baseados em agentes uma evidência concreta de que os agentes de código atuais podem ser influenciados pelo rótulo de versão, e não pelo conteúdo real da mudança. Para equipes que permitem que agentes mesclem automaticamente atualizações de dependências, a pesquisa aponta para a necessidade de projetar portões de CI e políticas de merge automático que exijam a verificação do diff do código independentemente de como o pacote de origem rotule sua versão, já que o rótulo por si só se mostrou um sinal pouco confiável em todos os modelos testados.

Fontes

Do AI coding agents care about SemVer? (Microsoft, 9 de novembro de 2026, oficial)

Escrito com ajuda de IA, apenas a partir das fontes listadas acima. Antes de ir ao ar, verificações automáticas conferiram as datas, as fontes e todas as versões de idioma.