- Leitura
- 5 min
Saio de muitas palestras sobre agentes de IA↳Agentes de IA42 conteúdosOpera passa a integrar ChatGPT, Claude e outros agentes de IADev (Back & Front) · mar 2026Operações mais inteligentes, decisões mais rápidas: o impacto da IA agêntica na rotina de TIAI · abr 2026Adobe aposta em orquestração de agentes de IA: o que muda para devsDev (Back & Front) · abr 2026Ver tudo em AI → com uma sensação estranha: parece que estamos esquecendo lições que a engenharia de sistemas aprendeu, muitas vezes da maneira mais difícil, ao longo de décadas.
Vejo demonstrações impressionantes, planos para colocar dezenas ou centenas de agentes em produção e promessas de automatizar processos inteiros, reduzindo drasticamente a intervenção humana. Mas escuto muito menos sobre o que considero fundamental: quais decisões esses agentes estarão autorizados a tomar, em que condições e quem responderá quando alguma coisa der errado.
A diferença não é trivial. Uma coisa é um agente consultar documentos, organizar informações ou preparar recomendações. Outra é movimentar dinheiro, alterar permissões, modificar registros de clientes ou executar mudanças em sistemas de produção. A capacidade de executar uma tarefa não significa que um sistema seja confiável o suficiente para assumir suas consequências.
Essa distinção começa a aparecer de maneira mais clara nas pesquisas. Um estudo apresentado no ICML 2026, Towards a Science of AI Agent Reliability, avaliou 15 modelos em dois benchmarks e examinou 12 métricas distribuídas entre consistência, robustez, previsibilidade e segurança. Os pesquisadores encontraram avanços expressivos de capacidade, mas melhorias relativamente pequenas nas dimensões de confiabilidade avaliadas.
Isso não significa que todos os agentes sejam inseguros ou que os resultados possam ser generalizados para qualquer aplicação empresarial. Significa que bons resultados em benchmarks de execução de tarefas não demonstram, isoladamente, prontidão para operações críticas.
A Gartner, por sua vez, projetou que mais de 40% dos projetos de IA agêntica serão cancelados até o final de 2027, por custos crescentes, valor de negócio pouco claro ou controles de risco inadequados. É uma previsão publicada em 2025, não uma taxa de fracasso já observada. Ainda assim, ajuda a ilustrar uma preocupação que considero legítima.
O problema começa quando autonomia vira objetivo em si mesma. Um agente pode consultar informações, analisar uma solicitação de pagamento e preparar sua execução. Dependendo do valor, do destinatário e das regras aplicáveis, poderá concluir a operação automaticamente ou precisar de aprovação humana. O importante não é classificá-lo como autônomo ou supervisionado, mas estabelecer limites proporcionais ao risco.
E colocar um humano no processo não resolve automaticamente a questão. Se alguém precisa aprovar centenas de decisões por hora, sem contexto suficiente para avaliá-las, a supervisão vira um ritual burocrático. É preciso desenhar controles que realmente possam detectar e interromper decisões inadequadas.
Também precisamos reconhecer que a confiabilidade não é uma propriedade isolada do modelo. Depende do sistema completo: dados, ferramentas, integrações, identidade, permissões, políticas, monitoramento e procedimentos operacionais.
Um agente pode interpretar corretamente uma solicitação e, ainda assim, executar uma ação indevida porque recebeu permissões excessivas. Pode ser induzido por instruções maliciosas presentes em documentos ou páginas consultadas, sofrer uma prompt injection indireta ou desencadear ações sucessivas cujo efeito acumulado ultrapasse os limites pretendidos.
Por isso, não basta observar o comportamento depois que a operação aconteceu. Precisamos de verificações de autorização antes das ações, segregação de funções, limites de valor e frequência, validações independentes, trilhas auditáveis e mecanismos de interrupção.
E nem tudo admite rollback. É possível reverter uma alteração de configuração. Desfazer uma transferência financeira, uma divulgação indevida de dados ou uma decisão que afetou um cliente pode ser muito mais complicado, quando não impossível.
Há também uma dimensão econômica frequentemente esquecida. Agentes podem realizar múltiplas chamadas a modelos, consultar ferramentas, repetir tentativas e acionar outros agentes. Isso aumenta custos de processamento, integração, observabilidade↳Observabilidade11 conteúdosObservabilidade para APIs: os desafios e benefícios dessa abordagemDev (Back & Front) · jan 2025Falhas em Observabilidade afetam os Apps e a Segurança das OrganizaçõesDev (Back & Front) · nov 2023ADK Java 1.0: O Google quer que você pare de gambiarra Python no seu backendMarketing Tech · abr 2026Ver tudo em DevSecOps →, segurança e manutenção. O benefício precisa ser medido pelo resultado líquido do processo, e não simplesmente pelo número de tarefas executadas sem pessoas.
Outro ponto é o ciclo de vida. Quem atualiza as regras quando a legislação muda? Quem revê permissões quando um processo é alterado? Quem investiga comportamentos inesperados? Quem decide interromper um agente que deixou de produzir valor? Sem essas respostas, estaremos criando uma nova camada de dívida técnica, operacional e de governança.
Assim, sugiro que executivos façam três perguntas antes de aprovar um agente para produção.
Primeira: por que precisamos de um agente? Uma automação convencional, um modelo preditivo ou um fluxo determinístico resolveria o problema com menor custo e risco? A escolha precisa ser justificada pelo valor de negócio, não pelo entusiasmo com a tecnologia.
Segunda: que evidências demonstram que ele funciona nas condições reais de operação? Não basta apresentar uma taxa média de acerto. É necessário testar exceções, dados inconsistentes, falhas de integração, instruções adversariais e comportamentos fora do esperado. Também é preciso estabelecer critérios objetivos para ampliar, restringir ou suspender sua autonomia.
Terceira: quem responde por ele durante todo o ciclo de vida? Todo agente em produção precisa de um responsável organizacional, limites de atuação, indicadores de resultado, orçamento, monitoramento, procedimentos de mudança e critérios de descontinuação.
Se a empresa não consegue responder satisfatoriamente a essas perguntas, provavelmente ainda não está preparada para conceder ao agente o nível de autonomia pretendido.
Não defendo que os agentes sejam mantidos indefinidamente sob supervisão humana. Há processos nos quais a automação integral é perfeitamente justificável, desde que os riscos sejam conhecidos, os controles sejam adequados e a confiabilidade tenha sido demonstrada. O que questiono é a ideia de que eliminar a intervenção humana seja, por si só, um indicador de evolução tecnológica.
Demonstrações impressionantes não substituem evidências de funcionamento consistente. Sistemas críticos precisam continuar operando corretamente também quando os dados estão errados, as integrações falham ou acontece aquilo que ninguém havia previsto.
O verdadeiro avanço da IA agêntica não será medido pela quantidade de agentes em produção nem pelo número de decisões tomadas sem intervenção humana. Será medido pela capacidade de entregar resultados confiáveis, economicamente justificáveis e dentro de limites claros de responsabilidade. Autonomia não é sinônimo de maturidade. É uma capacidade que precisa ser conquistada, demonstrada e continuamente reavaliada.
O link para o artigo Towards a Science of AI Agent Reliability: https://proceedings.mlr.press/v306/rabanser26a.html?utm_source=chatgpt.com
