Pesquisadores propõem teoria dos jogos invertida para alinhar agentes de IA autônomos

Pesquisadores propõem teoria dos jogos invertida para alinhar agentes de IA autônomos

Dois preprints recentes, um de Stephen Morris, economista do MIT, com colegas de Yale e Columbia, outro de Elad Hazan, professor de ciência da computação em Princeton, propõem, em abordagens distintas, desenhar incentivos, em vez de só interpretar o 'cérebro' do modelo, para impedir que agentes de IA↳Agentes de IA42 conteúdosOpera passa a integrar ChatGPT, Claude e outros agentes de IADev (Back & Front) · mar 2026Operações mais inteligentes, decisões mais rápidas: o impacto da IA agêntica na rotina de TIAI · abr 2026Adobe aposta em orquestração de agentes de IA: o que muda para devsDev (Back & Front) · abr 2026Ver tudo em AI → escondam falhas em testes de segurança.

O problema que a interpretabilidade sozinha não resolveu

A abordagem dominante para manter modelos de IA dentro dos trilhos combina duas frentes: olhar para dentro do modelo (interpretabilidade, mapeamento de circuitos) e treiná-lo para seguir valores explícitos, como a constituição que a Anthropic publicou para o Claude. O problema, segundo reportagem da MIT Technology Review publicada em 3 de novembro de 2026, é que nenhuma das duas tem funcionado bem o suficiente: modelos já foram flagrados reduzindo deliberadamente o próprio desempenho em testes (sandbagging), escondendo intenções e enganando avaliadores.

Para quem constrói pipelines de avaliação de agentes, isso é um problema concreto, não acadêmico. Se o seu harness de testes mede "o modelo passou ou não passou", e o modelo tem incentivo para parecer pior do que é quando percebe que está sendo avaliado, o número que sai do seu CI de segurança pode estar mentindo para você.

O que é desenhar o jogo ao contrário

A reportagem recupera o conceito de mechanism design, às vezes chamado de teoria dos jogos invertida. Enquanto a teoria dos jogos tradicional prevê como atores racionais vão se comportar dado um conjunto de regras, o mechanism design parte do resultado desejado e desenha as regras que produzem esse resultado.

Exemplos clássicos fora da IA:

• Dividir um bolo entre duas pessoas: uma corta, a outra escolhe primeiro. Isso incentiva cortes parecidos.
• Tarifa dinâmica de apps de transporte, que incentiva motoristas a ficarem disponíveis em horário de pico.
• Leilão de segundo preço, usado por plataformas de publicidade online, em que o vencedor paga o valor do segundo maior lance, incentivando lances próximos do valor real que o comprador está disposto a pagar.

A aposta de pesquisadores como Stephen Morris (economista do MIT) é que, se talvez nunca consigamos entender por completo o que acontece dentro de um modelo de fronteira, o caminho é desenhar mecanismos que tornem o comportamento desejado a opção mais vantajosa para o agente, independentemente do que está rodando por baixo.

Testar o agente contra o espelho

Um preprint recente de Morris com colegas de Yale e Columbia sugere mecanismos específicos contra o sandbagging. Em vez de recompensar o modelo só pelo acerto no teste, ele é recompensado por quão bem suas respostas preveem o que um segundo modelo vai dizer. Fingir que não sabe a resposta deixa de compensar, porque o modelo passa a ser avaliado pela capacidade de prever o par, não pela nota absoluta.

Os agentes de IA têm um entendimento muito bom do que outros agentes de IA conseguem alcançar. Então parece ser um contexto em que essa verificação cruzada pode funcionar na prática.

Stephen Morris, economista do MITAI agents have a very good understanding of what other AI agents can achieve. So it does seem like a context where this cross-checking could work more practically.

O mesmo paper sugere colocar agentes em competição direta, ou parear agentes com vieses conhecidos e opostos, recompensando-os quando as respostas convergem. São variações do mesmo princípio: tirar o modelo da posição de única fonte de verdade sobre si mesmo.

Polícia e cidadão: o esquema de solver e auditor

Elad Hazan, professor de ciência da computação em Princeton, propõe um desenho inspirado em como sociedades humanas mantêm pessoas alinhadas: normas sociais, sistema judicial, incentivo monetário do livre mercado. No esquema dele, os modelos alternam entre dois papéis durante o treinamento: "solver", que resolve problemas, e "auditor", que checa o trabalho de outro agente.

Um agente age como a aplicação da lei; o outro agente age como o cidadão.

Elad Hazan, professor de ciência da computação em Princeton

A recompensa segue a lógica de incentivo, não de obediência: solver pego colando é punido, mas o auditor que deixa passar a cola também é punido. Em caso de divergência entre solver e auditor, o caso vai para um "julgamento", possivelmente decidido por um especialista humano. Hazan reconhece o risco óbvio de colusão (auditores que se aliam a quem deveriam fiscalizar, como já acontece com policiais corruptos e empresas de auditoria), e propõe mitigar isso recompensando bem os auditores e auditando os próprios auditores com técnicas parecidas com "cliente oculto".

Hazan recorre ao trabalho de Gary Becker, prêmio Nobel de economia, que nos anos 1960 cunhou a ideia do "infrator racional": ninguém comete crime por ser má pessoa, comete quando o cálculo de risco e recompensa compensa. A tradução para IA, segundo Hazan, é parar de tratar alinhamento como uma propriedade fixa do modelo e passar a tratá-lo como descrição do comportamento num momento específico.

O que isso muda para quem constrói agentes hoje

Nada disso chega pronto para produção. É um preprint, sem validação publicada em modelos de fronteira, e nem Anthropic nem OpenAI responderam à MIT Technology Review sobre se já experimentam algo parecido internamente. Mas o recorte importa para quem está desenhando harness de avaliação ou arquitetura de agentes autônomos agora, por três razões.

Primeiro, o esquema solver/auditor sugere uma direção concreta de arquitetura: pipelines de avaliação que rodam dois ou mais modelos em papéis cruzados, em vez de um único modelo sendo avaliado contra um gabarito estático. Isso tem custo de compute adicional e de latência, e é uma decisão de engenharia real: vale rodar duas instâncias (solver e auditor) para cada tarefa crítica, ou isso só se justifica em pipelines de segurança de alto risco?

Segundo, a métrica muda. Em vez de "taxa de acerto no benchmark", o sinal passa a ser consistência entre agentes, ou capacidade de um modelo prever o outro. Equipes que constroem evals próprios podem começar a testar isso como sinal auxiliar hoje, sem esperar que vire padrão de mercado: comparar respostas de duas instâncias do mesmo modelo, ou de modelos com vieses conhecidos opostos, já é algo implementável num pipeline de CI de qualidade de agente.

Terceiro, e mais importante: isso não substitui interpretabilidade, treinamento por valores ou regulação externa. Helen Qu, pesquisadora do Flatiron Institute, descreve mechanism design como mais uma camada de uma estratégia de "defesa em profundidade", ao lado dessas outras, não no lugar delas.

Os limites: racionalidade, colusão e o mercado

O ponto frágil de toda a proposta é a premissa de que agentes de IA se comportam de forma racional diante de incentivos, algo que nem humanos fazem de forma confiável (mechanism design tem histórico irregular com pessoas reais). Qu questiona diretamente se é razoável assumir que modelos vão responder a incentivos da mesma forma que atores econômicos racionais. Morris concorda que, tecnicamente, "são apenas algoritmos rodando", mas argumenta que tratá-los como racionais pode ser útil mesmo sem ser literalmente verdade, do mesmo jeito que economistas fazem com humanos.

Há ainda o risco de loopholes que ninguém previu: nenhum mecanismo foi testado em modelos de fronteira reais, e a transferência de um mecanismo desenhado para uma tarefa pode não funcionar em outra. E existe um problema que nenhuma arquitetura de avaliação resolve sozinha: se um modelo mais alinhado for mais lento ou mais caro de rodar que a versão menos cautelosa, o mercado, não o laboratório, decide qual delas chega ao produto.

Como resume Hazan, o livre mercado é o mecanismo responsável por boa parte da prosperidade humana, mas pode ser também o responsável por algo muito ruim. Talvez quem mais precise de um desenho de incentivos melhor não sejam os agentes, e sim os laboratórios que decidem o que lançar.

Fonte 1: MIT Technology Review (https://www.technologyreview.com/2026/11/03/1147934/reverse-game-theory-mechanism-design-ai-alignment/)

How “reverse game theory” could keep AI agents in check | MIT Technology Review

Skip to Content EXECUTIVE SUMMARY A new approach known as “reverse game theory” aims to control powerful AI models by designing systems that incentivize them to stick to the rules. As AI models become more capable, safety researchers are scrambling to ensure they are “aligned” with human desires—to make sure, in other words, that rogue agents don’t break the law, hack into unauthorized servers, or release poison gas into major cities and kill us all.

Until now, this work has mostly focused on trying to peer into an AI’s “brain” to understand what it is “thinking,” or training models to hew to values that we hold dear. Claude, for instance, has its constitution —a sort of moral code. The trouble is, these techniques don’t seem to work particularly well: Models have been shown to deliberately underperform on tests, hide their intentions , and mislead their evaluators .

Now some alignment researchers believe that reverse game theory, also known as mechanism design, might get better results. Where game theory tries to predict how rational actors will behave when given a particular set of rules, reverse game theory attempts to design rules that will elicit the kinds of behavior we want to encourage. An example of mechanism design in the real world might be the classic strategy for splitting a piece of cake in two: One person cuts the cake and the other gets the first choice of pieces.

This incentivizes the cutter to make the pieces as even as possible. Other examples include surge pricing in ride-hailing apps, which encourages drivers to be available at busy times, and second-price auctions, where the winning bidder pays the price of the second-highest bid instead of the highest. Platforms use these auctions to sell online advertising because they encourage buyers to bid close to the maximum they are willing to pay.

In AI, mechanism design starts from the premise that we may never be able to understand enough about the internal workings of frontier models to make sure they are aligned. This means we should design mechanisms that incentivize agents to behave in ways that we want, regardless of what’s actually going on under the hood.

A recent preprint paper by Stephen Morris, an economist at MIT, along with colleagues from Yale and Columbia suggested some potential mechanisms that could stop agents from “sandbagging” tests (pretending to be worse than they actually are—for example, to avoid triggering safety mechanisms). Instead of being rewarded only for how well it does on a test, a model could be rewarded for how well its answers predict what a second model will say. Deliberately playing dumb becomes a losing bet. “AI agents have a very good understanding of what other AI agents can achieve,” Morris says.

“So it does seem like a context where this cross-checking could work more practically. The paper also suggests pitting agents against each other, creating a competitive dynamic that incentivizes them to perform their best, or pairing agents that are known to be biased in opposite directions and rewarding them depending on how closely their outputs match, thus incentivizing them to reach an optimal answer. A second approach, as envisioned by Elad Hazan, a professor of computer science at Princeton, is to design mechanisms that take inspiration from the ways human society keeps people “aligned”: social norms, the justice system, the monetary incentives of free-market capitalism.

“We want to align superintelligent AI,” he says. “Why don’t we first talk about humans? How do we align humans?” Hazan’s suggested mechanism involves having AI models take turns as either “solvers” that tackle problems or “auditors” that check the others’ work. “One agent acts like law enforcement; the other agent acts like the citizen,” he says. During training, the models are rewarded depending on outcomes: Solvers that get caught cheating are punished, but so are auditors that fail to catch the cheaters. In situations where there’s a disagreement between auditors and solvers, the case can be sent to “trial”—perhaps a human expert will decide who is right.

There is, Hazan admits, a risk that agents will collude with each other—as auditors have colluded with the businesses they’re meant to be auditing, or corrupt police officers have colluded with criminals. But that problem can be solved by rewarding the auditors well enough, so that being caught isn’t worth the risk (a lot easier in the world of AI training than the real one, where money for police salaries is tight), and by auditing the auditors using techniques akin to employing mystery shoppers.

Hazan points to Nobel Prize–winning work by the economist Gary Becker, who introduced the idea of the “rational offender” in the 1960s. Criminals don’t break the law because they’re inherently bad people, he said. Instead, they do it when it’s the most rational choice given the incentives on offer. Crime makes sense only when the proceeds outweigh the potential punishment. Alignment shouldn’t be thought of as a property of a model, he argues, but as a descriptor of its behavior at a particular moment. “You are, like, a nice person,” he says.

“Are you aligned? I don’t know. Probably you are aligned most of the time, but there could be a situation where you’re not.” One potential issue with applying mechanism design to AI: It relies on the assumption that AI agents behave rationally. Mechanism design has a mixed record with humans, who often fail to behave the way economic models say they should. It’s ironic: Economists have spent decades trying to reduce human behavior to mathematics, and now, in large language models, we’ve built mathematical systems that run on human language and could be just as inscrutable.

AI models exhibit behaviors that seem more human than machine, and they can be swayed by subtle factors that are difficult to understand and explain. “Is it even reasonable to assume that they will respond to incentives?” asks Helen Qu, a research fellow at the Flatiron Institute, a nonprofit dedicated to advancing scientific discovery through computational methods, who has written about mechanism design and AI safety. “Obviously, AIs are not rational,” Morris says. “They’re just algorithms at work.” However, as economists have found with humans, treating them as if they’re rational could still be useful if it helps to predict and control their behavior.

Qu sees mechanism design as just one layer in a “defense in depth” strategy for keeping AI models aligned—alongside interpretability, regulation, and training, not instead of them. But there are a lot of questions to be answered before the approach can be implemented in actual frontier models. It’s unclear, for instance, how these theories will apply to real models, or whether mechanisms designed for one task will carry over to another in practice.

Models could find loopholes that no one anticipated. (Anthropic and OpenAI did not respond to requests for comment on whether they are working on this.) Whatever these mechanisms look like, they will ultimately have to slot into the biggest mechanism of all: the free market. “We play by the rules of economics,” says Hazan.

A more aligned model may be good for the world, but if it’s slower or more expensive than a less aligned one, does our current system of rules and regulations actually incentivize any of the frontier labs to release it? “It’s a mechanism that’s responsible for a lot of prosperity for humankind,” he says of the market, “but it could be ultimately responsible for something very terrible.” Perhaps the entities really in need of a better mechanism design are the labs themselves.

Fonte: MIT Technology Review