Relatório da METR mostra Anthropic usando IA para acelerar o desenvolvimento de IA

A organização de segurança em IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → METR publicou na quinta-feira (5 de novembro) um relatório que documenta, com mais detalhe do que qualquer coisa vista até hoje, como a Anthropic está usando inteligência artificial para construir inteligência artificial mais rápido. A investigação durou 11 semanas e aconteceu dentro da empresa, com acesso a dados confidenciais de pesquisa, métricas de desempenho de modelos e entrevistas com funcionários.

O achado central: os modelos da Anthropic estão melhorando cerca de duas vezes mais rápido do que há um ano. Segundo a METR, os números de benchmark sugerem que "a Anthropic fez aproximadamente dois anos de progresso histórico no último ano". Os pesquisadores dizem estar confiantes de que essa aceleração não vem simplesmente de mais poder computacional no treinamento, que historicamente foi o principal motor de avanço em IA.

A IA já é a maior responsável pela própria evolução

A METR afirma que a maior parte da aceleração registrada até outubro "é causada por IA", e que essa contribuição vem crescendo com o tempo. A conclusão não veio só de métricas de benchmark: também se apoiou em enquetes informais no Slack e entrevistas com funcionários da Anthropic, que relataram ganhos de produtividade expressivos.

Funcionários que usam o modelo interno mais avançado da empresa relataram, em média, ser cerca de 12 vezes mais produtivos no trabalho do que seriam sem assistência de IA. Isso é aproximadamente o dobro do que os mesmos funcionários relatavam poucos meses antes, usando um modelo interno com o codinome Mythos 5.

Por enquanto, boa parte dessa aceleração ainda vem da IA assistindo pesquisadores humanos, não agindo sozinha. Mas a METR alertou que "há alguns sinais de que contribuições totalmente autônomas vão ter um papel maior em breve" e disse não ter encontrado indícios claros de retorno decrescente que pudessem travar uma aceleração ainda maior.

Os modelos que ninguém de fora viu

Grande parte desse ganho de produtividade vem de modelos internos que a Anthropic ainda não lançou publicamente. Segundo a METR, a empresa concluiu o treinamento de três modelos novos nos últimos seis meses, além de um modelo mais antigo identificado na investigação:

• Model 2 - treinamento concluído em julho de 2026
• Model 3 - treinamento concluído entre agosto e setembro de 2026
• Model 4 - treinamento concluído entre setembro e outubro de 2026
• Unreleased 2022 - modelo não lançado, identificado pela METR com data de 2022

Os nomes são codinomes atribuídos pela própria METR para a investigação; a Anthropic usa nomenclatura interna diferente, que não foi revelada. O ritmo de conclusão de três modelos relevantes em seis meses dá uma ideia concreta de quão mais rápido o ciclo interno de desenvolvimento ficou em relação ao que a Anthropic expõe ao público.

Metade do relatório ficou de fora

A Anthropic não era obrigada a abrir seus dados para a METR, e, segundo a própria organização, "compartilhou mais informação do que estava inicialmente previsto para este projeto, superando nossas expectativas". Ainda assim, o acesso ficou longe de ser irrestrito: não houve o acesso "como se fosse funcionário" que a empresa prometeu a outros pesquisadores de segurança da METR em um programa anunciado no mês passado, criado após incidentes de invasão que atingiram a empresa no meio do ano.

O contrato também deu à Anthropic poder de redigir trechos do relatório final, e a empresa usou essa prerrogativa amplamente. Em publicação no X, a própria METR afirmou ter entregado um relatório completo de cerca de 100 páginas, do qual a maior parte das evidências consideradas mais informativas foi cortada na versão pública. A organização reforçou que seu "pipeline de informação foi relativamente estreito", com parte dos pedidos de dados negados.

Sam McCandlish, cofundador da Anthropic, reconheceu publicamente a extensão dos cortes:

Cortamos bastante, e aceito que isso torna mais difícil para outros verificarem o trabalho da METR. Mas decidimos que compartilhar exatamente o que está impulsionando a aceleração não é a coisa certa a fazer, tanto porque é comercialmente sensível quanto porque corre o risco de entregar um roteiro para outros irem mais rápido.

Sam McCandlish, cofundador da AnthropicWe redacted a lot, and I accept that this makes it harder for others to check METR's work. But we determined that sharing exactly what is driving the speedup isn't the right thing to do, both because it's commercially sensitive and because it risks handing out a roadmap for others to go faster.

McCandlish disse que a empresa vai publicar seu próprio relatório sobre a velocidade do progresso em IA "nas próximas semanas", junto com novas medidas de segurança. A Anthropic recusou-se a responder às perguntas do The Verge sobre o relatório e a repercussão, remetendo apenas a esse post.

A crítica: pedir para o setor desacelerar enquanto acelera

A publicação provocou reação forte entre pesquisadores de segurança. O ponto de atrito é que a Anthropic construiu sua imagem pública em torno da defesa de desenvolvimento responsável, com o CEO Dario Amodei pedindo publicamente que o setor pise no freio, justamente no momento em que a empresa se prepara para abrir capital em bolsa. O relatório da METR sugere o oposto na prática interna.

Daniel Kokotajlo, ex-pesquisador da OpenAI que hoje dirige o AI Futures Project (responsável pelo cenário de previsão "AI 2027"), foi um dos mais duros:

Está apostando de forma imprudente com as nossas vidas.

Daniel Kokotajlo, diretor do AI Futures Projectrecklessly gambling with our lives

Kokotajlo também chamou de contraditório o fato de a Anthropic citar a concorrência como justificativa para os cortes no relatório, já que a própria empresa "não parece estar desacelerando muito".

Outros pesquisadores trouxeram o debate para o terreno técnico. Marius Hobbhahn, CEO da Apollo Research (empresa que faz testes de segurança para grandes laboratórios de IA), disse ao The Verge que o ritmo descrito no relatório é mais rápido até do que o previsto pelo próprio "AI 2027", cenário que projetava um avanço importante rumo à autoaperfeiçoamento no início de 2027. Alan Chan, pesquisador sênior do centro de políticas GovAI, afirmou que os achados deveriam levar céticos a reconsiderar a possibilidade de a IA acelerar a própria IA, e possivelmente a encurtar suas previsões sobre quando sistemas vão conseguir automatizar totalmente tarefas como engenharia de software.

Brianna Rosen, diretora de pesquisa em segurança de fronteira do Institute for AI Policy and Strategy, apontou um problema de governança: hoje são as próprias empresas, não os governos, que decidem o ritmo de automação da pesquisa em IA. Para ela, isso compromete a possibilidade de supervisão democrática real sobre o processo.

Por que isso importa para quem constrói software

O relatório fala de pesquisa interna da Anthropic, mas o efeito prático chega direto em quem integra modelos Claude via API ou compete com eles no dia a dia. Se a velocidade de evolução dobrou em um ano e boa parte do ganho já não vem de mais poder computacional, mas de IA otimizando o próprio ciclo de pesquisa, o intervalo entre versões tende a encurtar, e saltos de capacidade tendem a ficar menos previsíveis a partir dos dados públicos.

Isso tem uma consequência concreta para quem desenvolve produtos sobre esses modelos: as avaliações de segurança e comportamento feitas hoje em uma versão podem perder validade mais rápido do que o normal, porque o modelo seguinte não é apenas "maior", é construído com um processo de pesquisa que a própria empresa reconhece não entender totalmente em termos de causas. A opacidade sobre o que exatamente acelerou o progresso (o próprio ponto dos cortes no relatório) dificulta que times externos antecipem mudanças de comportamento antes de uma migração de versão.

Há também o pano de fundo mais amplo: em setembro, a OpenAI afirmou estar "fazendo forte progresso" em direção a um sistema capaz de avançar pesquisa em deep learning e alinhamento de forma mais autônoma até março de 2028. Juntando isso ao relatório da METR, o alvo da automação deixou de ser só escrever código: é a própria pesquisa de IA, incluindo as partes que hoje garantem que um modelo seja seguro o suficiente para rodar em produção.

O que fica em aberto

Nenhum órgão regulador acompanhou essa investigação de perto. Nos Estados Unidos, o deputado estadual Alex Bores, um dos nomes que moldam a agenda democrata sobre IA, pediu ao Congresso que proíba o autoaperfeiçoamento recursivo (RSI) "ainda este ano, se possível" - um pedido que ganha força com a chegada de uma bancada democrata recém-eleita com postura mais crítica às empresas de IA.

Hobbhahn resumiu o clima entre pesquisadores de segurança da seguinte forma:

Prepare-se para a loucura. Vai ser muito rápido.

Marius Hobbhahn, CEO e fundador da Apollo ResearchBrace for craziness. It is going to go very fast.

Para quem depende desses modelos para construir produto, o recado prático é menos sobre previsão de futuro distante e mais sobre hábito de trabalho: acompanhar changelog e cartões de modelo com mais atenção, testar regressões de comportamento a cada atualização relevante e não tratar uma versão de API como estável por tempo indefinido só porque o número da versão não mudou.

Fonte: The Verge