SWE-2, da Cognition, promete rivalizar com modelos de ponta a um quarto do custo

A Cognition, empresa por trás do agente de engenharia Devin, anunciou o SWE-2, que ela descreve como seu modelo de coding mais avançado até agora. O argumento central não é ser o melhor em tudo, e sim empurrar a fronteira de Pareto entre capacidade e custo: segundo a empresa, o modelo atinge 50,0% no FrontierCode 1.1 Main, a menos de um ponto do Fable 5.1 (50,9%), enquanto custa 64% menos.

Para o dev que hoje paga caro para rodar um agente de coding em produção, esse é o ângulo que interessa. Não é sobre trocar o modelo do topo do ranking, é sobre encontrar um patamar de qualidade parecido gastando uma fração do valor por tarefa.

O que a Cognition está prometendo

O SWE-2 é pós-treinado a partir do Kimi K3, um modelo de 2,8 trilhões de parâmetros que, segundo a Cognition, já havia passado por RL extenso para coding agêntico. Sobre essa base, a empresa aplicou seu próprio aprendizado por reforço e afirma ter ganho de 5 a 6 pontos em vários benchmarks. É a primeira vez que a companhia escala RL para o regime de múltiplos trilhões de parâmetros, reaproveitando a infraestrutura do SWE-1.7.

Os números divulgados pela empresa, comparando o SWE-2 com concorrentes:

A leitura da própria empresa: o SWE-2 bate o SWE-1.7 e o Grok 4.6 em score e custo, empata com o GPT-5.6 Sol e o Fable 5/5.1 por uma fração do preço, e fica a poucos pontos do GPT-6 Astra por um quarto do custo.

Menos idas e vindas, mais código

O ponto que mais toca no dia a dia de quem usa um agente não está na tabela de benchmarks, e sim no comportamento. Um dos incômodos relatados com o SWE-1.7 era a tendência a explorar demais a base de código antes de tocar em qualquer arquivo, o que inflava tempo e custo em tarefas simples.

Segundo a Cognition, o SWE-2 corrige isso com exploração mais focada. Os números divulgados:

• No FrontierCode 1.1 Main, o SWE-2 medium pontua mais que o SWE-1.7 fazendo 58% menos turnos e custando 81% menos em média.
• A primeira edição de código real acontece após uma mediana de 18 passos, contra 48 do SWE-1.7.
• A média de passos por tarefa cai de 127 (SWE-1.7) para 53 (SWE-2 medium).

A empresa oferece três níveis de esforço (medium, high e max), treinados numa única rodada de RL com penalidades de custo calibradas para cada nível. Na prática proposta pela Cognition, o medium entra em ação mais rápido e resolve tarefas simples e intermediárias com baixo custo, enquanto high e max planejam e exploram mais para lidar com problemas complexos. Para quem constrói pipelines de agente, esse controle explícito de esforço por tarefa é o tipo de alavanca que muda a conta no fim do mês.

O ponto que a comunidade não deixou passar

A discrepância entre os dois Terminal-Bench chamou atenção logo no thread do Hacker News. O SWE-2 marca 92,8% no Terminal-Bench 2.1, mas despenca para 27,3% no Terminal-Bench 4, atrás de Fable 5.1 (55,8%), GPT-6 Astra (57,9%) e até do GPT-5.6 Sol (37,3%).

O usuário postalcoder resume por que isso importa:

"If you're looking for reason to be skeptical, look no further than the massive delta between the Terminal Bench 2.1 (92.8%) and the Terminal Bench 4 score (27.3%). Terminal Bench 4 was released a couple weeks ago, so the difference you're seeing between the two scores can be interpreted as 'how well does this model generalize to new problems'?"

postalcoder

A leitura dele: como o Terminal-Bench 4 é recente, a diferença sugere o quanto o modelo pode estar benchmaxxed, ou seja, otimizado para benchmarks conhecidos em vez de generalização real. Na mesma linha, mydreamof questiona: "Seems like benchmaxing? For example for Terminal-Bench 4 it doesn't have great results. And why not show other benchmarks?" É a ressalva de sempre para quem avalia modelo por número de blog: benchmark é ponto de partida, não veredito. Para o dev brasileiro, a recomendação prática é testar na própria base de código antes de trocar o que já está em produção.

Outro ponto levantado no thread é a distribuição. O usuário scronkfinkle reclama que o modelo parece exigir a plataforma proprietária da empresa: "this appears to require Devin to use? I'm disappointed to see I need to use a bespoke platform to interact with this agent, to the point that I probably won't be trying it." De fato, segundo o anúncio, o SWE-2 está disponível a partir de hoje no Devin Desktop e CLI, com rollout também para Devin Web e Fusion. Não há menção a API aberta ou a integração com editores de terceiros, o que limita o teste rápido por quem não quer adotar o ecossistema Devin.

O que fica em aberto

A base do SWE-2 ser o Kimi K3 gerou reação curiosa entre desenvolvedores. TheJCDenton comenta que esperava um modelo totalmente novo, mas vê valor no caminho escolhido: "it's an RL-ed K3 go Fable 5 capabilities, which demonstrate that this is probably possible, which is nice." A demonstração de que dá para pegar um modelo aberto forte e, via RL, aproximá-lo de modelos de fronteira é relevante para quem acompanha o custo de rodar coding assistants.

Há ainda o histórico a favor. O usuário _doctor_love observa que "SWE-1.5 was surprisingly good when I used it last" e que a Cognition é "one of the solid players that's flying a bit under the radar while Anthropic and OpenAI race to IPO". É o tipo de reputação que pesa quando o custo-benefício é o argumento de venda.

O que ainda não sabemos, e que vai definir se o SWE-2 vale a troca: como ele se comporta fora dos benchmarks, em bases de código reais e legadas; se haverá forma de usá-lo sem depender inteiramente do Devin; e qual o preço final por tarefa em moeda que dá para colocar numa planilha. Enquanto isso, a Cognition detalha no post técnico a metodologia de penalidade de custo em RL e o baseline de recompensa ponderado por comprimento, leitura densa para quem se interessa pelo lado de treino.

Fontes: Hacker News · Reações no Hacker News