OpenAI publica MultiLangBench no GitHub e expõe o gargalo do COBOL

OpenAI publicou avaliações de codificação em COBOL↳COBOL3 conteúdosA Evolução das Linguagens de Programação: de COBOL a PythonGestão Dev & TI · set 2024Dominar Cobol é um desafio para jovens profissionais de T.IGestão Dev & TI · mar 2024Aplicações com IA como aliada na geração de códigos para desenvolvedoresAI · nov 2023Ver tudo em Dev (Back & Front) → e Fortran com ganhos expressivos de precisão. O destaque fica com o GPT-6 Astra, que registrou taxa média de aprovação de 87,4% no MultiLangBench.

O benchmark cobre 20 linguagens. Além disso, a configuração de avaliação e o conjunto de testes já estão no GitHub, com resultados por linguagem.

A escolha das linguagens partiu de um motivo prático. Segundo a empresa, o feedback de desenvolvedores e clientes corporativos apontou dificuldade recorrente dos modelos nesses casos.

Entretanto, a lista inclui ainda Visual Basic, OCaml e outras 16.

Por que COBOL e Fortran entraram na mira da OpenAI

Os números explicam a prioridade. Contudo, o COBOL aparece em mais de 40% dos sistemas de internet banking.

Ele também responde por 80% das transações presenciais com cartão de crédito e 95% das transações em caixas eletrônicos.

O Fortran ocupa outro território crítico. Previsão meteorológica e análise de segurança de reatores nucleares dependem dele.

A dificuldade de manutenção, porém, antecede qualquer ferramenta de IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →. A documentação costuma estar incompleta, enquanto os desenvolvedores originais já deixaram a empresa.

Além disso, em muitos casos, as regras de negócio existem apenas no código.

Consequentemente, correção de bug e migração carregam o mesmo risco. Ambas precisam preservar o comportamento do qual o sistema depende.

O benchmark pede um SQLite inteiro do zero

A tarefa do MultiLangBench impressiona pelo escopo. O modelo precisa construir um mecanismo de banco de dados↳Banco de dados134 conteúdosSQL ou NoSQL: eis a questão!!Data · mar 2020Banco de dados: como organizar e dar segurança para milhões de dados de loteriasData · mai 20215 serviços gratuitos na cloud para bancos de dados PostgresData · fev 2025Ver tudo em Data → compatível com SQLite na linguagem indicada.

Os arquivos de banco funcionam como interface compartilhada. No entanto, o programa candidato recebe um banco inicial e uma consulta SQL, então devolve um banco modificado.

A implementação de referência do SQLite verifica se o conteúdo resultante bate.

Os testes vieram adaptados do conjunto existente do SQLite. Os resultados reportam tanto a taxa de aprovação quanto o custo de API.

Dessa forma, o exercício cobra organização de base de código, gerenciamento de estado, tratamento de erro e adição de funcionalidade sem quebrar o que já existia.

Os números que a OpenAI apresentou por linguagem

Com esforço máximo de raciocínio, o GPT-6 Astra passa de 83% em 19 das 20 linguagens.

O COBOL segue como o caso mais difícil, com 72%.

A comparação com o GPT-5.6 Sol mostra o salto:

COBOL saiu de 10,9% para 72,1%
Fortran saiu de 21,4% para 83,5%
Visual Basic saiu de 27,5% para 89,4%
OCaml saiu de 25,6% para 85,8%

Migração de COBOL cobra paridade byte a byte

A segunda avaliação muda o jogo. Ela pede a migração de programas COBOL existentes para C++, Java, Kotlin, Python ou Rust.

O comportamento precisa ser preservado. Os testes ocultos exigem paridade byte a byte nas saídas observáveis.

Portanto, a migração só conta como bem sucedida quando todos os testes passam.

Detalhes semânticos pequenos decidem o resultado. A aritmética de ponto fixo do COBOL, por exemplo, descarta dígitos decimais em excesso a menos que o arredondamento seja pedido explicitamente.

Nessa avaliação, o GPT-6.1 Sol atinge 86,6% de precisão com baixo esforço de raciocínio. O GPT-5.6 Sol marcava 5,4% na mesma configuração.

O custo também caiu. A execução saiu 39% mais barata, ficando em 61% do custo de API anterior.

Com esforço de raciocínio maior, a precisão sobe para 97,9%. A própria empresa descreve esse patamar como próximo da saturação da avaliação.

Luna troca precisão por conta mais barata da OpenAI

O GPT-6 Luna ocupa outra faixa. Ele registra 40,3% de taxa média de aprovação no MultiLangBench com esforço máximo de raciocínio.

Ainda assim, ele supera o GPT-5.6 Sol em todas as linguagens testadas.

Por linguagem, os números ficam assim: COBOL com 17,1%, Fortran com 31,4%, OCaml com 34,1% e Visual Basic com 41,6%.

O custo médio estimado de API chega a US$ 0,77 por amostra. Contudo, o GPT-5.6 Sol custava US$ 3,48, uma diferença de cerca de 78%.

O aviso que vem junto com os números

Aqui entra a ressalva da própria empresa. O uso em produção segue exigindo revisão especializada e testes baseados nas regras de negócio e dependências.

Vale separar bem as duas coisas. As avaliações medem comportamento em testes definidos, em vez de prontidão para sistemas em produção.

Os dados publicados descrevem taxa de aprovação e custo de API. Resultados de implantação ficam fora desse escopo.

Para quem mantém mainframe, portanto, o recado prático é direto. Além disso, use esses modelos como acelerador de leitura e rascunho de migração, mantendo a bateria de testes de regressão como juiz final.

Acompanhe nosso perfil no Instagram!