OpenAI testa agentes de IA em dados brutos de laboratório com o benchmark BioBasicsBench

A OpenAI publicou o BioBasicsBench, um benchmark de 100 tarefas criado em parceria com a Ligo (biotech focada em design de enzimas) para medir algo bem específico: se um agente consegue interpretar a bagunça real de um laboratório úmido, do jeito que ela chega, sem arrumar a história para caber numa conclusão bonita.

A motivação declarada pela OpenAI é uma crítica direta aos benchmarks científicos existentes. Eles costumam usar gráficos e imagens já selecionados para artigos publicados, o que filtra justamente a parte mais difícil do trabalho de bancada: experimentos que falham, imagens ambíguas, observações que se contradizem. Um benchmark montado só com dados que já passaram pelo crivo de revisão por pares não testa a habilidade que mais importa no dia a dia de um laboratório, que é saber quando a evidência não dá para sustentar conclusão nenhuma.

Como o benchmark é montado

As 100 tarefas do BioBasicsBench cobrem cinco áreas do trabalho rotineiro de bancada: métodos de proteína, imagem e citometria, quantificação e ensaios, métodos de ácido nucleico e clonagem molecular. Os dados de entrada preservam a forma bruta com que esse trabalho aparece na prática:

• géis e blots (agarose, SDS-PAGE, Western blot);
• protocolos, anotações de caderno e notas manuscritas fotografadas;
• tabelas e exportações de instrumento, incluindo arquivos brutos de citometria de fluxo (FCS);
• fotos de bancada, placas e reagentes;
• microscopia bruta, incluindo pilhas em z e vídeos time-lapse;
• telas de instrumento, curvas padrão e cromatogramas exportados;
• arquivos de sequenciamento (FASTQ, FASTA, mapas GenBank).

Cada tarefa foi escrita por cientistas usando dados dos próprios experimentos e passou por três camadas de revisão: um cientista da Ligo que não escreveu a tarefa, um revisor externo com doutorado atuando em laboratório úmido, e uma revisão interna final. O agente devolve uma resposta estruturada (conclusão, medida ou recomendação, mais o raciocínio de apoio quando exigido) que é pontuada contra uma rubrica com critérios individuais, não um "certo ou errado" binário. Isso permite separar uma conclusão correta de uma análise parcialmente correta, algo que importa muito mais num laboratório do que num teste de múltipla escolha.

Os números: GPT-6 Astra na ponta, mas longe do confiável

A OpenAI avaliou sete modelos (GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna e GPT-6 Astra) em 37 combinações de modelo e esforço de raciocínio, com cinco tentativas por tarefa, totalizando 18.500 resultados. A métrica principal é o mean reward, a nota média da tarefa expressa como percentual do crédito disponível, com intervalos de confiança de 95% calculados por reamostragem de tarefas inteiras (mantendo as cinco tentativas de cada tarefa juntas).

No ajuste de esforço de raciocínio mais alto (xhigh), os resultados foram:

Dois pontos chamam atenção nessa tabela. O salto de GPT-5.6 Sol para GPT-6 Astra (de 43,8% para 66,7%) é o maior do conjunto, e a OpenAI atribui boa parte dele a capacidades multimodais nativas mais fortes, não só a mais raciocínio. E o custo em tokens caiu junto com o ganho de qualidade: GPT-6 Astra gastou 4.704 tokens de saída em média contra 27.620 do GPT-5.2, quase seis vezes menos para uma nota mais que o dobro.

Onde o modelo ainda erra, com nome e figura

A OpenAI não escondeu os casos de falha do próprio modelo líder, e eles são instrutivos. Em uma tarefa de clonagem molecular, Astra conseguiu distinguir corretamente dois grupos de bandas num gel de PCR de colônia, mas assumiu que o produto de PCR maior indicava clonagem bem-sucedida. Com essa premissa, selecionou as colônias 4, 6, 7 e 8; a referência, baseada na comparação com os controles do experimento, apontava as colônias 5, 9 e 10. O agrupamento visual estava certo, mas a identidade experimental atribuída a cada grupo estava invertida, o que levaria à purificação do plasmídeo errado.

Num segundo caso, o modelo concluiu que vacúolos (compartimentos dentro da célula) são geralmente mais escuros que o entorno, mesmo vendo exemplos mais claros na mesma imagem. A causa é conhecida: mudar o foco do microscópio pode inverter o contraste, então nenhuma das duas observações sozinha sustenta uma regra geral. Astra chegou a comentar que o contraste varia com o foco, mas na resposta final manteve só a descrição dos vacúolos escuros, descartando a evidência contraditória que ele mesmo havia notado.

Um terceiro caso é mais prosaico e talvez mais revelador: contagem de colônias numa placa. Astra errou a contagem em cerca de 12% a mais que a referência, falhando em resolver colônias próximas, deixando colônias visíveis sem marcar e marcando ágar vazio como se fosse colônia. Como a eficiência de transformação de DNA é calculada a partir dessa contagem com volume e diluição fixos, o erro se propaga direto para a estimativa final.

O que isso muda para quem constrói agentes

Para quem desenvolve agentes fora do contexto de biologia, o valor do BioBasicsBench está menos no resultado específico e mais na metodologia. É um exemplo bem documentado de como montar uma avaliação de agente para um domínio especializado e confuso, com evidência real em vez de exemplos curados.

Três decisões de design valem a pena roubar para qualquer eval de agente de domínio:

1. Rubrica com crédito parcial por critério, em vez de acerto binário, o que captura a diferença entre "respondeu certo" e "respondeu certo pela razão errada".
2. Revisão em camadas com especialista que não escreveu a tarefa mais revisor externo do domínio, reduzindo o viés de quem monta o teste.
3. Reamostragem por tarefa inteira (e não por tentativa individual) para calcular intervalo de confiança, o que evita inflar a precisão aparente do resultado.

O gráfico de custo também é um dado operacional direto: se um agente seu vai rodar em produção interpretando documentos ambíguos (laudos, tickets de suporte, contratos), o trade-off entre esforço de raciocínio (xhigh) e tokens gastos por tarefa é exatamente o tipo de curva que a OpenAI publicou aqui, e que vale reproduzir antes de decidir qual nível de esforço configurar por padrão.

Quando não vale a pena confiar no agente

A própria OpenAI é direta sobre o limite do resultado: nota mais alta no benchmark não significa que o modelo já pode tomar decisões confiáveis no laboratório. 66,7% é o melhor caso, no esforço de raciocínio mais alto, num conjunto de tarefas que a própria OpenAI descreve como variando de pedidos simples, como ler o peso molecular de uma amostra de DNA num gel, até análises detalhadas de ensaio, todas envolvendo trabalho de rotina que cientistas de bancada deveriam conseguir completar com confiabilidade.

Os três erros documentados (assumir regra de laboratório sem checar o controle certo, descartar evidência contraditória que o próprio modelo notou, errar contagem básica) são exatamente o tipo de falha que passa despercebida se ninguém audita a saída do agente.

Para quem pensa em usar agentes multimodais para triagem de dados experimentais hoje, o caminho responsável é tratar a saída como rascunho que precisa de revisão humana nos pontos de controle, não como veredito. A OpenAI também sinaliza que vai acompanhar essa capacidade por razões de biossegurança, o que é outro lembrete de que a régua de confiabilidade aqui é bem mais alta que a de um agente respondendo e-mail.

Fonte

OpenAI News: Measuring how AI agents handle everyday wet-lab science

Fonte: OpenAI News