O Google apresentou um novo benchmark voltado à avaliação de modelos de inteligência artificial aplicados ao desenvolvimento Android. A iniciativa busca facilitar a comparação entre diferentes modelos de linguagem (LLMs) em tarefas reais de programação para dispositivos móveis.
Batizada de Android Bench, a nova referência cria um ranking que mede o desempenho de sistemas de IA em desafios práticos enfrentados por desenvolvedores Android. A ideia é ajudar equipes de engenharia a identificar quais ferramentas realmente compreendem as particularidades da plataforma e conseguem contribuir para melhorar a qualidade dos aplicativos.
Testes baseados em desafios reais de desenvolvimento
Diferentemente de benchmarks genéricos, o Android Bench utiliza problemas extraídos de projetos públicos disponíveis em repositórios Android no GitHub. As tarefas variam em nível de dificuldade e refletem situações comuns no dia a dia de desenvolvimento.
Entre os desafios avaliados estão atividades como migrar aplicações antigas para Jetpack Compose, lidar com mudanças entre diferentes versões do Android ou implementar soluções de rede em dispositivos vestíveis.
Durante os testes, os modelos recebem um problema reportado em um projeto e precisam propor uma solução. A verificação ocorre por meio de testes automatizados, como unit tests ou testes de instrumentação, que confirmam se o código gerado resolve o problema corretamente.
Segundo o Google, essa abordagem neutra em relação aos modelos permite avaliar se uma IA consegue navegar por bases de código complexas e compreender as dependências de um projeto real.
Os primeiros resultados do benchmark indicam uma variação significativa de desempenho entre os modelos avaliados. Dependendo do sistema, a taxa de resolução das tarefas ficou entre 16% e 72%.
Nesta primeira versão do Android Bench, o foco está exclusivamente na capacidade dos modelos em resolver os desafios propostos, sem considerar o uso de agentes autônomos ou ferramentas externas.
Entre os modelos testados, Gemini 3.1 Pro aparece com a maior média de desempenho, seguido de perto pelo Claude Opus 4.6.
Desenvolvedores interessados podem experimentar esses modelos diretamente em seus projetos por meio de API keys integradas à versão estável mais recente do Android Studio.