AssistaVÍDEO

Gestalt: a IA misteriosa que bateu o Claude Fable em teste cego de design

Registro do teste cego que colocou o Gestalt à frente do Claude Fable em design, da estreia da Anthropic na Nasdaq e do debate sobre automelhoria recursiva.

O que foi dito

A Contra Labs testou designers em um exercício cego: escolher, entre dois sites feitos a partir do mesmo pedido, qual facilitava a compra, qual deixava a programação mais clara e qual respeitava a identidade visual do evento, sem saber quem tinha criado cada versão. O teste reuniu 33 tarefas, 27 delas adaptadas de trabalhos reais da plataforma para clientes fictícios e seis vindas de empresas parceiras.

Página do estudo Frontier Design, da Contra Labs

Na apresentação do estudo, o Gestalt chegou a 1928,0 pontos, pontuação que resume as preferências dos avaliadores nos confrontos entre os trabalhos.

Em números
Pontuação no ranking de design

1931Gestalt

1739Trabalho humano de referência

1713Claude Fable

Ranking da Contra Labs (Frontier Design) Valores como ditos no vídeo.

Na atualização do ranking consultada para o vídeo, o Gestalt aparece com 1931 pontos, os trabalhos humanos de referência com 1739 e o Claude Fable com 1713. A vantagem vale para esse conjunto de tarefas de design; para saber como os modelos programam ou resolvem problemas matemáticos, seriam necessários outros testes.

Ranking da Contra Labs com a pontuação de cada modelo

Sobre quem fez o Gestalt, a Contra Labs diz que trabalha com a equipe do modelo, mas não identifica o laboratório. "O placar mostra o que os avaliadores preferiram. Não dá para reconhecer o fabricante pelo estilo de um botão", diz a narração.

Estreia na Nasdaq

A Anthropic estreou na Nasdaq sob o código ANT. A oferta saiu a $83 por ação, o primeiro negócio foi a $111,50 e o fechamento do dia ficou em $97,17, uma alta de 17% sobre o preço de abertura.

Tela da Nasdaq MarketSite durante a estreia da Anthropic

No fechamento, a estimativa de valor de mercado com as ações em circulação ficou em cerca de US$ 1,27 trilhão; a conta totalmente diluída, que inclui ações que podem ser emitidas no futuro, ficou perto de US$ 1,75 trilhão.

Em números
Valor de mercado da Anthropic no fechamento

US$ 1,27 trilhãoCom ações em circulação

US$ 1,75 trilhãoTotalmente diluído

Estimativa baseada no preço de fechamento Valores como ditos no vídeo.

Custo por tarefa

No índice da Artificial Analysis, o Claude Fable marcou 65 pontos, o GPT Astra 62, o Gemini Neon 61 e o Claude Opus 59. A tabela padrão do Astra cobra $8 por milhão de tokens de entrada e $40 por milhão de saída; a do Neon cobra $3,15. Ainda assim, executar uma tarefa do índice custou em média $4 com o Astra e $6,44 com o Neon, que gerou mais tokens no teste.

Automelhoria recursiva

Um estudo em arXiv descreve um sistema que guarda um histórico das mudanças feitas nas ferramentas e nas instruções ao redor de um modelo, registrando o motivo da alteração, o resultado esperado e o que de fato aconteceu, para que o otimizador consulte esse histórico na tentativa seguinte.

O que éAutomelhoria recursiva

Quando um sistema de IA melhora a si mesmo sem ajuda humana direta

Em 10 rodadas independentes de programação, usar essa memória rendeu em média 2,36 pontos a mais que continuar só com a configuração anterior. "O experimento mexe no ambiente em que o modelo trabalha. Ele não demonstra que o modelo reescreveu os próprios pesos", diz a narração. Um relatório da DeepMind, apresentado em junho e revisado em novembro, coloca a melhoria recursiva entre quatro caminhos possíveis para a superinteligência, ao lado de ampliar a escala, mudar o paradigma e combinar muitos agentes.

Genie 4

No dia 18, o Google começou a liberar o Genie 4 para assinantes elegíveis do plano Ultra, permitindo mudar o tempo ou inserir um personagem enquanto o usuário explora a cena, com o som ambiente acompanhando a mudança em tempo real.

Página do Google sobre a disponibilidade do Genie 4
Ver a transcrição

Do canal do iMasters no YouTube

Mais no Assistaver todos →