IA que diz ter concluído a tarefa agora pode ser encontrada por busca

IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → aplicada à depuração ganhou um recurso novo no LangSmith, anunciado pela LangChain em 14 de outubro. A função se chama Busca por IA. Ela permite pesquisar rastros de agentes usando descrições de comportamento em linguagem natural.

O caso de uso mais citado chama atenção. Dá para localizar situações em que um agente relata incorretamente a conclusão de uma tarefa.

Outros exemplos entram na lista. Entretanto, são respostas indesejadas e exposição de informações pessoais identificáveis.

Por que o filtro de erro deixa esse caso passar

Aqui está o problema que a função ataca. As especificações de log do OpenTelemetry recomendam identificar operações com falha por exceções ou erros relatados.

Além disso, uma operação, porém, pode concluir sem relatar erro algum. Isso acontece mesmo quando o agente deixou de atender o pedido do usuário.

Pense no cenário concreto. Contudo, o agente invoca uma ferramenta externa com sucesso e afirma ter concluído a tarefa, sem executar o trabalho solicitado.

Portanto, identificar esse comportamento exige examinar o histórico de interações. Depender apenas de atributos de erro deixa o caso invisível.

Como a busca funciona por dentro

O componente central se chama SmithDB. Esse banco converte rastros recebidos em trajetórias padronizadas.

O formato reúne mensagens, chamadas de ferramentas e resultados em ordem cronológica. Além disso, o processo remove históricos de conversa duplicados.

A compatibilidade cobre vários frameworks. Entram LangChain, LangGraph, OpenAI, Anthropic, o SDK de IA da Vercel e OpenTelemetry.

O fluxo da consulta acontece em duas etapas. Primeiro, filtros estruturados reduzem o conjunto de trajetórias candidatas.

Depois, um modelo de decisão examina os registros restantes. Além disso, ele avalia se o comportamento descrito realmente aconteceu.

Essa abordagem difere de busca por palavra chave e de busca vetorial. Segundo a empresa, isso ajuda a separar um agente que concluiu a tarefa de outro que apenas afirmou ter concluído.

O processamento acontece em paralelo. Os resultados chegam conforme aparecem, sem exigir espera pelo fim da varredura.

IA em sessões longas esbarra no orçamento de contexto

Os números da própria empresa revelam o tamanho do desafio. Em 150 conversas do Open SWE, agente de código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → da companhia, algumas passaram de um milhão de tokens.

A conversa mediana ficou em cerca de 72 mil tokens.

A distribuição interessa bastante. Nessa mediana, cerca de 2 mil tokens vieram de mensagens do usuário e respostas do agente.

Os resultados de ferramentas, por sua vez, responderam por aproximadamente 85% do conteúdo. Além disso, a leitura de arquivo e comando de shell dominaram esse volume.

A solução adotada aplica um orçamento de 8 mil tokens por trajetória. A prioridade começa pelas mensagens do usuário e respostas do agente.

Depois vêm mensagens intermediárias do modelo, resultados de ferramentas e mensagens de sistema.

Contudo, as mensagens acima do limite são cortadas. As seguintes ficam de fora.

A empresa reconheceu a limitação. Contudo, detectar comportamento como ignorar um erro de ferramenta exige acesso ao resultado correspondente, que costuma ficar em prioridade baixa.

Segundo a companhia, seleção de contexto dependente da consulta segue em investigação.

A base construída sobre Trajectories

O recurso se apoia em uma função apresentada em setembro. O LangSmith Trajectories mostra interações, chamadas de ferramentas e atividade de subagentes em ordem cronológica.

Depois de localizar uma sessão, o desenvolvedor revisa a trajetória. Em seguida, acessa os rastros para inspecionar operações, tentativas e detalhes de execução.

O exemplo usado no anúncio anterior ilustra bem. Um agente de suporte reutilizava resultado desatualizado de ferramenta, e a trajetória mostrava onde o fluxo divergiu do esperado.

O alerta sobre dado sensível no rastro

Esse ponto merece atenção de quem instrumenta agentes. Além disso, as convenções de IA generativa do OpenTelemetry cobrem mensagens de entrada, mensagens de saída e argumentos de chamadas de ferramentas.

Esse conteúdo pode carregar informação pessoal ou confidencial. Consequentemente, registrar tudo exige controle sobre coleta e tratamento da telemetria.

A própria empresa aponta a detecção de dado exposto como aplicação da busca. Ainda assim, encontrar informação já registrada difere de evitar o registro desde o início.

Onde testar hoje

A função está em beta público no LangSmith Cloud. Além disso, a disponibilidade cobre as regiões de Estados Unidos, União Europeia e APAC no Google Cloud↳Google Cloud13 conteúdosPrograma da Google Cloud no Brasil projeta formar de forma gratuita 30 mil universitáriosDev (Back & Front) · mar 2026Google Cloud OnBoard capacita estudantes e desenvolvedores de TIGestão Dev & TI · mai 2019Desenvolvedores poderão participar de treinamento gratuito do Google CloudGestão Dev & TI · mai 2019Ver tudo em DevSecOps →.

O acesso sai sem custo adicional. Administradores da organização ativam o recurso nas configurações.

Acompanhe nosso perfil no Instagram!