OpenAI marca textos do ChatGPT e troca de sinônimos derruba detecção

OpenAI anunciou em 5 de outubro a aplicação de marcas d’água em textos gerados pelo ChatGPT. A tecnologia se chama textGrain. O recurso começa restrito a conversas de usuários na União Europeia.

O funcionamento difere do que muita gente imagina. No entanto, em vez de caracteres invisíveis ou pontuação estranha, o sistema insere um sinal estatístico nas escolhas de palavras do modelo.

Dessa forma, a resposta mantém a mesma qualidade. Ainda assim, ela carrega pistas sobre a própria origem.

Onde o recurso entra em operação na OpenAI

Nas próximas semanas, a marcação se torna obrigatória nas respostas elegíveis do ChatGPT e do Codex. Esse escopo, porém, cobre apenas a União Europeia.

A empresa pretende usar esse alcance limitado como teste. Assim, dá para observar o comportamento do identificador entre usuários reais.

A expansão internacional segue sem previsão.

Para clientes da API, a lógica muda. Além disso a ativação é opcional e vale no mundo inteiro, nos modelos compatíveis.

Portanto, quem precisa atender legislação local consegue ligar o recurso por conta própria.

A Anthropic seguiu caminho parecido em agosto. Contudo, naquele caso, contudo, a marca d’água entrou de forma obrigatória e internacional nos modelos Claude recentes.

OpenAI afirma desempenho superior ao SynthID

A comparação apareceu no anúncio. Segundo a empresa, o textGrain igualou ou superou outras abordagens testadas.

Entre elas está o SynthID para texto, adotado pelo Google no Gemini.

Mesmo assim, veio uma ressalva importante. Além disso, bom desempenho em condições ideais deixa de garantir detecção confiável no uso cotidiano.

Os números que mostram a fragilidade do método

Aqui estão os dados que mais interessam a quem desenvolve.

O tamanho do texto pesa bastante. Trechos de 200 tokens foram detectados em apenas 80% dos casos.

Com 400 tokens, o índice sobe para 95%. Logo, textos curtos escapam com facilidade.

Conteúdo matemático também complica. A detecção nesse tipo de texto ficou substancialmente mais baixa.

A edição derruba o sinal de vez. Em trechos de 400 tokens, substituir 10% das palavras por sinônimos reduziu a detecção de cerca de 92% para 66%.

Com 25% dos termos trocados, o índice despencou para 17%.

Repare no que isso significa. Uma passada rápida de reescrita basta para apagar quase todo o rastro.

O que a marca d’água deixa de responder

A própria empresa listou os limites. A presença do sinal falha em medir a contribuição humana na construção do texto.

Ela também evita estabelecer posse ou responsabilidade sobre o conteúdo. Além disso, nada diz sobre quem foi o autor humano original.

Veracidade segue fora do alcance. O sinal falha em aferir se o conteúdo é verdadeiro, enganoso, prejudicial ou apresentado no contexto correto.

Existe ainda o caso inverso. A ausência da marca deixa de provar que o texto veio de uma pessoa.

O detector segue fechado ao público

Os detectores foram lançados no mesmo dia. O acesso, entretanto, exige inscrição em lista de espera.

Pesquisadores e organizações especializadas podem se candidatar. Cada pedido passa por avaliação da empresa.

A liberação pública ficou de fora por enquanto. O motivo citado envolve risco de mau uso da ferramenta.

O que isso muda para quem constrói produto

Primeiro, trate detecção como sinal fraco. Qualquer fluxo que puna com base nesse resultado vai gerar injustiça.

Segundo, cuidado com falso positivo em texto curto. Mensagem de commit, comentário e descrição de ticket caem bem abaixo de 200 tokens.

Terceiro, considere a opção na API. Mercados com exigência regulatória tendem a cobrar esse recurso em contrato.

Além disso, registre a procedência no seu próprio sistema. Metadado interno sobre origem do conteúdo resolve melhor que inferência estatística.

Por fim, acompanhe o padrão C2PA para texto. Procedência declarada e marca estatística atacam o problema de ângulos diferentes.

Acompanhe nosso perfil no Instagram!