Custo de IA: por que converter PDF em markdown virou vilão do orçamento de tokens

Simon Willison destacou em seu blog um trecho de uma reportagem da 404 Media (de 24 de junho) que rendeu um bom aprendizado sobre onde o dinheiro de IA realmente vai. A matéria cita áudios internos supostamente vazados da Accenture, onde executivos discutem quem, dentro da empresa, mais consome tokens em ferramentas agênticas.

A surpresa: não são os engenheiros. Segundo Justice Kwak, líder de estratégia de IA agêntica da Accenture, os dados internos mostram que "não são nossos engenheiros que estão dirigindo o consumo de tokens. São muitos dos não engenheiros". E aí vem a parte que interessa a quem constrói produto: um dos maiores "devoradores de tokens", nas palavras de outro executivo, Stuart Henderson, é justamente transformar PDFs em markdown.

Por que PDF vira markdown, e por que isso custa caro

O fluxo é comum em pipelines de RAG: você tem documentos em PDF (contratos, manuais, relatórios) e precisa extrair o texto para indexar ou passar como contexto ao modelo. O problema é o como. Segundo o relato citado por Willison, uma abordagem cara é converter cada página do PDF em imagem e depois pedir a um modelo multimodal que "leia" essa imagem e devolva markdown.

Esse caminho detona o orçamento por dois motivos:

• Imagens custam muitos tokens. Uma única página renderizada em resolução alta pode consumir da ordem de centenas a mais de mil tokens só de entrada, dependendo do modelo. Multiplique por um relatório de 80 páginas e por milhares de documentos.
• É trabalho repetido. Toda vez que alguém reprocessa o mesmo PDF, paga de novo o mesmo custo de OCR via LLM, sem cache.

Willison resume o pano de fundo com sua ironia habitual: talvez, se a Accenture descobrir que "PDFs são um péssimo meio de comunicar informação", ela consiga espalhar essa mensagem para o resto do mundo corporativo. A provocação tem fundo técnico: PDF é um formato de layout, pensado para impressão, não para leitura por máquina.

O que isso ensina para quem constrói no Brasil

O episódio é anedótico, mas o padrão é real e vale como checklist antes de mandar tudo para o modelo mais caro.

1. Extraia texto sem LLM sempre que possível. A maioria dos PDFs "nativos" (gerados por software, não escaneados) já tem a camada de texto. Bibliotecas como pdfplumber, PyMuPDF (o pacote pymupdf) ou pdftotext extraem esse conteúdo por praticamente zero custo de token. O modelo multimodal só deveria entrar em cena quando o PDF é imagem escaneada e nada mais funciona.

import pymupdf  # pip install pymupdf

doc = pymupdf.open("relatorio.pdf")
texto = "\n".join(page.get_text() for page in doc)
# custo de tokens: zero. Só depois isso vai pro LLM (se precisar).

2. Reserve o multimodal para o que ele resolve. Tabelas complexas, formulários e documentos escaneados justificam OCR via modelo. Aí vale medir: quantos tokens por página, quantas páginas, quantas vezes por mês. Sem essa conta, o custo é invisível até a fatura chegar.

3. Cacheie a etapa de extração. O ponto que a fala da Accenture escancara é que não engenheiros reprocessam os mesmos documentos. Guarde o markdown/texto extraído (num bucket, no Postgres, no Supabase Storage) e reaproveite. Extração deveria ser feita uma vez por documento, não uma vez por consulta.

4. Separe quem consome do que consome. Se o gasto vem de usuários finais rodando conversões pesadas por conta própria, o gargalo é de produto, não de modelo. Uma UI que já entrega o texto pré-processado evita que cada pessoa dispare o pipeline caro.

O trade-off honesto

Extração barata via bibliotecas erra em layouts bagunçados: colunas, cabeçalhos e tabelas podem sair embaralhados. O caminho via modelo multimodal costuma entregar markdown mais limpo. A decisão não é "nunca use multimodal", e sim: use-o de forma seletiva, com métrica de custo por documento e cache agressivo.

O recado que fica da história comentada por Willison é menos sobre a Accenture e mais sobre um reflexo comum na adoção de IA: joga-se tudo no modelo mais capaz por conveniência, e o custo só aparece quando escala. Antes de trocar de modelo ou pedir desconto no provedor, vale auditar o pipeline. Boa parte do "tokenpocalypse" mora em etapas que nem precisavam de LLM.

Fonte: Simon Willison