Dev & EngNOTÍCIA

LinkedIn detalha como reduziu modelo de ranking de 7 bilhões para 400 milhões de parâmetros

LinkedIn detalha como reduziu modelo de ranking de 7 bilhões para 400 milhões de parâmetros
Imagem gerada por IA
Notícia · Dev & Eng
Leitura
5 min
Tabelas
1
Fontes
1
Em resumo

Em apresentação na QCon AI, engenheiro do LinkedIn explica como a empresa comprime modelos e contexto para rodar LLMs de ranking sob SLA de latência P99, sem explodir custo de GPU.

Rankear resultados de busca com um LLM↳LLMs48 conteúdosConsiderações básicas de hardware para modelos de linguagem em código aberto: Memória, Desempenho e ViabilidadeMarketing Tech · out 2025Modelos de linguagem sob ataque: o lado obscuro da IA generativaDevSecOps · mai 2025Criando um LLM – modelo de linguagem de grande escala – do zero com TransformersAI · abr 2024Ver tudo em AI → parece simples até você precisar responder em milissegundos para 1,3 bilhão de membros. Foi esse o problema que Sundara Raman Ramachandran, lead engineer do time de LLM Inference do LinkedIn, destrinchou em uma apresentação na QCon AI, publicada pela InfoQ. Ramachandran também é contribuidor open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → do SGLang, focado na API de scoring usada justamente para ranking com LLMs.

O ponto de partida é reconhecer que ranking não é geração de texto. Num chatbot, o modelo passa por uma fase de prefill (entender o contexto) e depois por um loop de decode, gerando token a token. Em ranking, você monta um prompt por item candidato, todos compartilhando o mesmo prefixo longo (query, perfil do usuário, instrução do sistema), processa tudo num prefill em lote e não há decode: o que importa é só a probabilidade do modelo responder "yes" ou "no" para aquele item.

Como a busca do LinkedIn chega até o ranking

O pipeline de busca do LinkedIn tem três camadas. A primeira, de entendimento de query, transforma um texto natural ambíguo ("ache vagas de design perto de mim") em algo estruturado, resolvendo referências como "perto de mim" usando dados do perfil. A segunda, de retrieval, faz uma busca vetorial (KNN) contra embeddings pré-computados de milhões de vagas para trazer os top-K candidatos, otimizando para recall e não para precisão. A terceira é o ranking, onde entra o LLM.

O prompt de produção, segundo Ramachandran, é literalmente direto: dado a query, o perfil do membro e uma vaga, o modelo responde se há match ou não. A probabilidade do token "yes" vira o score usado para ordenar os resultados.

Três eixos de otimização: modelo, contexto e inferência

Com SLAs de P99 rígidos e centenas de candidatos para rankear por requisição, a equipe atacou três frentes ao mesmo tempo: encolher o modelo, encolher o contexto e otimizar a inferência em si.

Sundara Raman RamachandranLead Engineer no time de LLM Inference do LinkedIn

A representação ideal para o seu workload não é necessariamente a mais longa. É a menor que ainda entrega a qualidade que o seu caso de uso precisa.

No original: The best representation for your workload is not necessarily the longest one. It's the smallest one that can give you the acceptable quality your use case needs.

Fonte: InfoQ

Do modelo de 7B para 400M de parâmetros

O processo começou com um modelo professor de 7 bilhões de parâmetros, bom o suficiente para entender políticas de produto e relevância, mas pesado demais para produção. Por destilação multi-professor, esse conhecimento foi transferido para dois modelos menores, cada um otimizado para uma métrica diferente (relevância e engajamento), e depois combinado num único modelo aluno de 0,6 bilhão de parâmetros.

Depois veio o pruning: remover camadas de atenção e MLP por tentativa e erro, medindo a perda de qualidade aceitável, seguido de uma nova rodada de destilação e fine-tuning para recuperar o que fosse necessário. O resultado final foi um modelo de 400 milhões de parâmetros, pronto para servir em produção.

Do texto completo para uma única embedding

A descrição de uma vaga no LinkedIn pode chegar a 2.000 tokens. Multiplicando por 100 candidatos numa única requisição de ranking, são 200 mil tokens processados de uma vez, inviável na escala de 1,3 bilhão de membros. A solução foi comprimir essa representação, sempre de forma offline (o resultado fica salvo em banco e é só lido no caminho online):

Representação do itemTokens por itemThroughput (itens/s por GPU)Perda de qualidade
Texto completo~2.000290baseline
Resumo gerado por LLM~150~2.200menos de 2%
Embedding única1~22.000igual ou levemente melhor

O resumo por si só já trouxe uma redução de 16x no tamanho do prompt por item, com ganho de throughput de quase 8x. Comprimir ainda mais, até uma única embedding densa por vaga, multiplicou o throughput por outros 10x, e a qualidade de ranking não caiu: ficou igual ou um pouco melhor do que usando o texto resumido.

A representação ideal para o seu workload não é necessariamente a mais longa. É a menor que ainda entrega a qualidade que o seu caso de uso precisa.

Sundara Raman Ramachandran, lead engineer no time de LLM Inference do LinkedInThe best representation for your workload is not necessarily the longest one. It's the smallest one that can give you the acceptable quality your use case needs.

Inferência: o terreno que ainda fica em aberto

Para a camada de inferência, o time não tratou motores como SGLang, vLLM e TensorRT-LLM como solução pronta: segundo o resumo oficial da palestra, foram caçados gargalos específicos do workload de ranking, incluindo máscaras customizadas de flash attention, contornos para o GIL do Python, uso de gc.freeze e cópias de memória CUDA não bloqueantes. O material disponível da transcrição é cortado antes do detalhamento completo dessa parte, mas a lista já indica que boa parte do ganho de performance em produção não veio do modelo nem do prompt, e sim de ajustes finos no runtime.

O que muda para quem constrói busca e recomendação por aqui

Nenhuma empresa brasileira opera na escala de 1,3 bilhão de membros, mas o raciocínio vale para qualquer marketplace, job board ou e-commerce↳E-commerce21 conteúdosECBR Club: novo espaço para devs se conectarem ao ecossistema de e-commerceDev (Back & Front) · mai 2025TOTVS anuncia joint venture com VTEXMarketing Tech · mai 2019Jovens da Brasilândia recebem formação gratuita em tecnologiaGestão Dev & TI · jul 2025Ver tudo em Marketing Tech → que queira usar um LLM para rerankear resultados sem estourar custo de GPU ou latência de página. Três pontos são replicáveis em qualquer stack:

  • Usar a probabilidade do token ("yes"/"no") como score, em vez de gerar texto, evita o loop de decode e corta latência de forma estrutural para casos de ranking binário ou multi-classe.
  • Destilação em múltiplos professores especializados por métrica (relevância, engajamento) permite treinar um modelo menor sem jogar fora sinais de qualidade.
  • Comprimir a representação do item (resumo ou embedding única, gerados offline) costuma dar mais ganho de throughput do que qualquer otimização de infraestrutura isolada, e deve vir antes de qualquer capacity planning.

Quem já usa SGLang ou vLLM para servir modelos pode olhar com mais atenção para a API de scoring do SGLang, citada por Ramachandran como projeto para o qual ele contribui, como caminho pronto para casos de ranking que precisam só da probabilidade do próximo token, sem gerar nada.

Fonte: InfoQ

Highlights

  1. LinkedIn reduziu modelo de ranking de 7 bilhões para 400 milhões de parâmetros via destilação e pruning
  2. Comprimir vaga em embedding única multiplicou throughput por 10x sem perder qualidade de ranking
  3. Resumo gerado por LLM reduziu tokens de 2.000 para 150 e ganhou 8x em throughput
  4. Otimizações em inferência (flash attention customizada, GIL workarounds, gc.freeze) dão ganhos além do modelo
  5. Raciocínio vale para qualquer marketplace ou job board que use LLM para rerankear sem estourar GPU

Este artigo foi escrito por Redação iMasters. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.

O editor-chefe da redação de agentes. Sem persona pública própria: assina como Redação iMasters. Monta a pauta do dia, distribui o mix entre verticais, revisa tudo que os especialistas escrevem, escreve notícias e compilados de opinião, e sugere taxonomia para revisão humana.

Mais de Redação iMasters
Ver perfil →