A empresa detalhou a distilação multi-professor que comprime modelos grandes em um ranqueador de 0,6B parâmetros, com receita replicável em produção.
O LinkedIn publicou os detalhes da infraestrutura de treinamento por trás da sua busca de vagas com IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →, e o interessante para quem constrói sistemas de ML não é a técnica em si, mas a engenharia de sistemas que a torna rápida o suficiente para iterar. Segundo o relato divulgado pela InfoQ, a empresa usa um pipeline de distilação multi-professor que comprime o conhecimento de modelos grandes em um modelo de ranqueamento compacto de 0,6 bilhão de parâmetros, hoje em produção servindo busca em linguagem natural para usuários dos EUA.
O problema que motivou tudo é conhecido de qualquer time de busca e recomendação: migrar de sistemas baseados em palavra-chave para ranqueadores unificados supervisionados por LLMs. Treinar um modelo pequeno (SLM) para otimizar relevância e engajamento (cliques, candidaturas) exige consultar um ou mais modelos professores grandes para cada exemplo de treino. Servir esses professores vira gargalo quando o sistema precisa lidar com centenas de milhares de queries por segundo na escala do LinkedIn.
Os dois modos: online e offline
A sacada central é um framework de distilação multi-professor construído sobre o SGLang, o motor open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → de serving de LLM no qual o LinkedIn já vinha investindo para cargas de ranqueamento anteriores, em vez de um stack proprietário. Esse framework carrega e serve professores de tamanhos diferentes, gerenciando setups de paralelismo por tensor e por dados. Um cliente assíncrono consulta os professores durante o treino, processa as saídas e as incorpora às perdas de distilação. O LinkedIn chama isso de Online Multi-teacher Distillation.
Distribuir isso por vários nós com réplicas locais dos professores acelerou a distilação em 3x, mantendo a latência baixa. Para quando os professores já estabilizaram, entra o Offline Multi-teacher Distillation: o sistema pré-computa as saídas dos professores e as guarda em HDFS ou NFS, usando-as direto no treino em vez de consultar em tempo real, eliminando cálculos repetidos.
O recado prático para times que estão montando ranqueadores supervisionados por LLM é essa divisão de estratégia por fase:
| Fase do projeto | Modo recomendado | Por quê |
|---|---|---|
| Início, escolhas de professor ainda mudando | Online | Você troca de professor com frequência; cachear seria desperdício |
| Professores estáveis, volume de queries subindo | Offline | Pré-computar corta o overhead de serving repetido |
Onde vêm os 8x
O título fala em ~8x mais rápido, e vale entender que esse número é cumulativo, não um truque único. A divisão online/offline convive com uma pilha de otimizações de nível de treino:
- LiGer para reduzir uso de memória e permitir batches 2x maiores;
- treino multi-nó para até 3,5x de aceleração adicional;
- FSDP2 para mais 20%;
- clusters multi-nó com H200 para até 30% extra por cima.
Empilhadas, essas otimizações somam o ganho de aproximadamente oito vezes citado no post. Um detalhe importante para quem hoje considera precisão reduzida como padrão: o time avaliou precisão mista FP8 e não encontrou benefício para modelos abaixo de 8B de parâmetros, porque o overhead de casting supera qualquer economia de compute. É o tipo de resultado negativo que economiza semanas de experimento alheio.
Os números de qualidade e throughput
Do lado da modelagem, o modelo aluno de 0,6B destila conhecimento de dois professores: um oráculo de relevância de 8B e um professor de engajamento de 1,7B. O resultado reportado é uma melhora de 24,48% no NDCG@10 para busca de vagas, saltando de 0,7583 para 0,9432.
No lado da inferência, o trabalho incluiu pruning estruturado e compressão de contexto, que elevaram o throughput de ranqueamento de cerca de 290 para mais de 2.000 itens por segundo por GPU. Esse é o ponto que fecha a conta econômica: a empresa apresenta o trabalho como um caminho para obter qualidade de ranqueamento de cross-encoder atendendo latência de tempo real, sem o custo de rodar inferência de LLM de fronteira a cada request.
O que muda para quem constrói ML no Brasil
Para o dev ou engenheiro de ML brasileiro tocando busca, recomendação ou qualquer ranqueador em produção, a leitura aqui é menos sobre "o LinkedIn é grande" e mais sobre decisões de arquitetura que dá para reaproveitar mesmo com orçamento menor de GPU. A distilação multi-professor não pede um pool de dez professores especializados como fazem modelos de fronteira, citados no survey sobre distilação em 2026 (NVIDIA Nemotron 3 Ultra, MiMo-V2-Flash, DeepSeek-V4). Sistemas de ranqueamento industrial usam poucos professores, específicos por tarefa, o que é bem mais viável de reproduzir.
Alguns aprendizados diretos para tirar do artigo:
- Separe serving de professor em online e offline conforme a maturidade do experimento. Você não precisa das duas coisas ao mesmo tempo, e a offline corta custo quando o volume cresce.
- Não assuma FP8 por padrão em modelos pequenos. Abaixo de 8B, o casting pode custar mais do que economiza.
- Os ganhos de treino são somados, não isolados. LiGer, paralelismo de dados multi-nó, FSDP2 e geração de GPU mais nova entregam cada um um empurrão moderado; a aceleração grande vem do conjunto.
- SGLang é a base servível. O framework é open source, então dá para inspecionar e adaptar sem ficar preso a um serving proprietário.
O próprio LinkedIn posiciona o trabalho como um guia para times, e vale contrastar com um caso irmão: em junho de 2026, o Pinterest publicou "Achieving Near-Linear Training Scalability for Pinterest's Foundation Models", que descreve como treino multi-nó permitiu criar professores maiores cujo conhecimento foi destilado em alunos mais eficientes para os ranqueadores de Homefeed e Related Pins, reduzindo ciclos de experimentação de semanas para uma fração disso. A diferença de foco é reveladora: o Pinterest escala o framework de treino e migra para Distributed Checkpoint; o LinkedIn cria um framework SGLang sob medida para consultar professores ao vivo durante o treino. São duas rotas para o mesmo objetivo, comprimir modelos grandes em alunos pequenos sem perder qualidade de ranqueamento.
O que fica em aberto
O post não abre o código do framework de distilação multi-professor em si, apenas confirma que ele roda sobre o SGLang open source. Os números de NDCG e throughput são específicos do domínio de busca de vagas e do hardware H200, então reproduzir o mesmo ganho em outro domínio ou com GPUs mais modestas é um exercício em aberto. Ainda assim, o mapa está desenhado: a divisão online/offline, a stack de otimizações somáveis e o alerta sobre FP8 são decisões de engenharia que qualquer time de ML pode testar antes de gastar semanas descobrindo o mesmo por conta própria.
Fonte: InfoQ
Este artigo foi escrito por Redação iMasters. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.
Spotify detalha arquitetura multiagente que já gera a maioria dos criativos de anúncios
Na QCon AI, um engenheiro da Spotify Ads mostrou como a plataforma Ads AI usa agentes especializados, construídos com Google ADK Java, para gerar scripts e segmentação de campanhas publicitárias em produção.
