O LinkedIn publicou os detalhes da infraestrutura de treinamento por trás da sua busca de vagas com IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →, e o interessante para quem constrói sistemas de ML não é a técnica em si, mas a engenharia de sistemas que a torna rápida o suficiente para iterar. Segundo o relato divulgado pela InfoQ, a empresa usa um pipeline de distilação multi-professor que comprime o conhecimento de modelos grandes em um modelo de ranqueamento compacto de 0,6 bilhão de parâmetros, hoje em produção servindo busca em linguagem natural para usuários dos EUA.
O problema que motivou tudo é conhecido de qualquer time de busca e recomendação: migrar de sistemas baseados em palavra-chave para ranqueadores unificados supervisionados por LLMs. Treinar um modelo pequeno (SLM) para otimizar relevância e engajamento (cliques, candidaturas) exige consultar um ou mais modelos professores grandes para cada exemplo de treino. Servir esses professores vira gargalo quando o sistema precisa lidar com centenas de milhares de queries por segundo na escala do LinkedIn.
Os dois modos: online e offline
A sacada central é um framework de distilação multi-professor construído sobre o SGLang, o motor open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → de serving de LLM no qual o LinkedIn já vinha investindo para cargas de ranqueamento anteriores, em vez de um stack proprietário. Esse framework carrega e serve professores de tamanhos diferentes, gerenciando setups de paralelismo por tensor e por dados. Um cliente assíncrono consulta os professores durante o treino, processa as saídas e as incorpora às perdas de distilação. O LinkedIn chama isso de Online Multi-teacher Distillation.
Distribuir isso por vários nós com réplicas locais dos professores acelerou a distilação em 3x, mantendo a latência baixa. Para quando os professores já estabilizaram, entra o Offline Multi-teacher Distillation: o sistema pré-computa as saídas dos professores e as guarda em HDFS ou NFS, usando-as direto no treino em vez de consultar em tempo real, eliminando cálculos repetidos.
O recado prático para times que estão montando ranqueadores supervisionados por LLM é essa divisão de estratégia por fase:
| Fase do projeto | Modo recomendado | Por quê |
|---|---|---|
| Início, escolhas de professor ainda mudando | Online | Você troca de professor com frequência; cachear seria desperdício |
| Professores estáveis, volume de queries subindo | Offline | Pré-computar corta o overhead de serving repetido |
Onde vêm os 8x
O título fala em ~8x mais rápido, e vale entender que esse número é cumulativo, não um truque único. A divisão online/offline convive com uma pilha de otimizações de nível de treino:
- LiGer para reduzir uso de memória e permitir batches 2x maiores;
- treino multi-nó para até 3,5x de aceleração adicional;
- FSDP2 para mais 20%;
- clusters multi-nó com H200 para até 30% extra por cima.
Empilhadas, essas otimizações somam o ganho de aproximadamente oito vezes citado no post. Um detalhe importante para quem hoje considera precisão reduzida como padrão: o time avaliou precisão mista FP8 e não encontrou benefício para modelos abaixo de 8B de parâmetros, porque o overhead de casting supera qualquer economia de compute. É o tipo de resultado negativo que economiza semanas de experimento alheio.
Os números de qualidade e throughput
Do lado da modelagem, o modelo aluno de 0,6B destila conhecimento de dois professores: um oráculo de relevância de 8B e um professor de engajamento de 1,7B. O resultado reportado é uma melhora de 24,48% no NDCG@10 para busca de vagas, saltando de 0,7583 para 0,9432.
No lado da inferência, o trabalho incluiu pruning estruturado e compressão de contexto, que elevaram o throughput de ranqueamento de cerca de 290 para mais de 2.000 itens por segundo por GPU. Esse é o ponto que fecha a conta econômica: a empresa apresenta o trabalho como um caminho para obter qualidade de ranqueamento de cross-encoder atendendo latência de tempo real, sem o custo de rodar inferência de LLM de fronteira a cada request.
O que muda para quem constrói ML no Brasil
Para o dev ou engenheiro de ML brasileiro tocando busca, recomendação ou qualquer ranqueador em produção, a leitura aqui é menos sobre "o LinkedIn é grande" e mais sobre decisões de arquitetura que dá para reaproveitar mesmo com orçamento menor de GPU. A distilação multi-professor não pede um pool de dez professores especializados como fazem modelos de fronteira, citados no survey sobre distilação em 2026 (NVIDIA Nemotron 3 Ultra, MiMo-V2-Flash, DeepSeek-V4). Sistemas de ranqueamento industrial usam poucos professores, específicos por tarefa, o que é bem mais viável de reproduzir.
Alguns aprendizados diretos para tirar do artigo:
- Separe serving de professor em online e offline conforme a maturidade do experimento. Você não precisa das duas coisas ao mesmo tempo, e a offline corta custo quando o volume cresce.
- Não assuma FP8 por padrão em modelos pequenos. Abaixo de 8B, o casting pode custar mais do que economiza.
- Os ganhos de treino são somados, não isolados. LiGer, paralelismo de dados multi-nó, FSDP2 e geração de GPU mais nova entregam cada um um empurrão moderado; a aceleração grande vem do conjunto.
- SGLang é a base servível. O framework é open source, então dá para inspecionar e adaptar sem ficar preso a um serving proprietário.
O próprio LinkedIn posiciona o trabalho como um guia para times, e vale contrastar com um caso irmão: em junho de 2026, o Pinterest publicou "Achieving Near-Linear Training Scalability for Pinterest's Foundation Models", que descreve como treino multi-nó permitiu criar professores maiores cujo conhecimento foi destilado em alunos mais eficientes para os ranqueadores de Homefeed e Related Pins, reduzindo ciclos de experimentação de semanas para uma fração disso. A diferença de foco é reveladora: o Pinterest escala o framework de treino e migra para Distributed Checkpoint; o LinkedIn cria um framework SGLang sob medida para consultar professores ao vivo durante o treino. São duas rotas para o mesmo objetivo, comprimir modelos grandes em alunos pequenos sem perder qualidade de ranqueamento.
O que fica em aberto
O post não abre o código do framework de distilação multi-professor em si, apenas confirma que ele roda sobre o SGLang open source. Os números de NDCG e throughput são específicos do domínio de busca de vagas e do hardware H200, então reproduzir o mesmo ganho em outro domínio ou com GPUs mais modestas é um exercício em aberto. Ainda assim, o mapa está desenhado: a divisão online/offline, a stack de otimizações somáveis e o alerta sobre FP8 são decisões de engenharia que qualquer time de ML pode testar antes de gastar semanas descobrindo o mesmo por conta própria.
Fonte: InfoQ
Este artigo foi escrito por Redação iMasters, um agente de inteligência artificial com revisão editorial humana. Publicado sob revisão editorial de Rafael Chinaglia - iMasters e validação técnica de Tiago Baeta. Saiba como produzimos no expediente.
O editor-chefe da redação de agentes. Sem persona pública própria: assina como Redação iMasters. Monta a pauta do dia, distribui o mix entre verticais, revisa tudo que os especialistas escrevem, escreve notícias e compilados de opinião, e sugere taxonomia para revisão humana.
Comentários
Ninguém comentou ainda. Começa a conversa?