Kubeflow avança rumo à graduação na CNCF com novas capacidades de IA

O projeto Kubeflow anunciou uma leva de atualizações técnicas voltadas a treino distribuído de IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI → e computação de alto desempenho (HPC) sobre Kubernetes↳Kubernetes18 conteúdosGerenciamento de infraestrutura multicloud com Kubernetes proporciona otimização e economiaDevSecOps · set 2021Azure Kubernetes Services – AKS: referências gratuitas e dicas para solução de problemas comunsDevSecOps · abr 2019Kubernetes em produção: o que ninguém te conta e você aprende tarde demaisDev (Back & Front) · abr 2026Ver tudo em DevSecOps →, segundo reportagem da InfoQ. O pacote chega no momento em que o projeto se aproxima da graduação na Cloud Native Computing Foundation (CNCF), o nível mais alto de maturidade da fundação, ocupado por projetos como Kubernetes, Prometheus e Argo.

A graduação na CNCF não é apenas um selo simbólico: sinaliza que o projeto atingiu adoção ampla, governança madura e processos de segurança auditados. Para times que precisam justificar escolhas de stack internamente, um projeto graduado costuma ser um argumento mais fácil de defender do que um em estágio incubating.

Do notebook à produção com o Kale 2.0

O destaque para quem trabalha com data science é o Kale 2.0. A ferramenta converte notebooks Jupyter anotados em pipelines prontos para produção sem exigir que o cientista de dados↳Engenharia de dados43 conteúdosResolvendo desafios de Big Data com Ciência de Dados na UberData · abr 2019Análise de dados com Python e tabelas dinâmicas com PandasData · mai 2019Ferramentas para análise de dados são cada vez mais fundamentais para auxiliar pessoas desenvolvedorasData · jun 2024Ver tudo em Data → escreva código do SDK do Kubeflow Pipelines (KFP). A nova versão passou a suportar a arquitetura do Kubeflow Pipelines v2.

Na prática, isso encurta o caminho entre o experimento no notebook e o pipeline rodando em cluster, eliminando a etapa manual de reescrever a lógica em código de orquestração. É justamente o ponto de atrito que costuma travar equipes de ML no Brasil, onde o cientista de dados e o engenheiro de plataforma frequentemente são a mesma pessoa (ou um time enxuto).

Na mesma linha, o Kubeflow prepara o Notebooks v2, uma reescrita do zero com arquitetura declarativa baseada em CRDs (Custom Resource Definitions). A proposta dá a times de plataforma controle via templates sobre ambientes interativos como JupyterLab e VS Code no Kubernetes. Já há uma release alpha disponível para testes antes da versão estável.

Spark nativo e blueprints para fine-tuning de LLMs

O SDK do Kubeflow ganhou suporte nativo ao Apache Spark, permitindo rodar cargas de processamento de dados sobre Kubernetes sem escrever configuração de infraestrutura na mão. O SDK oferece uma interface Python unificada que cobre processamento de dados, orquestração de pipelines, treino distribuído e ajuste de hiperparâmetros, além de trazer blueprints embutidos para fine-tuning de grandes modelos de linguagem.

Atualizações planejadas incluem instrumentação com OpenTelemetry e integração com MLflow tracking, um passo importante para observabilidade ao longo de todo o ciclo de vida de IA, algo ainda subestimado em muitos pipelines em produção.

HPC entra no Kubernetes com o novo Trainer

O novo Kubeflow Trainer foi desenhado para unificar treino distribuído de IA e cargas de HPC através de suporte a MPI (Message Passing Interface). Andrey Velichkevich escreveu no LinkedIn que o Trainer agora integra oficialmente o Flux Framework, permitindo rodar simulações HPC de escala massiva ao lado de jobs de treino de IA em um único ambiente Kubernetes, usando o PMIx (Process Management Interface Exascale) para coordenação.

"Este é um passo enorme rumo à adoção de tecnologias de HPC em infraestrutura Cloud Native, o que é essencial para cargas modernas de GenAI", afirmou Velichkevich.

O desenvolvedor Luca Berton reforçou, também no LinkedIn, que Kubernetes e tecnologias cloud native estão virando camada fundacional para IA em produção. Ele citou o caso da Subaru Corporation, que venceu um concurso de case study da CNCF ao usar Kubernetes e Argo CD para reduzir o tempo de pull de imagens de contêiner de IA maiores que 30 GB de três horas para apenas três minutos. É o tipo de ganho concreto que justifica o investimento em plataforma para quem lida com modelos grandes.

Model Registry vira Hub, e KServe ganha CRD para LLM

Houve mexidas nos componentes centrais. O Model Registry foi renomeado para Hub, refletindo um escopo maior que agora inclui um Model Catalog e um MCP Catalog, permitindo buscar e implantar servidores MCP (Model Context Protocol) usando OCI como padrão de armazenamento de modelos.

O KServe introduziu o CRD LLMInferenceService, transformando o serving de LLMs em primitiva de plataforma de primeira classe. A atualização suporta inferência distribuída em múltiplos nós e expõe APIs compatíveis com o padrão da OpenAI, o que facilita plugar o serving em ferramentas e clientes que já falam esse dialeto.

Distribuição 26.03 mira escala e segurança

A release Kubeflow Community Distribution 26.03 foca em escalabilidade e segurança. Está oficialmente validada para Kubernetes 1.34 e versões superiores, reforça os defaults de multi-tenant e implementa compatibilidade com as políticas Restricted dos Pod Security Standards, endurecendo a conformidade de segurança. São mudanças que ajudam organizações a rodar Kubeflow em escala com mais confiabilidade, ponto sensível para quem opera em setores regulados como financeiro e saúde.

No lado da comunidade, o projeto lançou um Outreach Program e um ML Experience Working Group, iniciativas voltadas a baixar a barreira de entrada, refinar interfaces e oferecer mentoria a contribuidores. A comunidade também preparou um evento virtual de showcase em 19 de agosto para demonstrar casos reais de MLOps.

O que fica em aberto

A InfoQ não trouxe uma data confirmada para a graduação na CNCF, apenas que o projeto está "rapidamente avançando" nessa direção, segundo o blog da fundação. Recursos como o Notebooks v2 e as integrações de observabilidade (OpenTelemetry, MLflow) ainda estão em alpha ou no roadmap, então quem for adotar em produção precisa avaliar o estágio de maturidade de cada componente antes de apostar tudo. Para os times brasileiros que já rodam Kubernetes e buscam consolidar o pipeline de ML sobre um stack open-source sem lock-in de nuvem, é um bom momento para acompanhar de perto.

Fonte: InfoQ