Netflix abre código de sua ferramenta de coleta de dados de tráfego Suro

O Netflix abriu o código de uma ferramenta chamada Suro, que a empresa utiliza para direcionar dados de uma fonte um destino em tempo real. Mais do que apenas desempenhar um papel chave no pipeline de dados do Netflix, ela é um ótimo exemplo de um impressionante ecossistema de ferramentas open source↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → de análise de dados↳Engenharia de dados43 conteúdosResolvendo desafios de Big Data com Ciência de Dados na UberData · abr 2019Análise de dados com Python e tabelas dinâmicas com PandasData · mai 2019Ferramentas para análise de dados são cada vez mais fundamentais para auxiliar pessoas desenvolvedorasData · jun 2024Ver tudo em Data → em meio a tantas proprietárias.

Os vários aplicativos do Netflix geram bilhões de eventos diariamente, e a Suro coleta todos eles antes de passá-los para frente. A maioria vai para o Hadoop (via Amazon S3) para processamento batch, enquanto outros vão para Druid e ElasticSearch (via Apache Kafka) para análises em tempo real. De acordo com um post no blog do Netflix sobre a Suro, a empresa também está avaliando como pode usar mecanismos de processamento em tempo real, como Storm e Samza, para machine-learning em log de eventos.

A Suro, diz o post, é baseada no projeto Apache Chukwa e é semelhante ao Apache Flume (criado pelo Cloudera, fornecedor do Hadoop) e ao Scribe do Facebook.

Com informações de Gigaom