Netflix abre o código de ferramentas para análise de dados em Hadoop

A equipe de dados do Netflix está abrindo o código de algumas ferramentas que o serviço usa para analisar dados armazenados no Hadoop. Chamado de Surus, o projeto é focado em funções definidas pelo usuário (UDF, na sigla em inglês) que o Netflix construiu para o Apache Hive e o Pig, dois frameworks de alto nível que facilitam a pesquisa por dados no Hadoop e a escrita de trabalhos de processamento de dados.

A primeira ferramenta que o Netflix liberou como parte do Surus foi uma função do Pig, chamada de ScorePMML, que marca modelos preditivos em larga escala. Dentro do Netflix, a meta era padronizar o processo de pegar um modelo que alguém já havia construído usando R, por exemplo, e então testado em um pequeno conjunto de dados para, em seguida, rodá-lo contra um conjunto muito mais amplo de dados no Hadoop, e possivelmente implementá-lo como um modelo de produção.

Segundo um post do Netflix introduzindo Surus e ScorePMML, futuros releases incluirão ferramentas para tarefas como reconhecimento de padrões e detecção de eventos atípicos.

Com informações de Gigaom