Twitter cria pacote para detectar anomalias

Para o Twitter, encontrar anomalias, como aumentos ou reduções drásticas, em um tempo determinado é importante para manter o serviço de microblogging funcionando sem problemas. Um aumento drástico em fotos compartilhadas pode significar um evento “trending”, enquanto uma queda repentina em postos pode representar uma falha em um dos serviços de back-end que precisa ser corrigida.

A fim de detectar essas anomalias, a equipe de engenharia do Twiter criou o pacote AnomalyDetection R, que eles lançaram recentemente como open source.

Encontrar essas anomalias é relativamente fácil quando elas são extremas o suficiente para ultrapassar a variação sazonal natural de um determinado período – o Twitter chama isso de “anomalias globais”. A principal questão é identificar “anomalias locais”: pequenas variações em uma trend sazonal, mas que não ultrapassou o alcance usual de valores.

O pacote AnomalyDetection utiliza o algoritmo Seasonal Hybrid ESD (S-H-ESD), que combina decomposição sazonal com métodos estatísticos robustos para identificar anomalias globais e locais. Ele também pode ser usado para detectar anomalias em dados não ordenados, mas, nesse caso, o conceito de “anomalias locais” não se aplica.

Mais informações sobre o pacote estão disponíveis neste link e ele pode ser instalado via GitHub.

Com informações de Revolutions