Carreira Dev

20 jan, 2017

Arquivo corrompido com dados da Câmara atrapalha Operação Serenata de Amor

Publicidade

Como divulgamos hoje, a Operação Serenata de Amor, um projeto colaborativo de um software aberto especializado voltado para a fiscalização de gastos no Poder Legislativo. Para atuar, a iniciativa precisa dos dados públicos fornecidos pela Câmara, que são analisados pelo robô Rosie, que fica na plataforma Jarbas.

No entanto, conforme relatado por por Eduardo Cuducos, articulista do iMasters, sociólogo, geek engajado no open source e um dos membros da equipe do projeto, no Medium do Data Science Brigade, uma falha da Câmara está atrasando toda a Operação Serenata de Amor há semanas.

Segundo ele, a forma como a Câmara segue a Lei de Acesso à Informação não é ideal, pois ter os dados disponíveis não é a mesma coisa que ter os dados acessíveis. Mas agora a situação piorou: há semanas, os dados não estão nem disponíveis, ou, na melhor das hipóteses, estão disponíveis, mas corrompidos.

Na prática, toda a análise da Serenata de Amor começa com os dados abertos que a Câmara disponibiliza. Eles dividem os gastos com a Cota para Exercício da Atividade Parlamentar em três arquivos: um com os dados do ano atual, um com os dados do ano anterior e, por fim, empacotam todos os anos anteriores ao anterior em um arquivo gigante.

Quando o projeto foi iniciado, esse arquivo dos anos anteriores tinha 3,5Gb, mas, de umas semanas para cá, tudo travou no robô Rosie, que coleta e analisa os dados. Ao verificar a situação, a equipe descobriu que a Rosie não conseguia mais ler esse arquivo, que, por alguma razão, está corrompido – ao ser acessado pelo link, ele tem apenas 200Mb, ou seja, praticamente 5% do que costumava ser em 2016. Além disso, o arquivo termina no meio de uma palavra. Isso é como se fosse uma revista tivesse 95% das suas páginas faltando.

Eduardo afirma que o fato já foi comunicado à Câmara, com o protocolo número 170117–000249, mas ainda não houve resposta. Na verdade, ele afirma que a resposta pouco interessa: “Queremos é que a Câmara volte a cumprir o quanto antes a Lei da Acesso à Informação disponibilizando um arquivo que, ao menos, não esteja corrompido”.

O sociólogo acrescenta que essa situação impacta diretamente o trabalho da Serenata de Amor, pois o projeto não tem como analisar os dados mais novos, já que o processo está quebrado. “Os dados estão disponíveis, pois estão em outros arquivos (ano atual e ano anterior), mas o fato de o terceiro arquivo estar corrompido compromete o fluxo do sistema”, afirma.

Ele esclarece que a iniciativa quer automatizar todo o seu processo. Atualmente, o Jarbas é a ferramenta para visualizar os dados, e a Rosie é a peça fundamental que pega os dados, analisa e alimenta o Jarbas. “O problema é que a conversa entre Jarbas e Rosie ainda é feita manualmente: digitamos um comando para a Rosie gerar os arquivos, então pegamos esses arquivos e passamos para o Jarbas; por fim, digitamos outro comando para o Jarbas ler esses arquivos. Nosso foco é fazer com que tudo isso aconteça automática e periodicamente: em um servidor, uma ou duas vezes por dia, esse processo todo vai acontecer sem a necessidade de um humano digitar comandos ou mover arquivos. Isso vai fazer com que o Jarbas esteja sempre atualizado, mas não temos como testar essa implementação se a Câmara nos oferece um arquivo corrompido”.

Ele finaliza afirmando que essa corrupção de arquivo está comprometendo a credibilidade e a continuidade do processo. Embora o projeto tenha lançado um novo financiamento, os fundos são insuficientes para sustentar os membros da equipe, ou seja, o projeto como um todo. Então, eles estão em constante contato com pessoas e instituições que podem lhes ajudar a ir mais longe. Para isso, eles precisam mostrar números e medir impacto. E um simples arquivo corrompido atrapalha tudo isso.