Introdução
As empresas precisam de dados, as equipes precisam de dados e as leis cuidam dos dados.
Como inovar sem infringir as leis?
Em 2020 entrará em vigor a Lei Geral de Proteção de Dados, e prepare-se, porque ela vai mudar muito nosso modo de lidar e cuidar dos dados.
Para quem não sabe, a Lei Geral de Proteção de Dados tem como objetivo proteger os dados pessoais e sensíveis dos cidadãos brasileiros. Já falei sobre ela em outros artigos que eu lhes convido a ler.
Novos tempos chegaram e eu acho extremamente arriscado conversar sobre dados sem falar de DataOps, mas para adotar o DataOps é preciso estar disposto a mudar – talvez seus processos estabelecidos, conhecidos e adotados não façam mais sentido.
Será que após anos de trabalho você está preparado para mudar tudo? Ou, se você não possui nenhum processo, acha que DataOps é a solução dos seus problemas com dados?
É difícil mudar. A tecnologia muda muito rapidamente e as empresas precisam lidar com mudanças, porque elas podem afetar diretamente seus negócios.
Sua empresa sabe como estará daqui a três anos? Quem não se lembra da Blockbuster? Inovar é vital! E só inovar não basta, é preciso inovar antes da concorrência.
Sua empresa adotou as novas tecnologias, excelentes profissionais foram contratados, os processos foram revisados, o DevOps foi adotado, mas e o lucro? E a vantagem competitiva? Na verdade, grande parte das empresas ainda falha na transformação digital.
Mesmo com todos os avanços em DevOps e Agile, ainda existe um enorme atrito entre pessoas, inovação e tecnologia. Vocês imaginam o motivo desse atrito? Existem muitas razões que contribuem para isso, mas uma das razões mais importantes é que as empresas não conseguem gerenciar em um dos aspectos mais críticos da nova economia digital: os dados!
Os dados são os ativos mais importantes da organização! As aplicações existem para manipular, gerar, analisar ou alterar dados que são criados e coletados em alta velocidade, de diversas fontes para serem analisados e trazerem vantagem competitiva para as organizações.
Como alcançar a vantagem competitiva utilizando dados? Já adianto que não tem fórmula mágica, mas mesmo assim te convido a conhecer o DataOps!
Consumidores x Operadores
É preciso formar um só time
É jargão falar do valor dos dados. As empresas já sabem disso, e por esse motivo têm “sede de dados”. Não faltam exemplos de empresas que possuem dados como o seu principal ativo, como a Google, Uber, Airbnb. Os dados podem trazer vantagem competitiva se utilizados corretamente.
Com o aumento da consciência sobre o valor dos dados, as demandas de acesso a eles também aumentaram, mas é preciso que seja rápido e fácil! O mercado é ativo e não para!
Imagine uma grande corporação onde os analistas demoram 15 dias para ter acesso a dados semelhantes aos de produção. Essa organização pode não ter ideias em tempo hábil e perderá para a sua concorrência!
É estranho pensar que todos queremos que a nossa organização tenha lucro, mas internamente há equipes que atuam como forças opostas. Que futuro tem uma organização que precisa ir em frente, quando dentro dela existem times indo para a esquerda e times indo para a direita?
Temos, de um lado, as equipes que precisam dos dados: os consumidores. Neste grupo estão os desenvolvedores, QAs, cientistas de dados, analistas de negócios, auditores e etc.
Do outro lado temos as equipes que restringem o acesso aos dados. São as equipes de segurança, governança e arquitetura dos dados: DBAs.
Os desafios
Para inovar rapidamente fornecendo aos consumidores os dados necessários para a análise, as empresas têm os seguintes desafios:
- Aumento da demanda por dados: a infraestrutura deixou de ser um problema porque é possível, por exemplo, utilizar infraestrutura como um serviço (IaaS) pagando só o que é usado. Temos mais ambientes, mais automação de processos, mais dispositivos gerando dados e mais tecnologia consumindo dados. É preciso ter velocidade para que as equipes que consomem dados possam fazer o seu trabalho
- Aumento na quantidade de usuários: o diretor que recebe um relatório não é o usuário mais importante. Há vários papéis que utilizam os dados para desempenhar suas atividades como, por exemplo, os desenvolvedores, QAs, auditores, equipes de compliance, analistas de negócio, estatísticos e etc, mas o desafio não está só na quantidade de usuários, está também nos diferentes tipos de conhecimento dos usuários.
- Custo: a quantidade de dados cresce exponencialmente e ainda existem solicitações de redundância de dados. Isso requer armazenamento, rede e recursos computacionais.
- Aumento da complexidade: existem inúmeras fontes de dados, e todas precisam ser conhecidas e governadas.
- Risco: o que acontece se os dados da sua empresa forem expostos indevidamente? A segurança de dados é vital para a sobrevivência da empresa. Proibir o acesso não é uma solução, mas liberar totalmente o acesso também não é. Lembrando que existem leis (lembra da Lei Geral de Proteção de Dados?) que devem ser observadas, pois quando desrespeitadas podem trazer um enorme prejuízo.
O que é DataOps?
- “Definir, entender e aplicar”
As operações de dados precisam superar o custo, a complexidade e o risco para se tornarem facilitadores para o negócio. Os usuários precisam obter os dados para liberar sua capacidade de inovação e todos podem trabalhar como uma equipe para gerar resultados incríveis para o negócio, mas as metodologias de hoje não estão preparadas para este enorme desafio.
O DataOps promete um novo meio para conectar as pessoas aos dados. Ele é o alinhamento de pessoas, processos e tecnologia para permitir o gerenciamento rápido, automatizado e seguro de dados. Seu objetivo é melhorar os resultados, reunindo aqueles que precisam de dados com aqueles que o fornecem, eliminando o atrito ao longo do ciclo de vida dos dados.
O DataOps é uma metodologia automatizada, orientada a processos para melhorar a qualidade e reduzir o tempo do ciclo da análise de dados.
Inicialmente o DataOps era um conjunto de melhores práticas, mas amadureceu para se tornar uma abordagem nova e independente para a análise de dados. Ele é aplicável a todo o ciclo de vida dos dados, desde a preparação até a análise final e reconhece a natureza conectada dos consumidores e dos operadores de dados.
No DataOps, o desenvolvimento de novas análises é simplificado usando os conceitos do desenvolvimento de software ágil, uma metodologia de gerenciamento de projetos iterativa que substitui a metodologia tradicional.
Estudos mostram que os projetos de desenvolvimento de software se tornam significativamente mais rápidos e com muito menos defeitos quando a filosofia ágil é usada. Essa filosofia é particularmente eficaz em ambientes onde os requisitos estão em rápida evolução.
O DevOps concentra-se na entrega contínua, alavancando os recursos de TI sob demanda e automatizando o teste e a implantação de análises. Essa fusão de desenvolvimento de software e operações de TI melhorou a velocidade, qualidade, previsibilidade e escala de engenharia e implantação de software. O DataOps procura trazer essas mesmas melhorias para a análise de dados.
O DataOps não está vinculado a uma tecnologia, arquitetura, ferramenta, linguagem ou estrutura específica. As ferramentas que suportam o DataOps promovem colaboração, orquestração, agilidade, qualidade, segurança, acesso e facilidade de uso.
É preciso quebrar as barreiras que separam as pessoas dos dados, reunindo “os dois lados da força”: Operadores de Dados e Consumidores de Dados.
Conclusão
Em tempos de LGPD, é indispensável para as organizações inovar sem abrir mão da governança, e o DataOps pode ser um aliado extremamente poderoso nesta missão.
No próximo artigo conversaremos sobre o Manifesto DataOps e como podemos aproximar os consumidores dos produtores de dados.
Aguardem!