Banco de Dados

8 fev, 2019

Você conhece o DataOps? – Parte 01

787 visualizações
Publicidade

Introdução

As empresas precisam de dados, as equipes precisam de dados e as leis cuidam dos dados.

Como inovar sem infringir as leis?

Em 2020 entrará em vigor a Lei Geral de Proteção de Dados, e prepare-se, porque ela vai mudar muito nosso modo de lidar e cuidar dos dados.

Para quem não sabe, a Lei Geral de Proteção de Dados tem como objetivo proteger os dados pessoais e sensíveis dos cidadãos brasileiros. Já falei sobre ela em outros artigos que eu lhes convido a ler.

Novos tempos chegaram e eu acho extremamente arriscado conversar sobre dados sem falar de DataOps, mas para adotar o DataOps é preciso estar disposto a mudar – talvez seus processos estabelecidos, conhecidos e adotados não façam mais sentido.

Será que após anos de trabalho você está preparado para mudar tudo? Ou, se você não possui nenhum processo, acha que DataOps é a solução dos seus problemas com dados?

É difícil mudar. A tecnologia muda muito rapidamente e as empresas precisam lidar com mudanças, porque elas podem afetar diretamente seus negócios.

Sua empresa sabe como estará daqui a três anos? Quem não se lembra da Blockbuster? Inovar é vital! E só inovar não basta, é preciso inovar antes da concorrência.

Sua empresa adotou as novas tecnologias, excelentes profissionais foram contratados, os processos foram revisados, o DevOps foi adotado, mas e o lucro? E a vantagem competitiva? Na verdade, grande parte das empresas ainda falha na transformação digital.

Mesmo com todos os avanços em DevOps e Agile, ainda existe um enorme atrito entre pessoas, inovação e tecnologia. Vocês imaginam o motivo desse atrito? Existem muitas razões que contribuem para isso, mas uma das razões mais importantes é que as empresas não conseguem gerenciar em um dos aspectos mais críticos da nova economia digital: os dados!

Os dados são os ativos mais importantes da organização! As aplicações existem para manipular, gerar, analisar ou alterar dados que são criados e coletados em alta velocidade, de diversas fontes para serem analisados e trazerem vantagem competitiva para as organizações.

Como alcançar a vantagem competitiva utilizando dados? Já adianto que não tem fórmula mágica, mas mesmo assim te convido a conhecer o DataOps!

Consumidores x Operadores

É preciso formar um só time

É jargão falar do valor dos dados. As empresas já sabem disso, e por esse motivo têm “sede de dados”. Não faltam exemplos de empresas que possuem dados como o seu principal ativo, como a Google, Uber, Airbnb. Os dados podem trazer vantagem competitiva se utilizados corretamente.

Com o aumento da consciência sobre o valor dos dados, as demandas de acesso a eles também aumentaram, mas é preciso que seja rápido e fácil! O mercado é ativo e não para!

Imagine uma grande corporação onde os analistas demoram 15 dias para ter acesso a dados semelhantes aos de produção. Essa organização pode não ter ideias em tempo hábil e perderá para a sua concorrência!

É estranho pensar que todos queremos que a nossa organização tenha lucro, mas internamente há equipes que atuam como forças opostas. Que futuro tem uma organização que precisa ir em frente, quando dentro dela existem times indo para a esquerda e times indo para a direita?

Temos, de um lado, as equipes que precisam dos dados: os consumidores. Neste grupo estão os desenvolvedores, QAs, cientistas de dados, analistas de negócios, auditores e etc.

Do outro lado temos as equipes que restringem o acesso aos dados. São as equipes de segurança, governança e arquitetura dos dados: DBAs.

Os desafios

Para inovar rapidamente fornecendo aos consumidores os dados necessários para a análise, as empresas têm os seguintes desafios:

  • Aumento da demanda por dados: a infraestrutura deixou de ser um problema porque é possível, por exemplo, utilizar infraestrutura como um serviço (IaaS) pagando só o que é usado. Temos mais ambientes, mais automação de processos, mais dispositivos gerando dados e mais tecnologia consumindo dados. É preciso ter velocidade para que as equipes que consomem dados possam fazer o seu trabalho
  • Aumento na quantidade de usuários: o diretor que recebe um relatório não é o usuário mais importante. Há vários papéis que utilizam os dados para desempenhar suas atividades como, por exemplo, os desenvolvedores, QAs, auditores, equipes de compliance, analistas de negócio, estatísticos e etc, mas o desafio não está só na quantidade de usuários, está também nos diferentes tipos de conhecimento dos usuários.
  • Custo: a quantidade de dados cresce exponencialmente e ainda existem solicitações de redundância de dados. Isso requer armazenamento, rede e recursos computacionais.
  • Aumento da complexidade: existem inúmeras fontes de dados, e todas precisam ser conhecidas e governadas.
  • Risco: o que acontece se os dados da sua empresa forem expostos indevidamente? A segurança de dados é vital para a sobrevivência da empresa. Proibir o acesso não é uma solução, mas liberar totalmente o acesso também não é. Lembrando que existem leis (lembra da Lei Geral de Proteção de Dados?) que devem ser observadas, pois quando desrespeitadas podem trazer um enorme prejuízo.

O que é DataOps?

  • “Definir, entender e aplicar”

As operações de dados precisam superar o custo, a complexidade e o risco para se tornarem facilitadores para o negócio. Os usuários precisam obter os dados para liberar sua capacidade de inovação e todos podem trabalhar como uma equipe para gerar resultados incríveis para o negócio, mas as metodologias de hoje não estão preparadas para este enorme desafio.

O DataOps promete um novo meio para conectar as pessoas aos dados. Ele é o alinhamento de pessoas, processos e tecnologia para permitir o gerenciamento rápido, automatizado e seguro de dados. Seu objetivo é melhorar os resultados, reunindo aqueles que precisam de dados com aqueles que o fornecem, eliminando o atrito ao longo do ciclo de vida dos dados.

O DataOps é uma metodologia automatizada, orientada a processos para melhorar a qualidade e reduzir o tempo do ciclo da análise de dados.

Inicialmente o DataOps era um conjunto de melhores práticas, mas amadureceu para se tornar uma abordagem nova e independente para a análise de dados. Ele é aplicável a todo o ciclo de vida dos dados, desde a preparação até a análise final e reconhece a natureza conectada dos consumidores e dos operadores de dados.

No DataOps, o desenvolvimento de novas análises é simplificado usando os conceitos do desenvolvimento de software ágil, uma metodologia de gerenciamento de projetos iterativa que substitui a metodologia tradicional.

Estudos mostram que os projetos de desenvolvimento de software se tornam significativamente mais rápidos e com muito menos defeitos quando a filosofia ágil é usada. Essa filosofia é particularmente eficaz em ambientes onde os requisitos estão em rápida evolução.

O DevOps concentra-se na entrega contínua, alavancando os recursos de TI sob demanda e automatizando o teste e a implantação de análises. Essa fusão de desenvolvimento de software e operações de TI melhorou a velocidade, qualidade, previsibilidade e escala de engenharia e implantação de software. O DataOps procura trazer essas mesmas melhorias para a análise de dados.

O DataOps não está vinculado a uma tecnologia, arquitetura, ferramenta, linguagem ou estrutura específica. As ferramentas que suportam o DataOps promovem colaboração, orquestração, agilidade, qualidade, segurança, acesso e facilidade de uso.

É preciso quebrar as barreiras que separam as pessoas dos dados, reunindo “os dois lados da força”: Operadores de Dados e Consumidores de Dados.

Conclusão

Em tempos de LGPD, é indispensável para as organizações inovar sem abrir mão da governança, e o DataOps pode ser um aliado extremamente poderoso nesta missão.

No próximo artigo conversaremos sobre o Manifesto DataOps e como podemos aproximar os consumidores dos produtores de dados.

Aguardem!

Referências