A explosão do Big Data nos últimos anos tem criado um grande número de novas tecnologias na área de processamento de dados, armazenamento e gestão. Um dos maiores nomes que entra em cena nesse segmento é o Hadoop. Caso você ainda não o conheça ou não tenha ouvido falar dele, o Hadoop é um sistema de armazenamento para Big Data, que leva grandes quantidades de dados dos servidores para o cliente, quebrando-os em pedaços menores e mais administráveis. A tecnologia é complexa, mas, em um nível elevado, o ecossistema Hadoop tem essencialmente um conceito de “dividir e conquistar”, uma abordagem ao processamento de Big Data em vez do processamento tradicional de dados em tabelas, como em um banco de dados relacional como Oracle ou MySQL.

Uma projeção espera que o Hadoop cresça 25 vezes a um valor de mercado global de US$ 50,2 bilhões até o ano de 2020, impulsionado pela contínua expansão do Big Data e das tecnologias relacionadas. Existem várias razões pelas quais o uso do Hadoop continua se intensificando e assim será pelos próximos cinco anos. Vamos dar uma olhada aqui em algumas das principais tendências que você e sua organização devem esperar com relação ao uso dessa tecnologia-chave para Big Data no restante de 2015.

Hadoop se tornará um sistema operacional de dados

O Hadoop é um ecossistema notavelmente complexo, e alguns administradores de sistema argumentam que ele não pegou no mundo dos negócios tão rapidamente quanto se poderia esperar. Mas o mercado em geral parece muito mais otimista. Como uma fonte confiável afirma, “frameworks analíticos distribuídos, como o MapReduce, estão evoluindo para gestores de recursos distribuídos que gradualmente estão transformando o Hadoop em um sistema operacional de dados de uso geral… “. O que isso significa é que mais e mais empresas estão encontrando maneiras de adotar o Hadoop como a “pedra angular” de suas necessidades tecnológicas. Empresas como WalMart, Verizon Communications e Netflix usam Hadoop para minerar dados para obter insights do cliente e muito mais.

SQL está tornando o Hadoop mais acessível

Enquanto o Hadoop surgiu no mercado como uma solução viável para o gerenciamento de Big Data, a realidade é que muito do mundo dos negócios ainda está centralizado no SQL. Mais e mais ferramentas surgiram para tornar os dados do Hadoop acessíveis através dessa linguagem de consulta. O SQL-on-Hadoop agora está se tornando um protocolo padrão e é esperado que continue experimentando um forte crescimento. A vantagem disso é principalmente eliminar a necessidade de as empresas serem forçadas a contratar cientistas de dados e análise de escrita de consultas complexas em Python, Java e JavaScript.

Hadoop está se movendo para a Nnuvem

A demanda do consumidor é cada vez mais incessante por aplicações maiores, melhores e mais rápidas, o que criou a necessidade de grandes análises de dados que possam ser processar na velocidade do mercado. Big Data e tecnologias de Nuvem estão agora integralmente relacionados. Provedores de nuvens públicas, como Amazon Web Services, Google e Microsoft, oferecem suas próprias marcas de sistemas de Big Data em suas nuvens com tarifação eficiente e facilmente escalável para empresas de todos os tamanhos. O Hadoop foi originalmente concebido para uso em ambientes locais. A vantagem da Nuvem é que ela resolve a questão do tempo ocioso e permite às empresas uma maneira muito mais acessível de geração e análise de um conjunto enorme de dados, melhorando a experiência de uso.

Habilidades do Hadoop vão se tornar o padrão

O Hadoop tem sido tradicionalmente utilizado por um nicho muito especializado. Mas como a tecnologia continua a escalonar e se tornar “democratizada” através das integrações do SQL e da Nuvem mencionados anteriormente, a Forrester prevê que as organizações serão capazes de fazer com que os desenvolvedores web passem a escrever trabalhos de MapReduce com Java, ou usar SQL para consultar conjuntos de dados de grande porte no Hadoop.

O tamanho dos dados de hoje em breve parecerá minúsculo em comparação com o que está por vir nos próximos anos, especialmente considerando o enorme crescimento esperado no mercado da Internet das Coisas. O maior problema aqui é que o Hadoop permanece como um ativo viável e importante para gerenciar suas necessidades de Big Data. O Hadoop provou ser resiliente dentro do fluxo e refluxo do mercado e está rapidamente se tornando um item valioso para empresas que estão em fase de crescimento. Se você não tiver feito isso ainda, agora é a hora de começar a descobrir qual será sua estratégia de Hadoop/Big Data/Internet das coisas. Comece por explorar casos de uso relevantes que ajudarão sua organização a acompanhar o tsunami de Big Data dos próximos 5 anos. Se você não fizer isso, seus concorrentes certamente farão.

***

Ralph Eck faz parte do time de colunistas internacionais do iMasters. A tradução do artigo é feita pela redação iMasters, com autorização do autor, e você pode acompanhar o artigo em inglês no link: http://www.monitis.com/blog/2015/05/26/whats-the-latest-with-hadoop/