streaming

30 ago, 2021

Mensageria no Mercado Livre: Apache Pulsar e BigQ com Full Cycle

100 visualizações
Publicidade

A tecnologia usada em mensagerias tem sido são cada vez mais popular e existem diversas opções a utilizar. Em evento online, ao vivo, Wesley Willians, do Full Cycle, reuniu um time técnico do Mercado Livre para falar sobre o assunto.

“cada vez eles mostram mais soluções, mais coisas que para muitos desenvolvedores, inclusive pra mim, parecem coisas até surreais, mas é a realidade deles”, disse Willians.

A ideia de convidar os 3 profissionais foi mostrar e tentar entender como funciona o mundo da mensageria, comunicação entre sistemas e explicar o assunto de uma maneira geral para quem está começando nessa área e não tem muita ideia de como funcionam esses processos de comunicação.

Os convidados Juliano Martins – Manager de Cloud Platform, Valmir Justo – Gerente Técnico, Dev que cuida de toda a plataforma que faz gestão de notas fiscais do Mercado Livre e Oscar Mullin – responsável pela base de dados do Mercado Livre, deram suas visões sobre a a utilização de messenger brockers.

E responderam às perguntas: “Por que entender sobre mensagerias?” e “Estou começando nessa área, o que eu devo estudar e quais tecnologias usar?”

Mensageria no Mercado Livre

“Quase todo o mercado usa Kafka, o que eu devo usar? Há muitas opções e cada uma tem uma característica diferente, com diferentes funcionalidades. Não há um critério único para tomar essa decisão”, disse Oscar.

Wesley complementou que “são todas ótimas tecnologias e todas fazem 90% do trabalho de maneiras iguais. Mas no final do mês, qual realmente no meu bolso seria a melhor gateway pra eu utilizar? Se você não tem muitas mensagens para gerenciar, está no começo de um trabalho deste tipo, tanto faz qual tecnologia usar no começo. O que vai pesar é o preço.”

Valmir Justo falou que é preciso pensar sobre “Qual será o custo de manter tudo isso? Quanto tempo a gente gasta para dar a manutenção? Não é só uma escolha por si só, tem todo um ecossistema que a gente tem que colocar e saber se existe profissional para trabalhar com o que é necessário”.

“É igual quando falamos sobre linguagem de programação, não existe a melhor, o que conta é o contexto”, disse Wesley.

O bate-papo falou sobre Apache Pulsar e BigQ, tecnologias que podem trabalhar juntas e se comunicam entre si para dar flexibilidade na mensageria.

O Apache Kafka é uma plataforma de streaming distribuída, que pode ser usada como um sistema de mensagem no estilo publish/subscribe. Tem sido usado principalmente para integração de sistemas em tempo real, em função de sua flexibilidade.

Apesar de trabalharem juntas, o aumento de demanda na mensageria trouxe outros desafios para encontrar novas soluções.

Para descobrir quais são elas, acompanhe o bate-papo a seguir, gravado no canal do Full Cycle.