Resumo da ópera

Eu sempre amei trabalhar com dados, e passei 10 anos como Arquiteta de Dados na B3.

Foram anos muito legais, onde conheci pessoas maravilhosas e aprendi muito. O lance é que comecei a ver que minha carreira estava totalmente estagnada. A princípio achei que fosse o cansaço, afinal sempre adorei a B3.

Mas comecei a enxergar muita coisa que me desagradou (assunto para um próximo post), e um belo dia percebi que eu acordava de mau humor todos os dias. Parei para pensar, e percebi que meu vínculo com meu trabalho era de obrigação, eu não me sentia útil e nem valorizada.

Neste momento surge a proposta da XP Inc. Não foi fácil decidir mudar, mas quando aceitei a proposta, senti novamente as borboletas no estômago, porque iria trabalhar em uma área enorme, e com uma coisa que eu já achava muito legal… A engenharia de dados.

Fui acolhida no meu novo time de uma forma inacreditável! Como eu disse que queria mudar e aprender coisas novas, a área que eu atendo não tem nada a ver com a B3, ou com as coisas que eu já fiz no passado. Tudo novo mesmo.

Eu não sei fazer… E agora?

Muitas vezes os reconhecimentos trazem a pressão da perfeição. E isso me assustava um pouco. Descobri que o peso estava na minha cabeça. Todas as vezes que eu precisei de ajuda, eu pedi, sem medo de julgamentos. Afinal de contas, trabalho em um time, e estou em uma área nova.

Acreditem amigos, não foi fácil, masssss agora depois de 3 meses é natural conversar com o time e pedir ajuda sempre que preciso. Mas também é natural parar as minhas tarefas e ajudar quando as pessoas precisam.

Então #FicaDica peça ajuda sempre que precisar, ninguém precisa saber tudo. E ajude sempre que puder.

Mas o que faz um engenheiro de dados?

Engenheiro de dados é um papel bem interessante porque ele é muito técnico e também muito ligado ao negócio.

O blog da Data Science Academy tem uma definição linda:

O Engenheiro de Dados é o responsável pela criação do pipeline que transforma os dados brutos que estão nos mais variados formatos, desde bancos de dados transacionais até arquivos de texto, em um formato que permita ao Cientista de Dados começar seu trabalho. Cabe também ao Engenheiro de Dados manter este pipeline em execução para que os dados possam ser coletados no momento certo, com o nível se segurança exigido pela empresa.

O único ponto que eu discordo é que disponibilizamos dados para vários times, não só para os cientistas de dados.

Percebem que a mudança foi enorme? Todo dia um desafio novo, mas agora com reconhecimento e acordando todo dia feliz para começar mais um dia de trabalho.

Dicas da tia Dani para quem quer ser Engenheira de Dados

Ok… Ainda não tenho muito tempo na área, mas já tenho algumas dicas para compartilhar com vocês.

• Um engenheiro é um ser versátil. Não fica esperando chamados, ou e-mails.
• É preciso perguntar, buscar, investigar. Quase nunca seu usuário sabe onde estão os dados.
• Linguagem SQL é vida! Eu sou suspeita, mas acredite muitas origens de dados são tabulares e a linguagem mais linda do mundo, vai te ajudar muito!
• Porque você está fazendo isso? Entenda o motivo de fazer uma ou outra coisa. Fazer só porque copiou outro pipe, ou porque alguém pediu é fria.
• Na hora de estimar os prazos, lembre-se que você vai precisar de acessos, e quase nunca terá todos que precisa.
• Python é vida! Python é lindo! Você vai precisar de Python! Ficou claro como este lindo é importante?
• Spark vai salvar sua vida! Spark é muito legal e ajuda muito no processamento de grandes volumes de dados.
• Tenha uma ferramenta de ETL para guardar no coração! Eu uso o Azure Data Factory e gosto muito. Independente da ferramenta que a empresa trabalha, é importante entender este conceito e saber quando você seguirá a sequencia de extrair, transformar e carregar, ou extrair, carregar e depois transformar.
• Stored Procedures não são legais para a movimentação de grandes volumes de dados (é sério isso!)
• Alinhe com os seus usuários de negócio o melhor período para a execução dos pipelines;
• Lembre-se da LGPD ao manipular dados pessoais e dados sensíveis;
• Não esqueça que a governança existe para te ajudar (preciso repetir este mantra sempre!)
• Você sabe o que é processamento distribuído? Sabe o que é processamento paralelo? Haddop? Estes conceitos são importantes!
• Pare de dizer que odeia Infra! (ok… Eu estou tentando!)
• Docker e Kubernates vão ser uteis!
• Eu já conhecia um pouco de devOps, para a minha sorte! Então aconselho que você dê uma lida nos principais conceitos, para entender os motivadores de algumas escolhas do seu time;
• Visualização de dados é vida, salva a sua vida e mostra o seu trabalho. Acreditem amigos você pode fazer um trabalho maravilhoso, criar o melhor pipeline… Mas se o time não conseguir disponibilizar a informação de forma amigável para os times de negócio, o rolê todo vai por água abaixo! Por isso, saiba contar histórias com os seus dados (e eu sei que esta etapa pode ser muito complicada)
• Não tenha paixão por nenhuma tecnologia. Mas saiba quando uma ou outra vai te ajudar a fazer seu trabalho de forma mais rápida e com mais qualidade.

Bom… Acho que resumidamente é isso. Nos próximos posts, vou compartilhar com vocês algumas ferramentas lindas e muito importantes para os engenheiros de dados.

Algumas referências importantes

Meus amigos eu sei que nem todos gostam de ler, ou absorvem o conteúdo desta forma, então vou compartilhar aqui algumas fontes que podem ser muito úteis:

• Storytelling com Dados: Um guia sobre visualização de dados para profissionais de negócios
• Python Fluente: Programação Clara, Concisa e Eficaz (amo este livro e sou super fã do Ramalho!!! Adicionem este mito no twitter)
• Canal do meu amigo e um dos profissionais que eu mais admiro Luan Maciel https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ
• Canal do Fernando Masanori para quem quer aprender mais sobre Python https://www.youtube.com/channel/UCripRddD4BnaMcU833ExuwA
• Site do Spark https://spark.apache.org/
• Meu curso sobre a linguagem SQL no LinkedIn Learning https://www.linkedin.com/learning/descubra-o-sql
• Meu curso de Python no LinkedIn Learning https://www.linkedin.com/learning/descubra-o-python
• Use e abuse deste blog! A casa é nossa! Destaco dois posts que eu escrevi, um para quem quer começar na área de dados ( http://db4beginners.com/blog/dicas-para-comecar-na-area-de-dados/ ) e outro para quem deseja ser DBA ( http://db4beginners.com/blog/voce-quer-ser-dba-pergunte-me-como/ )
• Os cursos de MongoDB da DANI Academy (momento propaganda!)

Por enquanto acho que é isso… Mas conforme eu for lembrando de outras referências vou adicionando aqui.

Um pedido…

Mudando de assunto…

Amigos, estamos em um momento complicado, então se você treina, faz exercícios ou vai fazer… Conheçam a SPEsportes… Um loja pequena, mas com produtos de grandes marcas, atendimento personalizado e entrega rápida… e que precisa sobreviver a crise.

Entre, conheça, compre, e recomende aos amigos, e não perca a chance de te 20% de desconto com o cupom DB4BEGINNERS.

Enfim…

Meus amigos, eu mudei após 10 anos… Não me arrependo, porque eu não estava feliz. Tentei resolver e não deu certo, por isso digo a todos, sejam responsáveis com as mudanças, mas quando deixarem de acreditar no seu trabalho, busquem (com responsabilidade) aquilo que faz sentido em sua vida. Passamos muito tempo trabalhando, então na medida do possível precisamos estar felizes.

Desejo que vocês e suas famílias, estejam seguros, com saúde, lavando as mãos e se possível isolados!

E até o próximo post!