DatabaseCast #25: Processo ETL

DatabaseCast
em Banco de Dados

Olá, pessoal. Neste 25º episódio do DabataseCast, o podcast brasileiro sobre banco de dados, Mauro Pichiliani (@pichiliani), Wagner Crivelini (@wcrivelini), e Leandro Daniel (@leandronet) se preparam para a faxina do processo ETL (Extract Transform Load). Saiba quais são e o que faz cada uma das etapas do processo. Abra uma cerveja e descubra quais são as mágoas dos participantes na transformação, discuta como fazer um simples de-para e tente descobrir como um memorial pode lhe ajudar nas compras do mercado!

Não deixe de nos incentivar digitando o seu comentário no final deste post, mandando e-mail para  databasecast@gmail.com, seguindo o nosso twitter @databasecast e curtindo a nossa página no Facebook. O DatabaseCast pode ser acompanhado no iMasters e também:

  • ALTA QUALIDADE MP3 (96 Kbps) [01:17:56] –   73 MB –  Download
  • ALTA QUALIDADE COMPACTADO (ZIP)  73 MB –  Download

Clique aqui para obter o endereço do feed RSS e assinar no Databasecast

Veja no gráfico abaixo a duração e os tempos aproximados de início e fim de cada bloco:

Veja na tag cloud abaixo a contagem das palavras mais usadas nos emails, comentários e tweets do episódio anterior:

Links Comentados no episódio:

DatabaseCast

é o primeiro podcast brasileiro sobre banco de dados. Mauro Pichiliani e Wagner Crivelini falam sobre banco de dados, programação, administração, dados, carreira, mercado, SQL Server, Oracle, MySQL, PostgreSQL, NoSQL, DB2, Informix, Sybase e diversos outros assuntos da área de tecnologia voltados para o desenvolvimento de aplicações. Mauro Pichiliani é Bacharel em Ciência da Computação, Mestre e Doutorando pelo ITA, e MCP, MCDBA e MCTS. Trabalha há mais de 10 anos utilizando diversos bancos de dados, como o SQL Server, Oracle e MySQL. Wagner Crivelini é DBA de SQL Server & DB2. É profissional certificado IBM IT Specialist Level 2 - Expert, autor convidado das comunidades SQL Server Central, iMasters, SQL MAGAZINE e IBM DEVELOPERWORKS. Acompanhe no twitter @databasecast. http://imasters.com.br/perfil/databasecast

24 comentários Comente também

  1. Olha, a parte do podcast que fala das customizações em ERP, me da calafrios em pensar nos ninhos de mafagafos que encontramos por ai afora… Mais uma vez, parabéns Mauro e Wagner !

  2. Mais uma vez vocês estão de parabéns, ótimo podcast, sou suspeito para falar pois trabalho com ETL e gosto muito de todas essas questões que envolvem banco de dados.

  3. Como sempre um ótimo episódio…
    Quero agradecer ao Mauro e ao Wagner pela excelente escolha de tópicos e assuntos a serem abordados pelo DatabaseCast.
    Esse tópico (Processo ETL) é cheio de mitos e (ao menos em alguns casos que conheço) não é abordado na faculdade de forma tão abrangente como vocês abordaram.
    Um elogio à parte para a escolha da trilha sonora do podcast, excelentes escolhas…desde o 1º.
    Para os colegas que talvez, assim como eu, não haviam visto/ouvido/entendido nada sobre Processo ETL segue um link muito interessante…
    http://www.fsma.edu.br/si/artigos/v2_artigo1.pdf
    (Recomendação: Ouça o podcast -> leia o artigo -> ouça (novamente) o podcast…tudo fica mais fácil de digerir)
    Off Topic: É crueldade nos deixar ansiosos e contemplativos sobre um possível (e já aguardado ansiosamente) videocast.
    Mauro: assisti sua “palestra” no #DevCast sobre Interoperabilidade entre banco de dados, aguardando apenas a disponibilização do vídeo para baixar e rever mais algumas vezes.

  4. bom, otimo podcast, não consegui ouvir tudo ainda. A edição ficou muito sintética, acredito que editaram para diminuir o tamanho, mas perdeu a naturalidade e ficou chato pra ouvir.
    Mas mesmo assim vou ouvir e acompanhar.
    Abraços.
    Alex Moreira

  5. Mais um podcast muito bom. Já sofri bastante com ETL. Chegamos até a começar a construir uma ferramenta nossa, mas que ficou na geladeira por conta de outras prioridades. O ponto mais complicado, como sempre, são as pessoas, que na maioria das vezes não sabem o que querem ou não documentam o que têm. Saber que dado buscar em quais condições acho que é o maior problema do ETL. As questões técnicas a gente resolve, hehe. Parabéns pelo Podcast! Wagnão, vamo relembrar os tempos da HP. Vamo marcar uma breja. Abraço!

  6. Galera, agradecemos os comentários de todos.
    Por algum motivo, não to conseguindo responder cada 1 das postagens, por isso to escrevendo aqui.

    Paulão, vamos nessa…e vc q paga a conta kkkk

  7. Show de bola!!
    Muita informação legal, principalmente saber que tem mais gente “sofrendo”…hehehe

    Trabalho com ETL a cerca de 2 anos e meio, sempre com a ferramenta da Talend.
    Ótimo bate-papo, já enfrentei todas as dificuldades citadas. Extrair dados de uma fonte que “ninguém conhece” então…vixiii…hehehe
    O que mais sofremos aqui é a “desvalorização” do nosso trabalho: “Pow é só um de-para, arrastar daqui pra lá…tá demorando d+..”
    HauAHuAHuHAu

    Realmente falta divulgação do conceito, na minha faculdade “meia dúzia” de profissionais conheciam mais detalhes de como a coisa toda funciona..
    Parabens!!
    Abraços.
    Samuel Korosi

  8. Excelente episódio desmistificando operações essenciais para analise e mineração de inforamações. Obrigado Mauro e Wagner. Continuem fazendo o excelente serviço.

    PS: Estudem com carinho videocast, pois dariam um otimo feedback do pessoal, e aprenderiamos com maior facilidade.

    forte abraço.

    1. oi tiago
      videocast é uma ideia q a gente adoraria experimentar
      nosso principal medo é q o mauro é muito feio e vai espantar a moçada! kkkkkkkkkkk

      na realidade temos alguns problemas de logística e precisamos começar logo a fazer uns testes. quem sabe a gente tenha um ou outro episódio em video em 2013!

      valeu

  9. Pessoal, pensei em um comentário enorme pra escrever enquanto ouvia, mas vou conter.
    Parabéns, excelente, como ouvinte desde o primeiro episódio, quando achei que vocês ficariam lambendo o $ da MicroSoft, ouvi todo o progresso de vocês, a melhora na edição, e o conteúdo cada vez melhor, o Mauro ainda insiste nas piadas de velho que enchem o saco de tão cansadas, e o Wagner faz de conta que não liga pra manter a amizade, e a gente releva porque acha que ele está se esforçando pra dar leveza ao tema, mas já me alongo, e o comentário não é pra criticar e sim para agradecer, por serem um podcast técnico de verdade e não um podcast de humor que fala sobre banco de dados, ainda que o humor venha naturalmente no papo amigável e saudável de vocês.
    Me sinto bem em recomendar aos amigos e colegas que ouçam o Databasecast, que já fez 2 anos e meio, e vocês discretamente nem comemoraram.

    1. Ivan
      Realmente, já estamos no ar desde Março/2010!!!!
      Muito esforço, dor de cabeça e nenhum turu no nosso bolso, mas continuamos aqui.

      Abraço

  10. Coincidência ou não ,estou trabalhando num projeto que envolve ETL ,OLAP e Datawarehouse ,a minha maior dor de cabeça foi fazer a extração de 60.000 registros de fontes diferentes de dados desestruturados,acredito que a transformação e carga sejam etapas mais tranquilas quando você tem o domínio do negócio.
    Parabéns ficou sensacional o podcast,estou vivenciando ETL na pele.

    1. Adriano
      Às vezes eu começo a sonhar q no mundo ideal todas as fontes de dados tem integridade referencial, tipificação e algum analista de negócio q saiba realmente o q ele quer fazer com a massa de dados kkkkkkkkkk

      Abraço

  11. Como sempre impecável.

    Esta ai um processo que eu nunca vi no meu dia a dia, agora já sei do que se trata e sei que 1,2% do meu trabalho envolve ETL claro que de uma forma amadora e não normalizada.

    Sobre o que o Wagner falou sobre manter uma documentação sobre os SQL usados e com observação é fundamental. Fazer as anotações até faço o problema é que ficam todas sem nexo. Se alguém souber a ferramenta mais automatizada para controle de versão para DBAs mais simples me avisa

    1. Italo

      Vc já tem meio caminho andado com o seu bloco de notas.
      A questão é ordenar as coisas:
      Isso é bom até pra fazer uma “cola” de comandos. Eu tenho várias delas.. Uma pra UNIX, outra pra DB2, outra de SQL SERVER, outra de mainframe e por aí vai

      ps: eu odeio ter q decorar sintaxe de comando :)

  12. Muito legal, trabalho há mais de um ano com ETL, utilizando a ferramenta TALEND TOS com banco de dados Oracle e SQL Server, poderia fazer um podcast, sobre essa ferramenta que é muita boa…

Dê Sua Opinião

O seu endereço de email não será publicado Campos obrigatórios são marcados *

Este projeto é mantido e patrocinado pelas empresas: