Seções iMasters
Banco de Dados

DatabaseCast #25: Processo ETL

Olá, pessoal. Neste 25º episódio do DabataseCast, o podcast brasileiro sobre banco de dados, Mauro Pichiliani (@pichiliani), Wagner Crivelini (@wcrivelini), e Leandro Daniel (@leandronet) se preparam para a faxina do processo ETL (Extract Transform Load). Saiba quais são e o que faz cada uma das etapas do processo. Abra uma cerveja e descubra quais são as mágoas dos participantes na transformação, discuta como fazer um simples de-para e tente descobrir como um memorial pode lhe ajudar nas compras do mercado!

Não deixe de nos incentivar digitando o seu comentário no final deste post, mandando e-mail para  databasecast@gmail.com, seguindo o nosso twitter @databasecast e curtindo a nossa página no Facebook. O DatabaseCast pode ser acompanhado no iMasters e também:

  • ALTA QUALIDADE MP3 (96 Kbps) [01:17:56] -   73 MB -  Download
  • ALTA QUALIDADE COMPACTADO (ZIP)  73 MB -  Download

Clique aqui para obter o endereço do feed RSS e assinar no Databasecast

Veja no gráfico abaixo a duração e os tempos aproximados de início e fim de cada bloco:

Veja na tag cloud abaixo a contagem das palavras mais usadas nos emails, comentários e tweets do episódio anterior:

Links Comentados no episódio:

DatabaseCast

é o primeiro podcast brasileiro sobre banco de dados. Mauro Pichiliani e Wagner Crivelini falam sobre banco de dados, programação, administração, dados, carreira, mercado, SQL Server, Oracle, MySQL, PostgreSQL, NoSQL, DB2, Informix, Sybase e diversos outros assuntos da área de tecnologia voltados para o desenvolvimento de aplicações. Mauro Pichiliani é Bacharel em Ciência da Computação, Mestre e Doutorando pelo ITA, e MCP, MCDBA e MCTS. Trabalha há mais de 10 anos utilizando diversos bancos de dados, como o SQL Server, Oracle e MySQL. Wagner Crivelini é DBA de SQL Server & DB2. É profissional certificado IBM IT Specialist Level 2 - Expert, autor convidado das comunidades SQL Server Central, iMasters, SQL MAGAZINE e IBM DEVELOPERWORKS. Acompanhe no twitter @databasecast.

Email
Comente também

24 Comentários

Jefferson Dias

Muito Boa a Iniciaiva,Continuem assim e Sucesso
Vai Corinthians

Elton

Agora sim, novo episódio do meu podcast favorito já está disponível :)

Ramires

Olha, a parte do podcast que fala das customizações em ERP, me da calafrios em pensar nos ninhos de mafagafos que encontramos por ai afora… Mais uma vez, parabéns Mauro e Wagner !

Brunno Gomes

Ótimo, novo episódio. :)

O assunto é muito interessante, acho que vou gostar.

Elton

Mais uma vez vocês estão de parabéns, ótimo podcast, sou suspeito para falar pois trabalho com ETL e gosto muito de todas essas questões que envolvem banco de dados.

Raphael Silva Souza

Como sempre um ótimo episódio…
Quero agradecer ao Mauro e ao Wagner pela excelente escolha de tópicos e assuntos a serem abordados pelo DatabaseCast.
Esse tópico (Processo ETL) é cheio de mitos e (ao menos em alguns casos que conheço) não é abordado na faculdade de forma tão abrangente como vocês abordaram.
Um elogio à parte para a escolha da trilha sonora do podcast, excelentes escolhas…desde o 1º.
Para os colegas que talvez, assim como eu, não haviam visto/ouvido/entendido nada sobre Processo ETL segue um link muito interessante…
http://www.fsma.edu.br/si/artigos/v2_artigo1.pdf
(Recomendação: Ouça o podcast -> leia o artigo -> ouça (novamente) o podcast…tudo fica mais fácil de digerir)
Off Topic: É crueldade nos deixar ansiosos e contemplativos sobre um possível (e já aguardado ansiosamente) videocast.
Mauro: assisti sua “palestra” no #DevCast sobre Interoperabilidade entre banco de dados, aguardando apenas a disponibilização do vídeo para baixar e rever mais algumas vezes.

Alex Moreira

bom, otimo podcast, não consegui ouvir tudo ainda. A edição ficou muito sintética, acredito que editaram para diminuir o tamanho, mas perdeu a naturalidade e ficou chato pra ouvir.
Mas mesmo assim vou ouvir e acompanhar.
Abraços.
Alex Moreira

Paulo Junqueira da Costa

Mais um podcast muito bom. Já sofri bastante com ETL. Chegamos até a começar a construir uma ferramenta nossa, mas que ficou na geladeira por conta de outras prioridades. O ponto mais complicado, como sempre, são as pessoas, que na maioria das vezes não sabem o que querem ou não documentam o que têm. Saber que dado buscar em quais condições acho que é o maior problema do ETL. As questões técnicas a gente resolve, hehe. Parabéns pelo Podcast! Wagnão, vamo relembrar os tempos da HP. Vamo marcar uma breja. Abraço!

Wagner Crivelini

Galera, agradecemos os comentários de todos.
Por algum motivo, não to conseguindo responder cada 1 das postagens, por isso to escrevendo aqui.

Paulão, vamos nessa…e vc q paga a conta kkkk

Korosi

Show de bola!!
Muita informação legal, principalmente saber que tem mais gente “sofrendo”…hehehe

Trabalho com ETL a cerca de 2 anos e meio, sempre com a ferramenta da Talend.
Ótimo bate-papo, já enfrentei todas as dificuldades citadas. Extrair dados de uma fonte que “ninguém conhece” então…vixiii…hehehe
O que mais sofremos aqui é a “desvalorização” do nosso trabalho: “Pow é só um de-para, arrastar daqui pra lá…tá demorando d+..”
HauAHuAHuHAu

Realmente falta divulgação do conceito, na minha faculdade “meia dúzia” de profissionais conheciam mais detalhes de como a coisa toda funciona..
Parabens!!
Abraços.
Samuel Korosi

    Wagner Crivelini

    é vdd, Korosi , a gente sofre com a falta de reconhecimento
    precisamos aprender a vender melhor o nosso peixe :)
    abraço

Tiago Calisto

Excelente episódio desmistificando operações essenciais para analise e mineração de inforamações. Obrigado Mauro e Wagner. Continuem fazendo o excelente serviço.

PS: Estudem com carinho videocast, pois dariam um otimo feedback do pessoal, e aprenderiamos com maior facilidade.

forte abraço.

    Wagner Crivelini

    oi tiago
    videocast é uma ideia q a gente adoraria experimentar
    nosso principal medo é q o mauro é muito feio e vai espantar a moçada! kkkkkkkkkkk

    na realidade temos alguns problemas de logística e precisamos começar logo a fazer uns testes. quem sabe a gente tenha um ou outro episódio em video em 2013!

    valeu

Ivan

Pessoal, pensei em um comentário enorme pra escrever enquanto ouvia, mas vou conter.
Parabéns, excelente, como ouvinte desde o primeiro episódio, quando achei que vocês ficariam lambendo o $ da MicroSoft, ouvi todo o progresso de vocês, a melhora na edição, e o conteúdo cada vez melhor, o Mauro ainda insiste nas piadas de velho que enchem o saco de tão cansadas, e o Wagner faz de conta que não liga pra manter a amizade, e a gente releva porque acha que ele está se esforçando pra dar leveza ao tema, mas já me alongo, e o comentário não é pra criticar e sim para agradecer, por serem um podcast técnico de verdade e não um podcast de humor que fala sobre banco de dados, ainda que o humor venha naturalmente no papo amigável e saudável de vocês.
Me sinto bem em recomendar aos amigos e colegas que ouçam o Databasecast, que já fez 2 anos e meio, e vocês discretamente nem comemoraram.

    Wagner Crivelini

    Ivan
    Realmente, já estamos no ar desde Março/2010!!!!
    Muito esforço, dor de cabeça e nenhum turu no nosso bolso, mas continuamos aqui.

    Abraço

Adriano Alves

Coincidência ou não ,estou trabalhando num projeto que envolve ETL ,OLAP e Datawarehouse ,a minha maior dor de cabeça foi fazer a extração de 60.000 registros de fontes diferentes de dados desestruturados,acredito que a transformação e carga sejam etapas mais tranquilas quando você tem o domínio do negócio.
Parabéns ficou sensacional o podcast,estou vivenciando ETL na pele.

    Wagner Crivelini

    Adriano
    Às vezes eu começo a sonhar q no mundo ideal todas as fontes de dados tem integridade referencial, tipificação e algum analista de negócio q saiba realmente o q ele quer fazer com a massa de dados kkkkkkkkkk

    Abraço

Italo

Como sempre impecável.

Esta ai um processo que eu nunca vi no meu dia a dia, agora já sei do que se trata e sei que 1,2% do meu trabalho envolve ETL claro que de uma forma amadora e não normalizada.

Sobre o que o Wagner falou sobre manter uma documentação sobre os SQL usados e com observação é fundamental. Fazer as anotações até faço o problema é que ficam todas sem nexo. Se alguém souber a ferramenta mais automatizada para controle de versão para DBAs mais simples me avisa

    Wagner Crivelini

    Italo

    Vc já tem meio caminho andado com o seu bloco de notas.
    A questão é ordenar as coisas:
    Isso é bom até pra fazer uma “cola” de comandos. Eu tenho várias delas.. Uma pra UNIX, outra pra DB2, outra de SQL SERVER, outra de mainframe e por aí vai

    ps: eu odeio ter q decorar sintaxe de comando :)

Rodrigo Ribeiro

Ótimo podcast como sempre. ETL é um assunto muito amplo e dependendo do contexto e das tecnologias pode se tornar bastante complexo. O SSIS é uma tecnologia que tenho trabalhado a bastante tempo e discuti no meu livro, “Integração de dados na prática”, lançado este ano pela editora érica.

http://www.erica.com.br/detalhes.asp?cod=4094

Maria Porto

Achei muito bacana o podcast…Eu trabalho com ETL e achei bem interessante, esse tema e os outros tb :)

Rodrigu

Muito bom, gostei de mais. Perfeito trabalho

Rogério F.

Muito legal, trabalho há mais de um ano com ETL, utilizando a ferramenta TALEND TOS com banco de dados Oracle e SQL Server, poderia fazer um podcast, sobre essa ferramenta que é muita boa…

Qual a sua opinião?