/Desenvolvimento

voltar
/Desenvolvimento

BI Open Source – Conhecendo o Pentaho

PorJoão Sidemar Serain em

No
universo de Business Intelligence, temos várias ferramentas Open
Source disponíveis no mercado e, a cada ano, surgem novas soluções. Vamos,  neste artigo, destacar uma delas que me chamou a atenção
por sua interatividade e adaptabilidade às plataformas existentes.

Trata-se
da solução Pentaho, uma ferramenta extremamente poderosa de
Business Intelligence com a qual estou tendo a oportunidade de
trabalhar e tem mostrado ser uma ferramenta robusta e representa uma
forte aposta da comunidade open-source voltada a ferramentas de
apoio à tomada de decisão.

Pentaho

A tecnologia Pentaho foi
desenhada do zero como uma plataforma de BI moderna e totalmente
integrada, baseada em standards abertos. Isto significa que pode ser
integrada facilmente com qualquer infraestrutura de TI de origem, ou
embebida numa aplicação desenvolvida à medida. Para utilizadores
empresariais, o acesso a toda a informação de BI e a possibilidade
de criar novos relatórios, vistas de análise e dashboards
encontra-se numa interface web racionalizada, e estão ao alcance de
dois cliques.

Ela
fornece
suporte técnico compreensivo, manutenção de software,
funcionalidades melhoradas e mais, através de uma subscrição
anual.

Possui várias suites
que formam uma plataforma completa de BI, que foi desenvolvida,
distribuída e implantada como Open Source apresenta grande
flexibilidade e independência entre as diversas plataformas, possui
alta confiabilidade e segurança a um custo mínimo de implantação
e manutenção.

Possui
ferramentas de ETL como o Kettle, análises OLAP como o Mondrian ou
de Data Mining como o Weka, e são reunidos num único produto que
permite soluções que acompanham todo o ciclo de implementação de
um SAD, (Sistema de Apoio à Decisão) e que a tornam uma das
soluções Open-Source mais populares do mundo.

A
solução Pentaho define-se a si mesma como uma plataforma de BI
orientada para a solução e centrada em processos. Ou seja, não só
apresenta os resultados de uma forma única e dando uma visão geral
do estado da empresa, como implementa os próprios processos
(workflow) para a resolução de problemas detectados e apresentados.

Pentaho Open BI Suite

A
Pentaho Inc. integrou e promoveu o desenvolvimento de ferramentas
open source que fornecem os recursos para criação de Soluções de
BI. O conjunto é conhecido por Pentaho Open BI Suite (ou Suite
Pentaho), incluem as suites Reporting, Anaysis, Data Integration,
Dashboards e Data Mining.

Devido à
sua estrutura em componentes, a Suite pode ser utilizada para atender
demandas que vão além do escopo das Soluções de BI mais
tradicionais. Estão disponíveis componentes para a implementação
de processos comandados por workflow automatizado, portais web
customizáveis com suporte à portlets e single sign-on, entre
outros. A plataforma executa todas as suas Soluções de BI, como
serviços, e por isso é possível até mesmo prover acesso a esses
recursos para sistemas externos, via web services, por meio de um
mecanismo baseado em SOAP/WSDL/UDDI incluso.

                                                                     

As
suites são responsáveis pela execução da Solução de BI,
provendo controle de processos, visualização, segurança e
auditoria. Têm
a função de controlar o repositório e a execução de soluções,
os acessos a banco de dados, agendamentos, permissões, serviços de
e-mail e mais algumas atividades fundamentais de background, grande
parte da sua funcionalidade pode ser configurada através do PAC
(Pentaho
Administration Console ).

Funcionalidades
Pentaho

Uma
das grandes dificuldades para alguém que começa a trabalhar com o
Pentaho é entender o relacionamento entre os diversos aplicativos
das suites. Neste artigo descrevo brevemente esses aplicativos e a
função que exercem no ciclo de vida de um BI. Todos os softwares da
Suite Pentaho são programas Java e rodam em qualquer plataforma que
tenha uma JVM padrão, e estas ferramentas dão produtividade na
criação da solução e das estruturas usadas pela plataforma.

Mondrian

É
responsável pelo servidor OLAP (Online Analytic Processing) onde
podemos construir os cubos que permitiram segmentar a informação
por eixos de análise, permitindo a análise da informação com base
em várias perspectivas. Assim será possível a compreensão dessa
informação de uma forma intuitiva, uma vez que a solução permite
decompor os valores nas diferentes perspectivas de análise.

Desta
forma pode-se cruzar a informação com várias dimensões de um modo
muito simples, utilizando drag-and-drop, drilling into, drilling
across, encadeamento de dimensões, entre outros, bem como encontrar
a causa de um problema que lhe sobressaiu num simples relatório.

É
escrita em linguagem Java, e implementa a linguagem MDX, XML for
Analysys e especificações JOLAP, e lê a partir de instruções SQL
e outras fontes de dados, agregando os dados em uma memória cache.

                 

Kettle

Faz
parte da suite do Data Integration, e utiliza as técnicas de ETL
(Extract-Transform-Load), para a obtenção dos dados que virão das
várias fontes de dados, e que obrigatoriamente teremos de cruzá-las
em algum momento dentro do ciclo de ETL.

O
Kettle é capaz de ler e escrever em vários formatos de SGBD, como
Oracle, PostgreSQL, SQLServer, MySql, entre outros, e importar
arquivos texto (csv ou fixo), planilhas Excel e bases de dados ODBC
(apenas em Windows). Ele é um ambiente gráfico no qual conexões
com fontes de dados são estabelecidas e seqüências de passos
executam a extração de dados, sua modificação e a carga desses em
um destino. O Kettle pode integrar dados entre empresas e sistemas,
substituindo a criação de camadas de programas para integração
por operações visuais.

                                                                                                                       

Jpivot

Jpivot
é uma biblioteca customizada JSP que desenha uma tabela e um gráfico
OLAP. Os usuários podem executar navegações típicas OLAP como
drill down e slice-and-dice. Utiliza o Mondrian e XMLA como engines
OLAP.

Schema
Workbench

O
Schema Workbench cria os cubos no format XML que serão processados e
exibidos pelo Portal. Ele tem uma interface visual para navegar entre
as definições do cubo, permitindo criar, além de métricas,
dimensões e hierarquias, muitas das estruturas que agregam valor na
exploração de um cubo OLAP, como métricas derivadas, cubos
virtuais (combinações de tabelas fato) e atributos de dimensões.                                                        

Weka

O
Weka é um ambiente gráfico para Data Mining. Permite ao usuário
criar e testar hipóteses contra as bases de dados. Existem grandes
potencialidades na utilização de Data Mining para apoiar o processo
de tomada de decisão.

                                                            

Pentaho
User Console (PUC)

Interface
para o usuário final, é a partir do PUC que os usuários terão
acesso às análises e relatórios criados, poderão ainda – de
acordo com as permissões definidas – criar relatórios Ad-Hoc
utilizando o WAQR, criar novas visões analíticas utilizando o
JPivot, executar relatórios criados previamente com o PRD (ou outro
gerador de relatórios suportado), visualizar dashboards, agendar a
execução de relatórios e compartilhar qualquer um desses artefatos
com outros usuários.

Pentaho
Report Designer (PRD)

Gerador
de relatórios “pixel perfect” da suite, facilita a criação
de relatórios “ricos” com uma aparência mais profissional
e personalizada, adicionalmente permite a publicação desses
relatórios no PUC, permite inclusive que filtros simples sejam
publicados diretamente sem a criação de xactions no PDS.

Pentaho
Design Studio (PDS)

Plugin
para a plataforma eclipse que funciona como uma interface gráfica
para a criação de xactions que são arquivos xml interpretados pelo
BI Server, são como instruções “passo-a-passo” que
dirigem a execução das atividades pelo BI Sever, permitem, por
exemplo, a definição de filtros avançados para relatórios e o
envio de e-mails com os relatórios executados.

Vantagens
na utilização Open Source

A
maior vantagem das ferramentas open source é o baixo custo: não há
gasto com licenças (que varia de centenas a milhares de dólares em
ferramentas proprietárias). Ela reduz drasticamente o cost
of ownership

para uma plataforma de business intelligence de nível empresarial,
comparado com os tradicionais e proprietários sistemas de BI.

Entretanto, tal como
acontece com ferramentas proprietárias, ainda são necessários
investimentos em implantação, treinamento e suporte para o máximo
aproveitamento.

Além do menor custo, as
ferramentas open source apresentam outras qualidades importantes,
tais como qualidade, segurança, independência de fornecedor,
possibilidade de adequação a necessidades específicas,
estabilidade e suporte técnico.

Bom, pessoal, na minha
opinião vejo as soluções Open Souce para BI como uma tendência
para este ano de 2010 e para os próximos. Não vejo por que gastar
milhares de dólares em ferramentas proprietárias, sendo que estas
soluções não deixam nada a desejar, são muito atrativas e o melhor: têm custo zero!

Para quem estiver
interessado em conhecer um pouco mais sobre o Pentaho, sugiro dar uma
olhada no site www.pentaho.com.

Abraços e até a
próxima.

Deixe um comentário! 42

42 comentários

Comentários

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Comentando como Anônimo

  1. Estive trabalhando com o Pentaho em um projeto e achei muito interessante a abrangência da plataforma, como ela consegue englobar todas as camadas e requisitos de uma solução de BI. Também achei que esta suite pode se tornar uma tendência para soluções de BI de baixo custo e customizáveis, mesmo existindo alguns problemas com relação a documentação e solução de problemas.

    1. Isso mesmo Rudge, eu estou gostando muito desta solução da Pentaho, mas tive alguns desafios no começo, em termos de instalação e configuração. Mas depois é só alegria.
      Abs

      João Sidemar

  2. Olá João boa noite!
    Parabéns pelo excelente artigo! Como você colocou também estou com dificuldade para instalação. Que tal um artigo sobre como instalar o Pentaho?
    Abraço e obragado!

  3. João,

    Gostei do artigo, utilizamos o pentaho em um projeto de migracao de dados (parte de ETL). Estava tentando ver a parte de Analysis, etc. Ja deparou com este problema:
    Utilizando os exemplos de cubo que vem com ele, tentei rodar, mas exibe o seguinte erro ao tentar abrir a pagina:

    [pt_427] This page cannot be accessed directly. It must be linked to from other pages

  4. [pt_427] This page cannot be accessed directly. It must be linked to from other pages
    Esse erro não acontece sempre, mas quando adiciono um CM (Calculated Member), alguém já encontrou este problema ou sabe como resolver?

    1. Oi Silvia.
      Eu tive alguns problemas com a CM qdo estava referenciando direto a coluna da tabela fato. Depois de queimar as pestanas, passei a utilzar o nome da métrica que eu crie anteriormnete na fórmula da CM. Bom neste caso funcionou, e não deu mais erro, e toda evz que eu tenho que utilizar alguma métrica calculada, tomo este cuidado.
      Espero ter ajudado.

  5. Boa noite pessoal, boa noite João Sidemar.

    Eu implementei um datawarehouse na empresa onde trabalho mas estou tendo problemas com a interface que escolhemos para ser o nosso portal de BI. É o Report Portal http://www.reportportal.com/.

    A minha estrutura nem é tão gigantesca, apenas 10Gb total de database, segmentados em 4 databases, cada um com 1 ano de dados).
    Já no Analysis Services o cubo está segmentado em partições que acompanham os databases citados e o tamanho total desse cubo não passa de 1.5Gb.

    Abraço

  6. Gostaria de mostrar no dashboard cada um dos parametros que foram selecionados. Ex.: Tenho uma tabela clicável para escolher o produto que dará origem ao gráfico que por sua vez passará o parametro data para um terceiro gráfico. Eu gostaria de mostrar o produto e a data, selecionados pelo usuário conduzindo o usuário durante a navegação.

    Pode me ajudar?

  7. Eu baixei o Pentaho BI Platform, ele é a versão free do Pentaho Open BI Suite?
    Ele já possui o Mondrian e Kettle?
    Outra coisa, aonde é possível ver algum material que aborde a integração do Pentaho com um banco já existente?
    Pois eu nunca trabalhei com BI na vida e estou tentando aprender.

    1. Olá Flávio,
      Pelo site da Pentaho você pode utilizar as ferramentas por 30 dias apenas. Aconselho a baixar a versão no site http://sourceforge.net/projects/pentaho/files/.
      Nesta versão (3.5) o Pentaho BI Platform, o Analysis View e o Pentaho Reporting vêm
      integrados no mesmo pacote “bi-server”. Para adquirir as outras ferramentas é necessário
      o download individual e a configuração no ambiente. É importante ressaltar que o Pentaho
      pode ser utilizado no Windows, Linux, Mac, BSD, Solaris, etc.
      Além dessas ferramentas listadas, existem outras que são conhecidas pela comunidade
      do Pentaho e aos poucos estão sendo agregadas. A grande diferença entre a versão disponibilizada pelo site da Pentaho e da SouceForge, além do preço, é que a versão Enterprise possui uma suíte de ferramentas já previamente integradas e algumas mais desenvolvidas que a versão livre. Além disso, contém suporte técnico, manutenção com atualizações
      frequentes, acesso a melhor documentação e treinamento. Um comparativo pode ser
      visto em http://www.pentaho.com/products/enterprise/enterprise_comparison.php.

      Espero ter ajudado.
      Abs

  8. Prezado Joao
    Baixei o Pentaho 3.6.0, rodou perfeitamente.
    Agora preciso utilizar o mesmo com base de dados Oracle… peguei até um tutorial no site da Oracle porem nao consigo fazê-lo rodar…
    Alguma sugestão?

  9. Ola Joao. Gostei muito do artigo, mas mesmo assim estou sem nenhuma visão de como iniciar com o Pentaho. Você poderia por favor dar uma luz para mim?

    Eu nao consigo visualizar como posso utilizar a ferramenta Dashboard (CE) com o Banco de dados Relacional aqui (ele não esta no formato de dimensões).

    Qual o procedimento eu tenho que fazer para criar Dashboards com meu Banco de dados Relacional no Pentaho utilizando cubos OLAP? Como criar os cubos? Tenho que utilizar o Kettle para deixar meu RDB com dimensões? Preciso do Kettle para utilizar o Mondrian? Ou então posso utilizar meu RDB no Mondrian diretamente? Como utilizar meus cubos para utiliza-los no Dashboard?

    Preciso da sua ajuda, rodei o google, mas não acho nada palpável; pedi ajuda ao grupo do yahoo, mas sem sucesso; minha mente esta’ muito confusa! =/

    Grato. Fernando Jr.

  10. João, valew pelo artigo, show de bola.
    Tenho uma pergunta pra você:
    Qual o mercado do BI Open Source hoje? Pois analisando as grandes empresas, a maioria compra o BI do fabricante do ERP, visando integração, estratégia entre outros fatores.
    Seria talvez o mercado das PME ?

    Gostaria da sua opinião …

    abraços

  11. Estou em situação semelhante à do Fernando Junior. O Pentaho me foi recomendado, mas estou completamente perdida na sua utilização. As minhas bases de dados são Oracle, relacionais. Tenho alguma experiência com o Oracle Discoverer, mas pelo que vejo a concepção do Pentaho é completamente diferente. Tenho que trabalhar com Datamarts para obter êxito com o Pentaho? Grata.

  12. Muito bom o artigo, estou trabalhando em uma nova empresa e fiquei com pena do pessoal que morre com planilhas Excel pra tudo, não conheço a ferramenta mas acho que o Pentaho vai ajudar muito.

  13. Prá quem está com dificuldades de iniciar o Pentaho, como eu tive muita, aconselho a começar (primeiro passo) pelo ETL (PDI-Pentaho Data Integratos).
    Foi uma sugestão que me deu um palestrante especialista na ferramenta.
    Quando eu fiz um merge (INNER JOIN) entre uma tabela Oracle e um arquivo csv, os olhos se abriram e eu comecei a enchergar o caminho….
    Ainda falta muito a aprender… Mas consegui começar…..

  14. otimo tutorial, gostei muito, mas tenho uma duvida??
    tem como usar o keetle para executar\startar um programa externo atraves do DELPHI?
    tipo exportar um dados de um banco e executar um programa externo que use este arquivo para gera um relatorio num layout grafico especifico.

    seria possivel?

  15. Boa dia João,
    Hoje trabalho com B.I no mundo Microsoft(SSAS e SSIS).
    Porém estou quebrando cabeça para conectar o JPivot com o Mondrian via XMLA.
    teria um manual para este tipo de conexão?

  16. Não sou especialista em Pentaho BI, apenas um usuário do sistema (recebo os dados já tratados), tenho acesso (usuário e senha) limitado a alguns cubos. Produzo as tabelas dinâmicas no Excel e depois relatórios com base nos dados já tratados, mas sempre tenho que entrar no BI, montar o que preciso e baixar em XLS. Pesquisando tomei conhecimento que é possível automatizar esse processo. Pergunta: É possivel um usuário fazer esse processo? Se sim, passo-a-passo!

      1. Boa tarde Ariovaldo, tudo bem? Já faz algum tempo que não desenvolvo com Pentaho e meus últimos projetos foram com Qlikview, que também é uma excelente ferramenta para BI. Este procedimento que você quer fazer, me parece bem simples, porque você já tem os dados tratados, porém requer um pouco de conhecimento na ferramenta, que pode ser o Pentaho ou outra de mercado. Sua dúvida é se é possível fazê-lo no Pentaho? A resposta é sim, é possível, basta estudar um pouco sobre os comandos de ETL, que você encontra facilmente nos fóruns. Abs e boa sorte!!

leia mais
Este projeto é mantido pelas empresas:
Este projeto é apoiado pelas empresas: