slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Ferramentas de ETL Por: Ellison Siqueira (erms) PowerPoint Presentation
Download Presentation
Ferramentas de ETL Por: Ellison Siqueira (erms)

Loading in 2 Seconds...

play fullscreen
1 / 55

Ferramentas de ETL Por: Ellison Siqueira (erms) - PowerPoint PPT Presentation


  • 124 Views
  • Uploaded on

Ferramentas de ETL Por: Ellison Siqueira (erms). Ferramentas de ETL. Fonte dos dados: Banco de Dados de Exemplo do MS Acess Formato: Access (.mdb) Nome do Banco Northwind Descrição da base

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Ferramentas de ETL Por: Ellison Siqueira (erms)' - aileen


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide2
Ferramentas de ETL

Por:

Ellison Siqueira (erms)

ferramentas de etl
Ferramentas de ETL
  • Fonte dos dados:
    • Banco de Dados de Exemplo do MS Acess
    • Formato:
      • Access (.mdb)
    • Nome do Banco
      • Northwind
    • Descrição da base
      • A base contém dados fictícios de uma empresa onde são registradas informações sobre vendas e estoque de produtos.
  • Ferramentas
    • DTS (Microsoft) – Data Transformation Services
    • Kettle (Pentaho)
ferramentas de etl1
Ferramentas de ETL
  • Destino dos Dados:
    • DW em MS SQL Server
    • Nome do Banco
      • DWNorthwind
    • Descrição
      • Base de dados no modelo estrela. Os assuntos do modelo são Vendas e Estoque
  • Objetivos
    • Extrair os dados da base Access, aplicar transformações e carregá-las no banco SQL Server
modelos sql
Modelos SQL
  • Este Slide possui um comentário que contém o Script de criação da base de dados do DW.
ferramentas etl
Ferramentas ETL
  • Considerações
    • A validação de chaves do banco de dados do DW não será desativada
    • Assim, o processo primeiro deve ser aplicado as Dimensões e, depois, aos Fatos
ferramentas etl1
Ferramentas ETL

Microsoft DTS

microsoft dts
Microsoft DTS
  • É disponibilizado através do SQL Server Enterprise Manager
  • Exige a “presença” de um servidor SQL Server ativo, mesmo que o Processo de ETL não envolva bases SQL Server
  • A Ferramenta aplica o conceito de pacotes. Atividades do processo de ETL são agrupadas nestes pacotes.
microsoft dts2
Microsoft DTS
  • Criar um novo pacote e inserir as conexões
microsoft dts3
Microsoft DTS
  • Conexões Acces e SQL Server
microsoft dts4
Microsoft DTS
  • Criação das transformações
microsoft dts5
Microsoft DTS
  • Criação das transformações
microsoft dts6
Microsoft DTS
  • Criação das transformações
microsoft dts7
Microsoft DTS
  • Auxílio na seleção dos dados na fonte
microsoft dts8
Microsoft DTS
  • Criação das transformações
  • Tipos de Transformações
microsoft dts9
Microsoft DTS
  • Transformação ActiveX Script
microsoft dts10
Microsoft DTS
  • Transformação ActiveX Script
microsoft dts11
Microsoft DTS
  • Transformação ActiveX Script
microsoft dts12
Microsoft DTS
  • Transformações - Dimensões
    • Clientes
    • Fornecedores
    • Funcionários
    • Transportadoras
    • Produtos
    • Tempo

Obs: Este Slide contém comentários com os comandos SQL de seleção das fontes e os scripts ActiveX das dimensões, quando o script for necessário

microsoft dts13
Microsoft DTS
  • Criação das transformações - salvar Pacote
microsoft dts14
Microsoft DTS

Este Slide também possui comentários com instruções SQL e Scripts ActiveX

  • Criação das transformações
    • Repetir o mesmo para os Fatos
      • Vendas
      • Estoque
microsoft dts15
Microsoft DTS
  • Criação de Pacote para automação do processo
    • O pacote deve
      • (1) Excluir os dados do DW;
      • (2) Exportar os dados das tabelas de dimensão; e,
      • (3) Exportar os dados das tabelas de fato
    • É necessário
      • (1) A criação de uma conexão com a base SQL Server para possibilitar apagar os dados;
      • (2) Um script SQL que apegue os dados;
      • (3) Em caso de sucesso na eliminação dos registros, chamar o pacote de extração dos dados das dimensões; e,
      • (4) Em caso de sucesso na extração dos dados das tabelas de dimensão, chamar o pacote de extração dos dados das dimensões.
microsoft dts16
Microsoft DTS
  • Criação de Pacote para automação do processo

Aqui tem um comentário com o SQL para eliminar os dados das tabelas de fato e dimensão

ferramentas etl2
Ferramentas ETL

Kettle

http://kettle.pentaho.org/

kettle
Kettle
  • Ferramentas
    • Spoon
    • Pan
    • Chef
    • Kitchen
kettle1
Kettle
  • Welcome to Spoon
kettle2
Kettle
  • Spoon
kettle3
Kettle
  • Mais opções ao usuário
kettle4
Kettle
  • Transformações

Primeiro é necessário criar conexões ODBC para as bases de dados de entrada e saída

kettle5
Kettle
  • Assistente para conexão - Access
kettle6
Kettle
  • Assistente para conexão - Access
kettle7
Kettle
  • Assistente para conexão – SQL Server
kettle8
Kettle
  • Assistente para conexão – SQL Server
kettle9
Kettle
  • Conexões criadas e Transformação salva
kettle10
Kettle
  • ETL Mini Dimensões
kettle11
Kettle
  • ETL Dimensões
kettle12
Kettle
  • Componentes utilizados
    • Input -> Input table
    • Transform -> Select values
    • Output -> Insert/Update
    • Scripting -> Java Script Value
    • Transform -> Calculator
    • Join -> Database Join
kettle13
Kettle
  • Input Table

Informar a conexão

  • Script SQL para Dimensões
    • Cliente
    • Fornecedor
    • Funcionário
    • Transportadora
    • Produto
    • Tempo

Este Slide possui os scripts SQL em comentários

kettle14
Kettle
  • Select Values
kettle15
Kettle
  • Criar Relação entre componentes
kettle16
Kettle
  • Insert/Update
kettle17
Kettle
  • Java Script Value
  • Script Java Script para
    • Nome + Sobrenome
    • Status Produto
    • Manipula Datas

Este slide contém os scripts dentro de comentários

kettle18
Kettle
  • Calculator
kettle19
Kettle
  • Database Join

Script Join Localização

kettle20
Kettle
  • ETL Fatos
    • Criar uma nova transformação (conexão e componentes) para as tabelas de fato
  • Scrits SQL
    • Vendas
    • Estoque
  • Script Java Script
    • ValorEstoque

Este Slide também possui os Scripts

  • Scrits Join
kettle21
Kettle
  • Criação do Job de automação
kettle22
Kettle
  • Componentes Job
    • Start
    • Transformation
  • Devem ser criadas as relações entre os componentes
kettle23
Kettle
  • Start
kettle24
Kettle
  • Transformation