Datawarehouse
This presentation is the property of its rightful owner.
Sponsored Links
1 / 32

Datawarehouse PowerPoint PPT Presentation


  • 133 Views
  • Uploaded on
  • Presentation posted in: General

Datawarehouse. Transformasi Data. Febrianti Supardinah, ST.MM. 04. FASILKOM. Teknik Informatika. Komponen Datawarehouse.

Download Presentation

Datawarehouse

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Datawarehouse

Datawarehouse

Transformasi Data

Febrianti Supardinah, ST.MM.

04

FASILKOM

Teknik Informatika


Datawarehouse

KomponenDatawarehouse

Connolly and Begg(2002) menjelaskan bahwa arsitektur data warehouse terdiri dari struktur dan komponen yang saling berhubungan satu sama lain dalam membangun data warehouse


Datawarehouse

KomponenDatawarehouse

Operasional Data

* Berfokuspadafungsi-fungsitransaksional

* Merupakanbagiandariinfrastrukturperusahaan

* Detail, tidakadaredudansi, dapatdiupdate

* Merefleksikannilaisekarang

Operasional Data Store

* Tempat penyimpanan sementaradari data operasionalsaatini

* Menyuplai data yang sudahdiekstrakdarisistemsumberdandibersihkan

* Menyederhanakanprosesintegrasidanrestrukturisasi data di DWH


Datawarehouse

KomponenDatawarehouse

3. Load Manager

* Menampilkansemuaoperasi yang terkaitdenganekstrakdan load data kedalam DWH

* Data bisadiekstraklangsungdarisumber data atau ODS

Warehouse Manager

* Menampikansemuaoperasi yang terkaitdenganmanajemen data dari DWH :

- Analisis data untukmenjaminkonsistensi

- Transformasidanpenggabungansumber data dari ODS ke table DWH

- Pembuatanindeksdan view pada table base

- MembuatDenormalisasidanAgregasi, jikadiperlukan

- Backing up dan Archiving Data


Datawarehouse

KomponenDatawarehouse

Query Manager

*Menampilkansemuaoperasi yang terkaitdenganmanajemen query pengguna

* Mengarahkan query pada table yang cocok

* Menjadwalkanpelaksanaan query

Detailed Data

Komponen yang menyimpandetail data dalam skema database

*Current Detail Data  Langsungdarioperasional database danmengacupada data perusahaansekarang

contoh : profilpelanggan, data aktivitaspelanggan, data sales, data demografis

*Old Detail Data  Current Detail Data yang berumuratauhistoridarisubyek area


Datawarehouse

KomponenDatawarehouse

Lightly dan Highly Summarized Data

*Menyimpansemua data Lightly dan Highly Summarized yang sudahterdefinisisebelumnya yang dibuatoleh Warehouse Manager

* Tujuan : meningkatkan performance query

Back Up Data / Archive Data

*Menyimpan Detailed Data dan Summarized Data dengantujuanmengarsipdanmelakukan backup


Datawarehouse

KomponenDatawarehouse

Metadata

*Digunakanuntukmembangun, memelihara, mengatur, danmenggunakan DWH

*Mengandunglokasidandeskripsi :

- Komponen DWH (nama, definisi, struktur, danisidari DWH dan end user view)

- Identifikasidaripembuatsumber data (record system)

- Aturan-aturanintegrasidantransformasi yang digunakanuntukmempopulasikan DWH

- Historidari update dan refresh DWH

- Pola-polamatriks yang digunakanuntkperformamenganalisa DWH


Datawarehouse

KomponenDatawarehouse

End User Access Tools

*Komponen yang menyediakan informasi dari data warehouse yang ada bagi user dalam membantu mengambil keputusan

*Tools mencakup :

a. Reporting dan Query Tool

- Reporting : Menghasilkanlaporanoperasional yang teratur

- Query : Relasi DWH untukdapatmenerima SQL atauuntukmenghasilkanpernyataan SQL agar dapatmelakukan query pada data yang disimpandalam DWH

b. Application Development Tools

- Dirancanguntukkebutuhan Client Server


Datawarehouse

KomponenDatawarehouse

End User Access Tools

c. Executive Information System (EIS) Tool

- Mendukungpengambilantingkattinggi

d. OLAP Tool

- Konsepmultidimensi

- Mengizinkanpenggunauntukmenganalisis data menggunakan view yang kompleks

e. Data Mining Tool

Prosesmenemukankorelasi, pola, dangayabaru yang bermanfaatdengan ‘menggali’ data dalamjumlah yang banyakdenganmenggunakanteknikstatistikadanmatematika


Datawarehouse

StrukturDatawarehouse

Struktur DWH menurut Inmon (2005):

Current Detail Level

Older Detail Level

Lightly Summarized Data Level

Highly Summarized Data Level

Aliran data terjadi dari environment operasional menuju environment DWH  Proses Transformasi terjadi

Aliran data pada DWH selanjutnya berada pada tingkatan detail :

  • Current Detail Level  Older Detail Level

  • Summarize : Cuurent Detail Level  Lightly Summarized Data Level  Highly Summarized Data Level


Datawarehouse

StrukturDatawarehouse


Datawarehouse

StrukturDatawarehouse

Current Detail Level

Level terendahdari DWH

Mencerminkankeadaan yang sedangberjalansaatini

Data terlalulengkap/detail

Belumbisamelakukananalisis

Older Detail Level

Data historical dari Current Detail Data yang merupakan hasil backup yang disimpandalam media penyimpanandenganfrekuensiakses yang relatifrendah

Berupa backup data darikurunwaktu lama , misal : tahunan

Penyusunandirectory harusmencerminkanumurdari data agar mudahdiakseskembali

Dipakaiuntukmenganalisa trend yang akandihasilkan


Datawarehouse

StrukturDatawarehouse

Lightly Summarized Level

Hasilringkasanatau summary dari Current Detail

Belumdapatdigunakandalamprosespengambilankeputusankarenabelumbersifat “total summary” danmasihbersifat detail

Biasanyaseringdigunakanuntukgambarandarikeadaan yang sedangberlangsungdansedangberlangsung

Dirangkumberdasarkanperiodeataudimensisesuaikebutuhan

Tingkatan data inidisebutDatamart

Highly Summarized Level

Hasilproses summary yang bersifat “total summary”

Sangatmudahdiakses

Dapatdigunakanuntukmendukungpengambilankeputusanterutamakalanganeksekutifperusahaan


Datawarehouse

Aliran Data padaDatawarehouse

Inflow

Prosesberhubungandengan extraction, cleansing, loading data darisistemsumber

* Pembersihan data yang kotor

* Restruktur Data

* Memastikan data sumberkonsistendengan data dalam DWH

2.Upflow

Prosesberhubungandenganpenambahannilaidari data dalam DWH melalui summarizing, packaging, pendistribusian data

* Meringkas data denganmenyeleksi, projecting, joining, dan grouping relational data kedalam view yang lebohbergunabagi user

*Mengemasi data dengankonversi data yang telahdiringkaskedalam format yang lebihberguna, seperti : dokumenteks

*Distribusi data kekelompok yang sesuai


Datawarehouse

Aliran Data padaDatawarehouse

3.Downflow

Prosesberhubungandengan archiving dan back up data.

* Data yang sudah lama ditransferkealatpenyimpanan lain untjkmemeliharaperforma DWH

*Memastikan data sekarangdapatdibangunulangtanpakehilangan data

Outflow

Prosesberhubungandenganpengadaan data agar tersediabagi end user

*Accessing  Memuaskan request end-user untuk data yang dibutuhkan. Membuat environment dimana user dapatefektifmenggunakan query tools danmengaksessumber data yang tepat

*Delivering  Proaktifmengirimkaninformasikepada end user


Datawarehouse

Aliran Data padaDatawarehouse

5.MetaFlow

Prosesberhubungandenganmanajemendari metadata

* Deskripsiisi data dalam DWH

*Apasaja yang adadidalamnya

*Darimanadatangnya

*Apa yang telahdilakukanpadanya

Metadata harusselaludi update sejalandenganperubahan yang ada


Datawarehouse

ETL

Meliputi :

Mengekstrak data darisumber-sumbereksternal

Mentransformasikan data kebentuk yang sesuaidengankeperluan

Memasukkan data ke target akhir, yaitu DWH

Dapatdigunakanjugauntukmengintegrasikan data dengansistem yang sudahadasebelumnya


Datawarehouse

ETL

Tujuan:

Mengumpulkan, menyaring, mengolah, danmenggabungkan data yang relevandariberbagaisumber

Hasildari ETL :

Data yang memenuhikriteria DWH seperti data yang historis, terpadu, terangkum, statis, danmemilikistruktur yang dirancanguntukkeperluananalisis


Datawarehouse

ETL –Extraction

Mekanisme Extraction :

Logical Extraction

a. Full Extraction

Prosesekstraksidilakukandenganmengambilseluruh data darisource system yang diperlukan

  • Increment Extraction

    Prosesekstraksihanyapada data yang berubahataubelumadapada target sistempadaperiodetertentu


Datawarehouse

ETL –Extraction

Physical Extraction

a. Online Extraction

Data diekstrakdari source system ke target system secaralangsung. Prosesekstraksidilakukandengancaralangsungconnectkesource systemuntukmengaksessource table

b. Offline Extraction

Data tidakdiekstraksecaralangsungdarisource system, namunberadadiluarsource system. Data yang akandiekstraksudahmempunyaistruktur table danstruktur data yang diharapkansudahsesuaidengan data warehouse. Misalnyaflat file


Datawarehouse

ETL –Transform

Menentukanbagaimana data akandigunakanuntukanalisisdandapatmelibatkantransformasisepertipenjumlahan data, penggabungan data, pemisahan data, dankalkulasi data

Data disimpandalambentuk detail danringkasanuntukmemenuhikebutuhaninformasi

Output : data yang bersihdankonsistendengan data yang tersimpanpada DWH atausesuaibentuk yang telahdisiapkanuntukdianalisisolehpenggunadari DWH


Datawarehouse

ETL –Loading

Ketika data dimasukkanke DWH, batasan-batasantambahan yang didefinisikandidalamskema database diaktivasidalamproses loading

Jangkawaktuproses loading bergantungkebutuhanorganisasi


Datawarehouse

Granularity

Tingkat kedetailan data dalamsuatu DWH

Detail data tingkat granularity

Level yang paling rendah data transaksi

Issue :

  • Semakinrendah level granularity, makajumlah data yang disimpandalam data warehouse jugaakansemakinbesar.

  • Semakinrendahlavel granularity, makatingkatkedetailan data jugaakansemakinbesardanberpengaruhpadapertanyaan yang akandijawab


Datawarehouse

Konsep Metadata

KomponenDirektoriTeknikal

Berisiinformasitentang data

KomponenDirektoriBisnis

Berisi perspektif pengguna pada data

KomponenNavigasiInformasi

Berisicaraaksespadadirektoribisnisdan DWH.


Datawarehouse

Konsep Metadata

KomponenDirektoriTeknikal

a. Data souce

- Nama file danTipe file

- Bagaimananilaididefinisikan data source

- Kapan data dibuat

- Data datangdari system mana

- Siapapemilik data

- Siapa yang memberikan data

- User yang mana yang berhakmengakses data

- Skema database operasional


Datawarehouse

Konsep Metadata

KomponenDirektoriTeknikal

b. Data Target

- Namadantipe field

- Bagaimananilaididefinisikandalam DWH

- Dimana data ditempatkandalam DWH

- Versi

- Tanggal update terakhir

- Frekwensi update terakhir

- Siapapemilik data

- Siapa yang dapatmengakses data

- Skema data dalam data warehouse

- Cara end-user melakukanakses data


Datawarehouse

Konsep Metadata

KomponenDirektoriTeknikal

c. Clean Up Rules

- Record dan field yang akandibersihkan

- Mapping antaraelemen data pada original data source dengan DWH

- Rules yang digunakanuntukmengisinilaipada fields yang kosong

- Rules untuk data integrity

- Rules untukcekkonsistensi data


Datawarehouse

Konsep Metadata

KomponenDirektoriTeknikal

d. Transformation Rules

- Bagaimanamenentukanwaktudalammelakukantransformasi

- Algoritma (business rules) untukmenentukannilai yang diambil (nilaiasal)

- Bagaimanaringkasan data dibuat

e.Mapping

- Rules untukmelakukan filter data danuntukmelakukanpenggabungan data dari field atausumber data yang berbeda.


Datawarehouse

Konsep Metadata

KomponenDirektoriBisnis

Berorientasipadamekanisme DWH :

a. Istilahbisnis (business term) yang digunakanuntukmendeskripsikan data

b.Namateknis (alias) yang berhubungandengan business term yang dapatdigunakanuntukmengakses data

c.Data Sourcedanrules yang digunakanuntukmendapatkan data dantanggaldimana data tersebutdibuat

d.Catatantetangreportdanquery yang ada

e.Informasitentangkeamanan data (siapa yang mempunyaihakakses)


Datawarehouse

Konsep Metadata

KomponenNavigasiInformasi

Menjelaskan interface yang memungkinkan user untukmengaksesdirektoribisnisdan DWH.

Denganmenggunakankompunenini, user dapatmelakukan :

a.Melakukanaksesdan drill down pada data warehouse

b. Melakukanquerryke data warehouse

c.Meminta data barudari warehouse administrator

d. Melakukan transfer data dari warehouse kedatamartatau user lain


Datawarehouse

Febrianti Supardinah


Datawarehouse

Soal

Jelaskan 4 karakteristik DWH

MengapaperusahaanmemerlukanDatawarehouse ?

Jelaskanhubunganantara metadata dengan granularity untukmembangunsuatudatawarehouse

Gambarkandanjelaskanarsitektur DWH

Jelaskanapa yang dimaksuddengan ETL


  • Login