Download
data warehouse data mart oltp olap n.
Skip this Video
Loading SlideShow in 5 Seconds..
Data Warehouse, Data Mart, OLTP & OLAP PowerPoint Presentation
Download Presentation
Data Warehouse, Data Mart, OLTP & OLAP

Data Warehouse, Data Mart, OLTP & OLAP

329 Views Download Presentation
Download Presentation

Data Warehouse, Data Mart, OLTP & OLAP

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Data Warehouse, Data Mart, OLTP & OLAP

  2. Apa Data Warehouse ? • Merupakan database yang berisi data daribeberapa system operasional yang terintegrasi, teragregrasidanterstruktursehinggadapatdigunakanuntukmendukunganalisadanprosespengambilankeputusandalambisnis Products Brands Cost Suppliers Mktg Customer Care Sales Information Clients Operational data

  3. Mengapakitaperlu Data Warehouse? • Apakahandamemilikidata detail historiuntuktujuananalisa ? • Berapabulandari data histori yang diperlukanuntukdi-online-kan ? • Apakahandamenyimpan level detail yang benar? • Apakahandadapatmenganalisapenjualanuntuktiapprodukdarisetiapdaerahsebelumdansesudahstrukturpelaporanpenjualandi-reorganisasi ? • Data warehouse dibangundengantujuanmemecahkansemuapersoalantersebut.

  4. Tujuan • Mendukungpengambilankeputusan, bukanuntukmelaksanakanpemrosesantransaksi • Data warehousehanyaberisiinformasi-informasi yang relevanbagikebutuhanpemakai yang dipakaiuntukpengambilankeputusan

  5. TinjauanHistori • Tahun 1970-an aplikasikomersialpertamadibangun => dibangunpadacomputer mainframe • Tahun 70-an danawal 1980 => minicomputers seperti Digital's PDP-11 dan VAX 11/780 membuatharga hardware turundrastis • munculnyadatabase relasional • tahun 1979, Oracle sebagai software komersialpertama • kemunculanPersonal Computer (PC), komputasiberalihdari mainframes kesystem client/server • Tahun 1980-an • system OLTPdibangundenganmenggunakan system relasional

  6. Era Kemunculan Data Warehouse • Dan padaakhirtahun 1980-an danawaltahun 1990-an, mulaidilakukantinjauanbisnissecaramenyeluruh, sehinggamuncullahenterprise data warehouses untukpertamakalinya • Istilah data warehouse dikenalkanpertama kali oleh Bill Inmon

  7. Ciri-ciri Data Warehouse Terdapat4 karateristik data warehouse: • Subject oriented – Data yang disusunmenurutsubyekberisihanyainformasi yang pentingbagipemrosesan decision support. – Database yang semuainformasi yang tersimpandikelompokkanberdasarkansubyektertentumisalnya: pelanggan, gudang, pasar, dsb. – Data-data disetiapsubyekdirangkumkedalamdimensi, misalnya: periodewaktu, produk, wilayah, dsb, sehinggadapatmemberikannilaisejarahuntukbahananalisa.

  8. Ciri-ciri …(contd.) • Integrated – Jika data terletakpadaberbagaiaplikasi yang terpisahdalamsuatulingkunganoperasional, encoding dataseringtidakseragamsehingggabila data dipindahkanke data warehouse maka coding akandiasumsikansamasepertilazimnya. • Time-variant – Data warehouse adalahtempatuntukstoring data selama 5 sampai10 tahunataulebih, data digunakanuntukperbandinganatauperkiraandan data initidakdapatdiperbaharui. • Non volatile – Data tidakdapatdiperbaharuiataudirubahtetapihanyadapatditambahdandilihat

  9. Sifat Data Warehouse • Kelompokvariabelatau parameter disebutDimensionspada On-Line Analytical Processing (OLAP) • Multidimensional yang berartibahwaterdapatbanyaklapisankolomdanbaris (Iniberbedadengantabelpada model relasional yang hanyaberdimensidua) • Berdasarkansusunan data sepertiitu, amatlahmudahuntukmemperolehjawabanataspertanyaanseperti: “Berapakahjumlahproduk 1 terjualdiJawa Tengah padatahun n-3?”

  10. Data warehouse melihatkedalam data untukmenemukaninformasi • Aktifitasutamanyaadalahquery, ataumembaca data. • Aktifitasperubahan (update) hanyaterjadipadasaat data di-load kedalam warehouse. • Materialized views ditambahkan pula sejak Oracle 8iuntukmeningkatkanperformansipadasaatmelakukanaggregasidan summary pada data.

  11. Analisa yang diperolehdari Data Warehouse • Tidakcukuphanyadenganmengetahuikeuntungan yang diperolehtahunini, seoranganalisjugaperlumengetahuikeuntunganpadasetiapperiodewaktutertentuuntuksetiapprodukdisetiaparea geografistertentu. • Seoranganalisperlumembandingkanpenjualanbulaninidenganbulan yang samapadatahunsebelumnya.

  12. Data warehouse membutuhkandesain database yang berbeda • Data warehouses didesainuntukbisamelakukan query secaracepat. • Informasiditurunkandari data lain, dilakukanrolling up data untukdijadikanringkasan (summaries), dilakukanoperasidrilling down untukmendapatkaninformasilebih detail, ataumelihatpola yang menarikataumelihattrend (kecenderungan). • Desain yang sesuaiadalahdenganmenggunakanskema star yang diperkenalkanmulaipertamaoleh Ralph Kimball

  13. Pendekatan dimensional padaskema Star • Mengorganisasi data kedalamtable faktadantabeldimensi. • Dimensi-dimensidalamskema star digunakanuntukmelakukananalisadanmengorganisasi data. • Desainlogikaditampilkandalambentukrepresentasifisik yang akanmengoptimalkanperformansidanmanajemen. • Dalamhalini, Tabel, constraints, indexes, danpartisididefinisikan.

  14. Data warehouses sebagai system terpisah • Mengapakitaperlumengkopi data darisatu system ke system lain untukmembangun warehouse? • Alasan: system operasionaltidakberisi data histori(data time series – atau data yang mengandungdimensiwaktu), sehingga data tidak available untukdianalisa. • Jugaskema data system operational tidakdidesainuntukkeperluanquerikecerdasanbisnis(business intelligence queries).

  15. Data warehouse dibangundari system operasional • Membangun warehouse melibatkanekstraksidata darisystem operasional, dikombinasikandenganinformasitambahandaripihakketiga, mentransformasinyakedalam format yang seragamdandi-load kedalam database. • 80% waktudigunakanuntukproses extraction/ transformation/load (ETL) : menempatkan data, menulis program untukekstraksi; memfilter, danmembersihkan data; mentransformasi data kedalamskemapengkodeanstandart; kemudian me-load data kedalam data warehouse.

  16. Contoh format yang tidaksama • Produkdengankode "1234" disebutdengan “roti” sementaraditempat lain "1234“ disebut “kue” • Kodeprodukdirepresentasikandengankarakter yang dipisahkandengantanda ‘-‘(xxx-xx-xxx) sedangkanditempat lain direpresentasikandengankarakter yang dipisahkandengantandaspasi (xxx xx xxx). • Untukatribut gender pada table customer digunakannilai "0" atau "1." Sedangkandi system lain, digunakan "M" atau "F.“ • Perbedaanmatauang yang tidaksamauntuk data penjualan, digunakan rupiah, dollar atau euro.

  17. Software Data Warehouse • Data warehousedapatdibangunsendiridenganmenggunakanperangkatpengembanganaplikasiataupundenganmenggunakanperangkatlunakkhusus yang ditujukanuntukmenanganihalini • Beberapacontohperangkatlunak yang digunakanuntukadministrasidanmanajemendata warehouse: • HP Intelligent Warehouse (Hewlett Packard) • FlowMark (IBM) • SourcePoint (Software AG)

  18. Data Mart • Data marts adalahsubyekspesifikatauaplikasispesifikdari data warehouses yang berisi data untuksatu line bisnistertentusemisalpenjualanataupemasaran. • Ruanglingkupdata mart lebihkecil, data didapatkandarisumber yang lebihsedikit, danwaktuimplementasinyajugalebihpendek.

  19. Tipe Data Mart • Data marts bisabersifatdependent atauindependent, tergantungpadasumberinformasinya. • Sumberinformasiuntuk data mart yang bersifat dependent adalahdata warehouse itusendiri. • Sedangkan data mart bersifat independent jikatidakterdapat data warehouse, dan data diekstraksecaralangsungdari system operasional.

  20. Data Warehouse & dependent Data Mart

  21. Software Data Mart • SmartMart (IBM) • Visual Warehouse (IBM) • PowerMart (Informatica)

  22. Online Transaction Processing (OLTP) • Suatu class program ygmemfasilitasidanmengaturaplikasiberorientasitransaksi, khususnyauntukdata entry dantransaksipencarianpadasejumlahindustri. • Meliputi banking, airlines, mailorder, supermakets

  23. OLTP Vs Data Warehouse Workload • Data warehouse didesainuntukmenampungquerydalamjumlah yang besar • OLTP hanyamendukungoperasitertentu Data modification • Data warehouse diupdate data secara regular (setiapminggu/ hari) memakaiteknikmodifikasi data shg user tidaksecaralangsungmengupdate data warehouse • Pada OLTP, user melakukanproses update data secararutindanlangsung • v vv

  24. OLTP Vs Data Warehouse (contd.) SkemaDesain: • Data warehouse biasanyaternormalisasisecarasebagianbahkandalamkeadaantidakternormalisasi • OLTP ternormalisasi penuh untuk meningkatkan proses update/insert/delete danmeningkatkankonsistensi data Typical operation • Data warehouse menjalankan query yang memprosesbanyakbaris(ratusanataumilyaran), contoh :total penjualansemuacustomer pada akhirbulan • OLTP hanyamengkasesrecord tertentu, contoh :mencari data order untuk customer tertentu

  25. OLTP Vs Data Warehouse (contd.) Historical data • Data warehouse menyimpan dataselamabeberapabulanatautahun. Hal inimendukungproses historical analysis • OLTP menyimpan data hanyabeberapamingguataubulan

  26. Online Analytical Processing (OLAP) • Suatujenispemrosesan yang memanipulasidanmenganalisa data bervolumebesardariberbagaiperspektif (multidimensi). OLAP seringkalidisebutanalisis data multidimensi (atributdimensi & ukuran). • Saatini OLAP lebihseringterdengardenganistilah BI (Business Intelligent) • Cara untukmenganalisa data-data perusahaandenganbegitumudahyaitudengancara'Drag & Drop', sehingga data-data tersebutbisamenjadisuatuinformasi yang lebihbernilai

  27. Untukmempermudahandamengingattentang OLAP adalah'Fast Analysis of Shared Multidimensional Information' atau'FASMI'.FASTberartibahwainformasi yang akandilakukansangatcepat, untukmemproses data 1,000,000 transaksihanyamembutuhkanwaktu +/- 2.5 menitdengan 10 dimensidan 3 jenisukuran.ANALYSISberartibahwa system dapatmencakup 'Business Logic' dan data analisastatistik yang relevandengan data-data yang tersedia.

  28. SHAREDberatibahwa system inidiimplementasikandengansuatu system keamananuntukmenjagakerahasiaaninformasi. Sehinggasetiap user dapatdiatursesuaikebutuhan.MULTIDIMENSIONALadalahsuatukuncikebutuhanterhadappenggunaanaplikasi OLAP. Setiapaplikasiiniharusselalumengandungunsur multi dimensi.INFORMATIONadalahsemua data danturunaninformasi yang dibutuhkan, dimanapundanbagaimanapun data ituharuslahberhubungandenganaplikasi.

  29. Contoh data 2-dimensi

  30. Kemampuan OLAP • Konsolidasimelibatkanpengelompokan data. Sebagaicontohkantor-kantorcabangdapatdikelompokkanmenurutkotaataubahkanpropinsi. Transaksipenjualandapatditinjaumenuruttahun, triwulan, bulan, dansebagainya. Kadangkalaistilahrollupdigunakanuntukmenyatakankonsolidasi • Drill-downadalahsuatubentuk yang merupakankebalikandarikonsolidasi, yang memungkinkan data yang ringkasdijabarkanmenjadi data yang lebih detail • Slicing and dicing (ataudikenaldenganistilah pivoting) menjabarkanpadakemampuanuntukmelihat data dariberbagaisudutpandang

  31. Contoh Pivoting Table

  32. SoftWare OLAP • Express Server (Oracle) • PowerPlay (Cognos Software) • Metacube (Informix/Stanford Technology Group) • HighGate Project (Sybase)

  33. Tugas • Caricontohartikelaplikasipenggunaandatawarehouse,datamart, OLAP, OLTP! • Berikanilustrasidalamaplikasiproses-proses: • Slice & dice • Roll up & Drill down • Tugasdikumpulkanminggudepanpadahari yang sama!