Konsep dan Teknik Data Mining

1. Konsep dan Teknik Data Mining 2 Data Warehouse & Teknologi OLAP

2. Problem: Sumber Informasi Yang Heterogen “keheterogenan ada dimana-mana” Database Personal World Wide Web Database saintifik Pustaka Digital • Antarmuka berbeda • Representasi data berbeda • Duplikasi dan ketidak-konsistenan informasi

3. Sistem Integrasi World Wide Web Goal: Akses Data Terpadu Dabase Personal Pustaka Digital Database Saintifik • Mengumpulkan dan mengkombinasikan informasi • Menyediakan view terintegrasi dan antarmuka user seragam • Menyokong pemakaian bersama-sama (sharing)

4. Pendekatan Warehouse Klien • data diintegrasikan terlebih dahulu • Disimpan dalam warehouse untuk query langsung dan analisa Data Warehouse Metadata Sistem Integrasi . . . Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor . . . Sumber Sumber Sumber

5. Client Client Query & Analisis Metadata Warehouse Integrasi Source Source Source Integrasi • Pembersihan Data • Pemasukan Data • Data yang diperoleh

6. Apa Itu Data Warehouse? • Suatu database penunjang keputusan yang dikelola secara terpisah dari database operasional perusahaan. • Penunjang pemrosesan informasi dengan menyediakan suatu platform yang kokoh untuk analisa data yang mengandung histori dan yang terkonsolidasi

7. Apa Itu Data Warehouse? • “Suatu DW adalah suatu koleksi data yang bisa digunakan untuk menunjang pengambilan keputusan manajemen, yang berorientasi subjek (topik), terpadu, time variant, dan tidak mudah berubah(non volatile)” —W. H. Inmon (Bp. Data Warehousing) • Data warehousing adalah proses dimana organisasi menyari makna dari aset informasi yang dimilikinya melalui penggunaan data warehouse

8. Apa Itu Data Warehouse? “Suatu data warehouse sederhananya adalah suatu penyimpanan data tunggal, lengkap dan konsisten, yang diperoleh dari berbagai sumber dan dibuat tersedia bagi end user dalam suatu cara yang bisa mereka pahami dan bisa mereka gunakan dalam suatu konteks bisnis.” - - Barry Devlin, IBM Consultant

9. Properti Data Warehouse? Subject Oriented Integrated Data Warehouse Non Volatile Time Variant

10. DW: Berorientasi Subjek (Topik) • Diorganisasikan berdasarkan kegunaan disekitar subjek bukan aplikasi, misal: customer, product, sales. • Perhatian dipusatkan pada pemodelan dan analisa data untuk pembuat keputusan, bukan untuk operasi harian atau pemrosesan transaksi. • View sederhana dan ringkas disekitar subjek pembicaraan disediakan dengan cara memisahkan data-data yang tidak berkaitan dengan proses penunjang keputusan

11. DW: Terpadu • Dibangun dengan memadukan banyak sumber data yang heterogen • Database relasional, flat file, catatan transaksi on-line. • Teknik pembersihan dan integrasi data diterapkan • Menjamin konsistensi penamaan, penyandian struktur, ukuran atribut, dsb., dari antara sumber-sumber data yang berbeda. • Misal, tarif hotel: mata uang, pajak, breakfast covered, dsb. • Ketika data dipindahkan ke warehouse, data ini telah terkonversi

12. DW: Time Variant • Jangka waktu untuk DW secara significant lebih lama ketimbang data pada sistem operasional • Database operasional: data dengan nilai terbaru • Data dari data warehouse: menyediakan informasi dari suatu tinjauan historis (misal, 5-10 tahun terakhir) • Setiap struktur key didalam data dari data warehouse memuat suatu elemen waktu baik itu yang secara eksplisit dinyatakan maupun yang secara implisit • Tetapi setiap struktur key dari data operasional bisa atau bisa tidak memuat elemen waktu

13. DW: Time Variant Data disimpan dalam sederetan snapshot, yang masing-masing menggambarkan suatu periode waktu

14. DW: Non-Volatile • Penyimpanan data yang secara fisik terpisah ditransformasikan dari lingkungan operasional • Pengubahan data operasional tidak terjadi dalam lingkungan data warehouse

15. DW: Non-Volatile Sistem Operasional Data Warehouse insert update replace delete Load/ Update change update Titik Konsisten Dalam waktu Perubahan konstan • Secara tetap diubah • Data berubah sesuai kebutuhan, tidak pada suatu jadwal tetap • Ditambahkan secara reguler, tetapi pemuatan data jarang sekali diubah secara langsung • Namun data warehouse tetap diperbaharui

16. Pengubahan Data Load pertama kali Database Warehouse Database Operasional Refresh Refresh Refresh

17. DW vs. DBMS Operasional • OLTP (on-line transaction processing) • Tugas utama dari relasi DBMS tradisional • Operasi harian: purchasing, inventory, banking, manufacturing, payroll, registration, accounting, dsb. • OLAP (on-line analytical processing) • Tugas utama dari sistem data warehouse • Analisa data dan pengambilan keputusan

18. akses read/write Banyak mengamati unit kerja Transaksi pendek, sederhana Query kompleks #record yg diakses puluhan jutaan #user ribuan ratusan Ukuran DB 100MB - GB 100GB - TB met rik throughput transaksi Throughput query, respons OLTP vs. OLAP OLTP (DB Standard OLAP (Data Warehouse) Tipe users profesional IT Pekerja pengetahuan Fungsi/kegunaan Operasi hari-ke-hari Pendukung keputusan Rancangan DB Berorientasi aplikasi - Berorientasi subjek - data current, up - to - date historikal, detail, flat relational lokal ringkas, multidimensional Terpadu penggunaan berulang Khusus untuk sesuatu maksud

19. Arsitektur Warehouse Klien Klien Query & Analysis Warehouse Integrator Metadata Extractor/ Monitor Extractor/ Monitor Extractor/ Monitor Sumber Sumber Sumber ...

20. Arsitektur Warehouse Klien Server Data Warehouse Sumber Informasi Server OLAP MOLAP (Multidimensional OLAP) OLTPDBMS Analysis Query/Reporting Saring, bersihkan, transforma-sikan, kumpulkan, muat, ubah Sumber Data lainnya Data Mining Data Marts ROLAP (Relational OLAP)

21. Model Data Multidimensi • Model data multidimensional dirancang untuk memfasilitasi analisis dan bukan transaksi • Umum didalam data warehouse • Konsep intuitif dari banyak dimensi atau perspektif pengukuran bisnis atau fakta-fakta • Melihat sales dari perspektif customer, product dan time • Model konseptual • Hypercube – suatu “kubus n-sisi” • Database adalah suatu kumpulan fakta (titik) dalam suatu ruang multidimensi

22. Model Kubus Data Kubus 2-d ke 3-d Memutar kubus

23. Model Data Multidimensi • Suatu fakta memiliki suatu ukuran dimensi • Besaran yang akan dianalisa, misal, sale, budget • Sekumpulan dimensi dimana data dianalisa • Misal, store, product, date yang dikaitkan dengan suatu jumlah sale • Dimensi membentuk suatu sistem koordinat populasi • Atribute-atribut dari suatu dimensi bisa berhubungan dengan urutan parsial • Hierarki: misal, street > county >city • Kisi: misal, date> month>year, date>week>year

24. Model Data Multidimensi • Ukuran– data numerik yang akan diamati • Dimensi– parameter bisnis yang mendefinisikan suatu transaksi • Contoh: analis ingin melihat data sales (ukuran) berdasarkan dimensi geography, time, dan product • Pemodelan dimensional adalah suatu teknik untuk menstrukturkan data disekitar konsep bisnis • Model ER menguraikan “entitas” dan “relasi” • Model dimensional menguraikan “ukuran” dan “dimensi”

25. Pemodelan Data Warehouse • Data Warehouse == Pemodelan Dimensional • OLAP == Query suatu model dimensional Jika manajer/user berkata: “Kita menjual PRODUCT dalam berbagai MARKET dan kita mengukur kinerja kita berdasarkan TIME” Maka secara konseptual kita menggambarkan suatu kubus data dalam 3 dimensi, dimana masing-masing sel memuat pengukuran. TIME MARKET PRODUCT

26. Pemodelan Data Warehouse • Dimensi yang mungkin: • Time: day, week, month, quarter, year • Geography / Market (Space) :city, county, state, region, nation • Product:brand, model, color, size, weight, ... • Vendor • Customer • Organizational unit / Line of Business • Salesperson • View - actual, budget, forecast... • … Masing-masing adalah dasar untuk agregasi dan pemecahan

27. Dari Tabel dan Spreadsheet menjadi Kubus Data • Suatu data warehouse didasarkan kepada suatu model data multidimensi yang melihat data dalam bentuk suatu kubus data • Suatu kubus data seperti Sales memungkinkan data untuk dimodelkan dan dilihat dari banyak dimensi • Dimensi tabel, seperti item (item_name, brand, type), atau time(day, week, month, quarter, year) • Tabel fakta memuat ukuran (seperti dollars_sold) dan kunci untuk setiap dimensi tabel terkait

28. Contoh Kubus Data

29. Contoh Kubus Data