Understanding the Role of Metadata in Data Warehousing

1. “Metadata dan Data Warehouse” M. M. Afdal Afdal, S.T., , S.T., M.Kom M.Kom

2. pendahuluan

3. Pertumbuhan data yang cepat membawa sejumlah tantangan, termasuk kompleksitas dalam integrasi data, kebutuhan untuk menjaga kualitas data, dan kesulitan dalam mengakses data yang terfragmentasi. Organisasi perlu mencari solusi yang memungkinkan mereka mengatasi tantangan ini dan mengubah data menjadi aset berharga (Shen et al., 2022). Metadata adalah informasi tentang data yang menjelaskan karakteristik, asal-usul, dan penggunaan data tersebut. Dengan metadata, organisasi dapat membantu pengguna untuk memahami data dengan lebih baik. Metadata juga membantu dalam mengelola, melacak, dan memonitor data dengan lebih efisien (Feng et al., 2022). Menurut Kimball Group Data warehouse adalah infrastruktur yang dirancang untuk mengumpulkan, menyimpan, dan memberikan akses ke data dari berbagai sumber. Ini membantu organisasi dalam konsolidasi data yang tersebar, menjaga kualitas data, dan menyediakan platform analisis data yang kuat. ● ● ●

4. Adapun rumusan masalah pada makalah ini yaitu : Defenisi Meta Data Manfaat Meta Data Fungsi Meta Data

5. Terdapat enam definisi mengenai metadata yang diberikan oleh sejumlah pihak sebagai berikut: Menurut IBM, metadata merupakan bentuk informasi mengenai suatu data serta bentuk informasi dari sebuah informasi. Menurut W.H. Inmon, metadata merupakan data yang merepresentasikan data lainnya. Metadata menjadi direktori untuk membantu proses pengambilan keputusan (Decision Making), objek dari warehouse. MISSION STATEMENT Menurut Kranthi Kumar dan Ravinder Madupu, metadata merupakan sebuah data digital yang berperan untuk mendokumentasikan, mendeskripsikan, dan menjelaskan mengenai isi di dalam Data Warehouse. Menurut Panos Vassiliadis, metadata merupakan potongan informasi yang tersimpan di dalam sebuah repositori yang didalamnya memuat empat buah informasi mengenai proses-proses yang terjadi pada Data Warehouse (rekonsiliasi data, semantik, pembaruan data, pembersihan data), informasi mengenai implisit semantik pada data (dengan dukungan berbagai model enterprise), serta informasi mengenai infrastruktur dan karakter fisik dari komponen-komponen pada Data Warehouse. Here you could describe the company’s mission. A clear message is a good way to get down to business Menurut Martin Staudty, Anca Vaduva dan Thomas Vetterliy, metadata merupakan potongan informasi didalam sistem informasi dan teknologi informasi yang dapat digunakan untuk melakukan analisis, desain, implementasi, dan pemanfaatan sistem berbasis computer. Menurut David Haertzen, metadata merupakan elemen penting di dalam data warehouse dalam bentuk data yang didalamnya memuat penjelasan dan informasi mengenai sistem pada data dan business intelligence berupa tabel, kolom, primary dan foreign key, cubes serta report.

6. Informasi yang dimiliki oleh Metadata Mengenai Data Warehouse Informasi atau keterangan meliputi informasi mengenai database management system (DBMS) yang digunakan oleh data warehouse (Oracle, MySQL, SQL Server, SysBase), informasi mengenai physical name dan logical name, informasi mengenai aturan (Role) yang digunakan oleh data warehouse (OLTP, Stage, Legacy), informasi mengenai jenis data (data multidimensi, Fact, Bridge, data dua dimensi), dan informasi mengenai lokasi data, definisi yang diperlukan, catatan, tipe data, serta Panjang data.

7. Enam Peran Utama Metadata Bagi Data Warehouse Meningkatkan interaksi pengguna dengan sistem Meningkatkan kualitas data (Data Quality) Mendukung proses integrasi sistem Mendukung proses desain, analisis dan pemeliharaan sistem. Otomatisasi berbagai tugas dan administrasi Meningkatkan fleksibilitas ● ● ● ● ● ●

8. Tiga Jenis Metadata Business Metadata ● Business metadata merupakan metadata yang memuat segala hal berkaitan dengan bisnis pada suatu data, definisi bisnis pada data, data mart, agregasi data, dan pemodelan data multidimensi menggunakan cube ● Technical Metadata Technical metadata merupakan jenis metadata yang menyimpan informasi mengenai teknis dari asset-aset data Operational Metadata ● Operational metadata merupakan metadata yang di dalamnya memuat lini masa (Timeline) dari data saat terjadi proses integrasi dan transformasi, serta lini masa dari eksekusi satu atau beberapa buah job dari aplikasi.

9. Delapan Tugas Metadata Pada Data Warehouse. Data Mining Tool ● Sebagai data mining tool, metadata membantu proses ekstraksi informasi secara lebih cepat dan lebih baik, sehingga menghasilkan informasi yang bermanfaat untuk membantu proses pengambilan keputusan Data Load Function ● Metadata pada data warehouse dapat bertugas sebagai data load function, untuk membantu pengguna teknis pada sistem data warehouse , didalam menangani, mengamati, dan manajemen laju data dan file dari lingkungan operasional di luar sistem ke lingkungan internal sistem beserta dengan beban yang dialami oleh sistem Query Tool ● Tugas ketiga dari metadata pada data warehouse adalah sebagai query Tool. Dengan perannya sebagai query tool, metadata membantu pengguna data warehouse untuk memilah data dan informasi yang tepat, hubungan dan asosiasi antar data dan elemen data, serta meningkatkan hasil pencarian ( terutamanya jika dikaitkan dengan informasi Retrieval.)

10. Application ● Tugas keempat dari metadata pada data warehouse adalah sebagai application, yaitu bertindak sebagai aplikasi untuk sistem dan komputer Source System ● Tugas kelima dari metadata pada data warehouse adalah sebagai source system. Metadata menyediakan informasi mengenai sumber data berasasal,serta sebagai aplikasi pemrosesan transaksi OLAP Tool ● Tugas keenam dari metadata pada data warehouse adalah sebagai OLAP Tool. Sebagai OLAP Tool, dua fungsi utamanya adalah untuk melakukan slicing dan dicing terhadap data, dimana data telah diubah dari bentuk data dua dimensi menjadi data multidimensi Extracting Tool ● Tugas ketujuh dari metadata pada data warehouse adalah sebagai extracting Tool yang berperan untuk membantu proses ekstraksi data yang terjadi pada data warehouse Tranformation Tool ● Tugas kedelapan ini berkaitan dengan tugas ketujuh dari metadata ( extraction Tool), yang masuk ke dalam ETL (extraction, tranformation, loading).

11. Contoh Bidang Pemanfaatan Metadata Pada Data Warehouse Sistem informasi ● Bidang ini merupakan bidang yang paling banyak berhubungan dengan data, analisis data dan sistem pengelolaan data . Terdapat tiga jenis subbidang pada sistem informasi meliputi sistem database terintegrasi, sistem temu kembali informasi ( information Retrieval system) dan web ● Software Engineering Bidang kedua untuk contoh pemanfaatan dari Metadata pada Data Warehouse adalah Software Engineering. Bidang ini merupakan bidang untuk rekayasa perangkat lunak komputer (Software), termasuk juga Software untuk Data Warehouse. Peran dari bidang ini bukan saja untuk menciptakan Software Data Warehouse, tapi juga memperbarui (Update), memperbaiki (Maintenance), dan mengembangkan (Development) perangkat lunak Data Warehouse ● Multimedia Bidang ketiga untuk contoh pemanfaatan dari Metadata pada Data Warehouse adalah multimedia. Bidang multimedia di dalam cakupannya pada dunia teknologi informasi, didefinisikan sebagai bidang yang menangani berkas-berkas data dalam bentuk gambar, audio, video, atau kombinasinya

12. Metadata Repository Metadata dapat terdiri atas dua buah Metadata atau lebih, yang masing- masing memuat informasi dan keterangan yang sama maupun berbeda- beda. Di sinilah akan terbentuk sebuah lumbung untuk penyimpanan sejumlah Metadata tersebut

13. Definisi Metadata Repository Secara umum, Metadata Repository dimaksudkan sebagai sebuah lumbung (Repository) dalam bentuk media penyimpanan, yang mana di dalamnya menyimpan sebuah Metadata atau lebih, yang mendukung jalannya sistem pada Data Warehouse

14. Gambar di atas memberikan ilustrasi mengenai hubungan antara Mrudata Manager dengan Metadata Repository. Metadata Manager merupakan tool atau alat (dalam bentuk sistem maupun aplikasi), y digunakan untuk mewujudkan Metadata Management. Metadata yang Management sendiri bertujuan untuk mengelola dan mengatur semua Metadata yang ada, guna memudahkan di dalam manajemen pengetahuan (Knowledge) yang disediakan di dalamnya. ■

15. Peran dari Metadata Repository Metadata Repository didesain untuk dapat menyimpan sebanyak mungkin Metadata dari berbagai aplikasi dan platform yang berbeda (beserta dengan komponen-komponen dari Metadata itu sendiri), untuk kemudian dibagikan (Sharing) ke sebanyak mungkin sistem yang berbeda-beda. Inilah peran utama dari Metadata Repository. Lalu adakah peran lainnya dari Metadata Repository? Tentu ada. Dari peran utamanya tersebut, Metadata Repository juga berperan di dalam membentuk hubungan (Relationship) antar Metadata dan sistem yang berbeda. Hal ini sangat membantu di dalam integrasi sistem di dalam sebuah organisasi, yang melibatkan integrasi di level database (basis data) beserta dengan Metadata di dalamnya

16. Jenis Metadata pada Metadata Repository Definition Metadata ● Jenis pertama dari Metadata yang dimuat di dalam Metadata Repository adalah Definition Metadata. Sebagaimana namanya, Metadata jenis ini memuat definisi-definisi terkait dengan Metadata. Antara lain melipu lokasi Data Mart, skema (Star Schema, Snowflake Schema, Starflake Schema), View atau Materialization View, hirarki (Dimensional Schema), Hierarchies), dan definisi data atau Derived Data Definition. Business Metadata ● Jenis kedua dari Metadata yang dimuat di dalam Metadata Repository adalah Business Metadata. Di dalamnya termuat informasi mengenai hal-hal yang berhubungan dengan bisnis pada data. Operational Metadata ○ Di dalamnya termuat informasi mengenai operasional data. Meliputi catatan waktu untuk data saat diaktifkan, diarsipkan, dihapus, dan lainnya Mapping Metadata ○

17. Lima Jenis Metadata pada Metadata RepositoryEmpat Klasifikasi Metadata Repository Berdasarkan Penyimpanannya Physical Characteristic Descriptive Characteristic Ownership Rule And Policies ● ● ● ●

18. Dua buah standarisasi metadata repository Standarisasi MDC Microsoft ● Microsoft menyediakan standarisasi untuk Metadata Repository dan pertukaran ddata antar- platform dan aplikasi berbeda, dalam bentuk Meta data Coalition (MDC), yang kemudian melahirkan open informaton model (OIM) Microsoft Standarisasi OMG Oracle ● Didirikan ditahun 1989 sebagai sebuah konsorsium international untuk standarisasi metadata, object management group (OMG) yang didukung oleh Oracle, menjadi standarisasi penting lainnya selain MDC didunia basis data dan metadata.

19. Pengembangan Sofware Metadata Repository Sebuah perangkat lunak komputer (Software) untuk Metadata Repository, dapat dikembangkan menggunakan HTML (Hyper Text Markup Language), untuk menciptakan tatap muka aplikasi Metadata Repository Berbasis Web. Oleh karena Metadata Repository merupakan lumbung untuk penyimpanan sejumlah Metadata berbeda dan berbentuk dari Metadata Repository ini dapat berupa database, lokasi fisik (Drive), maupun virtual, maka di dalam pengembangannya pun, diperlukan adanya implementasi dari hubungan antar tabel. ●

20. Metadata Management Definisi Metadata Management ● Menurut IBM, Metadata Management merupakan sebuah upaya pemutusan dari information Governance, yang diwujudkan ke dalam tiga bentuk: Tool atau Software (perangkat lunak Komputer), proses, dan lingkungan, sehingga menjadikan organisasi pemilik dta dan informasi dapat memanajemenkan semua informasi yang dimiliki, mengelola dan memanajemenkan semua pengetahuan yang ada didalam informasi yang mereka miliki, serta membantu organisasi bagaimana cara untuk mengetahui apa saja yang ada di dalam data dan informasi yang dimiliki oleh organisasi bersangkutan. Perbedaan Information Governance dan metadata Management ● Information Governance fokus kepada apa saja yang dapat diketahui dan dipahami oleh penggunan mengenai data dan informasi yang mereka miliki, sedangkan metadata management fokus kepasa bagaimana cara yang dilakukan oleh pengguna untuk dapat mengeetahui dan memahami mengenai data dan informasi yang mereka miliki.

21. Tiga bagian pada Metadata Management Development ● Bagian ini berhubungan dengan proses pengembangan aplikasi (Tool) dan sistem untuk Metadata Management. Terdapat tiga hal yang menjadi fokus utama, yaitu Enterprise Architecture, Data Warehouse Management, dan Enterprise Application Management Governance ● Bagian ini berhubungan dengan tata kelola yang diperlukan didalam Metadata Management. Tiga bagian utama didalamnya, yaitu Policies, Bussiiness Rules, Data Warehouse Management Operation ● Berhubungan dengan segala operasional yang ada. Bagian ini hanya fokus kepada infrastruktur, infrastruktur yang baik akan membantu mewujudkan layanan berbasis teknologi informasi (IT Service) yang baik. Salah satunya adalah layanan berbasis teknologi informasi dengan menggunakan Data Warehouse beserta Metadata Management.

22. Manfaat Metadata Management Sebagai sebuah katalog informasi untuk semua objek data. Data-data yang dikelola berdasarkan kepada metadata management yang baik, akan menghasilkan informasi yang terpercaya bagi organisasi yang menerapkan. Menjadikan data dan informasi lebih terpercaya, sekaligus meningkatkan integritas dari data dan informasi. Membantu proses validasi dari tranformasi data Menjadi katalog informasi untuk semua objek data. Dengan tersedianya semua keterangan dari semua data dan objek data didalam metadata yang terkumpul, maka pengguna perusahaan dapat menjadikan semua objek data dan data itu sendiri. Meningkatkan akurasi perhitungan dan akurasi laporan Menjadi penghubung antara Busines Term dengan Business End User, melalui penyediaan keterangan dari semua data melalui Metadata dan Metada Management. ● ● ● ● ● ●

23. Manfaat Metadata Management Sebagai sebuah katalog informasi untuk semua objek data. Data-data yang dikelola berdasarkan kepada metadata management yang baik, akan menghasilkan informasi yang terpercaya bagi organisasi yang menerapkan. Menjadikan data dan informasi lebih terpercaya, sekaligus meningkatkan integritas dari data dan informasi. Membantu proses validasi dari tranformasi data Menjadi katalog informasi untuk semua objek data. Dengan tersedianya semua keterangan dari semua data dan objek data didalam metadata yang terkumpul, maka pengguna perusahaan dapat menjadikan semua objek data dan data itu sendiri. Meningkatkan akurasi perhitungan dan akurasi laporan Menjadi penghubung antara Busines Term dengan Business End User, melalui penyediaan keterangan dari semua data melalui Metadata dan Metada Management. ● ● ● ● ● ●

24. Tool untuk Metadata Management IBM Inforsphere Information Governance Catalog ● Tool ini memiliki kemampuan untuk membantu pertukaran data dan integrasi sistem, berbasiskan kepada metadata dan metadata management. ● Pentaho Metadata Tool ini memiliki kemampuan untuk menjelaskan model bisnis suatu organisasi, melakukan Query pada sumber data melalui pentaho Reporting, dan manajemen metadata ● Microsoft Repository Merupakan produk riset dari perusahaan microsoft, yang saat ini telah dilepas ke publik sebagai salah satu aplikasi berbayar untuk metadata management ● UREP Unisys Tool ini bermanfaat untuk membantu meningkatkan produktivitas perangkat lunak komputer, platform, dan sistem Client Service, sesuai dengan daur hidupnya ● Teradata Meta Data Service Tool ini ditujukan untuk membantu manajemen Metadata pada lingkungan sistem Data Warehouse

25. KESIMPULAN Metadata adalah informasi tambahan yang sangat penting dalam pengelolaan data, karena dapat membantu mengidentifikasi, mengorganisasi, dan mengelola data dengan lebih baik. Metadata juga berperan kunci dalam pengembangan data warehouse. Data warehouse adalah solusi yang vital untuk organisasi yang ingin menyimpan, mengintegrasikan, dan menganalisis data secara efisien. Data warehouse dapat membantu organisasi dalam mengambil keputusan yang lebih baik berdasarkan data historis dan real-time. Pengelolaan metadata dalam lingkungan data warehouse sangat penting untuk memastikan kualitas data yang baik dan akurat. Metadata membantu dalam pencarian, pemantauan, pembaruan, dan pemahaman data dalam data warehouse. Pengelolaan metadata dan penggunaan data warehouse dengan baik dapat memberikan keuntungan besar dalam pengambilan keputusan bisnis dan pengelolaan data yang efisien. Dengan perhatian yang cermat terhadap metadata dan praktik terbaik dalam manajemen data, organisasi dapat mencapai hasil yang lebih baik dalam dunia bisnis yang sangat kompetitif saat ini.