1 / 38

Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen

BTW 2001 – Sitzung: Datenbanken im Internet. Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen. Markus Keidl 1 Alexander Kreutz 1 Alfons Kemper 1 Donald Kossmann 2. 1 Universität Passau D-94030 Passau <nachname>@db.fmi.uni-passau.de. 2 TU München

sanura
Download Presentation

Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. BTW 2001 – Sitzung: Datenbanken im Internet Verteilte Metadatenverwaltung für die Anfragebearbeitung auf Internet-Datenquellen Markus Keidl1Alexander Kreutz1 Alfons Kemper1 Donald Kossmann2 1 Universität Passau D-94030 Passau <nachname>@db.fmi.uni-passau.de 2 TU München D-81667 München Kossmann@in.tum.de Verteilte Metadatenverwaltung

  2. Gliederung • Motivation • Die Metadatenverwaltung MDV • Architektur • Publish/Subscribe-Mechanismus • Regelsystem • Vorfilter-Algorithmus • Zusammenfassung Verteilte Metadatenverwaltung

  3. Motivation • Ressourcenverwaltung für Internet- Anfragebearbeitung in ObjectGlobe • Anforderungen: • große Zahl von Klienten 3-Schichten-Architektur • Informationen nahe bei den Klienten Caching, Replikation • Aktualität der Information Verteilte Metadatenverwaltung

  4. Das ObjectGlobe-System Cycle-Provider thumbnail Lade Operator wrap_S Fct-Provider Data-Provider A thumbnail Data-Provider B wrap_S S Verteilte Metadatenverwaltung

  5. Die Metadatenverwaltung • Metadaten im RDF-Format • Metadaten-Schema mit RDF Schema • 3-Schichten-Architektur: Ö-MDVs, L-MDVs und MDV-Klienten • Caching/Replikation auf lokaler Ebene • Aktualität durch Publish/Subscribe-Mechanismus Verteilte Metadatenverwaltung

  6. RDF • RDF = Resource Description Framework • Dokumente enthalten Ressources, Properties und Values( Objekten, Instanzvariablen, Werten) • RDF Schema: Klassenhierarchie • Zukünftiger Standard für Metadaten(MDV ist aber nicht darauf festgelegt) Verteilte Metadatenverwaltung

  7. RDF - Beispiel • Beispiel: <Partition rdf:ID=“part“> <cardinality>2000</cardinality> <theme> <Theme rdf:ID=“theme“> <themeName>Hotels</themeName> </Theme> </Partition> Verteilte Metadatenverwaltung

  8. Architektur der MDV Ö-MDV Ö-MDV Ö-MDV Backbone Publish/Subscribe L-MDV L-MDV Optimierer Verteilte Metadatenverwaltung

  9. Architektur - Ö-MDVs • Öffentlichen MDVs (Ö-MDVs): • Backbone aus Ö-MDVs • speichern globale Metadaten • repliziert innerhalb des Backbones Verteilte Metadatenverwaltung

  10. Architektur der MDV Ö-MDV Ö-MDV Ö-MDV Backbone Publish/Subscribe L-MDV L-MDV Optimierer Verteilte Metadatenverwaltung

  11. Architektur - L-MDVs • Lokale MDVs (L-MDVs): • liegen nahe bei den Klienten • abonnieren globale Metadaten Caching • speichern lokale Metadaten • Anfrageauswertung: abonnierte und lokale Metadaten • Hinzufügen von L-MDVs  Skalierbarkeit Verteilte Metadatenverwaltung

  12. Architektur der MDV Ö-MDV Ö-MDV Ö-MDV Backbone Publish/Subscribe L-MDV L-MDV Optimierer Verteilte Metadatenverwaltung

  13. Architektur - MDV-Klienten • MDV-Klienten • stellen Anfragen an L-MDVs • browsen Metadaten an Ö-MDVs und L-MDVs • modifizieren die Abonnement-Regeln ihrer L-MDV Verteilte Metadatenverwaltung

  14. Publish/Subscribe-Mechanismus • Lokale MDVs abonnieren Metadaten  Regeln • Beispielregel:search Partition p register pwhere p.cardinality > '1000' and p.theme.themeName = 'Hotels' • Registrieren, Ändern oder Löschen von RDF-Dokumenten  Auswertung • Problem: Große Menge von Regeln Verteilte Metadatenverwaltung

  15. Vorfilter • Basierend auf Standard-RDBMS • Idee: Auswerten einer Regel-Teilmenge • Zerlegung in Atome: • RDF Dokumente • Regeln  auslösende und abhängige Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung der Regeln • Ziel: Index auf gesamte Regelmenge Verteilte Metadatenverwaltung

  16. Publish/Subscribe mit Vorfilter • Registrierung eines RDF Dokuments • Zerlegung des RDF Dokuments • Vorfilter-Lauf Regeln, die neue Metadaten abonnieren + neue Metadaten • Regeln  L-MDVs • Benachrichtigung der L-MDVs Verteilte Metadatenverwaltung

  17. Zerlegung: RDF-Dokument <Partition rdf:ID=“part“> <cardinality>2000</cardinality> <theme> <Theme rdf:ID=“theme“> <themeName>Hotels</themeName> </Theme> </Partition> Verteilte Metadatenverwaltung

  18. Zerlegung: RDF-Dokument <Partition rdf:ID=“part“> <cardinality>2000</cardinality> <theme> <Theme rdf:ID=“theme“> <themeName>Hotels</themeName> </Theme> </Partition> Verteilte Metadatenverwaltung

  19. Zerlegung: Regeln search Partition p register p where p.cardinality > '1000' and p.theme.themeName = 'Hotels' A: search Partition p register pB: search Partition p register p where p.cardinality > '1000'C: search Theme t register t where t.themeName = 'Hotels' D: search Regel(C) d register dE: search Regel(A) a, Regel(D) d register a where a.theme = gF: search Regel(E) e, Regel(B) b register e where e = b Verteilte Metadatenverwaltung

  20. Regel F e = b Regel E Regel B a.theme = d Regel A Regel D cardinality > '1000' Regel C themeName = 'Hotels' Partition Theme Partition Zerlegung: Regel - Ergebnis Verteilte Metadatenverwaltung

  21. Zerlegung: Auslösende Regeln search Partition p register p where p.cardinality > '1000' > search Theme t register t where t.themeName = 'Hotels' = search Partition p register p Verteilte Metadatenverwaltung

  22. Vorfilter • Basierend auf Standard-RDBMS • Idee: Auswerten einer Regel-Teilmenge • Zerlegung in Atome: • RDF Dokumente • Regeln  auslösende und abhängige Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung der Regeln • Ziel: Index auf gesamte Regelmenge Verteilte Metadatenverwaltung

  23. Vorfilter • Basierend auf Standard-RDBMS • Idee: Auswerten einer Regel-Teilmenge • Zerlegung in Atome: • RDF Dokumente • Regeln  auslösende und abhängige Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung der Regeln • Ziel: Index auf gesamte Regelmenge Verteilte Metadatenverwaltung

  24. Bestimmung ausgelöster Regeln Join Verteilte Metadatenverwaltung

  25. Bestimmung ausgelöster Regeln Join Verteilte Metadatenverwaltung

  26. Bestimmung ausgelöster Regeln Join Verteilte Metadatenverwaltung

  27. Bestimmung ausgelöster Regeln Join Verteilte Metadatenverwaltung

  28. Bestimmung ausgelöster Regeln Join Verteilte Metadatenverwaltung

  29. Vorfilter • Basierend auf Standard-RDBMS • Idee: Auswerten einer Regel-Teilmenge • Zerlegung in Atome: • RDF Dokumente • Regeln  auslösende und abhängige Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung der Regeln • Ziel: Index auf gesamte Regelmenge Verteilte Metadatenverwaltung

  30. Vorfilter • Basierend auf Standard-RDBMS • Idee: Auswerten einer Regel-Teilmenge • Zerlegung in Atome: • RDF Dokumente • Regeln  auslösende und abhängige Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung der Regeln • Ziel: Index auf gesamte Regelmenge Verteilte Metadatenverwaltung

  31. Inkrementelle Auswertung • ausgelöste Regeln  Auswerten aller abhängigen Regeln • inkrementelle Auswertung soweit möglich Verteilte Metadatenverwaltung

  32. Inkrementelle Auswertung Regel F e = b Regel E Regel B a.theme = d Regel A Regel D cardinality > '1000' Regel C themeName = 'Hotels' Partition Theme Partition Verteilte Metadatenverwaltung

  33. Inkrementelle Auswertung Regel F e = b Regel E Regel B a.theme = d Regel A Regel D cardinality > '1000' Regel C themeName = 'Hotels' Partition Theme Partition Verteilte Metadatenverwaltung

  34. Inkrementelle Auswertung Regel F e = b Regel E Regel B a.theme = d Regel A Regel D cardinality > '1000' Regel C themeName = 'Hotels' Partition Theme Partition Verteilte Metadatenverwaltung

  35. Inkrementelle Auswertung Regel F e = b Regel E Regel B a.theme = d Regel A Regel D cardinality > '1000' Regel C themeName = 'Hotels' Partition Theme Partition Verteilte Metadatenverwaltung

  36. Verwandte Arbeiten - 1 • Metadaten:Equal Time For Data on the Internet with WebSemantics[Mihaila, Raschid, Tomasic; EDBT '98]Automatic Deployment of Application-Specific Metadata and Code in MOCHA [Rodriguez-Martinez, Roussopoulos; EDBT '00] Universal Description, Discovery, and Integration (UDDI)[Ariba, Inc., IBM, Microsoft; http://www.uddi.org] • Publish/Subscribe:Efficient Matching for Web-Based Publish/Subscribe Systems[Pereira, Fabret, Llirbat, Shasha; CoopIS '00]Matching Events in a Content-Based Subscription System[Aguilera, Strom, Sturman, Astley, Chandra; PODC '99]The SIFT Information Dissemination System[Yan, Garcia-Molina; TODS '99]Efficient Filtering of XML Documents for Selective Dissemination of Information [Altinel, Franklin; VLDB '00] Verteilte Metadatenverwaltung

  37. Verwandte Arbeiten - 2 • Continuous Queries:NiagaraCQ: A Scalable Continuous Query System for Internet Databases [Chen, DeWitt, Tian, Wang; SIGMOD '00]Continual Queries for Internet Scale Event-Driven Information Delivery [Liu, Pu, Tang; IEEE TKDE '99] • Materialized Views und Semantic Caching:Maintaining Views Incrementally [Gupta, Mumick, Subrahmanian; SIGMOD '93]Efficiently Updating Materialized Views[Blakeley, Larson, Tompa; SIGMOD '00]Semantic Data Caching and Replacement [Dar, Franklin, Jónsson, Srivastava, Tan; VLDB '96] Verteilte Metadatenverwaltung

  38. Zusammenfassung • Metadatenverwaltung MDVArchitektur: Ö-MDVs, L-MDVs, Klienten • Publish/Subscribe-Mechanismus • Vorfilter-Algorithmus: • Zerlegung von RDF-Dokumenten • Zerlegung von Regeln • Bestimmung ausgelöster Regeln • Inkrementelle Auswertung Verteilte Metadatenverwaltung

More Related