Data und Web Mining

Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal

Data Mining Definitionen Allgemeines Data Mining Prozess Methoden und Techniken Anwendungsgebiete Data Warehouse | OLAP | Data Cubes Web Mining Definition Allgemeines Konzepte Analyse von Web Daten Web Mining Verfahren Tools Anwendungsgebiete Probleme Überblick Überblick Data und Web Mining H. Oroszlan, S. Pipal

Daten formalisierte Darstellung von Sachverhalten, Begriffen oder Befehlen unstrukturiertes Gebilde aus Zeichen maschinell verarbeitet enthalten Informationen Datenbanken und Datenbanksysteme systematisch strukturierte, langfristig verfügbare Sammlung von Daten DBMS als Schnittstelle für Kommunikation mit DB Netzwerke Gruppe von PCs, die miteinander verbunden sind gemeinsame Nutzung von Daten LAN | WAN Data Mining - Definitionen 1 Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

Data Mining Entdecken und Extrahieren von Informationen  Finden von Mustern Wissensgewinnung Knowledge Discovery in Databases (KDD) oft Synonym für Data Mining gesamte Findungsprozess  beschreibt automatisierte Verfahren nützt Data Mining Methoden Text Mining  Mustererkennung in unformatierten Daten Web Mining  Mustererkennung im WWW Data Mining - Definitionen 2 Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

Wozu dient Data Mining? Ziel: aus einer klar definierten Datenmenge Wissen zu extrahieren Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Vorteile Wettbewerbsvorteile Entdeckung + Gewinnung von Informationen aus Daten relevante Informationen Stütze für Kundenbetreuungssystem Nachteile Datenschutz keine Gewissheit über Richtigkeit hohe Kosten hohe Wissensanforderung Data Mining Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Voraussetzungen – Ansprüche an die Daten Unvollständigkeit und Spärlichkeit der Daten Dynamik der Daten Datenschmutz Redundanz Irrelevante Felder Datenvolumen Prozessphasen Planungsphase Vorbereitungsphase Miningphase Auswertungsphase Data Mining Prozess Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Beantwortung der Frage: WAS WOLLEN WIR ERREICHEN? Definition von Erwartungswerten Berechnung des erwarteten Aufwands (Kosten + Zeit) Beschaffung von Fachleuten Planungsphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Datenbeschaffung Identifikation der Datenquellen Datenextraktion aus verschiedenen Datenquellen Datenintegration zu einem Datenbestand Gesetzliche Vorschriften berücksichtigen Datenaufbereitung Identifikation falscher Werte Identifikation fehlender Werte Identifikation korrelierter Merkmale Algorithmus der Datenerhebung wird festgelegt Daten an die Anforderungen des Algorithmus anpassen Vorbereitungsphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Suche nach Mustern innerhalb großer Datenbestände Generierung von problemspezifischen Modellen Auswertung der Ergebnisse Rückkopplung ? Visualisierung der Teilergebnisse Miningphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Auswertung der Ergebnisse Interpretation der Anwender Visualisierung der Ergebnisse Wissensgewinnung Auswertungsphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Der Prozess im Überblick Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Klassifikation = Gruppenbildung ähnlicher Objekte Entscheidungsbaum - neuronale Netze fallbasiertes Schließen Techniken und Methoden 1 Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Segmentierung = Zerlegung in Teile Clusteranalyse PrognoseBasis: Werte aus früheren PeriodenZiel: Prognose für Zukunft + Gewinn unbekannter Ausprägungen Abhängigkeitsanalyse Warenkorbanalyse Abweichungsanalyse Objekte mit untypischen Merkmalsausprägungen feststellen = Identifikation von Ausreißern Techniken und Methoden 2 Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Business Intelligence Customer Relationship Management (CRM) Einzelhandel Chemie- und Pharmakologie Industrie Fernerkundungsdaten Banken Versicherungen Telefonfirmen Fluglinien Anwendungsgebiete Data Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

Data Warehouse Datenbanksystem, das Daten aus verschiedenen Quellen verwaltet Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP (1/4)(Online Analytical Processing) • Methoden und Tools • Analyse von Kennzahlen • Codd Regeln • FASMI Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – FASMI (2/4) • Fast • Analysis • Shared • Multidimensional • Information Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – Architekturkonzepte (3/4) • ROLAP (relational) • MOLAP (multidimensional) • HOLAP (hybride) • DOLAP (desktop) Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – Data Cube (4/4) • Dimensionen • Ausprägungen • Zellen • Hierarchien Wien Stmk Dimension 1 Bgld Wein Dimension 2 Bier Jan. Feb. Mär. Dimension 3 Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

Web Mining • Beschaffung und Auswertung von Web Daten • 2 Ansätze • Web Content Mining • Web Usage Mining Web Mining | Überblick Data und Web Mining H. Oroszlan, S. Pipal

Was sind Web Daten? • Anzahl der Clicks • Zeit auf der Web Seite • Wörter in Suchmaschinen Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Konzepte • Logfiles • Cookies • Registrierung • Unterschiedliche Konzepte Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Analysen von Web Daten Datenauswahl Datenaufbereitung Datenbereinigung Identifikation v. Nutzen u. Sitzungen Datenintegration Mustererkennung Interpretation Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Prozess Web Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Verfahren • Path Analyse • Assoziationsanalyse • Clusteranalyse • Klassifikationsanalyse • Sequenzanalyse Web Mining | Verfahren Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Tools • Pattern Discovery Tools • Erkennen verschiedener Patterns • WEBMINER • Pattern Analysis Tools • Analyse der gefundenen Patterns • WebViz • Data Cube Web Mining | Tools Data und Web Mining H. Oroszlan, S. Pipal

Anwendungsgebiete • Kundenprofile • Platzierung der Werbungen • Strukturierung einer Web Seite • Kundenspezifische Werbung • Kontakt via E-mail • Personalisiert Web Seite Web Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

Probleme • Schnelle Änderung von Web Daten • Logfiles alleine nicht ausreichend • Registrierung nicht korrekt • Muss interne Daten integrieren • Gewisse Auskünfte nicht möglich Web Mining | Probleme Data und Web Mining H. Oroszlan, S. Pipal

Danke für Ihre Aufmerksamkeit!

Data und Web Mining