slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
DATA WAREHOUSE PowerPoint Presentation
Download Presentation
DATA WAREHOUSE

Loading in 2 Seconds...

play fullscreen
1 / 28

DATA WAREHOUSE - PowerPoint PPT Presentation


  • 314 Views
  • Uploaded on

DATA WAREHOUSE. DATA WAREHOUSE. Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher , Detlef Schroeder. Themen. Big Data Buzz Word oder eine neue Dimension und Möglichkeiten

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'DATA WAREHOUSE' - conor


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

DATA WAREHOUSE

DATA WAREHOUSE

Oracle Data Warehouse Mit Big Data neue Horizonte fürdas Data Warehouse ermöglichenAlfred Schlaucher, Detlef Schroeder

themen
Themen

Big Data Buzz Word odereineneueDimension und Möglichkeiten

Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten

Cloudera Framwork

„Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS

Big Data Appliance

Mit Oracle R Enterprise neue Analyse-Horizonte entdecken

Big Data Analysen mit Endeca

was hat uns bisher interessiert
Was hat uns bisher interessiert?

Sales & Operational Planning

Finance

Sales & Mktg

Engineering

Service

Supply Management

Information Technology

Production

warum und wie big data jetzt
Warum und wie Big Data jetzt?

NeueWegederDatenerzeugung

  • Beiläufig entstehende Daten
  • Maschinen-generiert
  • Kommunikation
  • Geo-Bezüge

Kosten und andereAnalysen

  • Was sind interessante Daten
  • Wie sind sie zu speichern
  • Welche Analysetechnik / Verfahren
  • Welche Kosten entstehen

New Business Opportunities

use case gibt es viele
Use Case gibtesviele
  • Use Cases
  • Financial Service
  • Freizeit
  • Automaten / Logistik
  • Automotive
  • Retail
ein potentieller fall
Ein potentieller Fall

Ein Börsen-Unternehmen misst permanent

alle relevanten Aktienkurse über einen längeren Zeitraum.

In dem Data Warehouse sind alle Entwicklungen,

alle Ups und Downs

der letzten 10 Jahre genau dokumentiert.

Offen aber bleiben Frage wie:

  • Warum sind diese Ups und Downs zu bestimmten Zeiten entstanden?
  • Beeinflussen öffentliche Nachrichten den Aktienhandel?

Parallel zu dem Data Warehouse sammelt das Unternehmen alle

öffentlich zugänglichen Nachrichten.

Gesucht werden bewertende Aussagen zu Zeitpunkten der Aktienbewegungen.

slide7
In vielen Lebenssituationen erzeugen wir beiläufig und permanent Daten (z. T. ohne es zu wissen oder zu bemerken)

Potential für neue Analysen und Geschäftsmodelle

potential f r neue analysen und gesch ftsideen
Potential für neue Analysen und Geschäftsideen
  • 50 Kontaktpunkte / Skifahrer / Tag
  • 10 KB pro Kontaktpunkt -> 500KB pro Skifahrer / Tag
  • Bei 20 Millionen Skifahrer in den Alplen/Jahr und durchschnittlich 10 Tagen Aufenthalt sind das -> 10 TB / Tag-> 100 TB insgesamt
  • Personendaten
    • Herkunft (Wohnort)
    • Kartenkaufort
    • Alter (Geb. Datum)
  • Nutzungszeitraum
    • Monat / Woche / Tag
    • Tageszeit
    • Nutzungshäufigkeit
  • Wetterdaten
  • Pistendaten
    • Schneeverhältnisse
    • Schwierigkeitsgrade
    • Höhenmeter
  • Liftdaten
    • Auslasung

Maschinendaten

Vergleichsdaten / DWH

technologisch erweiterte m glichkeiten
Technologisch erweiterte Möglichkeiten

1980

2010

  • 120000 Automaten / Deutschland
  • Alle Automaten über Sensorik erfasst und zentral abrufbar
  • Füllstände, Sensoren in der Mechanik der Geräten
  • Wartungszyklen, Routenplanung für Service-Techniker

Bitte nicht als Zigarettenwerbung verstehen. Wir finden Rauchen nicht gut!

auto der fahrende computer 200 sensoren auto
Auto:Der fahrende Computer > 200 Sensoren / Auto

10 KB / Km (?????)

10 MB / Tankfüllung

10 TB / Tankfüllung / 1 Mill Autos

500 TB / 50.000 km / 1 Mill Autos

1 MB / Km (?????)

1 GB / Tankfüllung

100 TB / Tankfüllung / 1 Mill Autos

5 PB / 50.000 km / 1 Mill Autos

Fahrpedalgeber

Kühlwasser

Bremspedalgeber

Regenfühler

Beschleunigung

Leerlaufverhalten

Drehzahl

Kraftstoffverbrauch

Bremskraft

Reifendruck

Öldruck

Stromverbrauch

Temperatur innen / aussen

Getriebeeinstellung

Aktivierte Stromverbraucher

Motortemperatur

big data in der auto industrie
Big Data in der Auto-Industrie

VielfältigeEinsatzgebiete

genauere kundenanalysen
GenauereKundenanalysen

MehralsnurklassischeSortimentsanalysen

Massenmarkt-Retailer

  • ZielgenauereWerbebotschaften
  • Minimieren von Werbeaufwand
  • BessereZielgruppen-orientierung
  • Kaufgewohnheiten
  • Kundenbindung

Nutzen

Business Problem

Neue Art derAnalyse

  • DetailliertereKundenprofile
  • Hinzuziehen von zusätzlichenInformationsquellen
  • Co-Varianz-Analysen
  • Emails
  • Web logs
  • Effizienteres Marketing
  • Umsatzsteigerung
  • Schärfung des Sortiments
weitere big data use cases
Weitere Big Data Use Cases

In allenBranchen

FINANCIALSERVICES

Risk & portfolio analysis

New products

EDUCATION &RESEARCH

Experiment sensor analysis

CONSUMER PACKAGED GOODS

Sentiment analysis of what’s hot, problems

COMMUNICATIONS

Location-based advertising

AUTOMOTIVE

Auto sensors reporting location, problems

HIGH TECHNOLOGY / INDUSTRIAL MFG.

Mfg quality

Warranty analysis

ON-LINE SERVICES / SOCIAL MEDIA

People & career matching

Web-site

optimization

LIFE SCIENCES

Clinical trials

Genomics

MEDIA/ENTERTAINMENT

Viewers / advertising effectiveness

HEALTH CARE

Patient sensors, monitoring, EHRs

Quality of care

UTILITIES

Smart Meter analysis for network capacity,

TRAVEL &TRANSPORTATION

Sensor analysis for optimal traffic flows

Customer sentiment

OIL & GAS

Drilling exploration sensor analysis

LAW ENFORCEMENT & DEFENSE

Threat analysis - social media monitoring, photo analysis

RETAIL

Consumer sentiment

Optimized marketing

Challenged by: Data Volume, Velocity, Variety

new data paradigma
„New Data“ Paradigma

Low value densitydata processing

HDFS

Reduced data set

Analyse Tools

HDFS

Batch bulk load

Semi strukturierte Daten

Smart Visualisierung

Leicht durchführbare Abfragen

Kundenprofile

Externe Daten

Social Media

Blogs, Feeds, Forum

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

User Defined

Algorithms

Mobile

Kundenvorlieben

(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Complex event

processing

Kundenprofile

Angereicherte Wissensablage

Filter

Classify

corrolate

Unstrukturierte Daten

Transaction EventCorrelation

Text

Clickstream

Web content

Logs

Tablet

NOSQL

High volumn, low

Latency-Daten-Streams

Marktdaten, News

Realtime und

Selbstlernend

Statistical

Analysis

Web

TransaktionenAggregate

Kennzahlen

Strukturierte Daten

Relational

High value dataprocessing

Profile

Transaktionen

Vertriebswege

Absatzdaten

Stateless Delivery

Unterschiedliche Kanäle

OLTP:

Bank, PoS, Credit Card

Office

Acquire

Organise

Analyse, Decide &Deliver

new data paradigma1
„New Data“ Paradigma

Low value densitydata processing

HDFS

Reduced data set

Analyse Tools

HDFS

Batch bulk load

Semi strukturierte Daten

Smart Visualisierung

Leicht durchführbare Abfragen

Kundenprofile

Externe Daten

Social Media

Blogs, Feeds, Forum

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

User Defined

Algorithms

Mobile

Kundenvorlieben

(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Complex event

processing

Kundenprofile

Angereicherte Wissensablage

Filter

Classify

corrolate

Unstrukturierte Daten

Transaction EventCorrelation

Text

Clickstream

Web content

Logs

Tablet

NOSQL

High volumn, low

Latency-Daten-Streams

Marktdaten, News

Realtime und

Selbstlernend

Statistical

Analysis

Web

TransaktionenAggregate

Kennzahlen

Strukturierte Daten

Realtional

High value dataprocessing

Profile

Transaktionen

Vertriebswege

Absatzdaten

Stateless Delivery

Unterschiedliche Kanäle

OLTP:

Bank, PoS, Credit Card

Office

Acquire

Organise

Analyse, Decide &Deliver

new data paradigma2
„New Data“ Paradigma

MassenDaten

Low value densitydata processing

HDFS

Reduced data set

Analyse Tools

HDFS

Batch bulk load

Semi strukturierte Daten

Zählen von Strings

und Mustern

Smart Visualisierung

Leicht durchführbare Abfragen

Kundenprofile

Externe Daten

Social Media

Blogs, Feeds, Forum

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Unstrukturiert

User Defined

Algorithms

Mobile

Kundenvorlieben

(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Complex event

processing

+

Kundenprofile

Angereicherte Wissensablage

Filter

Classify

corrolate

Unstrukturierte Daten

Transaction EventCorrelation

Text

Clickstream

Web content

Logs

Tablet

NOSQL

High volumn, low

Latency-Daten-Streams

Marktdaten, News

Realtime und

Selbstlernend

Statistical

Analysis

Web

TransaktionenAggregate

Kennzahlen

Strukturierte Daten

Realtional

KlassischesDWH

High value dataprocessing

Strukturiert

Profile

Transaktionen

Vertriebswege

Absatzdaten

Stateless Delivery

Unterschiedliche Kanäle

OLTP:

Bank, PoS, Credit Card

Klassische Auswertung

Office

Acquire

Organise

Analyse, Decide &Deliver

new data paradigma3
„New Data“ Paradigma

MassenDaten

IndividualisiertereSichten

Low value densitydata processing

HDFS

Reduced data set

Analyse Tools

HDFS

Batch bulk load

Semi strukturierte Daten

Zählen von Strings

und Mustern

Smart Visualisierung

Leicht durchführbare Abfragen

Kundenprofile

Externe Daten

Social Media

Blogs, Feeds, Forum

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Unstrukturiert

User Defined

Algorithms

Mobile

Kundenvorlieben

(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Complex event

processing

+

Kundenprofile

Angereicherte Wissensablage

Filter

Classify

corrolate

Unstrukturierte Daten

Transaction EventCorrelation

Text

Clickstream

Web content

Logs

Tablet

NOSQL

High volumn, low

Latency-Daten-Streams

Marktdaten, News

Realtime und

Selbstlernend

Statistical

Analysis

Web

TransaktionenAggregate

Kennzahlen

Strukturierte Daten

Realtional

KlassischesDWH

High value dataprocessing

Strukturiert

Profile

Transaktionen

Vertriebswege

Absatzdaten

Stateless Delivery

Unterschiedliche Kanäle

OLTP:

Bank, PoS, Credit Card

Klassische Auswertung

Office

Acquire

Organise

Analyse, Decide &Deliver

new data paradigma4
„New Data“ Paradigma

MassenDaten

IndividualisiertereSichten

Low value densitydata processing

HDFS

Reduced data set

Analyse Tools

HDFS

Batch bulk load

Semi strukturierte Daten

Zählen von Strings

und Mustern

Smart Visualisierung

Leicht durchführbare Abfragen

Kundenprofile

Externe Daten

Social Media

Blogs, Feeds, Forum

Social Media, Mails,Briefe, Verträge

Texte, Dokumente

Unstrukturiert

User Defined

Algorithms

Direkte Einflussnahme

auf Prozesse

Mobile

Kundenvorlieben

(Sentiments Analyse)

Massendaten-Analyse

Predictive Analysen

Complex event

processing

+

Kundenprofile

Angereicherte Wissensablage

Filter

Classify

corrolate

Unstrukturierte Daten

Transaction EventCorrelation

Text

Clickstream

Web content

Logs

Tablet

Direkte

Kundenansprache

NOSQL

High volumn, low

Latency-Daten-Streams

Marktdaten, News

Realtime und

Selbstlernend

Statistical

Analysis

Konkrete Aktionen

Web

TransaktionenAggregate

Kennzahlen

Strukturierte Daten

Realtional

KlassischesDWH

High value dataprocessing

Strukturiert

Profile

Transaktionen

Vertriebswege

Absatzdaten

Stateless Delivery

Unterschiedliche Kanäle

OLTP:

Bank, PoS, Credit Card

Klassische Auswertung

Office

Acquire

Organise

Analyse, Decide &Deliver

big data infrastruktur anforderungen
Big Data: InfrastrukturAnforderungen
  • Explorative Analyse
  • KomplexestatistischeAnalysen
  • Agile Berichtsentwicklung
  • Massive Skalierung
  • Real Time Ergebnisse
  • UnvorhersehbaresAuftreten
  • HoheDatenmengen
  • Flexible Daten-Strukturen
  • ArbeitenmitvielenServereinheiten
  • AbfragenmitextremhohenDaten-Durchsatz
  • Bearbeitung am Speicherplatz
  • HoheParallelisierung
oracle s integrierte software l sung
Oracle’s integrierte Software Lösung

DataVariety

Unstructured

Cloudera

Hadoop

HDFS

OracleMapReduce

Oracle (DW)

OracleAnalytics

MiningRSpatialGraph

Schema-less

Oracle NoSQL DB

Oracle Hadoop Loader

Oracle (OLTP)

Schema

OBI EE

InformationDensity

Organize

Acquire

Analyze

oracle engineered systems
Oracle Engineered Systems

DataVariety

Unstructured

Exalytics

Schema-less

Big Data

Appliance

Schema

Exadata Database Machine

InformationDensity

Organize

Acquire

Analyze

oracle data warehouse architektur f r unternehmensweites datenmanagement
Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement

Dynamic Data Marts

Controlling

Marketing

Financial

Sales

HR

Any

Source

BI Server

Interactive Dashboards

Information Layer ArchitectureConcept

Data Integration

Layer

User View Layer

Enterprise Information Layer

InDatabase

ROLAP

InDatabase

MOLAP

Reporting &Publishing

BI Apps

Data Integration

Real Time & Batch

InDatabase

Data Mining

R

InDatabase

Operational Data Layer

Ad-hoc Analysis

Data Quality Rules Checks&Monitoring

DWH Logistic Utilities

Metadata

Utilities

TechnicalAuditing

BusinessCatalogue

Scorecards

Oracle Database Management System

Oracle Database Management System

Lifecycle Management Concept

Big Data Solution

Exadata

DWH System Monitoring Utilities

Hadoop

noSQL

Office Integration

DWH Security Utilities

Storage

Hierarchy

Operating

System

ServerCluster

Server Cluster

DWH Backup / RecoveryConcept

Mobile

Optimized Network

Optimiertes Netzwerk

Exalytics

Big Data Appliance

Exadata / Database Machine / Exalytics

Concept Framework

Reference Data Models

Data Management Concept

oracle produkt komponenten data warehouse bigdata
Oracle Produkt-KomponentenData Warehouse / BigData

Oracle EE (37)

OLAP (18)

InMemory DB Cache(18)

AD Comp (9)

Advanced Analytics (18)

Label Sec (9)

Partitioning (18)

RAC (8)

Diagnostic+Tuning (8)

Spatial (13)

Data Integration

NoSQL EE (8)

BigData Connectors (1,5)

BigData Appliance (400K)

Business Intelligence

Exadata /DBM (ab 350K)

oracle produkt komponenten data warehouse bigdata1
Oracle Produkt-KomponentenData Warehouse / BigData

Oracle EE

OLAP

InMemory DB Cache

AD Comp

Advanced Analytics

Label Sec

Partitioning

RAC (8)

Diagnostic+Tuning

Spatial

Data Integration

NoSQL EE

BigData Connectors

BigData Appliance

Business Intelligence

Exadata /DBM

oracle produkt komponenten data warehouse bigdata2
Oracle Produkt-KomponentenData Warehouse / BigData

Oracle R Enterprise

Advanced Analytics

Oracle Data Mining

NoSQL EE

  • Oracle Loader for Hadoop
  • Oracle Direct Connector for HDFS
  • Oracle R for Hadoop Connector

BigData Connectors

BigData Appliance