R zieht ein in das oracle data warehouse
This presentation is the property of its rightful owner.
Sponsored Links
1 / 32

R zieht ein in das Oracle Data Warehouse PowerPoint PPT Presentation


  • 86 Views
  • Uploaded on
  • Presentation posted in: General

R zieht ein in das Oracle Data Warehouse. Alfred Schlaucher. Themen. Business Intelligence und Advanced Analytics Vorhersage Algorithmen Oracle Data Miner Oracle R Enterprise . Arbeitsteilung. Business Intelligence. Advanced Analytics. Data Mining. Oracle R Enterprise.

Download Presentation

R zieht ein in das Oracle Data Warehouse

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


R zieht ein in das oracle data warehouse

R ziehtein in das Oracle Data Warehouse

Alfred Schlaucher


Themen

Themen

Business Intelligence und Advanced Analytics

VorhersageAlgorithmen

Oracle Data Miner

Oracle R Enterprise


Arbeitsteilung

Arbeitsteilung

Business Intelligence

Advanced Analytics

Data Mining

Oracle R Enterprise

Data Integration Layer

User View Layer

Enterprise Information Layer

Process neutral / 3 NF

Data Warehouse


Aus merkmalen wissen filtern

Aus Merkmalen Wissen filtern

Selbständig

Im_Beruf_Seit

Angestellt

Raucher

Geschieden

Alter

Weinpräferenz

Ruhestand_Seit

Predictive

Analytics

?

Kunde_Seit

Anzahl Kinder

Mehrfachkäufer

Verheiratet

Level_Ausbildung

Verheiratet

Anzahl_Ehen

Führerschein

Wohnregion

Einkommens_Gruppe

Geschlecht

Wohnsituation

Affinität_Videospiele

Bildung

Berufstätig

Online_Affinität

Krank_Seit

Führerschein

Sportlich_Aktiv


Bersicht mining algorithmen und verfahren

F1 F2 F3 F4

Übersicht Mining-Algorithmen und -Verfahren

Problem

Algorithmen

Bedeutung + Anwendung

Klassification

Einteilung von Objekten in Gruppen(bekannteKlassen)

anhand von gemeinsamenMerkmalen

Logistic Regression (GLM)

Decision Trees

Naïve Bayes

Support Vector Machine

Vorhersage von Eigenschaftenin Abhängigkeit von anderenEigenschaften

Multiple Regression (GLM)

Support Vector Machine

Regression

Anomaly Detection

Erkennen von Ausressern

und Anomalien

One Class SVM

FindenrelevanterMerkmale.Fokussierung auf aussagekräftigeAttribute

Attribute Importance

Minimum Description Length (MDL)

Association Rules

Analyse von Beziehungen, Warenkorb-Analysen

Apriori

Clustering

Finden von gemeinsamenMerkmalenzurBildung von neuen (unbekannten)Gruppen

Hierarchical K-Means

Hierarchical O-Cluster

Textanalysen, Finden von immerwiederkehrendenMustern

Feature Extraction

Nonnegative Matrix Factorization


Vorhersage analyse schritte und anforderungen

VorhersageAnalyse-Schritte und Anforderungen

Datensammeln

ZeitaufwendigeAnalyseprozesse

MehrereInterationen

Workflows von immerwiederkehrendenArbeitsschritten

Ressourcen-intensive Datenanalysen

Daten

identifizieren

Datenanalysieren

Datenaufbereiten


Indatabase analysen oracle r enterprise oracle data mining

InDatabase – AnalysenOracle R Enterprise / Oracle Data Mining

Analysen in derDatenbank

KeineDatenbewegungen

KurzeAnalysezeiten und schnelleresArbeiten

GroßeDatenmengen

Skalierbar

R code und/oderSQL

Built-in security

  • Schneller

  • Sicher

  • Skalierbar


Beispiel un loyale kunden

Mobiltelefon “Churner” vs.LoyaleKunden

Einkommen

MonateKundenverhältnis

Beispiel: “Un-loyaleKunden”

Source: Inspired from Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J. A. Berry, Gordon S. Linoff


Beispiel un loyale kunden1

Segment #3:

IF CUST_MO > 7 AND INCOME < $175K, THEN Prediction = Cell Phone Churner, Confidence = 83%, Support = 6/39

Einkommen

Segment #1:

IF CUST_MO > 14 AND INCOME < $90K, THEN Prediction = Cell Phone Churner, Confidence = 100%, Support = 8/39

MonateKundenverhältnis

Beispiel: “Un-loyaleKunden”

Mobiltelefon “Churner” vs.LoyaleKunden

Source: Inspired from Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J. A. Berry, Gordon S. Linoff


Oracle data miner 11g release 2 gui

Oracle Data Miner 11g Release 2 GUI


Oracle data miner 11g release 2 gui1

Oracle Data Miner 11g Release 2 GUI

“Churner” Modell in Abhängigkeit von Einkommen und Dauer des Kundenverhältnisses


R statistische programmiersprache

R – StatistischeProgrammiersprache

PCA 5

online

returns

users

OPEN SOURCE Sprache und Umgebung

STATISTISCHE BERECHNUNGEN und Graphik

STÄRKE liegt in derschnellengraphischenAufbereitung (Plots)

>5,300statistische Packages

LEICHT ERWEITERBAR durch Open Source Community

history

sales

Clustering 4 Groups

Factor 1

Factor 3

28

16

2

1

80

60

40

20

0


Daten visualisierung mit r

Daten-Visualisierungmit R

http://gallery.r-enthusiasts.com/


Graphische bediener oberfl chen

Graphische Bediener-Oberflächen

Auswahl bei den GUIs

Bereiche:

R Console

Plot-Bereich

Ergebnis-Bereich

Messages

Standard GUI / Rstudio /Rcommander/.../...


Warum nutzen immer mehr anwender r

WarumnutzenimmermehrAnwender R

Oft mehrFunktionen, als in klassischen Tools

Warum R

Kannmehr

NeueFunktionen, sind oft

in R alserstesimplemtiert

Istschnell

Point

Die EntwicklerderFunktionensind oft per Mail direkterreichbar

Istansprechbar -

offeneKommunikation

Weltweitwirdmit Rgearbeitet

“Schläftnicht”

Was kosten die übrigen Tools?

Istgünstiger


Einfache beispiele zur darstellung der r sprachmimik

Einfache Beispiele zur Darstellung der R-Sprachmimik

> alter <- c(19,20,20,19,25,26,22,25,29)

Vektor

> geschl <- c(1,2,2,1,2,2,2,1,2)

> geschl.faktor <- factor(geschl)

Faktor

> bsp.data.frame <- data.frame(alter,geschl.faktor)

Data-Frame

Einfache statistische Funktion

round(tapply(alter ,geschl,mean,na.rm=TRUE),0)

Durchschnittliches Alter pro Geschlecht


Klassisches daten handling ohne oracle r enterprise

Klassisches Daten-Handling ohne Oracle R Enterprise

LokaleDaten

Datenbank

R Engine

z. B. ODBC

z. B. CSV

class(df)

names(df)

objects()

dim(df)c

df <-read.csv(file.choose())

Häufiges Datenbewegen, Hauptspeicherlimitierung im Client,

lange Laufzeiten


Oracle r angebote

Oracle R-Angebote

  • Oracle R Distribution

    • Free download, pre-installed on Oracle Big Data Appliance, bundled with Oracle Linux

    • Enterprise support for customers of Oracle R Enterprise, Big Data Appliance, and Oracle Linux

    • Contribute bug fixes and enhancements to open source R

  • ROracle

    • Open source Oracle database interface driver for R based on OCI

    • Maintainer is Oracle – rebuilt from the ground up

    • Many bug fixes and optimizations

  • Oracle R Enterprise

    • Transparent access to database-resident data from R

    • Embedded R script execution through database managed R engines

    • Statistics engine

  • Oracle R Connector for Hadoop

    • R interface to Oracle Hadoop Cluster on BDA

    • Access and manipulate data in HDFS, database, and file system

    • Write MapReduce functions using R and execute through natural R interface


M gliche szenarien mit oracle r enterprise

Mögliche Szenarien mit Oracle R-Enterprise

RAM

RAM

RAM

RAM

RAM

RAM

RAM

File System

Direkten Zugriff auf alle Tabellen in der Datenbank

R Engine

Parallelisierung

durch die Datenbank

Auslagern der Analysen in die DatenbankZurückholen der Ergebnisse

Anlegen neuer Objekte in der Datenbank

File System

R Engine

Parallelisierung

durch die Datenbank

R-Analysen über SQL-Funktionen

(Batch)

R Engine

R Engine

R Engine

R Engine

R Engine

R Engine

R Engine

R Engine

R Engine

File System

SQL


Oracle r enterprise data sources

Oracle R Enterprise – Data Sources

R user on desktop

R Engine

Oracle R Enterprise packages

Andere R Packages

DirekterZugriff

DirekterZugriff

RODBC,DBI, etc

AndereDatenbanken

Import / Load Data

File systems

R Engine

R Engine

R Engine

PushPull

Oracle R Enterprise packages

Oracle R Enterprise packages

Oracle R Enterprise packages

Andere R Packages

Other R packages

Other R packages

Results

SQL

Parallel Aufrufe

Transparent Layer

Select ...Fro ..Table(....)beginCreate Functionend

User tables

Oracle Datenbank

Bulk import

Database Links

External Tables

AndereDatenbanken

File systems


Oracle transparency layer support

Oracle Transparency Layer Support

  • ORE bieteteine “in-database execution” – FunktionalitätalstransparenteSchicht an

  • Was bedeutettransparent?

    • R Benutzterbenötigennur R Syntax

    • BenutzersehenDatenbank-Objeckealsspezielle R Objekte

    • Unterstütztwerdenfast alle R-Funktionendes Basis-R-Pakets

    • Unterstützt R's Statistik und Graphik-Pakete


Beispiele f r den transparenten zugriff

Beispiele für den transparenten Zugriff

Connect to a specific schema and database

One connection active at a time

Create a database table from a data.frame, ore.frame. Create a view from an ore.frame.

library(ORE)

ore.connect("RQUSER","SID","HOST", "PASSWORD",1521)

ore.create( ONTIME_S, table = "NEW_ONTIME_S")

ore.create( ONTIME_S, view = "NEW_ONTIME_S_VIEW")

ore.drop(table="NEW_ONTIME_S")

ore.drop(view="NEW_ONTIME_S_VIEW")

t <- ore.get("ONTIME_S","RQUSER")

ore.attach()

v <- ore.push(c(1,2,3,4,5))

ore.sync()

ore.sync("RQUSER")

ore.sync(table=c("ONTIME_S", "NARROW"))

ore.sync("RQUSER", table=c("ONTIME_S", "NARROW"))

ore.exists("ONTIME_S", "RQUSER")

ore.exec("create table F2 as select * from ONTIME_S")

Drop table or view in database

Store R object in database as temporary object, returns handle to object. Data frame, matrix, and vector to table, list/model/others to serialized object

Synchronize ORE proxy objects in R with tables/views available in database, on a per schema basis

Returns TRUE if named table or view exists in schema


Gezielte steuerung von scripten innerhalb der datenbank

Gezielte Steuerung von Scripten innerhalb der Datenbank

Oracle

Datenbank

Lokale R-Engine

auf PC

Lokale R-Engine

auf PC

with(ERSTIS,split(alter,geschl))

DB-Server-Maschine

ERSTIS

Tabelle wird in den

lokalen Speicher kopiert und lokal

analysiert

mod <- ore.doEval(

function(param) {

library(ORE) ore.connect(user="RQUSER", password="RQUSER", sid="ORCL", host="192.168.1.16",port=1521)

ore.sync()

ore.attach()

mod <- with(ERSTIS,split(alter,geschl))

});

Oracle

Datenbank

DB-Server-Maschine

ERSTIS

Tabelle bleibt in der DB.

Analyse findet im Speicher des

DB-Servers statt

Das Ergebnis wird zurückgeliefert

R-Engine auf DB-Server

R-Engine auf DB-Server

R-Engine auf DB-Server


Gezieltes ansteuern einer verarbeitungsvariante beispiel regressions modell

Gezieltes Ansteuern einer Verarbeitungsvariante(Beispiel Regressions Modell)

mod <- ore.doEval(

function(param) {

dat <- ore.pull(ONTIME_S)

mod <- lm(ARRDELAY ~ DISTANCE + DEPDELAY, dat)

mod

});

mod_local <- ore.pull(mod)

class(mod_local)

summary(mod_local)

mod <- ore.doEval(

function(param) {

library(ORE)

ore.connect(user="RQUSER", password="RQUSER„, sid="ORCL", host="192.168.1.16",port=1521)

ore.sync()

ore.attach()

mod <- ore.lm(lz.1 ~ zuf.inh.1,ERSTIS)

mod

});

mod_local <- ore.pull(mod)

class(mod_local)

summary(mod_local)

Daten im Memory

der R-Engine auf dem DB-Server

Daten bleiben im Memory

Der Oracle Datenbank

Laufzeit: 3 Sekunden

Laufzeit: 110 Sekunden


R zieht ein in das oracle data warehouse

Beis

Beispiele für Graphiken

praktisch

„direkt aus der Datenbank“


R zieht ein in das oracle data warehouse

Beispiele für Graphiken

praktisch

„direkt aus dem Netz“


R zieht ein in das oracle data warehouse

Beispiel für Graphiken: Cluster-Analyse

Baum - Darstellung


R zieht ein in das oracle data warehouse

Cluster-Analyse

library(cluster)


Integrierte r umgebungen oracle r connector for hadoop

Integrierte R UmgebungenOracle R Connector for Hadoop

Client Host

Oracle Big DataAppliance

Oracle Exadata

R Engine

R Engine

Native R MapReduce

Native R HDFS Zugriff

MehrProduktivität

ORE

ORHC

ORHC

HadoopClusterSoftware

MapReduceNodesHDFS

R Engine

ORE


Big data connectors und oracle r enterprise

Big Data Connectors und Oracle R Enterprise

R Environment

R-Package

R-Package

Oracle R Enterprise

(Advanced Analytics)

Oracle R Connector

for Hadoop

RAM

Oracle Server-Machine

HDFS Cluster-Machines

Oracle 11.2

hdfs_stream

ExternalTable

Oracle Direct Connector

for HDFS

HDFS

Preprocessor: hdfs_stream

Hive

Table

CSV +

/ n

Data pump

Offline

Mode

CSV

JDBC

OCI

convential path

direct path

R Engine

R Engine

R Engine

R Engine

Parallel Execution

Oracle Loader for Hadoop

Online Mode

LoaderMap

Partitioned

+ sorted

MapReduce Job Framework

Target Table


Kontakt und mehr informationen

Kontakt und mehr Informationen

Oracle Data Warehouse Community Mitglied werdenViele kostenlose Seminare und Events

Download – Server:

www.ORACLEdwh.de

Kontakt über

[email protected]

Nächste deutschsprachige Oracle DWH Konferenz:

19. + 20. März 2013 Kassel


  • Login