slide1
Download
Skip this Video
Download Presentation
Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt

Loading in 2 Seconds...

play fullscreen
1 / 81

Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt - PowerPoint PPT Presentation


  • 140 Views
  • Uploaded on

Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt. Gliederung . Anwendungsbeispiele automatisierter Informationsdienstleistungen e-finance e-logistics Übertragbarkeit der Methoden des Yield Management „klassischer“ Dienstleistungen ?

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Subsymbolische Verfahren zur Ressourcenallokation Riezlern 23.1.2003 Oliver Wendt' - brock


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
Subsymbolische Verfahrenzur Ressourcenallokation

Riezlern 23.1.2003

Oliver Wendt

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

gliederung
Gliederung
  • Anwendungsbeispiele automatisierter Informationsdienstleistungen
    • e-finance
    • e-logistics
  • Übertragbarkeit der Methoden desYield Management „klassischer“ Dienstleistungen ?
  • Ansätze zur heuristischen Bewältigung der Komplexitätsprobleme desNetwork Yield Management
    • KNN + GA
    • KNN + Reinforcement Learning

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide3

Anwendungsfall 1

e-finance

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

bayerische landesbank
Bayerische Landesbank

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

1822 und 1822direct
1822 und 1822direct

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

berliner volksbank
Berliner Volksbank

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

bbbank
BBBank

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

deutsche bank
Deutsche Bank

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

deutsche bank9
Deutsche Bank

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

comdirect
Comdirect

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

comdirect11
Comdirect

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

anwendungspartner is innovative software ag
AnwendungspartnerIS Innovative Software AG
  • seit 2000 fusioniert mit Teledata GmbH
  • europäischer Marktführer für internetbasierte Finanzinformationsdienstleistungen
  • ASP (Application Service Provider) für über 100 Banken, Broker, Medienhäuser und Internet-Portale
  • ca. 1.600 eFinance-Sites im Internet und Intranet

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

anwendungspartner is innovative software ag13
AnwendungspartnerIS Innovative Software AG
  • Augenblicklicher „Serverpark“
    • ca. 1.200 Linux-Server im Rechenzentrum derDeutschen Börse
    • über 200 Mbit Peak-Netzlast (upstream)
    • 55 Mio. Visits pro Monatallein für Hauptkunden Comdirect
  • Europaweit größter Kunde von C.O.L.T.

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

mittelfristziel individuelles portfoliomanagement
Mittelfristziel: individuelles Portfoliomanagement
  • Charts der historischen individuellen Portfolioentwicklung
  • Risikoanalyse (z.B. Value-at-Risk-Metrikengemäß Kapitaladäquanz nach „Basel 2“)
  • Portfoliooptimierung unter Berücksichtigung
    • vorgegebener Risikostrukturziele
    • individueller Transaktionskosten
    • „operativer“ Geschäftsrisiken

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

langfristziel individualisierte wissensintensive dienstleistungen durch f r web services
Langfristziel:individualisierte wissensintensive Dienstleistungen durch/für Web Services

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide16

Anwendungsfall 2

e-logistics

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

e logistics
e-logistics
  • Ziel: dynamische Tourenplanung und Umplanung mit Kunden-Zeitfenstern
  • Prognose der Fahrzeiten von x nach y
    • tageszeitabhängig
    • verkehrssituationsabhängig
  • typische Antwortzeiten der Time-Distance Web-Services ca. 300ms
  •  Problem für heuristische Suchverfahren

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

e logistics18
e-logistics

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide19

Übertragbarkeit der Methoden des

Yield Management ?

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

information als repetierfaktor
Information als Repetierfaktor ?
  • vernachlässigbaren Reproduktionskosten(sog. quasibeliebige Kopierbarkeit)
  • „Verbrauch“ von Informationsgütern unkritisch
  • einfache Vernichtung / Entsorgung
  • keine Knappheit existierender Information
  • Einordnung als Repetierfaktor wenig sinnvoll

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

information als potentialfaktor
Information als Potentialfaktor ?
  • Konkurrenz der Produktionsprozesse um diese Ressource fehlt bei Informationsprodukten
  • auch jede Software („logische Maschine“) kann beliebig repliziert werden
  • Kernproblem liegt nicht in der Konkurrenz um die Ressource Information selbst, sondern in der mittelbaren Konkurrenz um die knappen physischen Träger der Informationsverarbeitung !
    • Menschen (Arbeitszeit)
    • Rechner (CPU / Memory)
    • Infrastruktur (Netzressourcen / Bandbreite)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

yield management perishable asset revenue mgmt
Yield Management /Perishable Asset Revenue Mgmt

Menge aller Verfahren, welche durch eine integrierte Preis- und Kapazitätssteuerung, die richtigen Einheiten eines zukünftig bereitzustellenden Kapazitätstyps dem richtigen Kundentyp so zuordnen, dass der Deckungsbeitrag der Betriebseinheit maximiert wird[vgl. Belobaba (1989), Vogel (1989)].

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

charakteristika ym geeigneter produktionsprozesse kimes 1989
Charakteristika YM-geeigneter Produktionsprozesse[Kimes (1989)]
  • hohe Kapazitätsbereitstellungskosten : Kapazität kurzfristig nur zu prohibitiv hohen, sprungfixen Kosten ausweitbar
  • variable Grenzkosteneiner zusätzlichen Leistungseinheit innerhalb der gegebenen Kapazitätengering
  • Möglichkeit zur Marktsegmentierung
  • Nichtlagerbarkeit und Verderblichkeit
  • Produktverkauf vor Produktionsbeginn
  • hohe Volatilität der Nachfrage

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

yield management perishable asset revenue mgmt24
Yield Management /Perishable Asset Revenue Mgmt
  • Airline Industries (Passage & Cargo)
  • Hotel- & Tourismus-Gewerbe
  • Autovermietungen
  • (Bekleidungs- / Modeartikel)
  • (Lebensmittel)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

strukturanalogien typischer dienstleistungen
Strukturanalogientypischer Dienstleistungen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

verfahren des yield management
Verfahren des Yield Management
  • Pragmatische / heuristischeLösungsverfahren
    • Geschachtelte Kontingentierung
    • Expected Marginal Seat Revenue[Belobaba 89]
  • Optimale Lösungsverfahren
    • Stochastische Dynamische Programmierung auf Basis Markoff’scher Entscheidungsprozesse

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stochastische dynamische programmierung
StochastischeDynamische Programmierung
  • Sitzplatzkapazität von sechs Sitzplätzen ( Z := { 0, 1, 2, 3, 4, 5, 6 } )
  • Sitzplätze können einzeln oder in Gruppen verkauft werden
  • keine Unsicherheit über die Anzahl der noch eingehenden Anfragen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stochastische dynamische programmierung28
StochastischeDynamische Programmierung
  • drei Anfragetypen:
  • rückwärts zählender Index k für Anfragen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stage 1
Stage 1

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stage 2 z b i 4
Stage 2 (z.B. i=4)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stage 2 z b i 3
Stage 2 (z.B. i=3)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stochastische dynamische programmierung32
Stochastische Dynamische Programmierung

Annahme wenn: Erlösk + V*k-1(i - Zimmerk)  V*k-1( i ).

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

eigenschaften der restwertfunktion v
Eigenschaften der Restwertfunktion V*
  • inventory monotonicity
    • V* steigt monoton mit der Restkapazität i
  • time monotonicity
    • V* steigt monoton mit der der Anzahl verbleibender Anfragen k
  • ABER: Monotonie der PREISE nur, wenn keine Zunahme der Zahlungsbereitschaft über die Zeit !

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

beispiel nichtmonotone nachfrage
Beispiel:nichtmonotone Nachfrage
  • k > 2
  • k <= 2

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

stochastic dynamic programming
Stochastic Dynamic Programming

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide36

Network Yield ManagementDemo

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management relevanz
Network Yield Management Relevanz
  • Hohe Relevanz derartiger Verbundeffekte im Informations-Kontext:
    • einerseits müssen hier die Ergebnisse der Sub-Services zur Verarbeitung des übergeordneten Service weitergeleitet werden, die ggf. auf anderen Hardware-Komponenten untergebracht sind (Airline-Analogie)
    • andererseits beanspruchen viele Service-Aufträge mehrere konsekutive Zeitscheiben einer Ressource(Multi-Day-Analogie zum Hotel-Fall)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management relevanz38
Network Yield Management Relevanz

„kleiner Trost”:

  • Viele IV-Prozesse sind glücklicherweise “preemptiv”
  • “Umzug” der Zwischenergebnisse des IV-Prozesses in ein anderes “Hotel” (anderer Prozessor) möglich
  • Ausnahmen insbes. bei „humaner“ Weiterverarbeitung:
    • Audio-Übertragung
    • Video-Übertragung

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide39

Bewältigung der Komplexitätsprobleme des Network Yield Management

Genetische Algorithmen (+KNN)

Reinforcement Learning (+KNN)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

bestimmung der restwertfunktion bei ressourcenkomplementarit t
Bestimmung der Restwertfunktion bei Ressourcenkomplementarität
  • optimale Lösung:Zustandsraum als Menge aller möglichen Bündel von Verfügbarkeiten aller zu bewertenden Ressourcen!
    • Kombinatorische Explosion
  • lineares „Bid-Pricing“ deutlich suboptimal[Weatherford 92], [Talluri / Ryzin 96]
  • Repräsentation der multidimensionalen Restwertfunktion mittelsKünstlicher Neuronaler Netze ?

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management kombinationsgewinn
Network Yield ManagementKombinationsgewinn
  • Fall A: Kombinationsgewinn

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management kombinationsgewinn42
Network Yield ManagementKombinationsgewinn

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management kombinationsverlust
Network Yield ManagementKombinationsverlust
  • Fall B: Kombinationsverlust

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

network yield management kombinationsverlust44
Network Yield ManagementKombinationsverlust

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide45

x1

x2

x3

x4

x5

x6

x7

x8

x9

x10

input layer

hidden layer

output layer

Network Yield Management

KNN als Lösung ?

weight matrix 1

weight matrix 2

Vt(x)= 3200

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide46

x1

x2

x3

x4

x5

x6

x7

x8

x9

x10

input layer

hidden layer

output layer

Network Yield Management

KNN als Lösung ?

weight matrix 1

weight matrix 2

Vt(x)= 2300

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

aufbau eines neurons
Aufbau eines Neurons

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 20000 steps
Backpropagation (20000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 40000 steps
Backpropagation (40000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 60000 steps
Backpropagation (60000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 80000 steps
Backpropagation (80000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 100000 steps
Backpropagation (100000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 120000 steps
Backpropagation (120000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 140000 steps
Backpropagation (140000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 160000 steps
Backpropagation (160000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 180000 steps
Backpropagation (180000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 200000 steps
Backpropagation (200000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

backpropagation 300000 steps
Backpropagation (300000 steps)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

training des knn
Training des KNN
  • übliche Lernregeln für KNN leider ungeeignet, da Bewertungsfehler nur SIMULATIV abschätzbar
  • Finden optimaler Gewichte w* ist somit selbst hochdimensionales stochastisches Parameteroptimierungsproblem
  • prädestiniert für Einsatz naturanaloger Verfahren ??? (Evolutionsstrategien / Genetische Algorithmen)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

ablauf genetischer algorithmen
Ablauf Genetischer Algorithmen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide61

Crossover-Operatorenfür KNN

Eltern

Kind

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

knn ga ergebnisse
KNN+GA-Ergebnisse

500.000 Evaluationen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

reinforcement learning

agent

action ar

state s

reward r

rt+1

st+1

environment

Reinforcement Learning

Ziel des RL-Agenten: Maximierung der Summe von Reinforcement-Signalen (long run!!)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel
Temporal-Difference-LearningBeispiel

Episode 1

 = 0.2

r7 = 2

r3 = 8

r1 = 6

r8 = 5

r4 = 7

1.2

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel65
Temporal-Difference-LearningBeispiel

Episode 1

 = 0.2

r7 = 2

r3 = 8

r1 = 6

1.6

r8 = 5

r4 = 7

1.2

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel66
Temporal-Difference-LearningBeispiel

Episode 1

 = 0.2

r7 = 2

r3 = 8

0.4

r1 = 6

1.6

r8 = 5

r4 = 7

1.2

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel67
Temporal-Difference-LearningBeispiel

Episode 1

 = 0.2

r7 = 2

r3 = 8

0.4

0

r1 = 6

1.6

r8 = 5

r4 = 7

1.2

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel68
Temporal-Difference-LearningBeispiel

Episode 2

 = 0.2

r7 = 2

r3 = 8

0.72

0

r1 = 6

2.96

r8 = 5

r4 = 7

2.48

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel69
Temporal-Difference-LearningBeispiel

Episode 3

 = 0.2

r7 = 2

r3 = 8

0.98

0

r1 = 6

4.11

r8 = 5

r4 = 7

3.78

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel70
Temporal-Difference-LearningBeispiel

Episode 20

 = 0.2

r7 = 2

r3 = 8

1.97

0

r1 = 6

9.77

r8 = 5

r4 = 7

14.9

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

temporal difference learning beispiel71
Temporal-Difference-LearningBeispiel

Episode 21

 = 0.2

r7 = 2

r3 = 8

1.97

0

r1 = 6

9.22

1.0

0

r8 = 5

r4 = 7

15.1

r2 = 4

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

td 0 reinforcement learning
TD(0) Reinforcement Learning

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

td 0 reinforcement learning 3 ebenen mlp
TD(0) Reinforcement Learning(3-Ebenen-MLP)

50.000 Evaluationen

500.000 Evaluationen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

slide74

Zusammenfassung und Ausblick

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

zusammenfassung
Zusammenfassung
  • große strukturelle Ähnlichkeiten der Bepreisung von IV-Leistungen und des Yield-Management klassischer Dienstleistungen
  • Problem des Network Yield Management muss „gelöst“ werden
  • Adaption trotzdem vielversprechender als Anpassung der klassischen betriebswirtschaftlichen Preistheorie

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

ausblick
Ausblick
  • Einsatz in DISPOWEB-Verhandlungsprotokollen für Softwareagenten
  • alternative Zustandsraumkompression(z.B. Growing Neural Gas-Topologie)
  • Integration kombinatorischer Auktionen und Bepreisung von Real Options
  • Integration nachfrageseitiger interpersoneller Netzeffekte

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

kombination ym und auktionstheorie
Kombination YM und Auktionstheorie
  • dynamische Bestimmung gewinnmaximierender Preise umfaßt aber ZWEI interdependente Probleme:
    • Welcher Anreizmechanismus bringt die Nachfrager dazu, ihre Zahlungsbereitschaft wahrheitsgemäß zu offenbaren?(Auktionstheorie für Leistungsbündel)
    • Welcher Nachfrager wird wann mit welchem Ressourcenbündel zu welchem Preis bedient? (YM)

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

ym perishable asset revenue management

price

production / service

request

commit

request

commit

denial

request

t0

t

YM / Perishable Asset Revenue Management

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

auktionen

price

production / service

request

request

request

t0

t

Auktionen

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

generalisierung auktionen ym

price

production / service

t0

t

Generalisierung: Auktionen & YM

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

literatur
Literatur
  • Hu, J. / Wellman, M.P.: Multiagent Reinforcement Learning: Theoretical Framework and an Algorithm, Madison 1998
  • Kephart, J.O. / Tesauro, G.J.: Pseudo-convergent Q-Learning by Competitive Pricebots, Hawthorne 1999
  • Kephart, J.O. / Tesauro, G.J.: Pricing in agent economies using multi-agent Q-Learning, Hawthorne 1999
  • McGill, J.I.; van Ryzin G.J.: Revenue Management: Research Overview and Prospects; Transportation Science 33 (1999) S. 233-256.
  • Sutton, R.S. : Reinforcement-Learning: An Introduction, Cambridge 1998
  • Schwind, M.; Wendt, O.: Dynamic Pricing of Information Products based on Reinforcement Learning: A Yield Management Approach; Proceedings of the 25th Conference on Artificial Intelligence (KI2002); Aachen.

Subsymbolische Verfahren zur Ressourcenallokation Riezlern, 23.1.2003

ad