File allocation problem vergleich zweier modelle
This presentation is the property of its rightful owner.
Sponsored Links
1 / 40

File Allocation Problem Vergleich zweier Modelle PowerPoint PPT Presentation


  • 50 Views
  • Uploaded on
  • Presentation posted in: General

File Allocation Problem Vergleich zweier Modelle. Stefan Nolting. Inhalt. File Allocation Problem FAP with worst-case delay Zielfunktion Nebenbedingungen Lösungsweg Exkurs: Lagrange Relaxation FAP with average delay Vergleich FAP-WCD / FAP-AD. File Allocation Problem (FAP).

Download Presentation

File Allocation Problem Vergleich zweier Modelle

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


File allocation problem vergleich zweier modelle

File Allocation ProblemVergleich zweier Modelle

Stefan Nolting


Inhalt

Inhalt

  • File Allocation Problem

  • FAP with worst-case delay

    • Zielfunktion

    • Nebenbedingungen

    • Lösungsweg

  • Exkurs: Lagrange Relaxation

  • FAP with average delay

  • Vergleich FAP-WCD / FAP-AD

File Allocation Problem - Vergleich zweier Modelle


File allocation problem fap

File Allocation Problem (FAP)

  • Plazierung von Files und deren Kopien in einem verteilten Filesystem

  • Bestimmen der Anzahl der Kopien und deren Position im System

  • die Kosten für das Speichern der Files und der nötigen Kommunikation sollen minimiert werden

    • Wege stehen vorher eindeutig fest

      stellt ein wichtiges Kriterium beim Design eines verteilten Filesystems dar

File Allocation Problem - Vergleich zweier Modelle


L sungsans tze 1

Lösungsansätze (1)

  • es existieren viele unterschiedliche Modelle

  • die meisten beachten nicht die Antwortzeiten auf eine Anfrage

  • oder sie betrachten sie nur als eine globale und systemweite Bedingung

    unrealistisch, da es i.d.R. eine Prioritäts-struktur für Anfragen gibt (realtime-Anwendungen  Stapelverarbeitung)

File Allocation Problem - Vergleich zweier Modelle


L sungsans tze 2

Lösungsansätze (2)

  • hier sollen zwei Modelle für das FAP betrachtet werden

  • sie verfolgen als Ziele

    • die Minimierung der Betriebskosten

    • und die Einhaltung bestimmter Antwortzeiten für on-line Anfragen

      • die zulässigen Antwortzeiten für verschiedene Anfragen und Dateien können unterschiedlich sein

File Allocation Problem - Vergleich zweier Modelle


Allgemeines 1

Allgemeines (1)

  • wir betrachten ein Netzwerk mit

    • N Knoten

    • F gespeichertenDateien

    • L Verbindungen

  • i und j identifizieren Knoten in dem verteilten System

  • d identifiziert eine Datei

  • l identifiziert eine Verbindung

File Allocation Problem - Vergleich zweier Modelle


Allgemeines 2

Allgemeines (2)

  • Unterscheidung zwischen

    • Anfragen

      • betrifft nur eine Datei bzw. eine Kopie der Datei

    • Änderungen

      • um die Konsistenz zu wahren muß eine Änderung auf allen Kopien erfolgen

        der Aufwand von Anfragen und Änderungen ist unterschiedlich

File Allocation Problem - Vergleich zweier Modelle


Fap wcd

FAP-WCD

FAP with worst-case delay

  • Zielfunktion:

    • die Betriebskosten sollen minimiert werden

      • Kosten für Datenspeicherung

      • Kommunikationskosten für die Anfragen

      • Kommunikationskosten für die Änderungen

File Allocation Problem - Vergleich zweier Modelle


Fap wcd zielfunktion

Kosten der Speicherung für Datei d an Knoten j

= 1, wenn eine Kopie von Datei d im Knoten j existiert

für alle Knoten und alle Dateien

FAP-WCD : Zielfunktion

  • Kosten für die Datenspeicherung

File Allocation Problem - Vergleich zweier Modelle


Fap wcd zielfunktion1

= 1, wenn ein Anfrage von Knoten i nach Datei d nach j geroutet wird

Umfang der Anfragen von Knoten i nach Datei d

Kosten für Datentransport von Knoten i nach Knoten j

zwischen allen Knoten und für jede Datei

FAP-WCD : Zielfunktion

  • Kommunikationskosten für die Anfragen

File Allocation Problem - Vergleich zweier Modelle


File allocation problem vergleich zweier modelle

Umfang der Änderungen die von Knoten i aus, an der Datei d durchgeführt werden

Daten müssen auf allen Kopien geändert werden

falls auf Knoten j eine Kopie existiert, muß eine Daten-transfer von i nach j erfolgen

für alle Knoten und alle Dateien

FAP-WCD : Zielfunktion

  • Kommunikationskosten für die Änderungen

File Allocation Problem - Vergleich zweier Modelle


File allocation problem vergleich zweier modelle

Kosten die abhängig von den sind

Kosten die abhängig von den sind

FAP-WCD : Zielfunktion

File Allocation Problem - Vergleich zweier Modelle


Fap wcd nebenbedingungen

FAP-WCD : Nebenbedingungen

jede Anfrage von Knoten i nach Datei d muss genau einmal bedient werden

eine Anfrage nach d kann genau dann von Knoten j erfüllt werden, wenn es eine Kopie von d in j gibt

File Allocation Problem - Vergleich zweier Modelle


Fap wcd nebenbedingungen1

FAP-WCD : Nebenbedingungen

die worst-case-Antwortzeit einer Anfrage von Knoten i nach Datei d, muss kleiner oder gleich der maximal akzeptablen Antwortzeit sein

das maximale Übertragungsvolumen darf nicht größer sein als die Bandbreite der Verbindung

File Allocation Problem - Vergleich zweier Modelle


Fap wcd nebenbedingungen2

FAP-WCD : Nebenbedingungen

die an Knoten j gespeicherten Dateien dürfen die Kapazität des Knotens nicht überschreiten

File Allocation Problem - Vergleich zweier Modelle


Fap wcd nebenbedingungen3

FAP-WCD : Nebenbedingungen

  • einige Variablen lassen sich schon jetzt festlegen

  • Nach diesen Festlegungen dominiert Nebenbedingung (1) Nebenbedingung (3)

     Nebenbedingung (3) ist redundant

File Allocation Problem - Vergleich zweier Modelle


Exkurs lagrange relaxation

Exkurs: Lagrange Relaxation

  • gegeben: ein Optimierungsproblem

    z* = min cTx

    u.d.N. Ax  b

    x  X

  • alle Restriktionen, die man vernachlässigt, werden mit dem Lagrange Multiplikator in die Zielfunktion aufgenommen

    z* = min cTx + (Ax-b)

    u.d.N. x  X

File Allocation Problem - Vergleich zweier Modelle


Exkurs lagrange relaxation1

Exkurs: Lagrange Relaxation

  • als Lagrange-Funktion erhält man

    L() = min {cTx + (Ax-b) : xX}

  • Für jeden Vector 0 stellt L() eine untere Schranke für das Optimierungs-problem dar

  • als neues Optimierungsproblem ergibt sich

    L* = max L()

  • Falls (Ax-b) = 0 ist, ist L* sogar optimal

File Allocation Problem - Vergleich zweier Modelle


Exkurs lagrange relaxation2

ZUB

L(k)

Exkurs: Lagrange Relaxation

File Allocation Problem - Vergleich zweier Modelle


Exkurs subgradientenmehode

Exkurs: Subgradientenmehode

  • Bestimmung von 

    k+1 = k + k(Axk-b)

  • k gibt die Schrittweite an mit der man sich in die Richtung des Subgradienten bewegt

  • Bestimmung von k

File Allocation Problem - Vergleich zweier Modelle


Fap wcd wdh

min

FAP-WCD (Wdh.)

u.d.N

File Allocation Problem - Vergleich zweier Modelle


Fap wcd1

FAP-WCD

  • nach einer Lagrange Relaxation für die Bedingungen (1) und (4) erhält man

u.d.N (2), (5) und (6)

ZD(u,w) liefert eine untere Schranke

File Allocation Problem - Vergleich zweier Modelle


Fap wcd2

  • ist jetzt nur noch in der Bed. (2) enthalten und wir durch nach oben beschränkt

  • Koeffizienten vor dem sind unabhängig, deshalb lassen sich die durch einen Koeffizientenvergleich bestimmen

  • falls die Summe der Koeffizienten negativ ist, wird auf gesetzt

FAP-WCD

  • für feste u und w ist ZD(u,w) einfach zu bestimmen

File Allocation Problem - Vergleich zweier Modelle


Fap wcd3

FAP-WCD

  • wir benötigen eine zulässige Lösung (bzw. obere Schranke) für die Bestimmung der Schrittweite

  • eine Anfangslösung liefert eine initiale Heuristik die aus zwei Phasen besteht

    • Add

    • Drop

File Allocation Problem - Vergleich zweier Modelle


Initiale heuristik add drop

Initiale Heuristik : Add-Drop

  • Add

    • es wird versucht, möglichst viele Anfragen lokal zu befriedigen, ohne jedoch die Kapazität der Knoten zu überschreiten

    • wenn eine zulässige Lösung gefunden ist, beginnt die Phase Drop

  • Drop

    • es werden solange die Kopien gelöscht, die die Kosten am meisten reduzieren, bis eine Bedingung verletzt würde

File Allocation Problem - Vergleich zweier Modelle


Lagrange relaxation

Lagrange Relaxation

  • nach Add-Drop habe wir eine zulässige Lösung, die eine obere Schranke darstellt

  • durch die jetzt folgende Lagrange Relaxation, können die Bed. (1) und (4) verletzt sein

    • falls Bed. (4) verletzt ist werden Verbindungen überlastet

    • eine zulässige Lösung kann durch Heuristik 2 gefunden werden

File Allocation Problem - Vergleich zweier Modelle


Heuristik 2

Heuristik 2

  • für die Verbindungen die überlastet sind werden alle Anfragen ermittelt die diese Verbindung benutzten

  • diese werden nach dem Volumen der Anfragen sortiert

  • um eine zulässige Lösung zu erhalten versucht man, die Anfragen mit dem höchsten Volumen lokal zu befriedigen

File Allocation Problem - Vergleich zweier Modelle


Heuristik 3

Heuristik 3

  • wird durchgeführt, wenn die Bedingung (1) verletzt wird

  • zwei Möglichkeiten für Verletzung

    • Anfragen werden von mehreren Knoten bedient

       die Anfrage wird von dem Knoten erfüllt, zu dem die geringsten Kommunikationskosten entstehen

File Allocation Problem - Vergleich zweier Modelle


Heuristik 31

Heuristik 3

  • Anfrage wird von keinem Knoten bedient

    • für alle Knoten, die eine Kopie der nachgefragten Datei haben, wird geprüft, ob es eine Verbindung dorthin gibt, die nicht ausgelastet ist

       falls es keine Verbindung gibt wird die Anfrage lokal erledigt

       sonst wird sie von dem Knoten erledigt, zu dem die geringsten Kosten entstehen

File Allocation Problem - Vergleich zweier Modelle


Ablauf

Anfangslösung, liefert Add-Drop

neue obere Schranke durch Heuristik 2 und Heuristik 3

neue untere Schranke durch Subgradienten-verfahren

Untere Schranke durch Lagrange Relaxation

Ablauf

File Allocation Problem - Vergleich zweier Modelle


Branch and bound

Branch and Bound

  • DFS

  • die obere Schranke wird initial durch Add-Drop bestimmt, und wird an jedem Knoten durch die Heuristiken 2 und 3 verbessert

  • die untere Schranke wird an jedem Knoten durch die Subgradientenmethode ermittelt

  • der Baum entwickelt sich anhand der y Variablen

File Allocation Problem - Vergleich zweier Modelle


Fap ad

FAP-AD

FAP with avarage delay

  • Das Problem ist identisch zum FAP-WCD

  • der einzige Unterschied ist, dass jetzt die durchschnittliche Antwortzeit betrachtet wird

    • die durchschnittliche Antwortzeit einer Anfrage von Knoten i nach Datei d muss kleiner oder gleich der maximal akzeptablen Antwortzeit sein

File Allocation Problem - Vergleich zweier Modelle


Fap ad1

durchschnittliche Antwortzeit für Kommunikation zwischen Knoten i und j

FAP-AD

  • die Zielfunktion und die Neben-bedingungen bleiben gleich

  • als einzige Nebenbedingung ändert sich Bed. (3)

File Allocation Problem - Vergleich zweier Modelle


Fap ad2

FAP-AD

  • die worst-case Antwortzeit ist konstant

  • die durchschnittliche Antwortzeit ist eine Funktion, die abhängig vom Netzwerkfluß ist

     daher muß die Vorgehensweise angepaßt werden

  • die Arbeit wird aufgeteilt auf zwei Komponenten

    • Optimierer

    • Simulator

File Allocation Problem - Vergleich zweier Modelle


Fap ad optimierer

FAP-AD : Optimierer

  • der Optimierer führt die gleichen Schritte aus, die auch für das Lösen des FAP-WCD nötig waren

  • er stoppt jedoch an der Stelle, wo Branch-and-Bound aufgerufen wird

  • an dieser Stelle haben wir eine Lösung die alle Bedingungen erfüllt, außer die neue Bedingung, die die durchschnittliche Antwortzeit betrifft

File Allocation Problem - Vergleich zweier Modelle


Fap ad simulator

FAP-AD : Simulator

  • die gefundene Lösung wird an den Simulator übergeben, falls sie besser als die aktuelle ist

  • der Simulator generiert die durchschnitt-lichen Antwortzeiten für die gefundene Lösung

  • falls die generierten Zeiten die Bed. (3a) erfüllen, wird die gefundene Lösung als aktuell beste Lösung übernommen

File Allocation Problem - Vergleich zweier Modelle


Laufzeitvergleich fap wcd vs mpsx

Laufzeitvergleich: FAP-WCD vs. MPSX

  • FAP-WCD ist einem Standard-LP-Löser, weit überlegen

  • der Standard-LP-Löser MPSX hat für dieses Problem eine CPU-Rechenzeit die ca. 10 bis 100 mal länger ist

File Allocation Problem - Vergleich zweier Modelle


Vergleich fap wcd fap ad

Vergleich FAP-WCD - FAP-AD

  • FAP-AD liefert keine optimalen Ergebnisse, da hier nicht der Branch-and-Bound Prozeß durchlaufen wird

  • die Testergebnisse zeigen im schlimmsten Fall Differenzen von 5% zwischen der oberen und der unteren Schranke

  • für zwei von 45 Netzwerkkonfigurationen hat FAP-AD keine Lösung gefunden, die die Bedingung für die durchschnittliche Antwortzeit erfüllte

File Allocation Problem - Vergleich zweier Modelle


Vergleich fap wcd fap ad1

Vergleich FAP-WCD - FAP-AD

  • die CPU-Rechenzeit von FAP-AD ist im Durchschnitt 2-mal so lang wie die von FAP-WCD

  • da bei dem Vergleich die Werte für die akzeptable Antwortzeit gleich gewählt worden sind, ist die Bed. (3) in beim FAP-WCD strenger

     FAP-WCD produziert in der Regel eine größere Anzahl an Kopien und geringfügig größere Kosten

File Allocation Problem - Vergleich zweier Modelle


File allocation problem vergleich zweier modelle1

File Allocation Problem Vergleich zweier Modelle

Ende


  • Login