Malte Nuhn (Physik, Informatik)

1. InformatiCup 2008: CargoConcept Die NP-harten Kerle Malte Nuhn (Physik, Informatik) Linus Atorf (Physik)

2. Gliederung Problembeschreibung Lösungsweg Implementierung Parallelisierung Zusatzaufgabe

3. Aufgabenstellung CargoConcept • Gegeben: • Städte (Punkte in der Ebene) • Grenzen (Einfach zusammen- hängende Fläche) • Gesucht: • Kürzestes Tunnelnetz,das alle Städte verbindet • Bedingungen: • Beliebige Zwischenstationen können eingefügt werden • Tunnel dürfen keine Grenzen kreuzen Ohne Zwischenstation Mit Zwischenstation „z“ Konkave Grenzen

4. Terminologie • Problemstellung besteht aus: • Städten (fest) • Grenzpolygon (fest) Problemstellung Mögliche Lösung Minimaler Spannbaum (MST) Grenzenberücksich- tigender MST (GMST) • Mögliche Lösung besteht aus: • Position und Anzahl der Zwischenstationen Entfernungsmessung auf der Erde (Kugeloberfläche)wird durch Euklidische Distanz (Ebene) nur angenähert

5. Form des Grenzpolygons • Konvexe Grenzen: • Alle Städte von allen erreichbar:Grenzen automatisch eingehalten • Problem des Euklidischen Steinerbaums • NP-vollständig • Konkave Grenzen: • Grenzen müssen eingehalten werden • Städte evtl. ohne Stationen nicht erreichbar:Problem der Wegfindung Algorithmus für konkaven Fall löst auch konvexen „Mindestens“ NP-vollständig

6. Lösungsweg

7. Lösungsidee Zentrale Lösungsidee: Zwischenstationen optimal einfügen GMST (der alle Städte und Stationen verbindet) liefert für gewählte Stationen opt. Tunnelnetz Reduktion auf Suche nach geeigneten Stationen • Wegen NP-Vollständigkeit: • Erschöpfende Suche für „große Probleme“ nicht realistisch • Approximation der Lösung (z.B. durch Heuristiken) • Unser Ansatz: Genetischer Algorithmus • Spezielle Heuristik zu aufwändig • Fitness-Funktion bereits bekannt (gesamte Tunnellänge) • Parameterraum eingeschränkt („nur“ Position der Zwischenstationen)

8. Genetischer Algorithmus • Individuum: • Stellt mögliche Lösung dar • Liste von Zwischenstationen Evolution eines Individuums: Initialisierung Fitness berechnen • Generation: • Menge der aktuellen Individuen • Wird laufend weiterentwickelt Selektion Kreuzung Mutation Optimierung

9. Genetischer Algorithmus • Initialisierung: • Alle Grenzpunkte zur Liste der Zwischenstationen hinzufügen • Dadurch Wegfindung garantiert Evolution eines Individuums: Initialisierung Fitness berechnen • Fitness-Funktion: • Bewertet Lösungsansätze • Wegen GMST-Berechnung (Grenzen) sehr rechenintensiv Beispiel: Selektion Kreuzung Mutation • Selektion: • Entfernt „schwache“ Individuen • Durch Backup bisheriger Generationen niemals Verschlechterung Optimierung

10. Genetische Operationen • Kreuzung: • Zufällige Anwendung auf Teil der gesamten Generation • Individuen tauschen oder kopieren Zwischenstationen • Fitte Individuen werden häufiger als Partner ausgewählt Evolution eines Individuums: Initialisierung Fitness berechnen Selektion • Mutation: • Zufällige Anwendung auf Teil der gesamten Generation • Stationen werden verschoben, entfernt oder hinzugefügt Kreuzung Mutation Optimierung • Optimierung: • Verschiedene Verfahren

11. Lokale Optimierungen Hinzufügen: Stationen werden regelmäßig optimiert (rechenintensiv, daher nur Teil der Generation) Verschieben: Entfernen:

12. Implementierung

13. Verwendete Sprachen und Hilfsmittel Programmiersprachen Werkzeuge • Python • Plattformunabhängig • High level • Subversion • Versionskontroll-system • PyQt (Bibliothek) • Plattformunabhängig • Natives Look & Feel • Trac • Projektmanagement • Tickets & Wiki C • Eclipse • Entwicklungs-umgebung • C • Plattformunabhängig • Low level

14. Aller Anfang ist schwer… Erste Veranschaulichung in MATLAB: Gesamte Tunnellänge x y

15. Aller Anfang ist schwer… Erste GUI in Visual Basic 6.0, Kommunikation mit Backend über TCP:

16. Aller Anfang ist schwer… Umstieg auf Python & Qt, Brute Force:

17. Aller Anfang ist schwer… Prototyp des aktuellen Designs:

18. Aller Anfang ist schwer… Die ausgewachsene Anwendung:

19. Designübersicht Programmhierarchie: Python / Qt GUI (oder Kommandozeile) Python Genetischer Algorithmus Dateninterface (XML) C-Extension Fitnessfunktion & Optimierungsroutinen

20. Details zur Implementierung • Features der GUI: • Komfortable Kartenansicht mit Zoom • Anzeige der bisher besten Lösung • Berechnung jederzeit pausierbar • Unterstützte Daten-Formate: • Eigenes Map-Format (simpel & schnell) • GPX (Aufgabenstellung), DOM-Parser (flexibel) • OpenStreetMap (nur lesen), SAX-Parser (performant) • C-Extension für Python: • Effiziente Implementierung der GMST-Suche • Geometrische Algorithmen • Berücksichtigung numerisch schwieriger Fälle:z.B. Zwischenstation = Grenzpunkt

21. GUI Demo 1

22. GUI Demo 2

23. Parallelisierung

24. Parallelisierung, Möglichkeit 1 • Mehrere „Kontinente“: • Entkoppelte Evolutionszyklen je Kontinent Kontinent 1 Generation 1 Generation 2 Generation 3 Kontinent 2 Kontinent 3 Sync Sync Sync • Vorteile: • Relativ seltene, asynchrone Kommunikation möglich • Nahezu vollständig parallele Evolution • Nachteile: • Resultate des Algorithmus von Kontinenten abhängig • Hoher Implementierungs-aufwand Evolution

25. Parallelisierung, Möglichkeit 2 • Ein Kontinent: • Nur Fitnessfunktion & Optimierungen parallel Großer Kontinent Generation N Worker #1 Worker #2 Worker #3 Generation N+1 • Vorteile: • Einfache Implementierung • Funktionsweise des bestehenden Algorithmus bleibt unverändert • Nachteile: • Synchronisation nach jedem Evolutionsschritt nötig • Genetische Operationen weiterhin sequentiell

26. Zusatzaufgabe

27. Zusatzaufgabe • Bisher: • Grenzen durch einfaches Polygon gegeben • Einfach zusammenhängendes Gebiet • Zusatzaufgabe: • Durch weitere Polygone festgelegte Hindernisse(z.B. Seen, hartes Gestein) • Landesgebiet nicht mehr einfach zusammenhängend • Erkenntnis: • Vorgestelltes Verfahren setzt den einfachenZusammenhang des Gebietes nicht voraus • Keine grundlegenden Veränderungen notwendig

28. Zusatzaufgabe • Notwendige Änderungen: • Editierbare Liste von Hindernispolygonen • Stationen dürfen nicht innerhalb der Hindernispolygone liegen • Verwende Grenzen- und hindernisberücksichtigenden MST (GHMST) • Initialisierung des genetischen Algorithmus: • Punkte des Grenz- und der Hindernisspolygonewerdenals Stationen hinzugefügt, dadurch Wegfindung garantiert

29. GUI Demo 3

30. Vielen Dank für Ihre Aufmerksamkeit

31. Anhang

32. Verbesserungen • Seit Release 1.0 verbessert: • Kleinere Bugfixes • GUI stabiler • Pausenfunktion verbessert • Kommandozeilen-Schalter für automatische Stapelverarbeitung • Ausblick • Autotuning für Parameter des Genetischen Algorithmus‘ • Dynamische Parameter des Genetischen Algorithmus‘ • Ausbau der Parallelisierung • C-Extension mit OpenMP (echtes Multi-Threading) • OpenSource …

33. Backup Folien • Berechnung der Fitnessfunktion: (Details siehe Paper) • Komplexitätsklasse O(BS² + C² + BCS) • C = Cities (Anzahl Städte) • B = Borders (Anzahl Grenzpunkte) • S = Stations (Anzahl Zwischenstationen)

34. Backup Folien • Lookuptables:

35. Backup Folien • Analyse der GA-Parameter: