9. Radiale-Basisfunktionen-Netze (RBF-Netze)

1. 9. Radiale-Basisfunktionen-Netze (RBF-Netze) Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle, Michael Schneider 1 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

2. Inhalt • Prinzip • Architektur RBF-Netze • Hidden Layer mit RBF-Neuronen • Radiale Basisfunktion (RBF) • Gaußfunktion als Aktivierungsfunktion • Beispiel: Kennlinienapproximation • Initialisierung der Parameter und Gewichte • Nachtraining des RBF-Netzes • Bewertung RBF-Netze • Fragen 2 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

3. Prinzip • RBF-Netze sind spezielle vorwärtsgerichtete neuronale Netze, die nur eine Schicht verdeckter Neuronen besitzen • die Neuronen haben spezielle, radialsymmetrische (radiale) Aktivierungsfunktionen • sie eignen sich besonders für die Approximation von Funktionen • dabei sind die Stützstellen im einfachsten Fall durch die Trainingsmuster des Netzes vorgegeben • durch die Aktivierungsfunktion besitzt jedes Neuron ein sehr lokales Verhalten – es liefert nur für Werte in diesem Bereich eine große Aktivierung, sonst eine geringe • direkte Berechnung der Gewichte möglich, daher schnell trainierbar und sicher konvergierend • sie können auch mit Verfahren wie Backpropagation nachtrainiert werden, um die Genauigkeit zu verbessern 3 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

4. Architektur • Eingabeschicht: lineare Aktivierung • Hidden Layer mit RBF-Aktivierung, deren Zentrum und Breite mittels Voreinstellung und Training adaptierbar ist • trainierbare Gewichte c1 ... cN • Ausgabeschicht mit linearer Aktivierung summiert alle Ausgangssignale des Hidden Layer nach Gewichtung mit c1 ... cN auf (wie beim Perzeptron) 4 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

5. Hidden Layer • yi ist der gewünschte Ausgangswert des RBF-Netzes: yi = f(Xi) • das verwendete Funktionensystem besteht aus radialsymmetrischen Basisfunktionen hi, die von der Wahl der Stützstellen Xi abhängen: hi (||X-Xi||) • mit hi als eigentliche Basisfunktion. Als Eingabe dient der Abstand des Vektors X vom Stützstellenvektor Xi • meistens wird der euklidische Abstand zwischen den beiden verwendent. Damit gilt für f(X) f(X) = S ci hi(||X-Xi||) über alle Vektorelemente 1...n 5 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

6. Radiale Basisfunktion (Zentrumsfunktion) • Es gibt einige Klassen von zulässigen Zentrumsfunktionen • Dreieck- und Gaußsche Funktion eignen sich gut für Neuro-Fuzzy-Anwendungen • die wichtigste ist die Gaußsche Funktion 1,0 0,607 0,135 6 9. RBF-Netze (Radiale-Basisfunktionen-Netze) 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

7. Gaußsche Funktion als Aktivierung bei einer Eingangsgröße fact • hat das RBF-Neuron einen Eingang, sieht die Aktivierung um das Zentrum xi (Stützstelle - dies ist der erste Parameter) wie in der obigen Abb. aus • die Wirkung ist sehr lokal • die „Breite“ wird über den zweiten Parameter si(die Standardabweichung) eingestellt xi x 7 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

8. Gaußsche Funktion als Aktivierung bei mehreren Eingangsgrößen • hat das RBF-Neuron zwei Eingänge, sieht die Aktivierung um die Zentren xni (Stützstellen) wie in der obigen Abb. aus • die Wirkung ist noch lokaler, da beide x-Werte sich in der Nähe der Zentren befinden müssen, um eine fact > 0 zu erhalten • die Breite si (die Standardabweichung) kann für beide x-Werte unterschiedlich sein fact x2i x1i 8 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

9. (xj –xji ) Gaußsche Funktion als Aktivierung bei mehreren Eingangsgrößen mit n: Anzahl der Eingänge für ein RBF-Neuron undj: laufende Nr. des Eingangsi: Nummer des betrachteten RBF-Neurons • diese Beziehung beschreibt mehrdimensionale Gaußkurven, wie sie etwa aus der Wahrscheinlichkeitsrechnung bekannt sind • der Ort des Maximums der Funktion in bezug auf die j-te Eingangsgröße ist gegen durch xji • die Standardabweichung sji ist ein Maß für die „Breite“ der Gaußkurve facti= hi (||X-Xi||) = 9 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

10. Beispiel einer Kennlinienapproximation Überlagerung von vier Zentrumsfunktionen (- - -) zu einer Summenfunktion (——) f(x) = 0,3 h (||x-0,5||) + 0,5 h (||x-2||) + 0,4 h (||x-4||) -0,3 h (||x-5||) mit der Aktivierung Gaußfunktionen h. Mit den vier Zentren x1 = 0,5;...; x4 = 5 und den Gewichtsfaktoren c1 = 0,3; ...; c4 = - 0,3 0,3 s= 0,75 5 0,5 - 0,3 10 9. RBF-Netze (Radiale-Basisfunktionen-Netze) 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

11. 0,3 0,5 5 - 0,3 RBF-Netz für Kennlinienapproximation x11, = 0,75 0,5 x12, = 1 0,3 x13, = 0,75 x - 0,3 x14, = 0,5 5 11 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

12. Initialisierung der Stützstellen und Breite für RBF und Gewichte für Ausgangsneuron • Stützstellen xi können direkt aus den Trainingsdaten der zu approximierenden Funktion angeben werden (vorzugsweise Plateaus, relative und absolute Minima und Maxima) • es sind so viele RBF-Neuronen N wie Stützstellen N möglich (das Auswendiglernen ist erwünscht), allerdings kann die Zahl auch kleiner sein • Breite (Standardabweichung si = 0,5 Dxi) kann aus dem halben Abstand zwischen zwei Stützpunkten und dem linken und rechten Randbereich(ablesen bei e-1/2 = 0,6 ci) vorgegeben werden • wenn die Anzahl der Stützstellen groß ist, kann auch gut eine mittlere Breite für alle si = |ximax -ximin| / sqrt 2N • als Gewichte werden die Ausgangswerte yi der Stützstellen (Targets für das Training) vorgebeben, da die RBF-Funktion ja den max. Wert 1 weitergibt • so ist das RBF-Netz schon ohne Training gut an die Aufgabe angepasst 12 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

13. Nachtraining des RBF-Netzes • insbesondere dann erforderlich, wenn weniger RBF-Neuronen im Hidden Layer als Trainingsmuster vorhanden sind • es ist ein Offline-Training sinnvoll • mit drei separaten kleinen Lernraten: • 1 = 0,1 Lernrate für die Verbindungen (Stützstellen) zwischen Input Layer und RBF-Neuronen • 2 = 0,03Lernrate (noch kleiner als 1) für die Radien (Breite bzw. Standardabweichung si ) der RBF-Aktivierungsfunktion • 3 = 0,01 Lernrate (noch kleiner als 2) für die Verbindungen zwischen den RBF-Neuronen und dem Ausgangsneuron 13 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

14. Bewertung RBF-Netze • RBF-Neuronen sind sehr selektiv – haben nur einen kleinen Wirkungsbereich bezogen auf die Eingangsgröße x • daher lassen sich sehr komplexe und oszillierende Funktionen mit RBF-Netzen gut approximieren. Grob kann für jedes lokale und absolute Minima oder Maxima ein RBF-Neuron veranschlagt werden • die Optimierung ist unproblematisch • eine Ähnlichkeit zur Membership-Funktion von Fuzzy-Systemen ist erkennbar (Breite, Abstand, Höhe = 1), daher werden RBF-Netze auch oft für Neuro-Fuzzy-Systeme eingesetzt. • Die Wechselwirkung der RBF-Neuronen untereinander ist sehr gering • daher ist die Modellierung von hochdimensionalen Abbildungen mit schwach ausgeprägten Strukturen schlechter als bei MLP-Netzen! 14 9. RBF-Netze (Radiale-Basisfunktionen-Netze)

15. Fragen Fragen Sie bitte! 15 9. RBF-Netze (Radiale-Basisfunktionen-Netze)