A Model of Saliency-Based Visual Attention for Rapid Scene Analysis

1. A Model of Saliency-Based Visual Attention for Rapid Scene Analysis Hauptseminar Aufmerksamkeit und Objekterkennung SS 2000 - 15.05.2000 Rebecca Fay

2. Modell - Übersicht Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

3. Vorgehensweise • Getrenntes Betrachten der Eigenschaften Farbe, Intensität und Orientierung (Parallele Eigenschaftsextraktion) • Erstellen von Eigenschaftskarten • Erstellen von Gauss- bzw. Gaborpyramiden • Bestimmung der Zentrums-Umgebungs-Differenzen • Normalisierung • Erstellen von Auffälligkeitskarten • Kombinieren der Eigenschaftskarten • Normalisierung • Erstellen einer Salienzkarte • Aufmerksamkeit entsprechend abnehmender Salienz verschieben • Ziel • Schnelles Bestimmen von herausragenden Punkten • Beschleunigung der Szenen Analyse (Bildinterpretation) Modell Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

4. Eigenschaften • Farbe • 4 Farben (rot, grün, blau, gelb) • 3 ursprüngliche Farbkanäle (rot, grün, blau) • Ableiten eines 4. Farbkanals (gelb) • 2 Gegenfarbpaare (rot/grün, blau/gelb) • Intensität (Helligkeit) • Orientierung • 4 Orientierungen (0°, 45°, 90°, 135°) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

5. Lineare Filterung • Vorgehensweise • Verwenden von Gauss- bzw. Gaborfiltern • Erstellen von neunstufigen Gauss- bzw. Gaborpyramiden • Ergebnis • 9 Pyramiden • Ziel • Glätten (Herausfiltern von Rauschen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

6. Zentrums-Umgebungs-Differenzen • Vorgehensweise • Bestimmung der Differenzen zwischen einzelnen Ebenen der Pyramiden zueinander • Interpolieren der Bilder mit der gröberen Auflösung auf die Größe des zu vergleichenden Bildes • Punktweises Subtrahieren • Ziel • Kontrastbestimmung (Für Punkte mit starkem Kontrast zu ihrer Umgebung entstehen große Differenzen) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

7. Normalisierung • Vorgehensweise • Bestimmen des absoluten Maximums M der betrachteten Karte • Normalisierung (Abbildung des Wertebereichs der Karte auf das Intervall [0..M]) • Bestimmen der lokalen Maxima mi • Bilden des Mittelwerts der lokalen Maxima mi (ohne Berücksichtigung des absolute Maximums M) • Multiplizieren der Karte mit der quadrierten Differenz des absoluten Maximums und des Mittelwertes • Ziel • Vergleichbarkeit der unterschiedlichen Karten • Stärkere Gewichtung von Karten mit aufmerksamkeitserzeugendem Kontrast Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

8. Normalisierung Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

9. Eigenschaftskarten • Vorgehensweise • Bestimmen der Zentrums-Umgebungs-Differenz • Normalisierung • Ergebnis • 42 Eigenschaftskarten • Ziel • Verteilung von Zentrums-Umgebungs-Kontrasten bei unterschiedlichen Auflösungsstufen für die einzelnen Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

10. Auffälligkeitskarten • Vorgehensweise • Reduzieren aller Eigenschaftskarten auf die Auflösung 1:16 • Addieren der Eigenschaftskarten • Normalisierung • Ergebnis • 3 Auffälligkeitskarten • Farbe • Intensität • Orientierung • Ziel • Auffälligkeitsverteilung getrennt nach Eigenschaften Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

11. Salienzkarte • Vorgehensweise • Kombinieren der Auffälligkeitskarten • Ziel • Salienzverteilung (welchen Kontrast zu ihrer Umgebung weisen die einzelnen Bildbereiche auf?) Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

12. Aufmerksamkeitsverschiebung • Vorgehensweise • Neuronales „winner-take-all“ Netzwerk • Richten der Aufmerksamkeit auf den Punkt, für den die größte Salienz berechnet wurde • Dieser Punkt weist hinsichtlich Farbe, Intensität oder Orientierung den größten Kontrast zur Umgebung auf. • Inhibition of Return • Hemmen der Neuronen, die dieser Stelle zugeordnet sind • Ziel • Verhindern, daß die Aufmerksamkeit mehrmals auf den selben Punkt gerichtet wird • Verschiebung der Aufmerksamkeit entsprechend abnehmender Salienz Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

13. Beispiel 1a - Eingabe + Ergebniskarten Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

14. Beispiel 1b - Focus of Attention Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

15. Beispiel 2 - Eingabe + Salienzkarten a) Eingabe: Farbbilder b) Ergebnis: Salienz-Karten Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay

16. Referenz • IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, November 1998 - Laurent Itti, Christof Koch, Ernst Niebur • http://www.klab.caltech.edu/~itti/attention/publications/98_PAMI/pami_final.html Seminar Aufmerksamkeit & Objekterkennung Rebecca Fay