«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πλ...
Download
1 / 56

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας» - PowerPoint PPT Presentation


  • 97 Views
  • Uploaded on

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας». Ιωάννης Ρήγας Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών M . Sc . Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών. Επιβλέπων :. Γεώργιος Οικονόμου Καθηγητής Τμ. Φυσικής. Παν. Πατρών. Σεπτέμβριος 2013.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' «Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»' - taliesin-evans


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ιωάννης Ρήγας

Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών

M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών

Επιβλέπων :

Γεώργιος Οικονόμου

Καθηγητής Τμ. Φυσικής. Παν. Πατρών

Σεπτέμβριος 2013


«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ανθρωποκεντρική

Καταγραφή & Επεξεργασία

ΑνθρωποκεντρικούΣήματος

ΜοντελοποίησηΑνθρώπινης

Προσοχής & Αντίληψης

Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος


Διάρθρωση Παρουσίασης και Ανάλυση Οπτικής Πληροφορίας»

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


Διάρθρωση Παρουσίασης και Ανάλυση Οπτικής Πληροφορίας»

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


Διάρθρωση Παρουσίασης και Ανάλυση Οπτικής Πληροφορίας»

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


Μοντελοποίηση και Ανάλυση Οπτικής Πληροφορίας» της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Μοντελοποίηση Οπτικής Προσοχής

Χάρτες Οπτικού Ενδιαφέροντος

(Saliency Maps)

  • Μέθοδοι Κατασκευής Χαρτών Ενδιαφέροντος

  • Γνωστικά Μοντέλα

  • (ανθρώπινη αντίληψη)

  • Μοντέλα Θεωρίας της Πληροφορίας

  • (εντροπία, αυτό-πληροφορία)

  • Μοντέλα Θεωρίας Αποφάσεων

  • (διαχωριστική ανάλυση)

  • Μοντέλα Φασματικού Πεδίου

  • (χαρακτηριστικά φάσης)

  • Μοντέλα Αραιής Αναπαράστασης

  • (αραιή κωδικοποίηση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 01/42


Μοντελοποίηση και Ανάλυση Οπτικής Πληροφορίας» της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Αναπαράσταση Αραιής Κωδικοποίησης

V1: Πρωτοταγής Οπτικός Φλοιός

(Primary Visual Cortex)

Ιδιότητες Βιολογικών Προτύπων Αναπαράστασης

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατή Συμπεριφορά

V3Α

V3

V2

V1

V2

V3

V3Α

V4

V5

Υπολογιστική Μοντελοποίηση

Αναπαράσταση Αραιής Κωδικοποίησης

Principal Component Analysis(PCA)

Υπερπλήρες Λεξικό

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 02/42


Διάρθρωση Παρουσίασης και Ανάλυση Οπτικής Πληροφορίας»

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

ΕξαγωγήΧαρακτηριστικών Αραιής Κωδικοποίησης

Generalized Sparse Coding Neural Gas (GSCNG)

Σχήμα Ασθενούς Ανταγωνισμού (Soft Competitive)

ΠαράμετροιΕκπαίδευσης Λεξικού

μέγεθος τμήματος = 6x6 pixels (x3)

N = 10000 τυχαία τμήματα

M = 350 οπτικές λέξεις

k = 10 ενεργά στοιχεία

εκπαίδευση offline

Εξαγωγήτων Αναπαραστάσεων Αραιής Κωδικοποίησης

ICOPP - Intensity Color OPPonent

Αλγόριθμος Batch-OMP

Ενεργοποίηση

Μη-ενεργοποίηση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 03/42


Σύγκριση των και Ανάλυση Οπτικής Πληροφορίας»Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1 - Τμήμα 2

Τμήμα 2 - Τμήμα 3

Τμήμα 1 - Τμήμα 3

Τμήμα 2

Σύγκριση Χαρακτηριστικών- Μορφοποίηση Τελικού Χάρτη

Σύγκριση με την Απόσταση Hamming

Τμήμα 3

Ενεργ. Αραιών Συνιστωσών

Ηam_dist12 = 16

Ηam_dist23 = 16

Ηam_dist13 = 6

Sp1 = Ηam_dist12 + Ηam_dist13 = 22

Sp2 = Ηam_dist12 + Ηam_dist23 = 32

Sp3 = Ηam_dist23 + Ηam_dist13 = 22

Καθολική Απόσταση Hamming

Μη-γραμμικό Φιλτράρισμα +

Φιλτράρισμα με Gaussian

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 04/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Υπολογιστικό Κόστος Αλγόριθμου

Μέσος Χρόνος (sec.) Κατασκευής Χάρτη

(για διαστάσεις εικόνας 240x320) *

  • ΥλοποίησηΣταθερού Τμήματος (Fixed Size)

  • Εκπαίδευση Γενικού Λεξικού Offline

  • Δυνατότητα Χρήσης του Batch-OMP

  • Σύγκριση με Απόσταση Hamming

[LZXYY09]

[HZD11]

προτ.

* IntelCore2Quad, 2.83 GHz, 4 GB RAM

[LZXYY09] Y. Li, Y. Zhou, L. Xu, X. Yang, and J. Yang, ‘Incremental sparse saliency detection’, in: IEEE Int. Conf. on Image Process. (ICIP), pp. 3093-3096, (2009)

[HZD11] B. Han, H. Zhu, and Y. Ding, ‘Bottom-Up Saliency Based on Weighted Sparse Coding Residual’, in: Proc. ACM International Conference on Multimedia (MM '11), pp. 1117-1120, (2011)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 05/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση Μεθόδου - Τεχνητές Εικόνες

Εικόνες ψυχοφυσικού ερεθίσματος

Χρώμα

Προσανατολισμός

Πυκνότητα

Συμπαγή Σχήματα

Φαινόμενα Ενεργοποίησης Ακμών

[προτ.]

[ΗΗΚ12]

[HHK12] X. Hou, J. Harel, and C. Koch, ‘Image Signature: Highlighting sparse salient regions’, IEEE Trans. Pattern Anal. Machine Intell. (PAMI), 34 (1), pp. 194-201, (2012)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 06/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Toronto

Προτεινόμενη Μέθοδος:SSCH

Toronto

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Toronto

AUC Score (μ.ο. για 120 εικόνες)

Toronto -Διαφορετικά λεξικά

Gaussian σ

AUC Score (μ.ο. για 120 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 07/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C1 -Μεγάλες Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 50 εικόνες)

C2-Μεσαίες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 80 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 08/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C3-Μικρές Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 60 εικόνες)

C4-Στοιχεία Περίσπασης

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 09/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C5-Αταξία στο Υπόβαθρο

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 15 εικόνες)

C6-Μικρές και Μεγάλες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 10/42


Κατασκευή Χαρτών και Ανάλυση Οπτικής Πληροφορίας»Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Συγκεντρωτική Αξιολόγηση Μεθόδου - Συμπεράσματα

Πίνακας Βέλτιστων AUC scores

Βέλτιστη Επίδοση στις Μεσαίες Κλίμακες

Βέλτιστος Μ.Ο. = Σταθερή Συμπεριφορά σε Ποικιλία Συνθηκών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 11/42


Διάρθρωση Παρουσίασης και Ανάλυση Οπτικής Πληροφορίας»

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Σφάλμα Αραιής Κωδικοποίησης

Σφάλμα Αναδόμησης Εικόνας:

Εrr_R → 7.11

Τμηματοποίηση

Err_G → 7.35

Err_B → 7.84

Err_R → 3.14

Err_G → 2.71

Err_B → 1.91

Αλγόριθμος Batch-OMP

Err_R → 0.19

Err_G → 0.11

Err_B → 0.12

Σφάλμα σε κάθε Χρωματικό Επίπεδο

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 12/42


Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Κανονικοποίηση Ενδιάμεσων Χαρτών Ενδιαφέροντος

Συνολική Ενεργοποίηση στο Επίπεδο του κάθε Χρωματικού Χάρτη

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 13/42


Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Δημιουργία Βάσης Δεδομένων Αεροφωτογραφίας

OrthoimageryDataset, Earth Resources Observation and Science (EROS), United States Geological Survey (USGS)

100 εικόνες αεροφωτογραφίας

διαστάσεις: 2000x3000

Κατάλληλη

Μάσκα Ενδιαφέροντος

(Δυαδικός Χάρτης)

Ακατάλληλη

Βάση Δεδομένων:

50 εικόνες αεροφωτογραφίας

κλιμάκωση: 854x1280

http://www.upcv.upatras.gr/projects/saliency_on_aerial_imagery/index.html

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 14/42


Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση στη Βάση Δεδομένων Αεροφωτογραφίας

Καμπύλες ROC (μ.ο. από 50 εικόνες)

True Positive Rate (TPR)

Πίνακας AUC scores

False Positive Rate (FPR)

Συμπεράσματα

Ικανοποιητική Συμπεριφορά των Μεθόδων Κατασκευής Χαρτών Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας

Βέλτιστη Συμπεριφορά της Προτεινόμενης Μεθόδου σε Σύγκριση με τις Υπόλοιπες

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 15/42


Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Παραδείγματα Χαρτών Ενδιαφέροντος

Χάρτης Ενδιαφέροντος

Αρχική Εικόνα

Μάσκα Ενδιαφέροντος

a-1

a-22

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 16/42


Διάρθρωση Παρουσίασης Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Τροποποιημένο Ιστόγραμμα Ενδιαφέροντος

?

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 17/42


Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Μελέτη Απλών Στατιστικών Μεγεθών των Χαρτών Ενδιαφέροντος

Βάση Δεδομένων:

Αεροφωτογραφίες Χρήσης Γης-Κάλυψης Γης

UC Merced LULC database

20 κατηγορίες, 100 εικόνες/κατηγορία

Χαμηλές τιμές

agricultural

beach

forest

chaparral

dense

residential

golf

course

baseball diamond

forest

chaparral

agricultural

beach

buildings

freeway

harbor

Ενδιάμεσες τιμές

baseball diamond

freeway

golf course

Μέση Τιμή Ενεργοποίησης

Μεγάλες τιμές

buildings

dense residential

harbor

Διακύμανση Ενεργοποίησης

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 18/42


baseballdiamond Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

agricultural

beach

buildings

chaparral

denseresidential

forest

freeway

golfcourse

harbor

intersection

mediumresidential

mobilehomepark

river

runway

sparseresidential

storagetanks

tenniscourt

overpass

parkinglot

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Πειραματική Αξιολόγηση Τροποποιημένου Ιστογράμματος Ενδιαφέροντος

μπλε - απλό ιστόγραμμα

κόκκινο - τροποποιημένο ιστόγραμμα

11 κατηγορίες βελτιώθηκαν

6 κατηγορίες χειροτέρευσαν

3 μείναν στα ίδιαποσοστά

dense residential

sparse residential

mean

variance

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 19/42


Διάρθρωση Παρουσίασης Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


άνω λοξός Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

κεντρικό βοθρίο

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

άνω ορθός

έξω ορθός

έσω ορθός

Σύστημα Οφθαλμικής Κίνησης και Συσκευές Καταγραφής Οφθαλμικών Κινήσεων

Σύστημα Κεντρικής Όρασης

  • Cambridge Research Systems (CRS)

  • Video Eye-Tracker, 50 Hz

  • Καταγραφή Κόρης και Διπλού Ίχνους Purkinje

  • Υπέρυθρη κάμερα / Δίοδοι Υπέρυθρου

  • Ακρίβεια Καταγραφής 0.1250-0.250

  • οριζόντιο/κάθετο εύρος καταγραφής ±400/±200

κάτω ορθός

κάτω λοξός

Οφθαλμοκινητικοί Μύες

Ίχνη Purkinje

Κινήσεις Προσήλωσης

(Fixations)

Σακκαδικές Κινήσεις

(Saccades)

Ομαλή Παρακολούθηση

(Smooth Pursuit)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 20/42


Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Χαρακτηριστικά Βιομετρικής Αναγνώρισης από τις Οφθαλμικές Κινήσεις

Θεωρία Οπτικών Μονοπατιών - Scanpath Theory (Noton & Stark)

  • Περιεχόμενο

  • Νοητική Εργασία

  • Ιδιοσυγκρασία

  • Διάθεση

Πεδίο Χώρου - Κατανομές Δειγμάτων

Πεδίο Χρόνου - Δυναμικά Χαρακτηριστικά

Ταχύτητα

Επιτάχυνση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 21/42


Διάρθρωση Παρουσίασης Βιομετρικών

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Πείραμα Καταγραφής

Οπτικό Ερέθισμα: Εικόνες Προσώπων

  • Στοιχεία Κατασκευής Βάσης Δεδομένων

  • 15 Άτομα

  • 10 ΕικόνεςΠροσώπων

  • 4 sec./Εικόνα

  • 8 Πειραματικές Επαναλήψεις/Άτομο

  • Αντιμετώπιση Φαινομένων Εκμάθησης

  • Διαφορετική Σειρά Εμφάνισης Εικόνων

  • Χρονικός Διαχωρισμός Πειραματικών Επαναλήψεων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 22/42


δείγματα προσήλωσης τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Εξαγωγή Χαρακτηριστικών

εσφαλμένα δείγματα

Ελάχιστο Διασυνδετικό Δένδρο (ΕΔΔ) Δύο Σταδίων (two round - MST)

Outlier Factor of Clusters

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 23/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Σύγκριση Κατανομών Οφθαλμικής Κίνησης με το Wald-Wolfowitz Test

  • Κατασκευή Κοινού Ελαχίστου Διασυνδετικού Δένδρου

Δείγμα Α

  • Υπολογισμός Στατιστικών Μεγεθών Ομοιότητας από το ΕΔΔ

Κοινό ΕΔΔ

Runs

Δείγμα Β

ακμή ενώνει δείγματα ίδιας ταυτότητας

αλλιώς

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 24/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Διαφορετικά Άτομα

Ίδιο Άτομο

subject 1- sample 1

subject 1- sample 1

κοινό ΕΔΔ

κοινό ΕΔΔ

subject 3- sample 1

subject 1- sample 4

Rb= 12

Ra= 19

Wb= - 2.89

Wa= - 0.64

Ra > Rb

Wa> Wb

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 25/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Αποτελέσματα Βιομετρικής Αναγνώρισης

FAR (False Acceptance Rate)

FRR (False Rejection Rate)

Equal Error Rate 30 %

Καλύτερες Επιδόσεις ΚΝΝ (k=3)

  • Soft Βιομετρικό

  • Συμπεριφορικά Χαρακτηριστικά

  • Μικρή Βάση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 26/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Τμηματοποίηση Χρονικής Καταγραφής

Οπτικό Ερέθισμα

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 27/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Αλγόριθμος Τμηματοποίησης

τμήμα που αντιστοιχεί σε προσήλωση

Αλλαγή Θέσης Ερεθίσματος + Κατώφλι Ταχύτητας

κορυφές που αντιστοιχούν σε σακκαδικές κινήσεις

συντεταγμένες θέσης

Ανίχνευση Σακκαδικής Κίνησης

ταχύτητα οφθαλμικών κινήσεων

περιοχή έρευνας κορυφών

Φιλτράρισμα Υψηλών Συχνοτήτων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 28/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Ταχύτητα

Επιτάχυνση

  • 8-D XώροςXαρακτηριστικών

  • Δεξιός-Aριστερός Οφθαλμός

  • Ταχύτητα x-y

  • Επιτάχυνση x-y

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 29/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Σύγκριση Χαρακτηριστικών

Σύγκριση με το Wald-Wolfowitz test

Ra= 96

Wa= - 0.63

Δείγμα 5-1

Ίδιο Άτομο

Κατασκευή κοινού ΕΔΔ

Δείγμα 5-1

Δείγμα 5-3

Κατασκευή κοινού ΕΔΔ

Δείγμα 16-20

Διαφορετικά Άτομα

Rb= 68

Wb= - 5.6

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 30/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Αποτελέσματα Βιομετρικής Αναγνώρισης

EMVIC 2012 (Eye Movements Verification and Identification Contest)

Dataset A

37 subjects - 979 samples

Dataset B

79 subjects - 4168 samples

Unlabeled Samples

Dataset ADataset B

326 1390

Labeled Samples

Dataset ADataset B

623 2778

Training/Testing

50/50

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 31/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Παραμετρική Ανάλυση

Χρήση Πληροφορίας Δύο Οφθαλμών

Χρήση Παραγώγων Ανώτερης Τάξης

Ποσοστό Αναγνώρισης ACC1 (%)

  • Βελτίωση των Ποσοστών με την Χρήση και των Δύο Οφθαλμών

  • Ποσοστά Δεξιού Οφθαλμού>Αριστερού Οφθαλμού

τάξη παραγώγου σήματος

  • Μικρή Μεταβολή στα Ποσοστά

  • Ταχύτητα/Επιτάχυνση: Καλό trade-off Επιδόσεων και Διαστάσεων Χ.Χ.

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 32/42


Διάρθρωση Παρουσίασης τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

Κατασκευή Χαρτών Ενδιαφέροντος από το Περιεχόμενο Εικόνας

Μέρος Α

Κατασκευή Χαρτών Οφθαλμικής Κίνησης

δειγματοληψία στον χρόνο

παράμετροι καταγραφής

(hp x wp), (hs x ws), ds

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 33/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

σ = 0.008

σ = 0.016

Μικρό σ

Αποτυχία Ενσωμάτωσης σε Πιθανολογικό Πλαίσιο

σ = 0.032

σ = 0.064

Μεγάλο σ

Αφομοίωση Περιοχών Ενεργοποίησης

Πειραματική Μελέτη της Επίδρασης του σ στην Διαμόρφωση του Βιομετρικού Χαρακτηριστικού

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 34/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Σύγκριση Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

sMap 9-1

sMap 10-1

Βαθμός Ομοιότητας

(Similarity Score)

SimScα = 0.69

Απόκλιση Kullback-Leibner

(KL-Divergence)

sMap 9-4

sMap 27-4

SimScβ = 0.49

πυκνότητες πιθανότητας κατανομών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 35/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης - Συμπεράσματα

Ταξινόμηση Βιομετρικών Προτύπων

ΚΝΝ

PCA στους Πίνακες Αποστάσεων

+

Πίνακας KL-divergence

Μη-συμμετρικός

Προβολή σε Ευκλείδειο Χώρο

Βέλτιστο ‘Mapping ‘των Σχέσεων των Δειγμάτων

Επιλογή Διαστάσεων Χώρου

Με την PCA βελτίωση μέχρι και 28%

Βάσεις Δεδομένων

Σύγκριση με προηγούμενη μέθοδο

‘Πρόσωπα’

‘Ακολουθίες Βίντεο’

Trailer Ταινιών : δυναμικό ερέθισμα

Ημι-καθοδηγουμενες οφθαλμικές κινήσεις

‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 36/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

  • Περιοχή Λειτουργίας Βιομετρικού Προτύπου

  • σ = 0.004-0.016

  • Υπεροχή Απόκλισης-KL

  • Βελτίωση Ποσοστών στο Σετ ‘Πρόσωπα’

  • Χειρότερες Επιδόσεις στο σετ ‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 37/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Βαθμός Ομοιότητας (Similarity Score)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 29.8%

  • ‘Ταινία 1’ : 24.3%

  • ‘Ταινία 2’ : 23.6%

  • ‘Κείμενα’ : 23%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 38/42


Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Απόκλιση Kullback-Leibner(KL-Divergence)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 25.1%

  • ‘Ταινία 1’ : 27.5%

  • ‘Ταινία 2’ : 28.9%

  • ‘Κείμενα’ : 25.8%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

  • Βελτίωση EER για ‘Πρόσωπα’

  • Σταθερότητα για Διαφορετικά Οπτικά Ερεθίσματα

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 39/42


Σύνοψη τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

  • Ανάπτυξη Αλγορίθμων για την Αξιοποίηση της Αναπαράστασης Αραιής Κωδικοποίησης στον Τομέα της Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος

  • Μελέτη της Συμπεριφοράς των Αλγορίθμων που Υλοποιήθηκαν σε Βάσεις Εικόνων Διαφορετικού Περιεχομένου

  • Κατασκευή Βάσης Δεδομένων Ανθρωποκεντρικής Κατάδειξης για Εικόνες Αεροφωτογραφίας

  • Μελέτη Μεθόδων για την Ενσωμάτωση της Πληροφορίας Ενδιαφέροντος στον Τομέα της Κατηγοριοποίησης Εικόνων

  • Ανάπτυξη Αλγορίθμων για την Εξαγωγή και Σύγκριση Χαρακτηριστικών Οφθαλμικής Κίνησης στο Πεδίο του Χώρου και του Χρόνου

  • Δημιουργία Βάσης Δεδομένων με Καταγραφές Οφθαλμικής Κίνησης για Οπτικό Ερέθισμα Προσώπων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 40/42


Δημοσιεύσεις τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Διεθνή Περιοδικά

1.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Biometric identification based on the eye movements and graph matching techniques’, Pattern Recognition Letters (PRL), 33 (6), pp. 786-792, (2012) (7αναφορές)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Low-Level Visual Saliency with Application on Aerial Imagery’, IEEE Geoscience and Remote Sensing Letters, no.99, pp. 1-5 (early access), (2013)

3.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Bio-inspired Visual Saliency based on Sparse Coding and the Hamming Distance’, Elsevier, Journal of Computer Vision and Image Understanding, (2013) (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 41/42


Δημοσιεύσεις τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Διεθνή Συνέδρια με Κριτές

1.I. Theodorakopoulos, I. Rigas, G. Economou, and S. Fotopoulos, ‘Face Recognition via Local Sparse Coding’, IEEE International Conference on Computer Vision (ICCV), pp. 1647-1652, (2011)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Human eye movements as a trait for biometrical identification’, IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 217-222, (2012) (1 αναφορά)

3.P. Kasprowski, and I. Rigas, ‘The influence of dataset quality on the results of behavioral experiments’, International Conference of the Biometrics Special Interest Group (BIOSIG), (2013)

4.I. Rigas, O. Komogortsev, ‘Biometric Identification via Fixation-generated Saliency Maps’, ACM Symposium on Eye Tracking Research and Applications ETRA 2014 (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 42/42


«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

MIS:346791, Φ.Κ.: D.276.001.089

H παρούσα έρευνα έχει συγχρηματοδοτηθεί από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο - ΕΚΤ) και από εθνικούς πόρους μέσω του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» του Εθνικού Στρατηγικού Πλαισίου Αναφοράς (ΕΣΠΑ) – Ερευνητικό Χρηματοδοτούμενο Έργο: Ηράκλειτος ΙΙ. Επένδυση στην κοινωνία της γνώσης μέσω του Ευρωπαϊκού Κοινωνικού Ταμείου.

Σεπτέμβριος 2013



ad