«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πλ...
This presentation is the property of its rightful owner.
Sponsored Links
1 / 56

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας» PowerPoint PPT Presentation


  • 75 Views
  • Uploaded on
  • Presentation posted in: General

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας». Ιωάννης Ρήγας Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών M . Sc . Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών. Επιβλέπων :. Γεώργιος Οικονόμου Καθηγητής Τμ. Φυσικής. Παν. Πατρών. Σεπτέμβριος 2013.

Download Presentation

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


6289974

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ιωάννης Ρήγας

Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών

M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών

Επιβλέπων :

Γεώργιος Οικονόμου

Καθηγητής Τμ. Φυσικής. Παν. Πατρών

Σεπτέμβριος 2013


6289974

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ανθρωποκεντρική

Καταγραφή & Επεξεργασία

ΑνθρωποκεντρικούΣήματος

ΜοντελοποίησηΑνθρώπινης

Προσοχής & Αντίληψης

Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος


6289974

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


6289974

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


6289974

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


6289974

Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Μοντελοποίηση Οπτικής Προσοχής

Χάρτες Οπτικού Ενδιαφέροντος

(Saliency Maps)

  • Μέθοδοι Κατασκευής Χαρτών Ενδιαφέροντος

  • Γνωστικά Μοντέλα

  • (ανθρώπινη αντίληψη)

  • Μοντέλα Θεωρίας της Πληροφορίας

  • (εντροπία, αυτό-πληροφορία)

  • Μοντέλα Θεωρίας Αποφάσεων

  • (διαχωριστική ανάλυση)

  • Μοντέλα Φασματικού Πεδίου

  • (χαρακτηριστικά φάσης)

  • Μοντέλα Αραιής Αναπαράστασης

  • (αραιή κωδικοποίηση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 01/42


6289974

Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Αναπαράσταση Αραιής Κωδικοποίησης

V1: Πρωτοταγής Οπτικός Φλοιός

(Primary Visual Cortex)

Ιδιότητες Βιολογικών Προτύπων Αναπαράστασης

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατή Συμπεριφορά

V3Α

V3

V2

V1

V2

V3

V3Α

V4

V5

Υπολογιστική Μοντελοποίηση

Αναπαράσταση Αραιής Κωδικοποίησης

Principal Component Analysis(PCA)

Υπερπλήρες Λεξικό

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 02/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

ΕξαγωγήΧαρακτηριστικών Αραιής Κωδικοποίησης

Generalized Sparse Coding Neural Gas (GSCNG)

Σχήμα Ασθενούς Ανταγωνισμού (Soft Competitive)

ΠαράμετροιΕκπαίδευσης Λεξικού

μέγεθος τμήματος = 6x6 pixels (x3)

N = 10000 τυχαία τμήματα

M = 350 οπτικές λέξεις

k = 10 ενεργά στοιχεία

εκπαίδευση offline

Εξαγωγήτων Αναπαραστάσεων Αραιής Κωδικοποίησης

ICOPP - Intensity Color OPPonent

Αλγόριθμος Batch-OMP

Ενεργοποίηση

Μη-ενεργοποίηση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 03/42


6289974

Σύγκριση των Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1 - Τμήμα 2

Τμήμα 2 - Τμήμα 3

Τμήμα 1 - Τμήμα 3

Τμήμα 2

Σύγκριση Χαρακτηριστικών- Μορφοποίηση Τελικού Χάρτη

Σύγκριση με την Απόσταση Hamming

Τμήμα 3

Ενεργ. Αραιών Συνιστωσών

Ηam_dist12 = 16

Ηam_dist23 = 16

Ηam_dist13 = 6

Sp1 = Ηam_dist12 + Ηam_dist13 = 22

Sp2 = Ηam_dist12 + Ηam_dist23 = 32

Sp3 = Ηam_dist23 + Ηam_dist13 = 22

Καθολική Απόσταση Hamming

Μη-γραμμικό Φιλτράρισμα +

Φιλτράρισμα με Gaussian

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 04/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Υπολογιστικό Κόστος Αλγόριθμου

Μέσος Χρόνος (sec.) Κατασκευής Χάρτη

(για διαστάσεις εικόνας 240x320) *

  • ΥλοποίησηΣταθερού Τμήματος (Fixed Size)

  • Εκπαίδευση Γενικού Λεξικού Offline

  • Δυνατότητα Χρήσης του Batch-OMP

  • Σύγκριση με Απόσταση Hamming

[LZXYY09]

[HZD11]

προτ.

* IntelCore2Quad, 2.83 GHz, 4 GB RAM

[LZXYY09] Y. Li, Y. Zhou, L. Xu, X. Yang, and J. Yang, ‘Incremental sparse saliency detection’, in: IEEE Int. Conf. on Image Process. (ICIP), pp. 3093-3096, (2009)

[HZD11] B. Han, H. Zhu, and Y. Ding, ‘Bottom-Up Saliency Based on Weighted Sparse Coding Residual’, in: Proc. ACM International Conference on Multimedia (MM '11), pp. 1117-1120, (2011)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 05/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση Μεθόδου - Τεχνητές Εικόνες

Εικόνες ψυχοφυσικού ερεθίσματος

Χρώμα

Προσανατολισμός

Πυκνότητα

Συμπαγή Σχήματα

Φαινόμενα Ενεργοποίησης Ακμών

[προτ.]

[ΗΗΚ12]

[HHK12] X. Hou, J. Harel, and C. Koch, ‘Image Signature: Highlighting sparse salient regions’, IEEE Trans. Pattern Anal. Machine Intell. (PAMI), 34 (1), pp. 194-201, (2012)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 06/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Toronto

Προτεινόμενη Μέθοδος:SSCH

Toronto

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Toronto

AUC Score (μ.ο. για 120 εικόνες)

Toronto -Διαφορετικά λεξικά

Gaussian σ

AUC Score (μ.ο. για 120 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 07/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C1 -Μεγάλες Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 50 εικόνες)

C2-Μεσαίες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 80 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 08/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C3-Μικρές Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 60 εικόνες)

C4-Στοιχεία Περίσπασης

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 09/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C5-Αταξία στο Υπόβαθρο

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 15 εικόνες)

C6-Μικρές και Μεγάλες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 10/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Συγκεντρωτική Αξιολόγηση Μεθόδου - Συμπεράσματα

Πίνακας Βέλτιστων AUC scores

Βέλτιστη Επίδοση στις Μεσαίες Κλίμακες

Βέλτιστος Μ.Ο. = Σταθερή Συμπεριφορά σε Ποικιλία Συνθηκών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 11/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Σφάλμα Αραιής Κωδικοποίησης

Σφάλμα Αναδόμησης Εικόνας:

Εrr_R → 7.11

Τμηματοποίηση

Err_G → 7.35

Err_B → 7.84

Err_R → 3.14

Err_G → 2.71

Err_B → 1.91

Αλγόριθμος Batch-OMP

Err_R → 0.19

Err_G → 0.11

Err_B → 0.12

Σφάλμα σε κάθε Χρωματικό Επίπεδο

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 12/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Κανονικοποίηση Ενδιάμεσων Χαρτών Ενδιαφέροντος

Συνολική Ενεργοποίηση στο Επίπεδο του κάθε Χρωματικού Χάρτη

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 13/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Δημιουργία Βάσης Δεδομένων Αεροφωτογραφίας

OrthoimageryDataset, Earth Resources Observation and Science (EROS), United States Geological Survey (USGS)

100 εικόνες αεροφωτογραφίας

διαστάσεις: 2000x3000

Κατάλληλη

Μάσκα Ενδιαφέροντος

(Δυαδικός Χάρτης)

Ακατάλληλη

Βάση Δεδομένων:

50 εικόνες αεροφωτογραφίας

κλιμάκωση: 854x1280

http://www.upcv.upatras.gr/projects/saliency_on_aerial_imagery/index.html

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 14/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση στη Βάση Δεδομένων Αεροφωτογραφίας

Καμπύλες ROC (μ.ο. από 50 εικόνες)

True Positive Rate (TPR)

Πίνακας AUC scores

False Positive Rate (FPR)

Συμπεράσματα

Ικανοποιητική Συμπεριφορά των Μεθόδων Κατασκευής Χαρτών Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας

Βέλτιστη Συμπεριφορά της Προτεινόμενης Μεθόδου σε Σύγκριση με τις Υπόλοιπες

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 15/42


6289974

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Παραδείγματα Χαρτών Ενδιαφέροντος

Χάρτης Ενδιαφέροντος

Αρχική Εικόνα

Μάσκα Ενδιαφέροντος

a-1

a-22

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 16/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων


6289974

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Τροποποιημένο Ιστόγραμμα Ενδιαφέροντος

?

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 17/42


6289974

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Μελέτη Απλών Στατιστικών Μεγεθών των Χαρτών Ενδιαφέροντος

Βάση Δεδομένων:

Αεροφωτογραφίες Χρήσης Γης-Κάλυψης Γης

UC Merced LULC database

20 κατηγορίες, 100 εικόνες/κατηγορία

Χαμηλές τιμές

agricultural

beach

forest

chaparral

dense

residential

golf

course

baseball diamond

forest

chaparral

agricultural

beach

buildings

freeway

harbor

Ενδιάμεσες τιμές

baseball diamond

freeway

golf course

Μέση Τιμή Ενεργοποίησης

Μεγάλες τιμές

buildings

dense residential

harbor

Διακύμανση Ενεργοποίησης

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 18/42


6289974

baseballdiamond

agricultural

beach

buildings

chaparral

denseresidential

forest

freeway

golfcourse

harbor

intersection

mediumresidential

mobilehomepark

river

runway

sparseresidential

storagetanks

tenniscourt

overpass

parkinglot

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Πειραματική Αξιολόγηση Τροποποιημένου Ιστογράμματος Ενδιαφέροντος

μπλε - απλό ιστόγραμμα

κόκκινο - τροποποιημένο ιστόγραμμα

11 κατηγορίες βελτιώθηκαν

6 κατηγορίες χειροτέρευσαν

3 μείναν στα ίδιαποσοστά

dense residential

sparse residential

mean

variance

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 19/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


6289974

άνω λοξός

κεντρικό βοθρίο

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

άνω ορθός

έξω ορθός

έσω ορθός

Σύστημα Οφθαλμικής Κίνησης και Συσκευές Καταγραφής Οφθαλμικών Κινήσεων

Σύστημα Κεντρικής Όρασης

  • Cambridge Research Systems (CRS)

  • Video Eye-Tracker, 50 Hz

  • Καταγραφή Κόρης και Διπλού Ίχνους Purkinje

  • Υπέρυθρη κάμερα / Δίοδοι Υπέρυθρου

  • Ακρίβεια Καταγραφής 0.1250-0.250

  • οριζόντιο/κάθετο εύρος καταγραφής ±400/±200

κάτω ορθός

κάτω λοξός

Οφθαλμοκινητικοί Μύες

Ίχνη Purkinje

Κινήσεις Προσήλωσης

(Fixations)

Σακκαδικές Κινήσεις

(Saccades)

Ομαλή Παρακολούθηση

(Smooth Pursuit)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 20/42


6289974

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Χαρακτηριστικά Βιομετρικής Αναγνώρισης από τις Οφθαλμικές Κινήσεις

Θεωρία Οπτικών Μονοπατιών - Scanpath Theory (Noton & Stark)

  • Περιεχόμενο

  • Νοητική Εργασία

  • Ιδιοσυγκρασία

  • Διάθεση

Πεδίο Χώρου - Κατανομές Δειγμάτων

Πεδίο Χρόνου - Δυναμικά Χαρακτηριστικά

Ταχύτητα

Επιτάχυνση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 21/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Πείραμα Καταγραφής

Οπτικό Ερέθισμα: Εικόνες Προσώπων

  • Στοιχεία Κατασκευής Βάσης Δεδομένων

  • 15 Άτομα

  • 10 ΕικόνεςΠροσώπων

  • 4 sec./Εικόνα

  • 8 Πειραματικές Επαναλήψεις/Άτομο

  • Αντιμετώπιση Φαινομένων Εκμάθησης

  • Διαφορετική Σειρά Εμφάνισης Εικόνων

  • Χρονικός Διαχωρισμός Πειραματικών Επαναλήψεων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 22/42


6289974

δείγματα προσήλωσης

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Εξαγωγή Χαρακτηριστικών

εσφαλμένα δείγματα

Ελάχιστο Διασυνδετικό Δένδρο (ΕΔΔ) Δύο Σταδίων (two round - MST)

Outlier Factor of Clusters

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 23/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Σύγκριση Κατανομών Οφθαλμικής Κίνησης με το Wald-Wolfowitz Test

  • Κατασκευή Κοινού Ελαχίστου Διασυνδετικού Δένδρου

Δείγμα Α

  • Υπολογισμός Στατιστικών Μεγεθών Ομοιότητας από το ΕΔΔ

Κοινό ΕΔΔ

Runs

Δείγμα Β

ακμή ενώνει δείγματα ίδιας ταυτότητας

αλλιώς

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 24/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Διαφορετικά Άτομα

Ίδιο Άτομο

subject 1- sample 1

subject 1- sample 1

κοινό ΕΔΔ

κοινό ΕΔΔ

subject 3- sample 1

subject 1- sample 4

Rb= 12

Ra= 19

Wb= - 2.89

Wa= - 0.64

Ra > Rb

Wa> Wb

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 25/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Αποτελέσματα Βιομετρικής Αναγνώρισης

FAR (False Acceptance Rate)

FRR (False Rejection Rate)

Equal Error Rate 30 %

Καλύτερες Επιδόσεις ΚΝΝ (k=3)

  • Soft Βιομετρικό

  • Συμπεριφορικά Χαρακτηριστικά

  • Μικρή Βάση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 26/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Τμηματοποίηση Χρονικής Καταγραφής

Οπτικό Ερέθισμα

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 27/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Αλγόριθμος Τμηματοποίησης

τμήμα που αντιστοιχεί σε προσήλωση

Αλλαγή Θέσης Ερεθίσματος + Κατώφλι Ταχύτητας

κορυφές που αντιστοιχούν σε σακκαδικές κινήσεις

συντεταγμένες θέσης

Ανίχνευση Σακκαδικής Κίνησης

ταχύτητα οφθαλμικών κινήσεων

περιοχή έρευνας κορυφών

Φιλτράρισμα Υψηλών Συχνοτήτων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 28/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Ταχύτητα

Επιτάχυνση

  • 8-D XώροςXαρακτηριστικών

  • Δεξιός-Aριστερός Οφθαλμός

  • Ταχύτητα x-y

  • Επιτάχυνση x-y

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 29/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Σύγκριση Χαρακτηριστικών

Σύγκριση με το Wald-Wolfowitz test

Ra= 96

Wa= - 0.63

Δείγμα 5-1

Ίδιο Άτομο

Κατασκευή κοινού ΕΔΔ

Δείγμα 5-1

Δείγμα 5-3

Κατασκευή κοινού ΕΔΔ

Δείγμα 16-20

Διαφορετικά Άτομα

Rb= 68

Wb= - 5.6

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 30/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Αποτελέσματα Βιομετρικής Αναγνώρισης

EMVIC 2012 (Eye Movements Verification and Identification Contest)

Dataset A

37 subjects - 979 samples

Dataset B

79 subjects - 4168 samples

Unlabeled Samples

Dataset ADataset B

3261390

Labeled Samples

Dataset ADataset B

6232778

Training/Testing

50/50

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 31/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Παραμετρική Ανάλυση

Χρήση Πληροφορίας Δύο Οφθαλμών

Χρήση Παραγώγων Ανώτερης Τάξης

Ποσοστό Αναγνώρισης ACC1 (%)

  • Βελτίωση των Ποσοστών με την Χρήση και των Δύο Οφθαλμών

  • Ποσοστά Δεξιού Οφθαλμού>Αριστερού Οφθαλμού

τάξη παραγώγου σήματος

  • Μικρή Μεταβολή στα Ποσοστά

  • Ταχύτητα/Επιτάχυνση: Καλό trade-off Επιδόσεων και Διαστάσεων Χ.Χ.

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 32/42


6289974

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

Κατασκευή Χαρτών Ενδιαφέροντος από το Περιεχόμενο Εικόνας

Μέρος Α

Κατασκευή Χαρτών Οφθαλμικής Κίνησης

δειγματοληψία στον χρόνο

παράμετροι καταγραφής

(hp x wp), (hs x ws), ds

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 33/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

σ = 0.008

σ = 0.016

Μικρό σ

Αποτυχία Ενσωμάτωσης σε Πιθανολογικό Πλαίσιο

σ = 0.032

σ = 0.064

Μεγάλο σ

Αφομοίωση Περιοχών Ενεργοποίησης

Πειραματική Μελέτη της Επίδρασης του σ στην Διαμόρφωση του Βιομετρικού Χαρακτηριστικού

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 34/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Σύγκριση Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

sMap 9-1

sMap 10-1

Βαθμός Ομοιότητας

(Similarity Score)

SimScα = 0.69

Απόκλιση Kullback-Leibner

(KL-Divergence)

sMap 9-4

sMap 27-4

SimScβ = 0.49

πυκνότητες πιθανότητας κατανομών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 35/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης - Συμπεράσματα

Ταξινόμηση Βιομετρικών Προτύπων

ΚΝΝ

PCA στους Πίνακες Αποστάσεων

+

Πίνακας KL-divergence

Μη-συμμετρικός

Προβολή σε Ευκλείδειο Χώρο

Βέλτιστο ‘Mapping ‘των Σχέσεων των Δειγμάτων

Επιλογή Διαστάσεων Χώρου

Με την PCA βελτίωση μέχρι και 28%

Βάσεις Δεδομένων

Σύγκριση με προηγούμενη μέθοδο

‘Πρόσωπα’

‘Ακολουθίες Βίντεο’

Trailer Ταινιών : δυναμικό ερέθισμα

Ημι-καθοδηγουμενες οφθαλμικές κινήσεις

‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 36/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

  • Περιοχή Λειτουργίας Βιομετρικού Προτύπου

  • σ = 0.004-0.016

  • Υπεροχή Απόκλισης-KL

  • Βελτίωση Ποσοστών στο Σετ ‘Πρόσωπα’

  • Χειρότερες Επιδόσεις στο σετ ‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 37/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Βαθμός Ομοιότητας (Similarity Score)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 29.8%

  • ‘Ταινία 1’ : 24.3%

  • ‘Ταινία 2’ : 23.6%

  • ‘Κείμενα’ : 23%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 38/42


6289974

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Απόκλιση Kullback-Leibner(KL-Divergence)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 25.1%

  • ‘Ταινία 1’ : 27.5%

  • ‘Ταινία 2’ : 28.9%

  • ‘Κείμενα’ : 25.8%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

  • Βελτίωση EER για ‘Πρόσωπα’

  • Σταθερότητα για Διαφορετικά Οπτικά Ερεθίσματα

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 39/42


6289974

Σύνοψη

  • Ανάπτυξη Αλγορίθμων για την Αξιοποίηση της Αναπαράστασης Αραιής Κωδικοποίησης στον Τομέα της Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος

  • Μελέτη της Συμπεριφοράς των Αλγορίθμων που Υλοποιήθηκαν σε Βάσεις Εικόνων Διαφορετικού Περιεχομένου

  • Κατασκευή Βάσης Δεδομένων Ανθρωποκεντρικής Κατάδειξης για Εικόνες Αεροφωτογραφίας

  • Μελέτη Μεθόδων για την Ενσωμάτωση της Πληροφορίας Ενδιαφέροντος στον Τομέα της Κατηγοριοποίησης Εικόνων

  • Ανάπτυξη Αλγορίθμων για την Εξαγωγή και Σύγκριση Χαρακτηριστικών Οφθαλμικής Κίνησης στο Πεδίο του Χώρου και του Χρόνου

  • Δημιουργία Βάσης Δεδομένων με Καταγραφές Οφθαλμικής Κίνησης για Οπτικό Ερέθισμα Προσώπων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 40/42


6289974

Δημοσιεύσεις

Διεθνή Περιοδικά

1.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Biometric identification based on the eye movements and graph matching techniques’, Pattern Recognition Letters (PRL), 33 (6), pp. 786-792, (2012) (7αναφορές)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Low-Level Visual Saliency with Application on Aerial Imagery’, IEEE Geoscience and Remote Sensing Letters, no.99, pp. 1-5 (early access), (2013)

3.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Bio-inspired Visual Saliency based on Sparse Coding and the Hamming Distance’, Elsevier, Journal of Computer Vision and Image Understanding, (2013) (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 41/42


6289974

Δημοσιεύσεις

Διεθνή Συνέδρια με Κριτές

1.I. Theodorakopoulos, I. Rigas, G. Economou, and S. Fotopoulos, ‘Face Recognition via Local Sparse Coding’, IEEE International Conference on Computer Vision (ICCV), pp. 1647-1652, (2011)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Human eye movements as a trait for biometrical identification’, IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 217-222, (2012) (1 αναφορά)

3.P. Kasprowski, and I. Rigas, ‘The influence of dataset quality on the results of behavioral experiments’, International Conference of the Biometrics Special Interest Group (BIOSIG), (2013)

4.I. Rigas, O. Komogortsev, ‘Biometric Identification via Fixation-generated Saliency Maps’, ACM Symposium on Eye Tracking Research and Applications ETRA 2014 (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 42/42


6289974

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

MIS:346791, Φ.Κ.: D.276.001.089

H παρούσα έρευνα έχει συγχρηματοδοτηθεί από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο - ΕΚΤ) και από εθνικούς πόρους μέσω του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» του Εθνικού Στρατηγικού Πλαισίου Αναφοράς (ΕΣΠΑ) – Ερευνητικό Χρηματοδοτούμενο Έργο: Ηράκλειτος ΙΙ. Επένδυση στην κοινωνία της γνώσης μέσω του Ευρωπαϊκού Κοινωνικού Ταμείου.

Σεπτέμβριος 2013


6289974

Ευχαριστώ πολύ για την προσοχή σας…


  • Login