slide1
Download
Skip this Video
Download Presentation
«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Loading in 2 Seconds...

play fullscreen
1 / 56

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας» - PowerPoint PPT Presentation


  • 100 Views
  • Uploaded on

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας». Ιωάννης Ρήγας Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών M . Sc . Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών. Επιβλέπων :. Γεώργιος Οικονόμου Καθηγητής Τμ. Φυσικής. Παν. Πατρών. Σεπτέμβριος 2013.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' «Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»' - taliesin-evans


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ιωάννης Ρήγας

Πτυχιούχος Τμ. Φυσικής, Παν. Πατρών

M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών

Επιβλέπων :

Γεώργιος Οικονόμου

Καθηγητής Τμ. Φυσικής. Παν. Πατρών

Σεπτέμβριος 2013

slide2

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

Ανθρωποκεντρική

Καταγραφή & Επεξεργασία

ΑνθρωποκεντρικούΣήματος

ΜοντελοποίησηΑνθρώπινης

Προσοχής & Αντίληψης

Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος

slide3

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης
  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων
slide4

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

slide5

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης
  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων
slide6

Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Μοντελοποίηση Οπτικής Προσοχής

Χάρτες Οπτικού Ενδιαφέροντος

(Saliency Maps)

  • Μέθοδοι Κατασκευής Χαρτών Ενδιαφέροντος
  • Γνωστικά Μοντέλα
  • (ανθρώπινη αντίληψη)
  • Μοντέλα Θεωρίας της Πληροφορίας
  • (εντροπία, αυτό-πληροφορία)
  • Μοντέλα Θεωρίας Αποφάσεων
  • (διαχωριστική ανάλυση)
  • Μοντέλα Φασματικού Πεδίου
  • (χαρακτηριστικά φάσης)
  • Μοντέλα Αραιής Αναπαράστασης
  • (αραιή κωδικοποίηση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 01/42

slide7

Μοντελοποίηση της Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης

Αναπαράσταση Αραιής Κωδικοποίησης

V1: Πρωτοταγής Οπτικός Φλοιός

(Primary Visual Cortex)

Ιδιότητες Βιολογικών Προτύπων Αναπαράστασης

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατή Συμπεριφορά

V3Α

V3

V2

V1

V2

V3

V3Α

V4

V5

Υπολογιστική Μοντελοποίηση

Αναπαράσταση Αραιής Κωδικοποίησης

Principal Component Analysis(PCA)

Υπερπλήρες Λεξικό

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

α. Κατευθυντικότητα

β. Χωρικός Εντοπισμός

γ. Ζωνοδιαβατά

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 02/42

slide8

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης
  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων
slide9

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

ΕξαγωγήΧαρακτηριστικών Αραιής Κωδικοποίησης

Generalized Sparse Coding Neural Gas (GSCNG)

Σχήμα Ασθενούς Ανταγωνισμού (Soft Competitive)

ΠαράμετροιΕκπαίδευσης Λεξικού

μέγεθος τμήματος = 6x6 pixels (x3)

N = 10000 τυχαία τμήματα

M = 350 οπτικές λέξεις

k = 10 ενεργά στοιχεία

εκπαίδευση offline

Εξαγωγήτων Αναπαραστάσεων Αραιής Κωδικοποίησης

ICOPP - Intensity Color OPPonent

Αλγόριθμος Batch-OMP

Ενεργοποίηση

Μη-ενεργοποίηση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 03/42

slide10

Σύγκριση των Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Τμήμα 1 - Τμήμα 2

Τμήμα 2 - Τμήμα 3

Τμήμα 1 - Τμήμα 3

Τμήμα 2

Σύγκριση Χαρακτηριστικών- Μορφοποίηση Τελικού Χάρτη

Σύγκριση με την Απόσταση Hamming

Τμήμα 3

Ενεργ. Αραιών Συνιστωσών

Ηam_dist12 = 16

Ηam_dist23 = 16

Ηam_dist13 = 6

Sp1 = Ηam_dist12 + Ηam_dist13 = 22

Sp2 = Ηam_dist12 + Ηam_dist23 = 32

Sp3 = Ηam_dist23 + Ηam_dist13 = 22

Καθολική Απόσταση Hamming

Μη-γραμμικό Φιλτράρισμα +

Φιλτράρισμα με Gaussian

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 04/42

slide11

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Υπολογιστικό Κόστος Αλγόριθμου

Μέσος Χρόνος (sec.) Κατασκευής Χάρτη

(για διαστάσεις εικόνας 240x320) *

  • ΥλοποίησηΣταθερού Τμήματος (Fixed Size)
  • Εκπαίδευση Γενικού Λεξικού Offline
  • Δυνατότητα Χρήσης του Batch-OMP
  • Σύγκριση με Απόσταση Hamming

[LZXYY09]

[HZD11]

προτ.

* IntelCore2Quad, 2.83 GHz, 4 GB RAM

[LZXYY09] Y. Li, Y. Zhou, L. Xu, X. Yang, and J. Yang, ‘Incremental sparse saliency detection’, in: IEEE Int. Conf. on Image Process. (ICIP), pp. 3093-3096, (2009)

[HZD11] B. Han, H. Zhu, and Y. Ding, ‘Bottom-Up Saliency Based on Weighted Sparse Coding Residual’, in: Proc. ACM International Conference on Multimedia (MM \'11), pp. 1117-1120, (2011)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 05/42

slide12

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση Μεθόδου - Τεχνητές Εικόνες

Εικόνες ψυχοφυσικού ερεθίσματος

Χρώμα

Προσανατολισμός

Πυκνότητα

Συμπαγή Σχήματα

Φαινόμενα Ενεργοποίησης Ακμών

[προτ.]

[ΗΗΚ12]

[HHK12] X. Hou, J. Harel, and C. Koch, ‘Image Signature: Highlighting sparse salient regions’, IEEE Trans. Pattern Anal. Machine Intell. (PAMI), 34 (1), pp. 194-201, (2012)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 06/42

slide13

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Toronto

Προτεινόμενη Μέθοδος:SSCH

Toronto

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Toronto

AUC Score (μ.ο. για 120 εικόνες)

Toronto -Διαφορετικά λεξικά

Gaussian σ

AUC Score (μ.ο. για 120 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 07/42

slide14

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C1 -Μεγάλες Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 50 εικόνες)

C2-Μεσαίες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 80 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 08/42

slide15

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C3-Μικρές Περιοχές Ενδιαφέροντος

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 60 εικόνες)

C4-Στοιχεία Περίσπασης

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 09/42

slide16

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

C5-Αταξία στο Υπόβαθρο

Πειραματική Αξιολόγηση Μεθόδου - Φυσικές Εικόνες - Βάση Mc Gill ImgSal

AUC Score (μ.ο. για 15 εικόνες)

C6-Μικρές και Μεγάλες Περιοχές Ενδιαφέροντος

Gaussian σ

AUC Score (μ.ο. για 15 εικόνες)

Gaussian σ

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 10/42

slide17

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης

Συγκεντρωτική Αξιολόγηση Μεθόδου - Συμπεράσματα

Πίνακας Βέλτιστων AUC scores

Βέλτιστη Επίδοση στις Μεσαίες Κλίμακες

Βέλτιστος Μ.Ο. = Σταθερή Συμπεριφορά σε Ποικιλία Συνθηκών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 11/42

slide18

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης
  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων
slide19

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Σφάλμα Αραιής Κωδικοποίησης

Σφάλμα Αναδόμησης Εικόνας:

Εrr_R → 7.11

Τμηματοποίηση

Err_G → 7.35

Err_B → 7.84

Err_R → 3.14

Err_G → 2.71

Err_B → 1.91

Αλγόριθμος Batch-OMP

Err_R → 0.19

Err_G → 0.11

Err_B → 0.12

Σφάλμα σε κάθε Χρωματικό Επίπεδο

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 12/42

slide20

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Κανονικοποίηση Ενδιάμεσων Χαρτών Ενδιαφέροντος

Συνολική Ενεργοποίηση στο Επίπεδο του κάθε Χρωματικού Χάρτη

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 13/42

slide21

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Δημιουργία Βάσης Δεδομένων Αεροφωτογραφίας

OrthoimageryDataset, Earth Resources Observation and Science (EROS), United States Geological Survey (USGS)

100 εικόνες αεροφωτογραφίας

διαστάσεις: 2000x3000

Κατάλληλη

Μάσκα Ενδιαφέροντος

(Δυαδικός Χάρτης)

Ακατάλληλη

Βάση Δεδομένων:

50 εικόνες αεροφωτογραφίας

κλιμάκωση: 854x1280

http://www.upcv.upatras.gr/projects/saliency_on_aerial_imagery/index.html

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 14/42

slide22

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Πειραματική Αξιολόγηση στη Βάση Δεδομένων Αεροφωτογραφίας

Καμπύλες ROC (μ.ο. από 50 εικόνες)

True Positive Rate (TPR)

Πίνακας AUC scores

False Positive Rate (FPR)

Συμπεράσματα

Ικανοποιητική Συμπεριφορά των Μεθόδων Κατασκευής Χαρτών Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας

Βέλτιστη Συμπεριφορά της Προτεινόμενης Μεθόδου σε Σύγκριση με τις Υπόλοιπες

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 15/42

slide23

Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης

Παραδείγματα Χαρτών Ενδιαφέροντος

Χάρτης Ενδιαφέροντος

Αρχική Εικόνα

Μάσκα Ενδιαφέροντος

a-1

a-22

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 16/42

slide24

Διάρθρωση Παρουσίασης

Μέρος Α. Χάρτες Οπτικού Ενδιαφέροντος

  • Μοντελοποίησητης Οπτικής Προσοχής με την Χρήση Μηχανισμών Αναπαράστασης Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Αραιής Κωδικοποίησης
  • Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Αραιής Κωδικοποίησης
  • Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων
slide25

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Τροποποιημένο Ιστόγραμμα Ενδιαφέροντος

?

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 17/42

slide26

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Μελέτη Απλών Στατιστικών Μεγεθών των Χαρτών Ενδιαφέροντος

Βάση Δεδομένων:

Αεροφωτογραφίες Χρήσης Γης-Κάλυψης Γης

UC Merced LULC database

20 κατηγορίες, 100 εικόνες/κατηγορία

Χαμηλές τιμές

agricultural

beach

forest

chaparral

dense

residential

golf

course

baseball diamond

forest

chaparral

agricultural

beach

buildings

freeway

harbor

Ενδιάμεσες τιμές

baseball diamond

freeway

golf course

Μέση Τιμή Ενεργοποίησης

Μεγάλες τιμές

buildings

dense residential

harbor

Διακύμανση Ενεργοποίησης

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 18/42

slide27

baseballdiamond

agricultural

beach

buildings

chaparral

denseresidential

forest

freeway

golfcourse

harbor

intersection

mediumresidential

mobilehomepark

river

runway

sparseresidential

storagetanks

tenniscourt

overpass

parkinglot

Αξιοποίηση των Χαρτών Οπτικού Ενδιαφέροντος στην Κατηγοριοποίηση Εικόνων

Πειραματική Αξιολόγηση Τροποποιημένου Ιστογράμματος Ενδιαφέροντος

μπλε - απλό ιστόγραμμα

κόκκινο - τροποποιημένο ιστόγραμμα

11 κατηγορίες βελτιώθηκαν

6 κατηγορίες χειροτέρευσαν

3 μείναν στα ίδιαποσοστά

dense residential

sparse residential

mean

variance

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 19/42

slide28

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

slide29

άνω λοξός

κεντρικό βοθρίο

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

άνω ορθός

έξω ορθός

έσω ορθός

Σύστημα Οφθαλμικής Κίνησης και Συσκευές Καταγραφής Οφθαλμικών Κινήσεων

Σύστημα Κεντρικής Όρασης

  • Cambridge Research Systems (CRS)
  • Video Eye-Tracker, 50 Hz
  • Καταγραφή Κόρης και Διπλού Ίχνους Purkinje
  • Υπέρυθρη κάμερα / Δίοδοι Υπέρυθρου
  • Ακρίβεια Καταγραφής 0.1250-0.250
  • οριζόντιο/κάθετο εύρος καταγραφής ±400/±200

κάτω ορθός

κάτω λοξός

Οφθαλμοκινητικοί Μύες

Ίχνη Purkinje

Κινήσεις Προσήλωσης

(Fixations)

Σακκαδικές Κινήσεις

(Saccades)

Ομαλή Παρακολούθηση

(Smooth Pursuit)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 20/42

slide30

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Χαρακτηριστικά Βιομετρικής Αναγνώρισης από τις Οφθαλμικές Κινήσεις

Θεωρία Οπτικών Μονοπατιών - Scanpath Theory (Noton & Stark)

  • Περιεχόμενο
  • Νοητική Εργασία
  • Ιδιοσυγκρασία
  • Διάθεση

Πεδίο Χώρου - Κατανομές Δειγμάτων

Πεδίο Χρόνου - Δυναμικά Χαρακτηριστικά

Ταχύτητα

Επιτάχυνση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 21/42

slide31

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

slide32

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Πείραμα Καταγραφής

Οπτικό Ερέθισμα: Εικόνες Προσώπων

  • Στοιχεία Κατασκευής Βάσης Δεδομένων
  • 15 Άτομα
  • 10 ΕικόνεςΠροσώπων
  • 4 sec./Εικόνα
  • 8 Πειραματικές Επαναλήψεις/Άτομο
  • Αντιμετώπιση Φαινομένων Εκμάθησης
  • Διαφορετική Σειρά Εμφάνισης Εικόνων
  • Χρονικός Διαχωρισμός Πειραματικών Επαναλήψεων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 22/42

slide33

δείγματα προσήλωσης

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Εξαγωγή Χαρακτηριστικών

εσφαλμένα δείγματα

Ελάχιστο Διασυνδετικό Δένδρο (ΕΔΔ) Δύο Σταδίων (two round - MST)

Outlier Factor of Clusters

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 23/42

slide34

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Σύγκριση Κατανομών Οφθαλμικής Κίνησης με το Wald-Wolfowitz Test

  • Κατασκευή Κοινού Ελαχίστου Διασυνδετικού Δένδρου

Δείγμα Α

  • Υπολογισμός Στατιστικών Μεγεθών Ομοιότητας από το ΕΔΔ

Κοινό ΕΔΔ

Runs

Δείγμα Β

ακμή ενώνει δείγματα ίδιας ταυτότητας

αλλιώς

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 24/42

slide35

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Σύγκριση Χαρακτηριστικών

Διαφορετικά Άτομα

Ίδιο Άτομο

subject 1- sample 1

subject 1- sample 1

κοινό ΕΔΔ

κοινό ΕΔΔ

subject 3- sample 1

subject 1- sample 4

Rb= 12

Ra= 19

Wb= - 2.89

Wa= - 0.64

Ra > Rb

Wa> Wb

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 25/42

slide36

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χώρου - Αποτελέσματα Βιομετρικής Αναγνώρισης

FAR (False Acceptance Rate)

FRR (False Rejection Rate)

Equal Error Rate 30 %

Καλύτερες Επιδόσεις ΚΝΝ (k=3)

  • Soft Βιομετρικό
  • Συμπεριφορικά Χαρακτηριστικά
  • Μικρή Βάση

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 26/42

slide37

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Τμηματοποίηση Χρονικής Καταγραφής

Οπτικό Ερέθισμα

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 27/42

slide38

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Αλγόριθμος Τμηματοποίησης

τμήμα που αντιστοιχεί σε προσήλωση

Αλλαγή Θέσης Ερεθίσματος + Κατώφλι Ταχύτητας

κορυφές που αντιστοιχούν σε σακκαδικές κινήσεις

συντεταγμένες θέσης

Ανίχνευση Σακκαδικής Κίνησης

ταχύτητα οφθαλμικών κινήσεων

περιοχή έρευνας κορυφών

Φιλτράρισμα Υψηλών Συχνοτήτων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 28/42

slide39

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Εξαγωγή Χαρακτηριστικών

Ταχύτητα

Επιτάχυνση

  • 8-D XώροςXαρακτηριστικών
  • Δεξιός-Aριστερός Οφθαλμός
  • Ταχύτητα x-y
  • Επιτάχυνση x-y

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 29/42

slide40

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Σύγκριση Χαρακτηριστικών

Σύγκριση με το Wald-Wolfowitz test

Ra= 96

Wa= - 0.63

Δείγμα 5-1

Ίδιο Άτομο

Κατασκευή κοινού ΕΔΔ

Δείγμα 5-1

Δείγμα 5-3

Κατασκευή κοινού ΕΔΔ

Δείγμα 16-20

Διαφορετικά Άτομα

Rb= 68

Wb= - 5.6

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 30/42

slide41

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Αποτελέσματα Βιομετρικής Αναγνώρισης

EMVIC 2012 (Eye Movements Verification and Identification Contest)

Dataset A

37 subjects - 979 samples

Dataset B

79 subjects - 4168 samples

Unlabeled Samples

Dataset ADataset B

326 1390

Labeled Samples

Dataset ADataset B

623 2778

Training/Testing

50/50

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 31/42

slide42

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Πεδίο του Χρόνου - Παραμετρική Ανάλυση

Χρήση Πληροφορίας Δύο Οφθαλμών

Χρήση Παραγώγων Ανώτερης Τάξης

Ποσοστό Αναγνώρισης ACC1 (%)

  • Βελτίωση των Ποσοστών με την Χρήση και των Δύο Οφθαλμών
  • Ποσοστά Δεξιού Οφθαλμού>Αριστερού Οφθαλμού

τάξη παραγώγου σήματος

  • Μικρή Μεταβολή στα Ποσοστά
  • Ταχύτητα/Επιτάχυνση: Καλό trade-off Επιδόσεων και Διαστάσεων Χ.Χ.

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 32/42

slide43

Διάρθρωση Παρουσίασης

Μέρος Β. Βιομετρική Αναγνώριση μέσω των Οφθαλμικών Κινήσεων

Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Τεχνικών Γράφων

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

slide44

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

Κατασκευή Χαρτών Ενδιαφέροντος από το Περιεχόμενο Εικόνας

Μέρος Α

Κατασκευή Χαρτών Οφθαλμικής Κίνησης

δειγματοληψία στον χρόνο

παράμετροι καταγραφής

(hp x wp), (hs x ws), ds

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 33/42

slide45

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Κατασκευή Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

σ = 0.008

σ = 0.016

Μικρό σ

Αποτυχία Ενσωμάτωσης σε Πιθανολογικό Πλαίσιο

σ = 0.032

σ = 0.064

Μεγάλο σ

Αφομοίωση Περιοχών Ενεργοποίησης

Πειραματική Μελέτη της Επίδρασης του σ στην Διαμόρφωση του Βιομετρικού Χαρακτηριστικού

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 34/42

slide46

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Σύγκριση Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις

sMap 9-1

sMap 10-1

Βαθμός Ομοιότητας

(Similarity Score)

SimScα = 0.69

Απόκλιση Kullback-Leibner

(KL-Divergence)

sMap 9-4

sMap 27-4

SimScβ = 0.49

πυκνότητες πιθανότητας κατανομών

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 35/42

slide47

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης - Συμπεράσματα

Ταξινόμηση Βιομετρικών Προτύπων

ΚΝΝ

PCA στους Πίνακες Αποστάσεων

+

Πίνακας KL-divergence

Μη-συμμετρικός

Προβολή σε Ευκλείδειο Χώρο

Βέλτιστο ‘Mapping ‘των Σχέσεων των Δειγμάτων

Επιλογή Διαστάσεων Χώρου

Με την PCA βελτίωση μέχρι και 28%

Βάσεις Δεδομένων

Σύγκριση με προηγούμενη μέθοδο

‘Πρόσωπα’

‘Ακολουθίες Βίντεο’

Trailer Ταινιών : δυναμικό ερέθισμα

Ημι-καθοδηγουμενες οφθαλμικές κινήσεις

‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 36/42

slide48

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

  • Περιοχή Λειτουργίας Βιομετρικού Προτύπου
  • σ = 0.004-0.016
  • Υπεροχή Απόκλισης-KL
  • Βελτίωση Ποσοστών στο Σετ ‘Πρόσωπα’
  • Χειρότερες Επιδόσεις στο σετ ‘Κείμενα’

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 37/42

slide49

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Βαθμός Ομοιότητας (Similarity Score)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 29.8%
  • ‘Ταινία 1’ : 24.3%
  • ‘Ταινία 2’ : 23.6%
  • ‘Κείμενα’ : 23%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 38/42

slide50

Βιομετρική Αναγνώριση με Βάση τις Οφθαλμικές Κινήσεις με την Χρήση Χαρτών Ενδιαφέροντος

Αποτελέσματα Βιομετρικής Αναγνώρισης

Απόκλιση Kullback-Leibner(KL-Divergence)

‘Πρόσωπα’

‘Ταινία 1’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

EER

  • ‘Πρόσωπα’: 25.1%
  • ‘Ταινία 1’ : 27.5%
  • ‘Ταινία 2’ : 28.9%
  • ‘Κείμενα’ : 25.8%

False Rejection Rate (FRR)

False Rejection Rate (FRR)

‘Κείμενα’

‘Ταινία 2’

False Acceptance Rate (FAR)

False Acceptance Rate (FAR)

  • Βελτίωση EER για ‘Πρόσωπα’
  • Σταθερότητα για Διαφορετικά Οπτικά Ερεθίσματα

False Rejection Rate (FRR)

False Rejection Rate (FRR)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 39/42

slide51

Σύνοψη

  • Ανάπτυξη Αλγορίθμων για την Αξιοποίηση της Αναπαράστασης Αραιής Κωδικοποίησης στον Τομέα της Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος
  • Μελέτη της Συμπεριφοράς των Αλγορίθμων που Υλοποιήθηκαν σε Βάσεις Εικόνων Διαφορετικού Περιεχομένου
  • Κατασκευή Βάσης Δεδομένων Ανθρωποκεντρικής Κατάδειξης για Εικόνες Αεροφωτογραφίας
  • Μελέτη Μεθόδων για την Ενσωμάτωση της Πληροφορίας Ενδιαφέροντος στον Τομέα της Κατηγοριοποίησης Εικόνων
  • Ανάπτυξη Αλγορίθμων για την Εξαγωγή και Σύγκριση Χαρακτηριστικών Οφθαλμικής Κίνησης στο Πεδίο του Χώρου και του Χρόνου
  • Δημιουργία Βάσης Δεδομένων με Καταγραφές Οφθαλμικής Κίνησης για Οπτικό Ερέθισμα Προσώπων

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 40/42

slide52

Δημοσιεύσεις

Διεθνή Περιοδικά

1.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Biometric identification based on the eye movements and graph matching techniques’, Pattern Recognition Letters (PRL), 33 (6), pp. 786-792, (2012) (7αναφορές)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Low-Level Visual Saliency with Application on Aerial Imagery’, IEEE Geoscience and Remote Sensing Letters, no.99, pp. 1-5 (early access), (2013)

3.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Bio-inspired Visual Saliency based on Sparse Coding and the Hamming Distance’, Elsevier, Journal of Computer Vision and Image Understanding, (2013) (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 41/42

slide53

Δημοσιεύσεις

Διεθνή Συνέδρια με Κριτές

1.I. Theodorakopoulos, I. Rigas, G. Economou, and S. Fotopoulos, ‘Face Recognition via Local Sparse Coding’, IEEE International Conference on Computer Vision (ICCV), pp. 1647-1652, (2011)

2.I. Rigas, G. Economou, and Sp. Fotopoulos, ‘Human eye movements as a trait for biometrical identification’, IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 217-222, (2012) (1 αναφορά)

3.P. Kasprowski, and I. Rigas, ‘The influence of dataset quality on the results of behavioral experiments’, International Conference of the Biometrics Special Interest Group (BIOSIG), (2013)

4.I. Rigas, O. Komogortsev, ‘Biometric Identification via Fixation-generated Saliency Maps’, ACM Symposium on Eye Tracking Research and Applications ETRA 2014 (υπό κρίση)

Εργ. Ηλεκτρονικής - Τμ. Φυσικής Πάτρα - Σεπτέμβριος 2013 42/42

slide54

«Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας»

MIS:346791, Φ.Κ.: D.276.001.089

H παρούσα έρευνα έχει συγχρηματοδοτηθεί από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο - ΕΚΤ) και από εθνικούς πόρους μέσω του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» του Εθνικού Στρατηγικού Πλαισίου Αναφοράς (ΕΣΠΑ) – Ερευνητικό Χρηματοδοτούμενο Έργο: Ηράκλειτος ΙΙ. Επένδυση στην κοινωνία της γνώσης μέσω του Ευρωπαϊκού Κοινωνικού Ταμείου.

Σεπτέμβριος 2013

ad