1 / 28

Μοντελοποίηση της Οπτικής Προσοχής Visual Attention Modeling

Μοντελοποίηση της Οπτικής Προσοχής Visual Attention Modeling. Υπ. Διδ . Ιωάννης Ρήγας Τμήμα Φυσικής , Πανεπιστήμιο Πατρών. Τι θα δούμε σήμερα??. Bottom-up Saliency Models . Spatial domain analysis Spectral domain analysis Sparse representation models.

dai
Download Presentation

Μοντελοποίηση της Οπτικής Προσοχής Visual Attention Modeling

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Μοντελοποίηση της Οπτικής ΠροσοχήςVisual Attention Modeling Υπ. Διδ. Ιωάννης Ρήγας Τμήμα Φυσικής, Πανεπιστήμιο Πατρών

  2. Τι θα δούμε σήμερα?? • Bottom-up Saliency Models. • Spatial domain analysis • Spectral domain analysis • Sparse representation models • Οι συσκευές καταγραφής οφθαλμικών κινήσεων (eye-trackers)ως εργαλείογια την αξιολόγηση των αλγοριθμικών μοντέλων υπολογιστικής όρασης. • Εφαρμογή: Βιομετρική αναγνώριση με χρήση • των οφθαλμικών κινήσεων. UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  3. Οπα, οπα, οπα… ...και τι μας χρειάζεται η υπολογιστική μοντελοποίηση της ανθρώπινης προσοχής Καλά είναι και τα κόκκινα αλλά πουλάμε πράσινα Πρόσεχε οδηγέ!!!!! • Άλλα και: • στην εκπαίδευση • ιατρικές εφαρμογές • marketing • augmented reality • κ.α Έεε… μην κάψουμε και τον υπολογιστή UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  4. Visual saliency is the distinct subjective perceptual quality which makes some items in the world stand out from their neighbors and immediately grab ourattention. Βottom-upandTop-down saliency Bottom-up models Μοντελοποίηση οπτικής προσοχής με χρήσηχαρακτηριστικώνχαμηλού επιπέδου (low level features) intensity/color features (ένταση/χρώμα) orientation features (προσανατολισμός) motion features (κίνηση) In real life UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  5. Top-down models Faces, object etc. meaningful entities (e.g. words) task dependent search Bottom-up vs. Top-down models Bottom-up Top-down • task-independent • computational efficient • useful as front-ends • generality • task-dependent • more complicated • useful at specific applications UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  6. Spatialdomain analysis Itti & Koch Model Key concept: μηχανισμός“center-surround” εμπνευσμένος απο τoυς ανθρώπινους οπτικούς υποδοχείς. • multiscaleGaussian pyramids • on intensity, color andorienta- • tionfeatures. L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.  UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  7. Spatialdomain analysis • Normalization of intermediate feature maps. • Final combination of the maps to produce the final map. non-linear schemes may also be used (e.g. max, max-min) L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.  UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  8. Spatialdomain analysis • Temporal modeling of saliency Task: try to predict the sequence in which the attention transitions may occur. “Inhibition of Return” Psychophysically observed inhibition 500~900 msec L. Itti, C. Koch, E. Niebur, ”A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, pp. 1254-1259, Nov 1998.  UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  9. Spatialdomain analysis Graph-based visual saliency (GBVS) Comparison of Itti/Koch and GBVS model Key Concept: Συγκέντρωση μάζας στις σημαντικότερες περιοχές του χάρτη. J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency”, in: Advances in Neural Information Processing Systems (NIPS) 19, pp.545-52, 2007.  UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  10. Spatialdomain analysis Attention based on Information Maximization (AIM) Key concept: μοντέλο εμπνευσμένο απο την θεωρία της πληροφορίας του Shannon. Η προσοχή αντιμετωπίζεται ως αποτέλεσμα της προσπάθειας μεγιστοποίησης της προσληφθείσας πληροφορίας κατα την οπτική παρατήρηση. Self-information p(X): The raw probability of patch X with respect to its neighbors A measure of local content contrast. N. Bruce and J. Tsotsos, “Attention based on information maximization”, Journal of Vision, vol. 7, no. 9, pp. 950-950, 2007. UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  11. Spectral domain analysis Phase spectrum of Fourier Transform (PFT) Key concept: συσχέτιση φάσης και τοπικότητας σε μια εικόνα Quaternion Fourier transform (QFT) : motion features also incorporated C. Guo, Q. Ma, and L. Zhang, “Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform”, in: CVPR, pp. 1-8, 2008. UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  12. Spectral domain analysis Image Signature Key concept: το πρόσημο του DCT μετασχηματισμού περικλείει πληροφορία για την φάση μιας εικόνας. • compressed representation: • only the sign informationneeded • (1-bit per pixel) • fast implementation X. Hou, J. Harel, and C. Koch. “Image signature: Highlighting sparse salient regions”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 34( 1):194, 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  13. Sparse Coding models Visual Saliency Detection via SparsityPursuit Key concept: προσέγγιση της saliency σανπρόβλημα low-rank approximation. J. Yan, M. Zhu, H. Liu, Y. Liu, “Visual Saliency Detection via SparsityPursuit”, IEEE Signal Processing Letters, vol. 17, is. 8, pp. 739-742, 2010. UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  14. Συσκευές καταγραφής οφθαλμικών κινήσεων (Eye trackers) Τύποι συσκευών Desk mounted Head mounted Eye-tracking glasses Remote dual camera UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  15. Αρχή λειτουργίαςσυσκευής eye-tracker Eye Tracker Cambridge Research Systems 50 Hz UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  16. Χρήση συσκευών eye-tracker UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  17. Χρήση συσκευών eye-tracker για την παρακολούθηση μηχανισμών προσοχής Στην εκπαίδευση Στην μελέτη πρωτευώντων Στην διαφήμιση Στην γνωστική ψυχολογία UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  18. Χρήση συσκευών eye-tracker στην υπολογιστική μοντελοποίηση της προσοχής Ο eye-tracker αποτελεί μια ιδανικήδιεπαφή για την αξιολόγηση αλγορίθμων υπολογιστικής μοντελοποίησης της προσοχής. TP: true fixations falling into the activation area of the map FP: points from random locations or fixations from other images ROC curve UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  19. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση • Όφθαλμικές κινήσειςσαν βιομετρικό χαρακτηριστικό: • physical and behavioral characteristics • Δύσκολα πλαστογραφούνται • Υπάρχει δυνατότητα καταγραφής εξ’αποστάσεως • Οι συσκευές eye-tracking είναι πια σε λογικό κόστος + • Η επίδοσή τους ακόμα υπολείπεται τον κλασσικών μεθόδων • Συχνά είναι αναγκαία μια διαδιακασία calibration πριν την χρήση • Ανάγκη για benchmark datasets - UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  20. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση A. Spatial eye movement characteristics Key concept: διερεύνηση της χωρικής κατανομής των οφθαλμικών κινήσεων κατα την παρατήρηση ανθρωπίνων προσώπων. Two-round MST Fixation clustering and outlier removal I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp. 786-792,April 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  21. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση WW-test for the comparison of the fixation distributions EER ~ 30% mainly behavioral biometrical characteristics I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp. 786-792,April 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  22. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση B. Temporal eye movement characteristics Key concept: διερεύνηση χρονικών χαρακτηριστικών των οφθαλμικών κινήσεων κατα την παρατήρηση ενός κινούμενου σημείου. I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  23. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση Low-pass filter. Cut high frequencies fixation sub-signal Extract dynamic features - velocity/acceleration eye-movements acceleration eye-movements velocity first-order time derivative second-order time derivative I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  24. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση Projection of the sampled time signals in a multivariate featurespace. first-order time derivative Feature space (only 3-dims used for visualization) second-order time derivative I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  25. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση The total similarity of two samples is computed as the averageover the W values of each corresponding fixation sub-signal comparison. I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  26. Εφαρμογή: Χρήση δεδομένων οφθαλμικής κίνησης με σκοπό την βιομετρική αναγνώριση http://www.emvic.org/ Dataset A Dataset B • Physical and behavioral characteristics I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  27. References • A. M. Treisman, G. Gelade, A feature-integration theory of attention, Cognitive Psychol. 12 (1) (1980) 97-136. • L. Itti, C. Koch, E. Niebur, A model of saliency based visual attention for rapid scene analysis, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 20 (11) (1998) 1254-1259. • L. Itti, J. Braun, D. K. Lee, C. Koch, Attentional modulation of human pattern discrimination psychophysics reproduced by a quantitative model, in: M. J. Kearns, S. A. Solla, D. A. Cohn, (eds.), Advances in Neural Information Processing Systems 11 (1999) 789-795. • B. W. Tatler, R. J. Baddeley, I. D. Gilchrist, Visual correlates of fixation selection: Effects of scale and time, Vision Res. 45 (5) (2005) 643-659. • N. Bruce, J. Tsotsos, Saliency based on information maximization, in: Y. Weiss, B. Scholkopf, J. Platt, (eds.), Advances in Neural Information Processing Systems 18 (2006) 155-162. • J. Harel, C. Koch, P. Perona, Graph-based visual saliency, in: B. Scholkopf, J. Platt, T. Hoffman, (eds.), Advances in Neural Information Processing Systems 19 (2007) 545-552. • C. Siagian, L. Itti, Rapid biologically-inspired scene classification using features shared with visual attention, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 29 (2) (2007) 300-312. • C. Guo, Q. Ma, L. Zhang, Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform, in: IEEE Conf. on Comput. Vision and Pattern Recognit. (CVPR), 2008, pp. 1-8. • L. Zhang, M. Tong, T. Marks, H. Shan, G. Cottrell, SUN: A bayesian framework for saliency using natural statistics, Journal of Vision 8 (7) (2008) article 32. • S. Wan, P. Jin, L. Yue, An approach for image retrieval based on visual saliency, in: Int. Conf. on Image Analysis and Signal Processing (IASP), 2009, pp. 172-175. • J. Yan, M. Zhu, H. Liu, Y. Liu, Visual saliency detection via sparsity pursuit, IEEE Signal Process. Lett. 17 (8) (2010) 739-742. • C. K. Chang, C. Siagian, L. Itti, Mobile robot vision navigation & localization using gist and saliency, in: IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2010, pp. 4147-4154. • X. Hou, J. Harel, C. Koch, Image Signature: Highlighting sparse salient regions, IEEE Trans. Pattern Anal. Machine Intell. (PAMI) 34 (1) (2012) 194-201. • I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters, 33, 6, pp. 786-792, April 2012 • I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, in: the Fifth IEEE International Conference in Biometrics: Theory, Applications and Systems (BTAS 2012), Washington D.C., Sep. 2012 UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

  28. Ευχαριστώ Ελπίζω να είχα την προσοχήσας (το πιάσατε το υπονοούμενο!) UPatras Computer Vision Group (UPCV) -Τμήμα Φυσικής Πανεπιστημίο Πατρών , 2012

More Related