Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

1. Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Παρουσίαση Διπλωματικής Εργασίας Σύστημα Αναζήτησης Εικόνων με βάση μεταδεδομένα IPTC και βαθμολογίες Εννοιών Επιβλέπων Καθηγητής: Δρ. Αναστάσιος Ντελοπουλος Ξηρουχάκης Μιχαήλ ΑΕΜ 4816

2. Εισαγωγή Ιστορική αναδρομή Δημοφιλείς τεχνολογίες

3. Αναλογική Εικόνα Εφεύρεση χημικής φωτογραφίας το 1820 Χρήση σε υγεία, εκπαίδευση, εμπόριο, άμυνα, κ.α. Δεκαετία 1960 Εφεύρεση Ψηφιακού Η/Υ Ψηφιοποίηση της εικόνας Χρήση της εικόνας Συλλογές ψηφιακών εικόνων Δημιουργία μεγάλων συλλογών αναλογικών εικόνων

4. «Πως θα ανακτήσουμε εικόνες, με συγκεκριμένα επιθυμητά χαρακτηριστικά, από μια μεγάλη ψηφιακή συλλογή;» Διατύπωση του προβλήματος Συστήματα Υπολογιστών για Αναζήτηση και Ανάκτηση Εικόνων (Image Retrieval Systems)

5. Μέθοδοι αναζήτησης [1]Αναζήτηση βάσει κειμένου σχολιασμού • Στηρίζεται στα λεκτικά μεταδεδομένα των εικόνων • Τα πεδία έχουν προδιαγραφεί στα πρότυπα IPTC: • Χρησιμοποιείται από τα παραδοσιακά συστήματα αναζήτησης • Η προσθήκη σχολίων χειρωνακτικά είναι χρονοβόρα, επίπονη και δαπανηρή ΌΜΩΣ!

6. Μέθοδοι αναζήτησης [2]Αναζήτηση βάσει περιεχομένου εικόνας • Στηρίζεται στο περιεχόμενο της εικόνας: χρώματα, σχήματα, υφή κ.α. • Χρησιμοποιεί τεχνικές από στατιστική, αναγνώριση προτύπων, επεξεργασία σήματος και όραση υπολογιστών • Δυνατότητα ανάκτησης φωτογραφιών που δεν έχουν IPTC μεταδεδομένα • είτε γιατί δεν πρόσθεσε ο δημιουργός, • είτε γιατί οι φωτογραφίες λαμβάνονται αυτόματα και είναι αδύνατος ο χειρωνακτικός σχολιασμός τους π.χ. κάμερες ασφαλείας

7. Αναζήτηση με παράδειγμα Εννοιολογική Αναζήτηση Μέθοδοι αναζήτησης [3]Υλοποιήσεις Content-Based I.R. Ο χρήστης παρέχει στο ΣΣ μια εικόνα-παράδειγμα Το ΣΣ εξάγει σημασιολογικά χαρακτηριστικά για όλες τις εικόνες της συλλογής ΦΙΛΙΚΗ Ο χρήστης χρησιμοποιεί τη φυσική γλώσσα ώστε να περιγράψει τις οπτικές έννοιες που αναζητά ΌΧΙ ΦΙΛΙΚΗ προς τον μέσο χρήστη ΣΥΣΤΗΜΑ sky Εξάγει τα χαρακτηριστικά της Ιστόγραμμα χρώματος, πρότυπα υφής, σχήματα, κ.α. female sea sand Αναζήτηση ομοιότητας στη συλλογή, βάσει αυτών

8. Παρουσίαση Συστήματος Υλοποιημένες τεχνικές αναζήτησης Επίδειξη λειτουργίας συστήματος Σχολιασμός απόκρισης συστήματος

9. Παρουσίαση ΣυστήματοςΔεδομένα ΣΣ και Μέθοδοι αναζήτησης Πιθανότητα Παρουσίας Ελλιπή ~100.000 Εικόνες 57 έννοιες Μεταδεδομένα IPTCΠρότυπο IIM Εννοιολογική Αναζήτηση Αναζήτηση βάσει κειμένου σχολιασμού Μικτή Αναζήτηση

10. Αναζήτηση βάσει IPTC [1]Τρόποι σύγκρισης πεδίων IPTC Πεδία IPTC για δυαδικά ερωτήματα city countryname byline κ.α. caption headline κ.α. π.χ. το πεδίο city «Έχει τραβηχτεί η εικόνα Χ στη Στουτγάρδη;» Απάντηση: Αλήθεια (1)ή Ψέμα (0) για ερωτήματα συνάφειας π.χ. το πεδίο caption (λεζάντα) «Αναφέρεται η εικόνα Χ στο ποδόσφαιρο;» Απάντηση: Δείκτης συνάφειας, στο [0,1] Δείχνει πόσο σχετική είναι η caption με το «ποδόσφαιρο»

11. Αναζήτηση βάσει IPTC [2]Παράδειγμα ερωτημάτων με IPTC μεταδεδ. Ερώτημα Συνάφειας ? STUTTGART = samplestring1 Δυαδικό Ερώτημα ΑΛΗΘΕΙΑ ΨΕΜΑ sample string1 = NULL

12. Αναζήτηση βάσει IPTC [3]Πιθανά αποτελέσματα δυαδικού ερωτήματος Η imageX.JPG Συμπεριλαμβάνεται στο αποτέλεσμα Λαμβάνει +1 πόντο Η imageX.JPG ΔΕΝ συμπεριλαμβάνεται στο αποτέλεσμα δηλαδή ΜΟΝΟ ΕΑΝ samplestring2!=NULL OR sampletext1!=NULL Δεν λαμβάνει πόντο Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των caption, countryname της imageX.JPG ΔΕΝ είναι κενό ΑΛΗΘΕΙΑ ΨΕΜΑ sample string1 = NULL

13. Αναζήτηση βάσει IPTC [4]Πιθανά αποτελέσματα ερωτήματος συνάφειας Η imageX.JPG Συμπεριλαμβάνεται στο αποτέλεσμα Λαμβάνει +1 πόντο Η imageX.JPG ΔΕΝ συμπεριλαμβάνεται στο αποτέλεσμα δηλαδή ΜΟΝΟ ΕΑΝ samplestring1!=NULL OR samplestring2!=NULL Δεν λαμβάνει πόντο δηλαδή ΜΟΝΟ ΕΑΝ samplestring2!=NULL OR sampletext1!=NULL Δεν λαμβάνει πόντο Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των caption, countryname της imageX.JPG ΔΕΝ είναι κενό Συμπεριλαμβάνεται ΜΟΝΟ ΕΑΝ τουλάχιστον ένα εκ των city, countrynameτης imageX.JPG ΔΕΝ είναι κενό + Δείκτη Συνάφειας Ερώτημα Συνάφειας ΑΛΗΘΕΙΑ ΨΕΜΑ sample string1 = NULL sample text1 = NULL ?

14. Αναζήτηση βάσει IPTC [5]Βαθμολόγηση εικόνας Βαθμός Y.JPG 1.9 / 3 = 0.633 + + 1.9

15. Αναζήτηση βάσει IPTC [6]Παράδειγμα αναζήτησης & απόκρισης ΣΣ Αποτελέσματα 25-40 Αποτελέσματα 1-16 (Σύνολο 72)

16. Εννοιολογική αναζήτηση [1]Πιθανότητες – Βαθμολογίες εννοιών airplane anchor animal baseball basketball 57 έννοιες beach bicycle bird boat building κ.α. P{airplane}=0.8 0.971 0.81

17. Εννοιολογική αναζήτηση [2]Φιλτράρισμα και ταξινόμηση αποτελέσματος ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ Κριτήρια αναζήτησης: Οι εικόνες με ΤΟΥΛΑΧΙΣΤΟΝ μια εκ των ζητούμενων εννοιών Ένα σύνολο από Μ έννοιες όπου Μ<=57 ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητατης να έχει ΤΟΥΛΑΧΙΣΤΟΝ μια εκ των ζητούμενων εννοιών P{E1 OR E2 OR E3 OR … OR EM}

18. Εννοιολογική αναζήτηση [3]Αλγόριθμος υπολογισμού πιθαν. ένωσης Παραδοχή:E1, E2 στατιστικά ανεξάρτητα P{E1 OR E2 OR E3} P{E1 OR E2} = P{E1} + P{E2} – P{E1 AND E2} } P{E12}= P{E1 OR E2} = P{E1} + P{E2} – P{E1}*P{E2} E12 προσεταιριστική ιδιότητα P{E1 OR E2 OR E3} = P{(E1 OR E2)OR E3} = P{E12} + P{E3} – P{E12 AND E3} P{E1 OR E2 OR E3} = P{E12} + P{E3} – P{E12}*P{E3}

19. Εννοιολογική αναζήτηση [4]Αλγόριθμος εννοιολογικής αναζήτησης Παράδειγμα:BICYCLE OROUTDOOR Α)Ανάκτηση δεδομένων από τη ΒΔ Επιστρέφονται οι γραμμές Β)Υπολογισμός της ένωσης των γεγονότων Για την imgX υπολογίζεται η P{BICYCLE OR OUTDOOR} Για την imgY η πιθανότητα αυτή ισούται με την P{BICYCLE}=0.91 καθώς P{OUTDOOR}=0 Γ)Ταξινόμηση του αποτελέσματος Οι εικόνες ταξινομούνται σύμφωνα με τη P{BICYCLE OR OUTDOOR} τους πίνακας αποθήκευσης εννοιών

20. Εννοιολογική αναζήτηση [5]Παράδειγμα βαθμολόγησης και ταξινόμησης Κριτήρια Αναζήτησης: ENTERTAINMENT OUTDOOR BICYCLE images1/01894817.jpg P{ENTERTAINMENT}=0.73 P{OUTDOOR}=0.97 P{BICYCLE}=0.999996 Αποτελέσματα 1-16 (Σύνολο 89998) Βήμα 1: P{ENTERTAINMENT OR OUTDOOR}=0.993 Βήμα 2:P{ENTERTAINMENT OR OUTDOOR OR BICYCLE}=0.999999971054 0.999999971054

21. Μικτή Αναζήτηση [1]Περιγραφή αλγορίθμου Μικτή Αναζήτηση ΤΑΞΙΝΟΜΗΣΗ ΑΠΟΤΕΛΕΣΜΑΤΟΣ: Κάθε εικόνα ταξινομείται ανάλογα με την πιθανότητα της να έχει τουλάχιστον μια εκ των ζητούμενων εννοιών. Ακριβώς όπως στην εννοιολογική αναζήτηση. • ΣΕΤ ΑΠΟΤΕΛΕΣΜΑΤΟΣ: • Εικόνες με τουλάχιστον μια εκ των ζητούμενων εννοιών. • Απορρίπτονται οι εικόνες με έστω και ένα μη-επιθυμητό μεταδεδομένο. Το κενό (NULL) θεωρείται ως επιθυμητή τιμή.

22. Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης Μόνο Φιλτράρισμα ΟΚ ΟΚ IPTC ΟΚ Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΕΝΝΟΙΕΣ ΟΚ Αποτελέσματα 1-16 (Σύνολο 106) P{ENT OR OUT OR BIC}=0.999594

23. Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία στην «αντίστοιχη» εννοιολογική αναζήτηση. Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η στις 89998). Μόνο Φιλτράρισμα ΟΚ ΟΚ IPTC ΟΚ Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΕΝΝΟΙΕΣ ΟΚ Αποτελέσματα 1-16 (Σύνολο 106) P{ENT OR OUT OR BIC}=0.999594

24. Μικτή Αναζήτηση [2]Παράδειγμα αναζήτησης και ταξινόμησης Προφανώς είχε λάβει την ίδια ακριβώς βαθμολογία στην «αντίστοιχη» εννοιολογική αναζήτηση. Φυσικά η ταξινόμηση εκεί ήταν διαφορετική (488η στις 89998). Μόνο Φιλτράρισμα Στην «αντίστοιχη» αναζήτηση βάσει IPTC, η βαθμολογία είναι εντελώς διαφορετική (0.9636356) καθώς αυτή υπολογίζεται βάσει ομοιότητας με τα IPTC μεταδεδομένα. Ομοίως και η ταξινόμηση! (63η στα 72) ΟΚ ΟΚ IPTC ΟΚ Φιλτράρισμα & Ταξινόμηση ΟΚ ΟΚ ΕΝΝΟΙΕΣ ΟΚ Αποτελέσματα 1-16 (Σύνολο 106) P{ENT OR OUT OR BIC}=0.999594

25. Δυναμική τροποποίηση της Φόρμας Αναζήτησης από τον Διαχειριστή ΣΣ Εισαγωγήβαθμολογιών εννοιών στο ΣΣ Εισαγωγή IPTC μετα- δεδομένων στο ΣΣ Δημιουργία και αρχικοποίηση ΣΣ Καταστροφή ΣΣ Παρουσίαση Υπομονάδων ΣΣAdministrator Tools

26. Προγραμματιστικά Εργαλεία • Apache Web Server • HTML & CSS • PHP • MySQL

27. Επίλογος Χρόνος Απόκρισης ΣΣ Συμπεράσματα

28. Χρόνος Απόκρισης ΣΣ [1]Περιγραφή Πειράματος Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες Βήμα 1: airplane Βήμα 2: airplane anchor Βήμα 3: airplane anchor animal Βήμα 4: airplane anchor animal baseball … Βήμα 57: airplane anchor (…) vegetation walking A - Z Βήμα 1: walking Βήμα 2: walking vegetation Βήμα 3: walking vegetation usa_flag Βήμα 4: walking vegetation usa_flag tennis … Βήμα 57: walking vegetation (…) anchor airplane Z - A

29. Χρόνος Απόκρισης ΣΣ [2]Σχέση πλήθος εννοιών - χρόνος απόκρισης Μέτρηση χρόνου απόκρισης για ερώτημα με 1,2,…,57 έννοιες OUTDOOR ENTERTAINMENT χρόνος απόκρισης ENTERTAINMENT OUTDOOR πλήθος εννοιών OUTDOOR: 72360 εικόνεςENTERTAINMENT: 77605 Και (AND) τις δυο: 60014 Η αύξηση του πλήθους των εννοιών αυξάνει το χρόνο απόκρισης του ΣΣ

30. Χρόνος Απόκρισης ΣΣ [3]Σχέση πλήθος εννοιών – αποτελεσμάτων OUTDOOR προσθέτουν τις 60014 κοινές εικόνες στο σετ αποτελέσματος χρόνος απόκρισης ENTERTAINMENT υπολογισμός 60014 πιθανοτήτων ένωσης εμφάνιση μιας νέας πιθανότητας για κάθε μια εκ των 60014 κοινών εικόνων πλήθος αποτελεσμάτων OUTDOOR ENTERTAINMENT πλήθος εννοιών

31. Χρόνος Απόκρισης ΣΣ [4]Σχέση πλήθος αποτελεσμάτων - χρόνος απ. Αναμένουμε έντονα παραβολική σχέση ανάμεσα στο πλήθος αποτελεσμάτων της αναζήτησης και τον χρόνο απόκρισης του ΣΣ A - Z Z - A X:πλήθος αποτελεσμάτων,Y:χρόνος απόκρισης

32. Χρόνος Απόκρισης ΣΣ [5]Σχέση πλήθος εγγραφών - χρόνος απόκρ. Επειδή κάθε ανακτημένη εγγραφή από την ΒΔ (Βήμα 1) προκαλεί συνήθως ένα νέο υπολογισμό πιθανότητας ένωσης γεγονότων Αναμένουμε μια γραμμική ή ελαφρώς παραβολική σχέση ανάμεσα στο πλήθος των ανακτημένων εγγραφών και τον χρόνο απόκρισης A - Z Z - A X:πλήθος ανακτημένων εγγραφών,Y:χρόνος απόκρισης

33. Συμπεράσματα • Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής • Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής • Αυτό συμβαίνει διότι: • Ο σχολιασμός, ιδιαίτερα σε πεδία ελεύθερου κειμένου (headline, caption, κ.α.), είναι υποκειμενικός καθώς βασίζεται στην κρίση του σχολιαστή. • Συνήθως πολλά πεδία μεταδεδομένων έχουν μείνει κενά (NULL) απ’ τον σχολιαστή. Για διαφορετικούς όμως λόγους: Η χρήση μιας έννοιας (BICYCLE) μας φέρνει 4662 αποτελέσματα. Μεγάλο σετ αποτελέσματος για να πλοηγηθεί ο μέσος χρήστης! Η απλή απαίτηση οι εικόνες που ζητάμε έχουν τραβηχτεί στην ΓΕΡΜΑΝΙΑ (πεδίο countryname: GERMANY) κατεβάζει το σετ στα 411 αποτελέσματα! Ομοίως: Η χρήση τριών εννοιών (ENTERTAINMENT, OUTDOOR, BICYCLE) θα μας δώσει 89998 αποτελέσματα, ενώ η γνώση ότι ψάχνουμε για εικόνες στην Δρέσδη (city: DRESDEN) θα μαςκατεβάσει το σετ στα 472 αποτελέσματα!

34. Συμπεράσματα • Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής • Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής • Η χρήση πολλών εννοιών από κοινού δεν έχει πάντα θετικά αποτελέσματα 4662 αποτελέσματα Αν π.χ. ψάχνουμε «ποδηλάτες», η χρήση μόνο της έννοιας BICYCLE ενδείκνυται σε σχέση με την χρήση από κοινού των OUTDOOR, BICYCLE και ENTERTAINMENT 89998 Χιλιάδες δεν έχουν καμία σχέση με BICYCLE! Ακόμα και στις πρώτες εκατοντάδεςτου αποτελέσματος βρίσκουμε εικόνες χωρίς BICYCLE.

35. Συμπεράσματα • Η χρήση μόνο «Αναζήτησης βάσει κειμένου σχολιασμού» είναι ανεπαρκής • Η χρήση μόνο «Εννοιολογικής αναζήτησης» είναι συχνά επίσης ανεπαρκής • Η χρήση πολλών εννοιών από κοινού δεν έχει πάντα θετικά αποτελέσματα • Σχετικά φτωχή η αξία των αποτελεσμάτων όταν οι βαθμολογίες των εικόνων σε σχέση με π.χ. δυο έννοιες διαφέρουν κατά πολύ Στο ερώτημα με GOLF και SKY λαμβάνουμε 3210 αποτελέσματα. Όμως η πρώτη εικόνα που σχετίζεται (και) με την GOLF ταξινομείται 81η θέση! Βαθμολογίες SKY >> Βαθμολογίες GOLF