slide1
Download
Skip this Video
Download Presentation
Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας

Loading in 2 Seconds...

play fullscreen
1 / 32

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας - PowerPoint PPT Presentation


  • 126 Views
  • Uploaded on

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας. Μακεδόνας Ανδρέας Μεταδιδακτορικός Ερευνητής Τμ. Φυσικής, Εργαστήριο Ηλεκτρονικής. Ένα απλό ερώτημα. Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ: Δύο κειμένων;

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας' - lisle


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας

Μακεδόνας Ανδρέας Μεταδιδακτορικός ΕρευνητήςΤμ. Φυσικής, Εργαστήριο Ηλεκτρονικής

slide2
Ένα απλό ερώτημα
  • Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ:
    • Δύο κειμένων;
    • Δύο αλυσίδων DNA;
    • Δύο (πιθανός λογο-κλεμμένων) προγραμμάτων;
    • Δύο εικόνων;
    • Δύο ηχητικών κομματιών;
slide3
Ένα απλό ερώτημα
  • Μια τέτοια γενική θεώρηση θα πρέπει:
    • Να είναι ανεξάρτητη της εφαρμογής,
    • Ανεξάρτητη της κατάτμησης της πληροφορίας,
    • Να υπερισχύει όλων των άλλων θεωριών,
    • Να είναι χρήσιμη στην πράξη.

Απάντηση: Information Distance!!!

slide4
Προσεγγίσεις της Απόστασης της Πληροφορίας
  • Πιθανολογική
    • Συσχέτιση πληροφορίας με την αβεβαιότητα
      • Shannon Entropy:
        • Υπολογισμός της μέσης αβεβαιότητας της Χ
        • Υπολογισμός των bits που χρειάζονται για την περιγραφή της X
        • Είναι υπολογίσιμη
  • Αλγοριθμική
    • Συσχέτιση πληροφορίας με την πολυπλοκότητα
      • Kolmogorov Complexity:
        • Υπολογισμός του μικρότερου προγράμματος q ανάμεσα σε Qx προγράμματα από το οποίο μπορεί να ανακατασκευαστεί η ακολουθία x.
        • Μέτρηση της δυσκολίας ανακατασκευής της χ ακολουθίας χωρίς να υπάρχει προηγούμενη γνώση.
        • Είναι μη υπολογίσιμη.
slide5
Προσεγγίσεις της Απόστασης της Πληροφορίας
  • Kolmogorov Complexity
    • K(x):μέγεθος της μικρότερης περιγραφής του x.
    • K(x|y): μέγεθος της μικρότερης περιγραφής τουxδεδομένου του y.
    • K(x)-K(x|y): είναι η πληροφορία του το yγνωρίζει για τοx.
    • Θεώρημα (Mutual Information).

K(x)-K(x|y) = K(y)-K(y|x)

slide6
Προσεγγίσεις της Απόστασης της Πληροφορίας
  • Normalized Information Distance (NID):

Με άλλα λόγια: Νορμαλισμένο μέγεθος του μικρότερου προγράμματος υπολογισμού του x, γνωρίζοντας το y, καθώς επίσης και του υπολογισμού του y, γνωρίζοντας το x.

Ερώτημα: Μπορεί να γίνει ο υπολογισμός της;

Απάντηση: Όχι. Μπορούμε μόνο να την προσεγγίσουμε.

slide7
Προσεγγίσεις της Απόστασης της Πληροφορίας
  • Normalized Compression Distance (NCD):

Με άλλα λόγια: Αν δύο ακολουθίες συμπιέζονται καλύτερα μαζί από ότι μεμονωμένα, σημαίνει ότι μοιράζονται κοινή πληροφορία, επομένως μοιάζουν!!!

  • Πλεονεκτήματα
    • Είναι σχεδόν ανεξάρτητη παραμέτρων (data-driven)
    • Εφαρμόζεται σχεδόν παντού!!!
compression based similarity measures cbsm
Εξέλιξη των Compression Based Similarity Measures (CBSM)
  • 1993 Ziv & Merhav
    • Χρήση της εντροπίας για την ταξινόμηση κειμένων.
  • 2000 Frank et al., Khmelev
    • Πρώτα πειράματα ταξινόμησης κειμένων με χρήση μεθόδων συμπίεσης.
  • 2001 Benedetto et al.
    • Διαισθητικός καθορισμός της σχετικής εντροπίας βάση της συμπίεσης
    • Ανακίνηση του ενδιαφέροντος για μεθοδολογίες βασισμένες στη συμπίεση
  • 2002 Watanabe et al.
    • Pattern Representation based on Data Compression (PRDC)
    • Πρώτη κατηγοριοποίηση δεδομένων διαφόρων πηγών με ένα πρώτο στάδιο μετατροπής τους σε ακολουθίες μίας διάστασης.
  • 2004 NCD
    • Θεωρητική θεμελίωση της Αλγοριθμικής Θεωρίας της Πληροφορίας
  • 2005 – σήμερα:Περαιτέρω εξέλιξη και εφαρμογές
    • Chen-Li Metric for DNA classification (Chen & Li, 2005)
    • Compression-based Dissimilarity Measure (Keogh et al., 2006)
    • Cosine Similarity (Sculley & Brodley, 2006)
    • Dictionary Distance (Makedonas et al., 2008)
    • Fast Compression Distance (Cerra and Datcu, 2010)
    • Normalized Multi-set Distance (Besiris et al., 2012)
slide9
Βασικοί Ορισμοί
  • Ακολουθία: σύνολο λέξεων που η μία διαδέχεται την άλλη.
  • Λέξη: μικρότερη δυνατή ακολουθία, η οποία δεν μπορεί να αναλυθεί περαιτέρω.
  • Χαρακτήρας: μικρότερο δομικό συστατικό μιας λέξης.
  • Λεξικό: σύνολο των μονοσήμαντα ορισμένων λέξεων που εμφανίζονται σε μια ακολουθία.
slide10
Ιδιότητες Λεξικού

Ταυτοδυναμία: και , όπου λ μια κενή ακολουθία.

Μονοτονία:

Αντιμεταθετικότητα:

Επιμεριστικότητα:

normalized dictionary distance ndd1
Normalized Dictionary Distance (NDD)
  • Παράγοντες που επηρεάζουν την NDD:
    • Χαρακτήρες που χρησιμοποιούνται κατά την κωδικοποίηση,
    • Μετατροπή μιας πολυδιάστατης ακολουθίας σε μονοδιάστατη,
    • Μέγεθος των υπό εξέταση ακολουθιών.
slide13
Ενσωμάτωση της πληροφορίας σε χαρακτήρες
  • Με ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών σε k ισόχωρες περιοχές.
  • Με κβάντιση του χώρου των χαρακτηριστικών με τέτοιο τρόπο ώστε όλοι οι χαρακτήρες να έχουν την ίδια ακριβώς πιθανότητα εμφάνισης.
slide14
Ενσωμάτωση της χρωματικής πληροφορίας

ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών

slide15
Από τις 2 διαστάσεις σε 1

Σάρωση ανά γραμμή ή ανά στήλη

slide16
Από τις 2 διαστάσεις σε 1

Σάρωση πάνω στη γραμμή Hilbert

slide19
Από τις 2 διαστάσεις σε 1
  • Άλλοι πιθανοί τρόποι σάρωσης
    • Εστίαση σε περιοχές ενδιαφέροντος που δίνονται από άλλες πηγές αλληλεπίδρασης ανθρώπου – υπολογιστή (π.χ. χρήση δεδομένων από eye-tracker)
    • Κωδικοποίηση περιοχών μεγαλύτερων του ενός pixel (χρήση mega-pixels)
slide20
Από τις 2 διαστάσεις σε 1

Ερώτημα:Υπάρχει τρόπος να ανεξαρτητοποιηθεί η μονοδιάστατη ακολουθία από το αρχικό σημείο του πολυδιάστατου χώρου των χαρακτηριστικών που ξεκινά, καθώς και από το μονοπάτι που ακολουθείται για την κατασκευή της;

Απάντηση: Όχι.-

burrows wheeler transform bwt
Burrows-Wheeler Transform (BWT)
  • Ονομάζεται επίσης block-sorting compression algorithm.
  • Αλλάζει τη σειρά των χαρακτήρων όχι τις τιμές τους.
  • Είναι αντιστρεπτός μετασχηματισμός.
  • Εμφανίζει καλύτερη συμπεριφορά όσο μεγαλύτερη είναι η υπό συμπίεση ακολουθία.
  • Αναδεικνύει την επανάληψη περιοδικοτήτων σε μια ακολουθία.
slide23
Εξαγωγή του λεξικού της ακολουθίας
  • Χρήση του αλγορίθμου συμπίεσης LZW

Χρήση 8bits για την κωδικοποίηση

slide24
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.
  • Databaseused:
  • Μέρος της Corel
  • 15 κατηγορίες
  • 50 εικόνες ανά κατηγορία
  • Σύνολο: 750 εικόνες
slide25
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.

Επίδραση του πλήθους των χρησιμοποιούμενων χρωματικών χαρακτήρων.

slide26
Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.

Επίδραση του μεγέθους της υπό συμπίεσης ακολουθίας.

 4200χαρακτήρες

 21000 χαρακτήρες

slide27
Παρατηρήσεις
  • Κάθε λεξικό χτίζεται δυναμικά χωρίς να επηρεάζεται από τη δημιουργία του άλλου!!!
  • Τα κοινά χαρακτηριστικά που μοιράζονται τα προς σύγκριση λεξικά είναι:
    • Ο τρόπος κβάντισης των προς κωδικοποίηση ακολουθιών.
    • Η μέθοδος μετατροπής της αρχικής πληροφορίας σε μονοδιάστατη ακολουθία.

Ερώτημα: τι θα συμβεί αν χρησιμοποιήσουμε κάποιο προκατασκευασμένο λεξικό για την συμπίεση της κάθε ακολουθίας;

slide28
Κατηγοριοποίηση ακολουθιών με χρήση προκατασκευασμένων λεξικών
  • Στάδια διαδικασίας:
    • Δημιουργία k αυτόνομων λεξικών, ένα για κάθε κατηγορία
      • Από είδη γνωστές κατηγοριοποιημένες ακολουθίες
      • Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών
    • Συμπίεση των υπό εξέταση ακολουθιών με κάθε ένα από τα k αυτόνομα λεξικά και εξαγωγή δεικτών συμπίεσης.
    • Κατάταξη των υπό συμπίεση ακολουθιών σε μια από τις k κατηγορίες.
slide29
Δημιουργία αυτόνομων λεξικών
  • Από είδη γνωστές κατηγοριοποιημένες ακολουθίες
    • Επιλέγονται cακολουθίες που γνωρίζουμε την κατηγορία στην οποία ανήκουν.
    • Από κάθε μία εξάγεται το λεξικό της.
    • Τα cλεξικά ενώνονται σε ένα κοινό λεξικό που χαρακτηρίζει την κατηγορία.
slide30
Δημιουργία αυτόνομων λεξικών
  • Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών.
slide31
Συμπίεση με χρήση των προκατασκευασμένων λεξικών

Ερώτημα: ποια λέξη θα αναζητηθεί πρώτα;

Α. αυτή που εμφανίζεται τις περισσότερες φορές;

Β. αυτή που δημιουργείται από τους περισσότερους χαρακτήρες;

Γ. ο συνδυασμός των Α και Β;

Δ. δεν ξέρω, δεν απαντώ!!!

(απάντηση: είμαι μεταξύ του Γκαι λιγότερο του Δ!!!)

ad