Εφαρμογές της
This presentation is the property of its rightful owner.
Sponsored Links
1 / 32

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας PowerPoint PPT Presentation


  • 100 Views
  • Uploaded on
  • Presentation posted in: General

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας. Μακεδόνας Ανδρέας Μεταδιδακτορικός Ερευνητής Τμ. Φυσικής, Εργαστήριο Ηλεκτρονικής. Ένα απλό ερώτημα. Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ: Δύο κειμένων;

Download Presentation

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


3756493

Εφαρμογές της Θεωρίας της Πληροφορίας σε διαδικασίες ανάκτησης εικόνας

Μακεδόνας Ανδρέας Μεταδιδακτορικός ΕρευνητήςΤμ. Φυσικής, Εργαστήριο Ηλεκτρονικής


3756493

Ένα απλό ερώτημα

  • Στον κόσμο την πληροφορίας υπάρχει ένας ενιαίος τρόπος για να μετρήσουμε την απόσταση μεταξύ:

    • Δύο κειμένων;

    • Δύο αλυσίδων DNA;

    • Δύο (πιθανός λογο-κλεμμένων) προγραμμάτων;

    • Δύο εικόνων;

    • Δύο ηχητικών κομματιών;


3756493

Ένα απλό ερώτημα

  • Μια τέτοια γενική θεώρηση θα πρέπει:

    • Να είναι ανεξάρτητη της εφαρμογής,

    • Ανεξάρτητη της κατάτμησης της πληροφορίας,

    • Να υπερισχύει όλων των άλλων θεωριών,

    • Να είναι χρήσιμη στην πράξη.

      Απάντηση: Information Distance!!!


3756493

Προσεγγίσεις της Απόστασης της Πληροφορίας

  • Πιθανολογική

    • Συσχέτιση πληροφορίας με την αβεβαιότητα

      • Shannon Entropy:

        • Υπολογισμός της μέσης αβεβαιότητας της Χ

        • Υπολογισμός των bits που χρειάζονται για την περιγραφή της X

        • Είναι υπολογίσιμη

  • Αλγοριθμική

    • Συσχέτιση πληροφορίας με την πολυπλοκότητα

      • Kolmogorov Complexity:

        • Υπολογισμός του μικρότερου προγράμματος q ανάμεσα σε Qx προγράμματα από το οποίο μπορεί να ανακατασκευαστεί η ακολουθία x.

        • Μέτρηση της δυσκολίας ανακατασκευής της χ ακολουθίας χωρίς να υπάρχει προηγούμενη γνώση.

        • Είναι μη υπολογίσιμη.


3756493

Προσεγγίσεις της Απόστασης της Πληροφορίας

  • Kolmogorov Complexity

    • K(x):μέγεθος της μικρότερης περιγραφής του x.

    • K(x|y): μέγεθος της μικρότερης περιγραφής τουxδεδομένου του y.

    • K(x)-K(x|y): είναι η πληροφορία του το yγνωρίζει για τοx.

    • Θεώρημα (Mutual Information).

      K(x)-K(x|y) = K(y)-K(y|x)


3756493

Προσεγγίσεις της Απόστασης της Πληροφορίας

  • Normalized Information Distance (NID):

    Με άλλα λόγια: Νορμαλισμένο μέγεθος του μικρότερου προγράμματος υπολογισμού του x, γνωρίζοντας το y, καθώς επίσης και του υπολογισμού του y, γνωρίζοντας το x.

    Ερώτημα: Μπορεί να γίνει ο υπολογισμός της;

    Απάντηση: Όχι. Μπορούμε μόνο να την προσεγγίσουμε.


3756493

Προσεγγίσεις της Απόστασης της Πληροφορίας

  • Normalized Compression Distance (NCD):

    Με άλλα λόγια: Αν δύο ακολουθίες συμπιέζονται καλύτερα μαζί από ότι μεμονωμένα, σημαίνει ότι μοιράζονται κοινή πληροφορία, επομένως μοιάζουν!!!

  • Πλεονεκτήματα

    • Είναι σχεδόν ανεξάρτητη παραμέτρων (data-driven)

    • Εφαρμόζεται σχεδόν παντού!!!


Compression based similarity measures cbsm

Εξέλιξη των Compression Based Similarity Measures (CBSM)

  • 1993 Ziv & Merhav

    • Χρήση της εντροπίας για την ταξινόμηση κειμένων.

  • 2000 Frank et al., Khmelev

    • Πρώτα πειράματα ταξινόμησης κειμένων με χρήση μεθόδων συμπίεσης.

  • 2001 Benedetto et al.

    • Διαισθητικός καθορισμός της σχετικής εντροπίας βάση της συμπίεσης

    • Ανακίνηση του ενδιαφέροντος για μεθοδολογίες βασισμένες στη συμπίεση

  • 2002 Watanabe et al.

    • Pattern Representation based on Data Compression (PRDC)

    • Πρώτη κατηγοριοποίηση δεδομένων διαφόρων πηγών με ένα πρώτο στάδιο μετατροπής τους σε ακολουθίες μίας διάστασης.

  • 2004 NCD

    • Θεωρητική θεμελίωση της Αλγοριθμικής Θεωρίας της Πληροφορίας

  • 2005 – σήμερα:Περαιτέρω εξέλιξη και εφαρμογές

    • Chen-Li Metric for DNA classification (Chen & Li, 2005)

    • Compression-based Dissimilarity Measure (Keogh et al., 2006)

    • Cosine Similarity (Sculley & Brodley, 2006)

    • Dictionary Distance (Makedonas et al., 2008)

    • Fast Compression Distance (Cerra and Datcu, 2010)

    • Normalized Multi-set Distance (Besiris et al., 2012)


3756493

Βασικοί Ορισμοί

  • Ακολουθία: σύνολο λέξεων που η μία διαδέχεται την άλλη.

  • Λέξη: μικρότερη δυνατή ακολουθία, η οποία δεν μπορεί να αναλυθεί περαιτέρω.

  • Χαρακτήρας: μικρότερο δομικό συστατικό μιας λέξης.

  • Λεξικό: σύνολο των μονοσήμαντα ορισμένων λέξεων που εμφανίζονται σε μια ακολουθία.


3756493

Ιδιότητες Λεξικού

Ταυτοδυναμία: και , όπου λ μια κενή ακολουθία.

Μονοτονία:

Αντιμεταθετικότητα:

Επιμεριστικότητα:


Normalized dictionary distance ndd

Normalized Dictionary Distance (NDD)


Normalized dictionary distance ndd1

Normalized Dictionary Distance (NDD)

  • Παράγοντες που επηρεάζουν την NDD:

    • Χαρακτήρες που χρησιμοποιούνται κατά την κωδικοποίηση,

    • Μετατροπή μιας πολυδιάστατης ακολουθίας σε μονοδιάστατη,

    • Μέγεθος των υπό εξέταση ακολουθιών.


3756493

Ενσωμάτωση της πληροφορίας σε χαρακτήρες

  • Με ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών σε k ισόχωρες περιοχές.

  • Με κβάντιση του χώρου των χαρακτηριστικών με τέτοιο τρόπο ώστε όλοι οι χαρακτήρες να έχουν την ίδια ακριβώς πιθανότητα εμφάνισης.


3756493

Ενσωμάτωση της χρωματικής πληροφορίας

ομοιόμορφη κβάντιση του χώρου των χαρακτηριστικών


3756493

Από τις 2 διαστάσεις σε 1

Σάρωση ανά γραμμή ή ανά στήλη


3756493

Από τις 2 διαστάσεις σε 1

Σάρωση πάνω στη γραμμή Hilbert


3756493

Από τις 2 διαστάσεις σε 1

Quad Tree Transform (QTT)


3756493

Από τις 2 διαστάσεις σε 1

Quad Tree Transform (QTT)


3756493

Από τις 2 διαστάσεις σε 1

  • Άλλοι πιθανοί τρόποι σάρωσης

    • Εστίαση σε περιοχές ενδιαφέροντος που δίνονται από άλλες πηγές αλληλεπίδρασης ανθρώπου – υπολογιστή (π.χ. χρήση δεδομένων από eye-tracker)

    • Κωδικοποίηση περιοχών μεγαλύτερων του ενός pixel (χρήση mega-pixels)


3756493

Από τις 2 διαστάσεις σε 1

Ερώτημα:Υπάρχει τρόπος να ανεξαρτητοποιηθεί η μονοδιάστατη ακολουθία από το αρχικό σημείο του πολυδιάστατου χώρου των χαρακτηριστικών που ξεκινά, καθώς και από το μονοπάτι που ακολουθείται για την κατασκευή της;

Απάντηση: Όχι.-


Burrows wheeler transform bwt

Burrows-Wheeler Transform (BWT)

  • Ονομάζεται επίσης block-sorting compression algorithm.

  • Αλλάζει τη σειρά των χαρακτήρων όχι τις τιμές τους.

  • Είναι αντιστρεπτός μετασχηματισμός.

  • Εμφανίζει καλύτερη συμπεριφορά όσο μεγαλύτερη είναι η υπό συμπίεση ακολουθία.

  • Αναδεικνύει την επανάληψη περιοδικοτήτων σε μια ακολουθία.


Burrows wheeler transform bwt1

Burrows-Wheeler Transform (BWT)


3756493

Εξαγωγή του λεξικού της ακολουθίας

  • Χρήση του αλγορίθμου συμπίεσης LZW

Χρήση 8bits για την κωδικοποίηση


3756493

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.

  • Databaseused:

  • Μέρος της Corel

  • 15 κατηγορίες

  • 50 εικόνες ανά κατηγορία

  • Σύνολο: 750 εικόνες


3756493

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.

Επίδραση του πλήθους των χρησιμοποιούμενων χρωματικών χαρακτήρων.


3756493

Εφαρμογή σε διαδικασίες ανάκτησης εικόνας.

Επίδραση του μεγέθους της υπό συμπίεσης ακολουθίας.

 4200χαρακτήρες

 21000 χαρακτήρες


3756493

Παρατηρήσεις

  • Κάθε λεξικό χτίζεται δυναμικά χωρίς να επηρεάζεται από τη δημιουργία του άλλου!!!

  • Τα κοινά χαρακτηριστικά που μοιράζονται τα προς σύγκριση λεξικά είναι:

    • Ο τρόπος κβάντισης των προς κωδικοποίηση ακολουθιών.

    • Η μέθοδος μετατροπής της αρχικής πληροφορίας σε μονοδιάστατη ακολουθία.

      Ερώτημα: τι θα συμβεί αν χρησιμοποιήσουμε κάποιο προκατασκευασμένο λεξικό για την συμπίεση της κάθε ακολουθίας;


3756493

Κατηγοριοποίηση ακολουθιών με χρήση προκατασκευασμένων λεξικών

  • Στάδια διαδικασίας:

    • Δημιουργία k αυτόνομων λεξικών, ένα για κάθε κατηγορία

      • Από είδη γνωστές κατηγοριοποιημένες ακολουθίες

      • Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών

    • Συμπίεση των υπό εξέταση ακολουθιών με κάθε ένα από τα k αυτόνομα λεξικά και εξαγωγή δεικτών συμπίεσης.

    • Κατάταξη των υπό συμπίεση ακολουθιών σε μια από τις k κατηγορίες.


3756493

Δημιουργία αυτόνομων λεξικών

  • Από είδη γνωστές κατηγοριοποιημένες ακολουθίες

    • Επιλέγονται cακολουθίες που γνωρίζουμε την κατηγορία στην οποία ανήκουν.

    • Από κάθε μία εξάγεται το λεξικό της.

    • Τα cλεξικά ενώνονται σε ένα κοινό λεξικό που χαρακτηρίζει την κατηγορία.


3756493

Δημιουργία αυτόνομων λεξικών

  • Χρήση τυχαίων ορθογώνιων μεταξύ τους λεξικών.


3756493

Συμπίεση με χρήση των προκατασκευασμένων λεξικών

Ερώτημα: ποια λέξη θα αναζητηθεί πρώτα;

Α. αυτή που εμφανίζεται τις περισσότερες φορές;

Β. αυτή που δημιουργείται από τους περισσότερους χαρακτήρες;

Γ. ο συνδυασμός των Α και Β;

Δ. δεν ξέρω, δεν απαντώ!!!

(απάντηση: είμαι μεταξύ του Γκαι λιγότερο του Δ!!!)


3756493

Ερωτήσεις?


  • Login