Από τον μεταπτυχιακό φοιτητή της 1 ης κατεύθυνσης Μουζακίδη Αλέξανδρο Α.Μ. Μ853

1. Παρουσίαση της δημοσίευσης Photometric and Geometric Restoration of Document Images Using Inpainting and Shape-from-Shading των ερευνητών Li ZhangSchool of Computing,National University of Singapore Andy M. YipDepartment of Mathematics, National University of Singapore Chew Lim TanSchool of Computing,National University of Singapore Για το μεταπτυχιακό μάθημα Προηγμένη Τεχνητή Νοημοσύνη Από τον μεταπτυχιακό φοιτητή της 1ης κατεύθυνσης Μουζακίδη Αλέξανδρο Α.Μ. Μ853

2. Περιεχόμενα παρουσίασης • Αποκατάσταση της γεωμετρίας και του φωτισμού εγγράφων που έχουν ψηφιοποιηθεί από φωτογραφική μηχανή ώστε να διορθωθούν τα λάθη που προκύπτουν • Εξαγωγή κειμένου και περιεχομένου • Παράγωγη εικόνας σκίασης • Φωτομετρική αποκατάσταση • Αποκατάσταση γεωμετρίας • Ανακατασκευή του έγγραφου • Πειραματικά αποτελέσματα

3. Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου Απομάκρυνση κειμένου, σχημάτων με χρήση inpainting τεχνικών Ψηφιακές inpainting και surface fitting τεχνικές για την εξαγωγή μιας ομαλής εικόνας σκίασης Απομάκρυνση των σκιών από την αρχική εικόνα φωτισμού ώστε να μείνει μόνο η εικόνα με την ένταση της ανάκλασης. Μόλις εξαχθεί η εικόνα σκίασης, μπορεί επίσης να χρησιμοποιηθεί για κατασκευή της 3Δ μορφής του έγγραφου χρησιμοποιώντας αλγόριθμους Shape From Shading (SFS). Χρήση της αρχικής εικόνας ως texture πάνω στο 3Δ μοντέλο, αφαίρεση των γεωμετρικών αναδιπλώσεων του μοντέλου και αναδημιουργία της εικόνας με τεχνικές ξεδιπλώματος (flattening )

4. Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου

5. Εξαγωγή κειμένου και περιεχομένου Πρέπει να δημιουργηθεί μια μάσκα που να εντοπίζει το χρώμα του υπόβαθρου Μετατροπή της αρχικής εικόνας πλήρους χρώματος σε γκρίζας διαβάθμισης. Ανίχνευση άκμων με χρήση του αλγόριθμου canny edge Εφαρμογή μορφολογικής διαστολής (morphological dilation)

6. Παράγωγη εικόνας σκίασης • Γέμισμα των κενών περιοχών που δημιούργησε η μάσκα με βάση τις τιμές των γειτονικών εικονοστασίων του υποβάθρου χρησιμοποιώντας harmonicand Total Variation (TV) inpainting Harmonic Total Variation Όπου λείναι ο συντελεστής εξομάλυνσης ,Ω\ΩΗείναι η περιοχή των κενώνκαι πρέπει να βρεθεί ένα Ιπου να ελαχιστοποιεί την Ε(Ι)

7. Εξαγωγή σκίασης-απομάκρυνση θορύβου • Η παραπάνω διαδικασία για την παραγωγή της εικόνας σκίασης μπορεί να έχει ως αποτέλεσμα μια εικόνα με θόρυβο • Απομάκρυνση θορύβου χρησιμοποιώντας αλγόριθμους surface fitting με radial basis functions (RBF). Ως radial basis function μπορεί να χαρακτηριστεί οποιαδήποτε πραγματική συνάρτηση της οποίας καλύπτει την σχέση φ(x,c) = φ(||x-c||) ,c είναι σταθερά. • Είσοδος ενα σύνολο από 3Δ σημεία {(xi, f(xi)), i =1, 2, … ,m} Μια fitted surface μπορεί να περιγραφεί ως • Όπου h είναι μια συνάρτηση ακτίνας βάσης και yi (i = 1…n) είναι ένα σύνολο από συσχετιζόμενα σημεία. Σκοπός είναι να βρεθούν τα οι παράμετροι aiγια τα οποία ελαχιστοποιείται το τετραγωνικό σφάλμα

8. Εξαγωγή σκίασης-απομάκρυνση θορύβου • Στην παρούσα εργασία χρησιμοποιείται η συνάρτηση • Όπου το c είναι μια σταθερά • Tα πλεονεκτήματα της χρήσης τεχνικής με surface fitting και RBF είναι • Δίνει την παράγωγο της εικόνας ακριβέστερα από ότι υπολογιζόμενη με πεπερασμένες διαφορές, • 2) Αντίθετα από το πολυωνυμικό ταίριασμα, οι RBF είναι πιο εύκαμπτες και μπορούν να χρησιμοποιηθεί για να αναπαραστήσουν πιο περίπλοκες επιφάνειες.

9. Φωτομετρική αποκατάσταση • Θεωρείται ότι οι επιφάνειες είναι Lambertian οπού η ένταση φωτισμού της εικόνας είναι παράγωγο μόνο της έντασης σκίασης και της έντασης ανάκλασής. • Αν υποθέσουμε ότι έχουμε το HSB πρότυπο χρωματισμού • I = Is ・ Ir • Αν γνωρίζουμε τη ένταση σκίασης Isη ένταση ανάκλασης θα υπολογίζεται από το τύπο • Ir = elog I−log Is • Η φωτομετρικά αποκατεστημένη εικόνα υπολογίζεται από το τύπο • Ip = k ・ Ir, όπου k ∈ [0, 1].

10. Αποκατάσταση γεωμετρίας • Χρήση τεχνικής shape from shading πάνω στην εικόνα σκίασης με την υπόδεση ότι το έγγραφο ψηφιοποιήθηκε με προοπτική προβολή. • Με την υπόθεση ότι η επιφάνεια εγγράφου ακολουθεί την αντανάκλαση Lambertian, έχουμε την εξίσωση ακτινοβολίας εικόνας ως εξής: • (u,v) είναι οι κοινωνικοποιημένες συντεταγμένες της εικόνας • Ι(u,v) είναι η ένταση στο εικονοστοιχείοu,v • (−p,−q, 1) είναι το κανονικό διάνυσμα της επιφάνειας • F είναι το εστιακό μήκος (focal length), δηλαδή την απόσταση από το οπτικό κέντρο στο σημείο εστίασης • Όπου z είναι η απόσταση του σημείουx,y της επιφάνειας από το επίπεδο u-v

11. Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework • Η εξίσωση ακτινοβολίας εικόνας ξαναγράφεται σαν στατική εξίσωση Hamilton-Jacobi • Ω είναιτο επίπεδο της εικόνας, Γ είναι ένα υποσύνολο των σημείων του Ω όπου η τιμή z(u, v) ονομάζεται ως B(u, v), και καλείται συνοριακή τιμή αλλά μπορεί να βρίσκονται και στο εσωτερικό της εικόνας Ω. • Χρησιμοποιώντας μία επαναληπτική μέθοδο για την εύρεση των z(u, v)βασισμένη στoν τύπο Lax-Friedrichs Hamiltonianυπολογίζονται • (Δu,Δv) είναι το μέγεθος του πλέγματος, σu,σvτα τεχνητά viscosities

12. Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework Η επαναληπτική μέθοδος είναι βασισμένη σε ένα γρήγορα επαναληπτικό σχήμα Κατ' αρχάς, υπολογίζονται οι τιμές των όρων B(u, v). Έπειτα, τα z(u, v) ενημερώνεται με τη σάρωση του πλέγματος από τις τέσσερις εναλλασσόμενες κατευθύνσεις. Τέλος, μετά από κάθε .σάρωση οι τιμές ύψους αξιολογούνται στα όρια όπου ο τύπος αναπροσαρμογών αποτυγχάνει να υπολογίσει. Η πολυπλοκότητα είναι O(N) όπου το N είναι ο αριθμός σημείων πλέγματος.

13. Αποκατάσταση γεωμετρίας – Πέρασμα 2 Ελαχιστοποίηση μεκοινωνικοποίηση • Το πρώτο πέρασμα παράγει τα ιξώδη( viscosities ) τού SFS προβλήματος αλλά η υπαρξη θορηβου στην εικόνα σκίασης πολλές φορές προκαλεί μεγάλα σφάλματα. • Τα αποτελέσματα του πρώτου περάσματος μπορούν να χρησιμοποιηθούν σε μια μέθοδο ελαχιστοποίησης αλγορίθμου SFS με συνάρτηση για τον υπολογισμό των p,q I(p, q) η ακτινοβολία E(u, v) είναι η ένταση εικόνας, λiσυντελεστής της integrabilityκαι λsσυντελεστής εξομάλυνσης Για των υπολογισμό των υψών z στα αντίστοιχα q και p χρησιμοποιείται η συνάρτηση Περνάει ως είσοδος τα αποτελέσματα των (p, q) από το πρώτο πέρασμα και επαναλαμβάνεται μια διαδικασία για των υπολογισμό καλύτερων (p, q)mπου ελαχιστοποιούν την F1 που είναι είσοδος της F2 και παίρνουμε νέα ύψη z.

14. Physically-based Flattening • Χρήση της διορθωμένης ως προς τον φωτισμό εικόνας έγγραφου ως ύφη (texture) • Χαρτογράφηση της υφής (texture mapping) πάνω στο 3Δ ανακατασκευασμένο σχήμα • Η χαρτογράφηση γινεταί χρησιμοποιώντας τον μετασχηματισμό της προοπτικής προβολής • x/u = y/v = z/f. Το ξεδίπλωμα του 3Δ μοντέλου θα δώσει την διορθωμένη εικόνα.

15. Πειραματικά αποτελέσματα (a) (b) (c) (d) (e) (f) (g) (h) (i) (a) Original warped image (b) Inpainting mask; (c) Extracted shading image after surface fitting; (d) Reconstructed shape after passI; (e) Shape after pass II; (f) Surface mesh with texture; (g)Photometrically restored image with k = 0.9; (h) Geometricallyrestored image; (i) Final restored image.