הפרדה בין טקסט לרקע רועש

1. הפרדה בין טקסט לרקע רועש Separation of text from noisy background מריוס הרשקוביץ

2. תוכן • רקע • שיטות ואלגוריתמים • תוצאות

3. רקע

4. Image binarization, image thresholding – זהו השלב הראשון בעיבוד המסמך. • Input : תמונת gray scaleOutput : תמונה בינארית • בשלב זה מחליטים לגבי כל פיקסל האם הוא שייך לרקע או לטקסט. • היכולות של אלגוריתמי הזיהוי בשלבים המאוחרים יותר מושפעות מאיכות ההפרדה בין התווים לרקע שמבוצעת בשלב זה.

5. דוגמאות לבעיות שפוגעות באיכות המסמכים • אותיות מודגשות בצבעים שונים • כתמים על גבי המסמך • איכות כתב נמוכה • צללים על גבי המסמך בגלל רמת תאורה נמוכה בזמן לכידת תמונת המסמך

6. שימושים • עיבוד אוטומטי של צ'קים • חיפוש מסמכים באינטרנט • זיהוי לוחיות רישוי • זיהוי תויות על גבי דיסקים • עיבוד מפות • Video conference • זיהוי צורות וכתב בשרטוטים הנדסיים • מערכות אוטומטיות למיון דואר

7. שיטות ואלגוריתמים

8. Global thresholding • threshold אחיד לכל התמונה • הפרדה בין טקסט או אובייקט לבין הרקע תוך שימוש במידע לגבי רמות האפור בכל התמונה בלבד • פיקסלים עם רמת אפור גדולה מה- threshold שייכים לרקעפיקסלים עם רמת אפור גדולה מה- threshold שייכים לטקסט

9. Global thresholding - השגות • חפיפה בין ההיסטוגרמות של הרקע ושל הטקסט • רקע לא אחיד בעל כמה רמות אפור

10. Global thresholdingOtsu’s method • על פי המקורות זאת השיטה המתקדמת ביותר ל- global thresholding • השיטה מעריכה את טיב ה- threshold ובוחרת threshold אופטימלי

11. Global thresholdingOtsu’s method - המשך • רמות האפור בתמונה: [1,2,…,L] • ni– מספר הפיקסלים עם רמת אפור i • N=n1+n2+…nL– סה"כ הפיקסלים בתמונה • pi=ni/N • מחלקים את הפיקסלים לשתי קבוצות:C0=[1,…,k] – פיקסלים השייכים לטקסט או לאובייקטיםC1=[k+1,…,L] - פיקסלים השייכים לרקע

12. Global thresholdingOtsu’s method - המשך קריטריונים להערכת הטיב – מיקסום של אחת הפונקציות הבאות - השונות בתוך הקבוצות - השונות בין הקבוצות - השונות הכללית

13. Global thresholdingOtsu’s method - המשך - הסתברות הופעת הקבוצה - תוחלת הקבוצה

14. Global thresholdingOtsu’s method - המשך - שונות הקבוצה לסיכום – בוחרים k* שנותן מקסימלי

15. Global thresholdingOtsu’s method – תוצאות מהמאמר

16. Global thresholdingOtsu’s method – הבטים נוספים • ה- המקסימלי ( ) מהווה מדד ליכולת ההפרדה בין הקבוצות ולסיבוכיות התמונה • , 0 כאשר יש רמת אפור אחת בלבד בתמונה ו-1 כאשר יש שתי רמות אפור בלבד בתמונה • ככל ש יותר נמוך התמונה יותר מסובכת

17. Recursive Global Thresholding • שיטת Otsu טובה כאשר יש בתמונה שתי קבוצות (2 peaks בהיסטוגרמה). כאשר יש בתמונה יותר משתי קבוצות השיטה מתקשה לפעול • שיטת Recursive Otsu הינה הרחבה של השיטה של Otsu. • השיטה מפעילה את האלגוריתם של Otsu שוב ושוב כאשר בכל פעם הפיקסלים שגבוהים מה- threshold הופכים לרקע (255) והפיקסלים שנמוכים מה- threshold נשארים • התהליך ממשיך עד אשר אין יותר peaks בתמונה או עד שהאזורים הופכים קטנים מידי

18. Recursive Global Thresholding -המשך מצא את ההסטוגרמה של התמונה ללא הרקע הלבן מצא את הסטוגרמת התמונה המקורית השתמש בשיטת Otsu כדי לחשב את th ו- SP כן SP<0.95 SP<0.95 לא לא התמונה מכילה את האוביקט האחרון כן הפוך את הפיקסלים שגדולים מה- th לרקע מצא את ההסטוגרמה של התמונה כולל הרקע הלבן השתמש בשיטת Otsu כדי לחשב את th ו- SP

19. Global thresholdingOtsu’s methodRecursive– תוצאות מהמאמר

20. Global thresholdingOtsu’s methodRecursive– סיכום • השיטה פותרת את הבעיה של מספר רמות אפור ברקע • השיטה עדיין מתקשה לפעול כאשר יש התלכדות בין רמות האפור של הכתב והרקע

21. Local thresholding תכונות התווים אותם רוצים לזהות • התווים בעלי רמות אפור נמוכות יותר מהפיקסלים שבשכנותם • השינויים ברמות האפור בתוך התו מוגבלים • התווים הם דקים ובעלי עובי נמוך מערך מסויים • הגבולות של התו הם בעלי contrast מקומי גדול יותר מזה של הרקע

22. Local thresholding - המשך האלגוריתם • עבור כל פיקסל (x,y) בתמונה F בוחרים threshold (T(x,y)): T(x,y)=(Fmax(x,y)+Fmin(x,y))/2 השווה לממוצע של הערך הגדול ביותר והערך הקטן ביותר בסביבה r*r מסביב לפיקסל (x,y). r הוא העובי של הקו • הקונטרסט המקומי מחושב על פי ההפרש בין המינימום והמקסימום המקומיים: C(x,y)=Fmax(x,y)-Fmin(x,y)

23. Local thresholding - המשך בינאריזציה • t = Otsu(C(x,y))

24. Local thresholding – תוצאות מהמאמר

25. Local thresholding – סיכום יתרון • השיטה פועלת גם כאשר הכתב הוא לא האובייקט בעל רמת האפור הנמוכה ביותר בתמונה חסרון • מתקשה לפעול עם רקע המשתנה במהירות

26. Logical level technique • קובעים את עובי הקוים - W • משווים את הערך של כל פיקסל עם ערך הממוצע המקומי של ארבעה אזורים שכנים בגודל (2W+1)x(2W+1) • אם הערך של הפיקסל הוא נמוך ב- T רמות מכל ארבעת האזורים, אז הוא שייך לכתב

27. Logical level technique – תוצאות מהמאמר

28. Logical level technique – תוצאות מהמאמר

29. שיטות להערכת הטיב של האלגוריתמים • שיטות סובייקטיביות: • יכולת דחיית הרקע • המשכיות הקוים • יכולות הזיהוי של אלגוריתמים מאוחרים המוזנים על ידי ה- output של האלגוריתמי הבינאריזציה • שיטות אובייקטיביות: • זמן עיבוד • זכרון • מספר הפרמטרים • סיבוכיות קביעת הפרמטרים

30. תוצאות

31. Otsu’s method k = 81 eta = 0.9790

32. Otsu’s method k = 143 eta = 0.7603

33. Recursive Otsu’s method

34. Recursive Otsu’s method

35. Local threshold method

36. Local threshold method

37. תמונה מקורית Otsu’s method Local thresholding k = 206 eta = 0.5125 Recursive Otsu