KTPs 字幕擷取

KTPs字幕擷取 100學年度上學期 LAB603Meeting 報告人：資訊碩一蔡勇儀指導教授：張元翔副教授日期：2011/09/20

主要參考文章 Effective and efﬁcient video text extraction usingkey text points, Z. Li G. Liu, X. Qian, D. Guo, H. Jiang, IET Image Process., 2011, Vol. 5, Iss. 8, pp. 671–683

大綱簡介 – 字幕重要性與擷取字幕的困難點擷取字幕方法 – 四大步驟：偵測、定位、追蹤、分段 KTPs概念說明小波轉換(卡關中…)

簡介字幕重要性：給予影(圖)片觀看者以最直觀的方式瞭解特定內容擷取字幕的目的：聲音比對、建立收尋資料庫系統、取得特定資料等… 擷取字幕的困難點：字幕本身特值(ex.字形顏色)、背景影響、字幕所占的空間位置等…

擷取字幕基本步驟 四大步驟 Text detection – 單純偵測是否含有字幕 Localisation– 定位字幕位置 Tracking– 追蹤字幕出現與消失的時間(影格) Segmentation– 將字幕區隔並切段

第一步&第二步Text delection&Localisation • 單一影格(frame)分析 • Connected component-based • Edge-based • Texture-based • 多重影格分析(文章內並未在此多著墨) • Multi-frame averaging • Time-based minimum pixel search

Connected component-based 原理：依據預期的文字特徵(如字形、顏色、大小等…)來做字幕的偵測與定位。容易出現的問題：在複雜的背景下，不易正確判斷。

Edge-based 原理：　以影像處理(色調、亮度落差等…)的方式區隔出字幕邊緣以分辨前景(字幕)、背景(影片)。容易出現的問題：當背景物體與字幕邊緣的顏色或亮度落差不大時，很容易判斷失誤。

Texture-based 原理：將影像透過各類型的訊號轉換(小波、傅立葉等…)後與內建的文字特徵做比對，藉此來精準抓取字幕。容易出現的問題：當背景結構與字幕類似時不易辨別，且需要較大的計算量。 PS.此文章所講的技術即是用此方式。

Example

Multi-frame averaging 原理：利用多個連續影格中的影像均值來區別背景與字幕。容易遇到的問題：運算量十分龐大。

第三步 -Tracking 大多透過兩影格間相對位置的顏色與亮度落差來判斷哪時字幕出現或消失。對於多重影格分析非常重要。

第四步 -Segmentation 將字幕從影片中截段分割出來，並可透過OCR(光學文字判斷)來轉成數位文字。

KTPs概念說明 • 全名KeyTextPoints(KTPs) • 在第一&二步中是屬於單一影格分析中的Texture-based，第三步(Tracking)是運用了多重影格分析的原理，第四步則是Edge-Based來做合併 • 基本原理在於訊號轉換(小波轉換)後抓取文字特定的特徵點(關鍵點)，透過這些關鍵點來做追蹤與分段合併的動作。 PS. 由於小波轉換卡關的關係，並不是很確定是不是這樣。

離散小波轉換 將原始離散訊號分離成多頻帶訊號，具有可逆性主要特色在於具有較好的壓縮性與降低雜訊干擾處理上比傅立葉轉換還有效率

離散小波轉換 c(n) d(n)

離散小波轉換 d(n)

離散小波轉換

離散小波轉換 1988Daubechies

離散小波轉換 濾除雜訊

離散小波轉換

卡關點 即使知道基礎的小波轉換，但與文章上的小波轉換有明顯的不同，沒辦法理解文章上所提的式子，且對於數學式子的概念明顯薄弱。 PS.Moving Average System與離散小波轉換的關聯性?

報告結束 謝謝聆聽。離散小波轉換參考文章 -Wavelet Transforms | A Quick Study To Be Continued?

KTPs 字幕擷取