1 / 36

以碎形正交基底和時間情境圖為基礎進行之視訊檢索 Video retrieval based on fractal orthogonal bases and temporal graph

以碎形正交基底和時間情境圖為基礎進行之視訊檢索 Video retrieval based on fractal orthogonal bases and temporal graph. 研究生 ：張敏倫 指導教授：蔣依吾博士 國立中山大學資訊工程學系. 視訊檢索. 關鍵字 - 檔名 人工定義 - 見解不同定義有所差別 關鍵字意義不同 Content based video retrieval(CBVR) 傳統方法 – 影片摘要 缺乏視訊結構上觀點 本論文 視訊結構 - 時間情境圖 視訊內容 - 碎形正交基底. 影片序列輸入. HSV 粗略分割.

chelsey
Download Presentation

以碎形正交基底和時間情境圖為基礎進行之視訊檢索 Video retrieval based on fractal orthogonal bases and temporal graph

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 以碎形正交基底和時間情境圖為基礎進行之視訊檢索Video retrieval based on fractal orthogonal bases and temporal graph 研究生：張敏倫 指導教授：蔣依吾博士 國立中山大學資訊工程學系

  2. 視訊檢索 • 關鍵字-檔名 • 人工定義-見解不同定義有所差別 • 關鍵字意義不同 • Contentbasedvideoretrieval(CBVR) • 傳統方法–影片摘要 • 缺乏視訊結構上觀點 • 本論文 • 視訊結構-時間情境圖 • 視訊內容-碎形正交基底

  3. 影片序列輸入 HSV粗略分割 依據比率失真度準則進行shot segment並擷取關鍵影像 Y Shot 內變異數達預設比率 N NCut分群 建立時間情境圖 Video 字串剖析 有向圖轉字串 String frame 相似性量測: 1. 視訊結構 2. 視訊結構和視訊內容 FOB

  4. 影片序列輸入 HSV粗略分割 依據比率失真度準則進行shot segment並擷取關鍵影像 Y Shot 內變異數達預設比率 N NCut分群 建立時間情境圖 Video 字串剖析 有向圖轉字串 String frame FOB 相似性量測: 1. 視訊結構 2. 視訊結構和視訊內容

  5. HSV粗略分割-降低複雜度 • HSV初始分割 • 影像之HSV histogram 交集定義影像之間相似度 • 令 為第x張影像之彩色直方圖，影像x與影像y之色彩相似度定義為

  6. 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 擷取關鍵影像 • 根據失真變異度 • 每個分鏡選取一張關鍵影像 • 若分鏡差異失真度大於threshold則分割

  7. motion compensated current frame reference frame reconstructed frame

  8. Rate- distortion criterion

  9. Rate- distortion criterion

  10. 影片序列輸入 HSV粗略分割 依據比率失真度準則進行shot segment並擷取關鍵影像 Y Shot 內變異數達預設比率 N NCut分群 建立時間情境圖 Video 字串剖析 有向圖轉字串 String frame FOB 相似性量測: 1. 視訊結構 2. 視訊結構和視訊內容

  11. Clustering Using Normalized Cut • 每個segment代表節點，邊(edge)上之權重值為 • 解公式(1)藉由合適特徵值所對應之特徵向量

  12. Temporal graph generation 0 1 3 4 2 5 2 6 7 8 9 1 2

  13. 影片序列輸入 HSV粗略分割 依據比率失真度準則進行shot segment並擷取關鍵影像 Y Shot 內變異數達預設比率 N NCut分群 建立時間情境圖 Video 字串剖析 有向圖轉字串 String frame FOB 相似性量測

  14. 有向圖轉字串- Algorithm [ 0 1 3 4 8 ] [0126789 ] [ 0126789[252]] [ 0126789[252[2342]] ] [ 0 1 3 4 8[1 2 1] [3 5 6 7 4 [ ( 53 45) ] ] ] [ 0 1 3 4 8 [ 1 2 1] ] [ 0 1 3 4 8[1 2 1] [ 3 5 6 7 4 ] ]

  15. 影片序列輸入 HSV粗略分割 依據比率失真度準則進行shot segment並擷取關鍵影像 Y Shot 內變異數達預設比率 N NCut分群 建立時間情境圖 Video 字串剖析 有向圖轉字串 String frame FOB 相似性量測: 1. 視訊結構 2. 視訊結構和視訊內容

  16. 相似性量測-視訊結構 • 利用edit-distance對兩string的主結構字串做相似性量測

  17. Edit Distance • To find a smallest edit process between two strings. S1: TAGTCACG S2: AGACTGTC Operation: DMMDDMMIMII

  18. 0 1 2 12 [2 11 2 [ 2 3 2 [ 2 8 9 10 2 [ 2 4 5 6 7 2 ] ] ] ]

  19. 視訊結構

  20. 碎形正交基底(FOB) • 相似影像有相似碎形函數； • 相似歸結圖有相似碎形函數； • 兩碎形函數不相似，其歸結圖亦不相似； • 兩影像不相似，其碎形函數亦不相似；

  21. 相似性量測-視訊結構和視訊內容 • 利用edit-distance對兩string主結構計算互相之distance

  22. 視訊結構和視訊內容 0 1 2 12 [2 11 2 [ 2 3 2 [ 2 8 9 10 2 [ 2 4 5 6 7 2 ] ] ] ]

  23. 01[1231[343]]

  24. 視訊結構

  25. 視訊結構和視訊內容

  26. 結論與未來展望 • 結論 • 分群準則-影響時間情境圖 • 時間複雜度-視訊結構和視訊內容 • 未來展望 • 依個人喜好建立個人化之影片類別 • 降低計算時間

  27. 報告完畢謝謝

More Related