自動灰階影像上色系統
This presentation is the property of its rightful owner.
Sponsored Links
1 / 73

自動灰階影像上色系統 PowerPoint PPT Presentation


  • 107 Views
  • Uploaded on
  • Presentation posted in: General

自動灰階影像上色系統. 指導老師 : 楊傳凱 教授 口試委員 : 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生 : 張佑瑋 口試時間 : 中華民國 94 年 7 月 15 日. 大綱. 第一章 緒論 背景 研究動機 影像彩色化流程 第二章 文獻探討 灰階影像彩色化 (grayscale image colorization) 材質合成 (texture synthesis) 第三章 彩色化 流程簡介 方法簡介 第四章 實驗結果 實驗環境 實驗結果 第五章 結論. 第一章 緒論. 背景

Download Presentation

自動灰階影像上色系統

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


6436428

自動灰階影像上色系統

指導老師:楊傳凱 教授

口試委員:楊傳凱 教授

項天瑞 教授

李育杰 教授

學生: 張佑瑋

口試時間:中華民國94年7月15日


6436428

大綱

  • 第一章 緒論

    • 背景

    • 研究動機

    • 影像彩色化流程

  • 第二章 文獻探討

    • 灰階影像彩色化(grayscale image colorization)

    • 材質合成(texture synthesis)

  • 第三章 彩色化

    • 流程簡介

    • 方法簡介

  • 第四章 實驗結果

    • 實驗環境

    • 實驗結果

  • 第五章 結論


6436428

第一章 緒論

  • 背景

    • 灰階影像彩色化科學上之實用性

      • 醫學影像(MRI,CT,X-Ray)


6436428

第一章 緒論

  • 背景

    • 灰階影像彩色化科學上之實用性

      • 醫學影像(MRI,CT,X-Ray)

      • 衛星影像


6436428

第一章 緒論

  • 背景

    • 灰階影像彩色化科學上之實用性

      • 醫學影像(MRI,CT,X-Ray)

      • 衛星影像

      • 電子顯微鏡影像


6436428

第一章 緒論

  • 背景

    • 灰階影像彩色化科學上之實用性

      • 醫學影像(MRI,CT,X-Ray)

      • 衛星影像

      • 電子顯微鏡影像

    • 灰階影像彩色化娛樂上之實用性

      • 黑白圖片/電影之彩色化


6436428

灰階影像彩色化之問題

  • 如何將灰階影像彩色化?


6436428

灰階影像彩色化之問題

  • 如何將灰階影像彩色化?


6436428

灰階影像彩色化之問題

  • 如何將灰階影像彩色化?

  • Is his tie blue or green?


6436428

灰階影像彩色化之問題

  • 如何將灰階影像彩色化?

  • Red!!


6436428

灰階影像彩色化之問題

  • 如何將灰階影像彩色化?

  • 議題:

    • 沒有正確解答

    • 需要有想像力

    • 如何能減少人為介入?


6436428

研究動機

  • Welsh et al. 提出「將灰階影像著色(Transferring Color to Grayscale Image)」之論文

    • 優點:簡便

    • 缺點:秏時、沒有一般性


Welsh

Welsh 方法

目標影像


Welsh1

???

Welsh 方法

Target

  • 選擇彩色來源影像

來源影像

+

???


Welsh2

Welsh 方法

目標影像

  • 選擇彩色來源影像

  • 從來源影像中尋找最合適目標影像的像素

來源影像

+


Welsh3

Welsh 方法

Target

  • 選擇彩色來源影像

  • 從來源影像中尋找最合適目標影像的像素

    • 從像素的鄰域來考慮

Source

+


Welsh4

Welsh 方法

Target

  • 選擇彩色來源影像

  • 從來源影像中尋找最合適目標影像的像素

    • 從像素的鄰域來考慮

  • 轉換顏色

Source

+

=


Welsh5

Welsh 方法

Target

Final

  • 選擇彩色來源影像

  • 從來源影像中尋找最合適目標影像的像素

    • 從像素的鄰域來考慮

  • 轉換顏色

  • 重覆每個像素

Source

+

=


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

      • 將lαβ空間應用在影像處理上


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

      • 將lαβ空間應用在影像處理上

      • 兩張不同影像之風格轉換

        將圖(b)的特徵成功的傳遞到(a)中,最後的成果見圖(c)


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

    • 灰階影像上色Transferring Color to Grayscale Images

      可以由一張來源的彩色圖和一張灰階圖,然後參考彩色圖並且將灰階圖「上色」成彩色


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

    • 灰階影像上色Transferring Color to Grayscale Images

    • 最佳化上色Colorization using Optimization

      (a) (b) (c)

      最左邊的影像(a)為黑白圖,上面的彩色線條是人為上色,中間的圖(b)是產生出來的結果,右邊的圖(c)是原圖


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

    • 灰階影像上色Transferring Color to Grayscale Images

    • 最佳化上色Colorization using Optimization

    • 快速灰階影像彩色化 Fast Colorization of Gray Images

      • 影像分群

      • 彩色化方法

        • 1.利用5x5大小的鄰域,把25個像素值均列入考慮計算。

        • 2.只考慮5x5微影像的平均(mean)和標準差(standard deviation)

        • 3.結合1&2的方法綜合考慮


6436428

第二章 文獻探討

  • 灰階影像彩色化

    • 兩張影像間顏色轉換Color transfer between images

    • 灰階影像上色Transferring Color to Grayscale Images

    • 最佳化上色Colorization using Optimization

    • 快速灰階影像彩色化 Fast Colorization of Gray Images

    • 數位典藏灰階圖照之彩色化技術Color Transform for Digital Library Grey-value Images

      • 利用四分樹分割灰階和彩色影像

      • 判斷紋理特徵

      • 參考Welsh方法上色


6436428

第二章 文獻探討

  • 材質合成

    • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization

      • 多層次金字塔結構(pyramid structure)

      • 樹狀結構的向量式量化(Tree Structure Vector Quantization)


6436428

第二章 文獻探討

  • 材質合成

    • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization

    • 自然材質合成Synthesizing Natural Textures

      • 考慮鄰域像素的關聯性


6436428

第二章 文獻探討

  • 材質合成

    • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization

    • 自然材質合成Synthesizing Natural Textures

    • 影像類比Image Analogies

      • 利用A和A’相對關係類比到B因而得到B’。

        A A’ B B’


6436428

第二章 文獻探討

  • 材質合成

    • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization

    • 自然材質合成Synthesizing Natural Textures

    • 影像類比Image Analogies

      • 利用A和A’相對關係類比到B因而得到B’。

      • 灰階影像彩色化


6436428

利用影像類比將灰階影像彩色化

A A’

B B’


6436428

第三章 彩色化

  • 影像彩色化流程


6436428

灰階影像 G

彩色影像 C

顏色轉換

顏色轉換

正規化

影像金字塔 G1

分群演算法

分群演算法

最相似鄰域比對

最相似鄰域比對

灰階影像上色

灰階影像上色

彩色化灰階影像

G’

彩色化灰階影像

G1’

影像修正

一致化修正

彩色化灰階影像

G’


6436428

第三章 彩色化

  • L2 norm

    • 若我們選取的鄰域所成的集合為N時,L2 norm的表示為

      其中誤差距離E就是我們的彩色鄰域Nc (以c為中心

      的鄰域)和灰階鄰域Ng (以g為中心的鄰域)的

      L2 norm值。C表示彩色的影像,G表示灰階影像,而

      p表示在這鄰域內的像素。


6436428

第三章 彩色化

  • L2 norm 缺點

    • E(N1,N2)=9

    • E(N1,N3)=9

    • N1,N2,N3三者應是同一物件材質?

5 5 5

5 5 5

5 5 5

6 6 6

6 6 6

6 6 6

4 4 4

6 6 6

4 6 4

鄰域N1

鄰域N2

鄰域N3


6436428

第三章 彩色化

  • L2 norm 缺點

    • E(N1,N2)=9

    • E(N1,N3)=9

    • N1,N2,N3三者應是同一物件材質?

    • 解決方法

      • 梯度法(gradient)

5 5 5

5 5 5

5 5 5

6 6 6

6 6 6

6 6 6

4 4 4

6 6 6

4 6 4

鄰域N1

鄰域N2

鄰域N3


6436428

第三章 彩色化

  • 梯度法(gradient)

    • 梯度的表示如下:

      N為所要測量的鄰域,q是當前的像素位置,p是q的鄰居,也就是位於q的上下左右四個位置的像素。

    • 以下圖三個鄰域為例:

    • G(N1)=0,G(N2)=0, G(N3)=(6-6)+(6-4)+(6-6)+(6-6)=2

    • N1和N2應該是同一物件的材質。

5 5 5

5 5 5

5 5 5

6 6 6

6 6 6

6 6 6

4 4 4

6 6 6

4 6 4

鄰域N1

鄰域N2

鄰域N3


6436428

第三章 彩色化

  • 鄰域愈大轉換準確度愈高,則計算成本增加,所需時間變多

  • 如何在準確度和計算成本以及速度上同時達到最佳化?


6436428

第三章 彩色化

  • 鄰域愈大轉換準確度愈高,則計算成本增加,所需時間變多

  • 如何在準確度和計算成本以及速度上同時達到最佳化?

    • 利用影像金字塔(pyramid)


Pyramid

影像金字塔(pyramid)

來源影像

目標影像

目標影像level 1

來源影像level 1


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

    其中C(p)是指彩色影像中每個像素的明亮值,mC和σC表示彩色影像中明亮度的平均值和標準差,而mG和σG表示灰階影像中的明亮度的平均和標準差。


6436428

調整彩色影像的明亮度

調整前之來源影像

Source-Before

目標影像

Target

Source-After

調整後之來源影像


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

  • 樹狀結構量化(TSVQ)

    • 加速影像上色速度


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

  • 樹狀結構量化(TSVQ)

    • 原始影像(pyramid 0)微影像鄰域大小為9×9, 3×3,以微影像 l 的平均值、標準差、梯度分別建立9×9, 3×3兩量化樹

    • 若有需要,建立粗略影像(pyramid 1)微影像鄰域大小為5×5, 3×3,以微影像 l 的平均值、標準差、梯度分別建立5×5, 3×3兩量化樹

    • 分別從量化樹中尋找最適合的像素鄰域


6436428

每一Depth中,左列為分群的情況,右列為編碼的示意圖,其中紅點為此群的代表點

樹狀結構量化(TSVQ)


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

  • 樹狀結構量化(TSVQ)

  • 色彩空間轉換 lαβ → RGB


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

  • 樹狀結構量化(TSVQ)

  • 色彩空間轉換 lαβ → RGB

  • 參照粗略影像(pyramid 1)修正原始影像(pyramid 0)


6436428

參照粗略影像修正原始影像

=

彩色化目標影像level 1

彩色化之目標影像

levle0

level 1 修正 level 0

=

彩色化目標影像level 1

彩色化之目標影像

levle0

level 1 修正 level 0


6436428

彩色化流程

  • 色彩空間轉換 RGB→lαβ

  • 調整彩色影像的明亮度

  • 樹狀結構量化(TSVQ)

  • 色彩空間轉換 lαβ → RGB

  • 參照粗略影像(pyramid 1)修正原始影像(pyramid 0)

  • 影像一致化

    • 以3×3統計所有像素梯度


6436428

影像一致化

  • 每張影像梯度值分佈不一定相同


6436428

影像一致化

  • 每張影像梯度值分佈不一定相同

  • 以等比例方法來一致化


6436428

影像一致化各階段之影響

來源影像

目標影像

彩色化之目標影像

levle0

=

來源影像level 1

目標影像level 1

彩色化目標影像level 1

level 1 修正 level 0

一致化後影像


6436428

第四章 實驗結果

  • 實驗環境

  • 記錄的影像彩色化時間是指將灰階影像彩色化後並且完整地呈現在螢幕上所需的時間


6436428

第四章 實驗結果

原始影像 A1 灰階影像 A2

Welsh結果 A3我們結果A4


6436428

第四章 實驗結果

原始影像 B1 灰階影像 B2

Welsh結果 B3我們結果B4 Blasi結果B5


6436428

第四章 實驗結果

原始影像 C1 灰階影像 C2

Welsh結果 C3我們結果 C4 Blasi結果C5


6436428

第四章 實驗結果

原始圖D1 灰階圖D2

Welsh法D3我們結果D4

Welsh法E3我們結果E4

原始圖 E1 灰階圖 E2


6436428

第四章 實驗結果

原始圖F1 灰階圖F2

Welsh法F3我們結果F4

原始圖G1 灰階圖G2

Welsh法G3我們結果G4


6436428

第四章 實驗結果

原始圖H1灰階圖H2

Welsh法H3我們結果H4

原始圖I1灰階圖I2

Welsh法I3我們結果I4


6436428

第四章 實驗結果

原始圖J1 灰階圖J2

Welsh法J3 我們結果J4

Blasi 法 K4我們的方法 K5

來源圖 K1目標圖 K2原目標圖 K3


6436428

第四章 實驗結果

來源圖 L1目標圖 L2原目標圖 L3

Blasi 法 L4我們的方法 L5

來源圖 M1目標圖 M2原目標圖 M3

Blasi 法M4 我們的方法M5


6436428

第四章 實驗結果

  • 一致化改良

    • 考慮上下、左右兩組像素之RGB顏色

改良前

a b


6436428

第四章 實驗結果

  • 一致化改良

    • 考慮上下、左右兩組像素之RGB顏色

    • a圖彩色化效果變好但是b圖變差

      • 在影像著色上,很難找到一個方法是可以對每張影像都達到最好的效果

改良後

a b


6436428

第四章 實驗結果

  • 我們實作時間


6436428

第四章 實驗結果

  • 我們實作時間

  • Welsh實作時間,

    • 其設備為Pentium3 900Mhz CPU及Matlab實作,彩色化影像的時間為15秒至4分鐘

  • Blasi的實作時間

    • 其配備為dual Athlon XP2000+,記憶大小為1GB RAM,作業系統為Linux平台的Red Hat8.0


Blasi

Blasi的實作時間

每一欄方法的右邊數據為未加速,以全影像搜尋的結果,

而左邊為採用反極策略(antipole strategy)來建構影像資料,

以加速搜尋速度的果。


Blasi1

Blasi的實作時間


6436428

第五章 結論

  • 在本論文中,我們提出一個很簡單也很有效率的方法來將灰階影像彩色化

  • 本論文之貢獻

    • 以梯度來取代L2 norm

    • 固定鄰域大小及使用影像金字塔

      • 在原始影像以9x9和3x3

      • 在粗略影像以5x5和3x3

    • 以TSVQ加速著色速度

    • 一致化修正顏色不連續之情形


6436428

第五章 結論

  • 缺點:當兩材質特性十分相似時,在其判定上就可能出錯

  • 無論是以L2 norm或是以統計方式求平均值、變異數或是梯度都難以發現沙灘、海和天空有任何顯著的不同

原始圖K1 灰階圖K2

Welsh法K3我們結果K4


6436428

第五章 結論

  • 未來之展望

    • 結合人工智慧和影像分割的技術增加顏色比對正確率

    • 建立影像資料庫,達到完全自動化


6436428

報告結束

謝謝各位口試委員


6436428

Wei


Synthesizing natural textures

synthesizing natural textures


  • Login