第一章 光、影像 、浮水印 和抽樣原理

1. 第一章光、影像、浮水印和抽樣原理

2. 內容 • 1.1 前言 • 1.2 光與顏色 • 1.3 人眼與照像機的關係 • 1.4 彩色模式的轉換 - RGB、YIQ、HSV、YUV和YCbCr • 1.5 隱像術與浮水印 • 1.6 人臉的定位應用 • 1.7 影像抽樣原理 • 1.8 結論 • 1.5.1 影像的位元平面剖析 • 1.5.2 基本原理 • 1.6.1 形態學 • 1.6.2 離散餘弦轉換 • 1.7.1 傅利葉轉換 • 1.7.2 避免混疊效應

3. 1.1 前言 光的特性和組成，人眼和相機的關係。色彩模式(Color model)的轉換，隱像術(Image Hiding)和浮水印(Watermark)之一。人臉定位:形態學(Morphology)和離散餘弦轉換(Discrete Cosine Transform, DCT) 。 傅立葉轉換(Fourier Transform) 。迴積定理(Convolution Theorem) ， 影像抽樣原理。

4. 1.2 光與顏色 • 光(Light): 粒子，波。人:可見光，不能看見頻率(Frequency)低於可見光的紅外線和微波，也無法看見頻率高於可見光的紫外線和加瑪射線。 • 亮度(Brightness)和頻率的關係，如圖1.2.1所示。低頻率的紅光和高頻率的紫光的亮度都不如比較中間頻率的黃綠光來的強。 紅光波長： 紫光波長： 圖1.2.1 亮度與頻率的關係

5. 1.3 人眼與照像機的關係 • 影像處理前的輸入影像有很大的比例是由照像機(Camera)拍攝而得。 • 瞳孔:光圈，調節光通量，流明(Luminance)為單位。 圖1.3.1 人眼示意圖

6. 1.4 彩色模式的轉換 • 在影像的彩色模式中，比較常見的有下列幾種：(1)RGB， (2)YIQ，(3)HSV，(4)YUV ，(5)YCbCr。 • RGBYIQY :亮度(Luminance)；I :In-phase，色彩從橙色到青色；Q :Quadrature-phase，色彩從紫色到黃綠色。(NTSC 電視系統標準) (1.4.1) 範例1：R,G,B)=(100,50,30)，試求其對應的灰階值。 解答： 解答完畢

7. 範例2： 將 I 轉換成YIQ影像，這裡(10,20,40)代表R=10, G=20和B=40。 解答： YIQ影像為 解答完畢

8. 圖1.4.1 彩色Lena影像 圖1.4.2 轉換的高灰階Lena影像

9. RGBHSV (1.4.2) • H=0時代表紅色，H=120時代表綠色，H=240時代表藍色。 • S=0時，表示影像為灰階式的影像。 • 當H = 0且S=1時，影像為紅色。當V=0時，表示黑色。反之，當V=1時，表示白色的亮光。

10. HSV系統可以圖1.4.3表示其座標系統。 • HSV=HSB=HIS，B:Brightness，I:Intensity 。 圖1.4.3HSV彩色系統

11. YUVYIQ • 在JPEG系統中，我們第一步輸入RGB彩色影像。第二步將RGB彩色轉換成YCbCr彩色系統。 (1.4.3) 代表“Blue Minus ‘Black and White’ ” 代表“Red Minus ‘Black and White’ ”

12. 1.5 隱像術與浮水印1.5.1 影像的位元平面剖析 (a) R平面 (b) G平面 (a) B平面 圖1.5.1.1　彩色Lena影像的三張分解圖

13. 灰階Lena影像分解成八個位元平面 • (e) 第五張位元平面(f) 第六張位元平面 • (a) 第一張位元平面(b) 第二張位元平面 • (c) 第三張位元平面(d) 第四張位元平面 • (g) 第七張位元平面(h) 第八張位元平面 圖1.5.1.2　灰階Lena影像的八張位元平面剖析

14. 把圖1.5.1.2(e) ~ (h) 疊在一起可得到圖1.5.1.3。 圖1.5.1.2(e) ~ (h) 的合成影像

15. 範例1：給44子影像，子影像的每一個像素之灰階值佔用範例1：給44子影像，子影像的每一個像素之灰階值佔用 八個位元，請算出第三張位元平面。 解答：子影像轉換成 將右邊第三位元全部收集起來，得到第三位元平面： 解答完畢

16. 範例2：前述的隱像術之優缺點為何? 解答： 滿足上圖的函數也叫單程函數(One-way Function)。利用位元平面來植入影像的最大缺點為：一旦經過壓縮後，所植入的影像很容易受到破壞，解壓後所取出的影像常常已遭到破損。 解答完畢 植入容易 原影像 植入浮水印的影像 取出困難

17. 1.5.2 基本原理 • 隱像術把A影像隱藏在B影像並且讓人無法察覺B影像中藏了A影像。 • PSNR令B'為將A隱藏在B後的結果。PSNR(Peak Signal-to-Noise Ratio)很常被用來評估B'和B的相似性，PSNR的定義如下 • 浮水印可把A看成標誌(Logo)，通常這個標誌可想成一種版權。

18. SVD隱像術方法 已知有一 N × N 的灰階影像 A，假設 A 的秩(Rank)為 r， 則 A 的SVD可表示為 V和U為正交矩陣(Orthogonal Matrix)且 ，其中 滿足 和 。 這裏 等於 ， 為矩陣At A的第 i 個特徵值(Eigenvalue)。

19. 範例1：如何知道 ？ 解答：利用 解答完畢

20. 範例2：如何知道A可進行SVD分解？也就是，如何得到範例2：如何知道A可進行SVD分解？也就是，如何得到 (1.5.2.1) 解答：

21. 例如，令 ，則 。 的特徵值(Eigenvalues)為 和 。將特徵值開根號，A 的奇異值為 和 。特徵值為16的特徵向量為 而特徵值為0的特徵向量為 ，利用這二個特徵向量可建構出 利用 可得 所以

22. 又由 ，可得 。利用 可找出 。A的SVD可表示為 結合SVD及VQ之方法[20]，在壓縮和失真之間得到一個較好的平衡 。

23. 圖1.5.2.1(a)為待植入的F16影像，圖1.5.2.1(b) 為將F16植入圖1.4.2後的結果。F16經隱像後，效果的確蠻好的，畢竟在圖1.5.2.1(b)中，用肉眼實在看不出F16隱藏其中。 (a) 待植入的F16 (b) 用SVD將F16植入圖1.4.2後的結果 圖1.5.2.1　隱像後的效果

24. 範例3：一般而言，怎樣分辨浮水印和資料隱藏? 解答： 浮水印: 確定影像的所有者。 資料隱藏: 將資料隱藏起來。 解答完畢

25. 1.6 人臉的定位應用 1.6.1 型態學 圖1.6.1.1 輸入的影像 圖1.6.1.2 皮膚色所在 • 封閉(Closing)算子 • 開放(Opening)算子

26. 擴張(Dilation)和侵蝕(Erosion) A:待處理的區塊集;B:結構化元素集(Structuring Elements) • 擴張運算 • 侵蝕運算 圖1.6.1.3 集合A和B 圖1.6.1.4 D(A,B) 圖1.6.1.5 E(A,B)

27. 範例1：今將圖1.6.1.3的區塊集改成下圖所示的區塊： 試求D(A, B)和E(A, B)。 解答： 解答完畢

28. 範例1.1：延用圖1.6.1.3的結構化元素集B，請分別算出此三區塊集經開放算子及封閉算子運算後的結果，並加以說明。範例1.1：延用圖1.6.1.3的結構化元素集B，請分別算出此三區塊集經開放算子及封閉算子運算後的結果，並加以說明。

29. 解答： 封閉算子:擴張再侵蝕。經由擴張運算可以得到下圖的結果。 將擴張運算所得區塊集進行侵蝕運算，得下圖的結果。 開放算子:侵蝕再擴張 經由侵蝕運算可以得到下圖 將侵蝕運算所得區塊集進行擴張運算 得下圖的結果。 此即為封閉算子運算後的結果。 解答完畢

30. 範例2：如何利用擴張運算子D和侵蝕運算子E以求得影像中輪廓的外圍？範例2：如何利用擴張運算子D和侵蝕運算子E以求得影像中輪廓的外圍？ 解答：I:原影像，B:結構化元素集。D(I, B)將影像的輪廓擴張；E(I, B)可將影像的輪廓侵蝕。[D(I, B)-E(I, B)]:物體的輪廓外圍，這裏的‘-’代表兩影像相減。： 介於D(I,B)和E(I,B)之間的環形區域可視為物體I的輪廓。 解答完畢

31. 範例4：如何利用色調範圍來過濾皮膚色? 解答： 首先利用人工點選的方式，將所有訓練影像中的皮膚色予 以框出來，然後將色調抽取出來，並且將統計出來的平均 值 和標準差 用於濾波器的設計，下面為其示意圖：

32. 1.6.2離散餘弦轉換(Discrete Cosine Transform) • DCT 令 f(x,y) 為框框內位於(x,y)的灰階值減去128，則DCT的計算公式如下 (1.6.2.1) • IDCTf(x,y)也可透過IDCT(inverse DCT)得到，公式如下透過式子(1.6.2.2)求得f(x,y)後再加上128即可得到位於影像中(x,y)位置的原始灰階值。 (1.6.2.2)

33. DC(Direct Current、直流值) 此處N=8，則 • AC(Alternative Current、交流值) 圖1.6.2.1 8x8的灰階圖案及其灰階值 圖1.6.2.2 DCT後的結果

34. 範例2：當D(0, 0)>1000時，原88灰階影像為何種影像？ 解答：令全黑的灰階值為0，而全白的灰階值為255。已知 原88灰階影像可能為一幾近全白的平滑影像。 解答完畢 圖1.6.2.3為DCT後的頻率域之紋理方向示意圖。通常若框住皮膚色的框框是臉部時，在高頻區會有一些較大的係數表現。當DC值過小時和AC值過大，可進一步判斷有臉部的框框。 圖1.6.2.3 DCT頻率域的紋 理方向示意圖

35. 範例3：如何在臉部上找出眼睛和嘴巴的部位？範例3：如何在臉部上找出眼睛和嘴巴的部位？ 解答：假設找到的臉部如下所示： 利用水平投射法(Horizontal Projection) 我們可發現在(a, b)和(c, d)兩區間有頻率較高的波峰(Peak)，依位置而言，可合理推估(a, b)區間為眼部所在，而(c, d)區間為嘴巴所在，畢竟這兩個部分的邊點數是較多的。 解答完畢

36. 1.7 影像抽樣原理 1.7.1 傅利葉轉換 給一週期函數(Periodic Function) g(θ)， ，傅利葉原先的想法是將g(θ)用有正交性(Orthogonality)的傅利葉基底(Basis)來表示。這些正交的基底為cosθ、cos2θ、cos3θ、…、sinθ、sin2θ、sin3θ、…， 。 • 正交性

37. 求解傅利葉係數 有了傅利葉基底後，g(θ)可表示成 (1.7.1.1) 則從 可推得 從 可推得

38. 範例1：我們來看個例子吧！ 解答：令  圖1.7.1.1 g(θ)   只取第一項 只取前二項 只取前三項 圖1.7.1.2 g(θ)的三個近似圖 解答完畢

39. FFT 令 為1的基本根(Primitive Root)且滿足 。若N=8時，傅利葉矩陣為 FFT可在 時間內完成，首先將 分成偶半部和奇半部，分別表示成

40. 令 和 。利用算出的 和 ，可得 (1.7.1.2) 當 當

41. 範例2：可否利用替代法證明 。 解答：已知，可推得 解答完畢

42. 分開性(Separability)回到二維的FT，假設一張影像位於 (x,y) 的灰階值為 f(x,y)，則二維的FT定義為 (1.7.1.3) IFT(Inverse FT)依下式求得 (1.7.1.4) 式子(1.7.1.3)可改寫成下列的型式 (1.7.1.5) 式子(1.7.1.5)中 F(x,v)可看成先對 y軸進行FT再對 x軸進行FT。(1.7.1.5)式顯示的是FT的分開性(Separability)。

43. 範例3：假如我們想把FT後的結果從原點(Origin)移到中央(Center)範例3：假如我們想把FT後的結果從原點(Origin)移到中央(Center) 該如何辦到呢？ 解答：首先將乘上 ，則 的FT如下所算 (1.7.1.6) 由f(x, y)(－1)x+y的FT等於 ，可得知已將FT的結果從原點移至中央處了。式 (1.7.1.6) 顯示了FT的平移性(Translation)。 解答完畢

44. 放大性(Scaling) 若將 乘上一個係數C，則 經FT作用後得 到 ，這個性質稱作放大性質。令 ，則 和 。可推得 和 為傅利葉配對(Fourier Pair )，具有倒數放大性質(Reciprocal-Scaling)。  f(x) F(u)  f(2x) 1/2f(u/2)

45. 迴積定理(Convolution Theorem) 兩函數 f(x) 和 g(x) 的迴積定義為 令 則所有 z(x) 經FT作用後得

46. 1.7.2 避免混疊效應 • 取樣間距(Sampling Interval) 必須滿足 ，如此才不會造成混疊效應(Aliasing)。 某函數 取樣函數 將T(u)乘上F(u)*P(u)可得F(u) F(u)和P(u)進行迴積運算

47. 圖1.7.2.1　輸入的影像 圖1.7.2.2　傅利葉頻譜圖 最後我們來看一個FT的實作結果。給一影像如圖1.7.2.1所示，經FT作用後，其傅利葉頻譜顯示於圖1.7.2.2。

48. 1.8 結論 我們從光的組成談到人眼結構及其和照相機結構的對應關係；四種色彩模式的轉換，形成高灰階影像與其分解成八張位元平面，引出隱像術與浮水印；搭配DCT介紹了人臉的定位應用。