Sz ámítógépes grafika és képfeldolgozás

1. Számítógépes grafika és képfeldolgozás III előadás: Fourier-módszerek a képfeldolgozásban Jegyzet: Székely Vladimír: Képfeldolgozás 6. fejezet

2. A mai előadás tartalma • Fourier sorfejtés 2D-ben • 1D összefoglaló • 2 változós fv Fourier-sora • Fourier-összetevők értelmezése • A diszkrét Fourier-transzformáció • DFT 1D-ben • DFT 2D-ben • DFT képek jellegzetességei • Műveletek Fourier-tartományban • textúra analízis • szűrés • képjavítás/élkiemelés • inverz szűrés • 3D objektum vetületekből

3. A Fourier-sorfejtés

4. L hosszúsággal periódikus függvényt ad Fourier-együtthatók: haf(x) valós 1D eset Ez a periodicitás nem gond, mert minket a függvény csak a [0, L] intervallumban érdekel.

5. A függvény: f(x,y) 2D függvény Fourier-sora Sorfejtés x irányban – ekkor az y-tól függő Fourier-együtthatók: Cm(y) sorfejtése:

6. Együttesen: 2D függvény Fourier-sora Ekvivalens átalakítások után: Cmn– az f(x,y)függvény 2D Fourier-együtthatói.

7. y Ly x Lx x- és y-irányú periodicitás 2D függvény Fourier-sora ha f(x,y) valós Bebizonyítható, hogy az f(x,y)függvény ezen együtthatók alapján visszaállítható az alábbi módon: f(x,y)

8. A 2D Fourier-együtthatók értelmezése komplex harmónikusok mert cos(x) = (exp(jx)+exp(-jx))/2 sin(x) = (exp(jx)-exp(-jx))/2j

9. A 2D Fourier-együtthatók értelmezése térharmónikusok: cos-hullámok az f(x,y) függvény átlagértéke – valós Cmnvalós része egy cos-hullám, képzetes része egy sin-hullám amplitudója

10. Térharmónikusok

11. A 2D Fourier-együtthatók értelmezése hullámhossz: térfrekvencia:  m=6 n=4 m=3 n=2 Cmnvalós része egy cos-hullám, képzetes része egy sin-hullám amplitudója térharmónikusok:

12. Térharmónikusok

13. Térharmónikusok

14. Térharmónikusok

15. DFT

16. A diszkrét Fourier-transzformáció

17.   A diszkrét Fourier-transzformáció • Fourier-együtthatók számítására vonatkozó közelítés f(xk) = Fkmintavételezett függvényre (mintavételi tv.!) • Új transzformáció FkDn– az Fk minták diszkrét Fourier-transzformáltja

18. Dnértékek: • periodicitás N szerint: • valós • azaz • valós (mert önmaga konjugáltja kell legyen) • Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dnértéksor fele: A 0. és az N/2-edik valós, a többi komplex: N db adat. A diszkrét Fourier-transzformáció • Fkminták: N db valós szám

19. Az eddigiek alapján Fk kapcsolata a harmónikus összetevöivel: • Ha az Fk értéksort f(x) mintavételezésével kaptuk, akkor: A diszkrét Fourier-transzformáció • Az Fk mintasorozat (N db valós szám) diszkrét Fourier-transzformáltját egyértelmüen megadja a Dnértéksor fele.

20. A DFT együtthatók is egy mátrixot alkotnak: • Visszatranszformálás: DFT 2D-ben • Transzformáljuk a 2D mátrix formájában adott mintákat:

21. y Ly • Valós függvény transzformáltjára igaz: x Lx Mint folytonos esetben: f(x,y) DFT 2D-ben • Mind a Dmn transzformált, mind az Frs visszatransz-formált értéksor N-nel periódikus:

22. Origóra szimmetrikusan: Képek DFT-je • A ciklikusság miatt a négy sarokban vannak a 0 térfrekvenciához tartozó elmek 0 térfrekvenica: a kép "DC értéke"== átlgafényesség • Középen az fmax-hoz tartozó pont

23. Képek DFT-je

24. Valós kép ... fmax fmax f=0 fmax ... és DFT-je fmax DFT képek jellegzetességei A DFT kép alapján általában nehéz következtetést levonni az eredeti képre vonatkozólag. Zérus közeliek a nagy térfrekvenciás tagok, tehát a valós kép "lágy",nincsenek benne erős élek. Komplex kép kellene legyen.Ez csak az amplitudó infomáció, a fázist nem ábrázoltuk. Nagy nagyságrendi átfogás miatt logaritmikus az ábrázolás.

25. Valós kép ... DFT képek jellegzetességei Integrált áramkör elektronmikroszkópi képe. a DFT kép 180o-os forgatási szimmetria  DFT képen! Periodicitás a DFT képben: ismétlődő elemek a valós képben Világos foltok a nagy térfrekvenciáknál: határozott élek a valós képben

26.  Valós kép ... 1D emlékeztető: DFT képek jellegzetességei Szabályos kép, valóban résfüggvény jellegű kép a DFT kép Határozott periódikusság: szabályos minta a valós képben Nagy amplitudók a nagy térfrekvenciákon: határozott élek a valós képben sin(x)/x jellegű DFT: résfüggvény jellegű valós kép

27. Sötét négyszögrács a DFT képen: a vonalaknak megfelelő térfrekvenciákon 0 érték 6 A kioltás feltétele: 9 A kioltott frekvenciák indexe: Kx pixel 6 px 9 px Nx pixel DFT képek – kioltási vonalak 0-t kapunk, ha Kxegész számú többszöröse valamelyik térharmónikus hullámhosszának Az alapharmónikus hullámhossza az Nxképméret. Az m-edik felharmónikus hullámhossza: Nx/m A kioltási vonalak távolsága: m = Nx/Kx Tehát a kioltási vonalak a képet Kxrészreosztják

28. Műveletek a Fourier-térben:textúra analízisszűrésképjavítás/élkiemelésinverz szűrésalakfelismerés3D objektum vetületekből

29. Textúra analízis DFT-vel

30. Textúra analízis Pirolitikus grafit kristály, STM felvétel. Hexagonális kristályrács A kristályfelület atomi szerkezete látható.

31. Textúra analízis Notre Dame, Párizs. Gótikus homlokzat – jellegzetes elemekkel Jellegzetes elemek (vonalak) a DFT képen is megjelennek, a valós képen látható elemre merőleges vonalként, hasonló periodicitással

32. Textúra analízis Ujjlenyomat (küszöbölés után). Irány információ nem olvasható ki, hiszen az eredeti képen sincs jellemző irányultság. Nagyobb térharmónikus arány az alapharmónikustól (középpont) kb. 26 pixelnyi távolságra: Az ujjlenyomat barázdák átlagos térharmónikusa az alapharmónikusnak kb. 26-szorosa, irányuk nem jellemző.

33. Átszámítás polár koordinátákra: P(f, γ) γ 1/f Textúra analízis teljesítményspektrum • A "teljesítményt" így definiáljuk: • A Pnm értékekből folytonos P(n, m) függvény interpolációval • A következő integrálokat számoljuk:

34. Textúra analízis teljesítményspektrum Domináns térfrekvenciák domináns irányok

35. Szűrés, képjavítás

36. Szűrt kép Kép Fourier- transzformáció Szűrőkarakterisztikák: DFT kép Inverz Fourier- transzformáció Egyszerű töréspontos aluláteresztő: Szűrés: egyes térfrekvenciás komponensek módosítása Butterworth-szűrő: Szűrt DFT kép Szűrés a frekvenciatartományban

37. helyett • Megjegyzések: • a transzformált értékek komplexek, ezért itt komplex szorzásról van szó • a transzformáció periódikus eredményt ad, ezért ez a konvolúció ún. ciklikus konvolúció. A DFT térben való szorzás pontos megfelelője az alábbi: Szűrés a frekvenciatartományban • Bármely lineáris szűrési művelet megvalósítható a frekvenciatartományban: • Konvolúció helyett szorzás a frekvenciatartományban

38. 16fa 8fa Szűrés a frekvenciatartományban Nagy térfrekvenciájú komponensek kiszűrése Zajtalanabb, lágyabb kép Csökken az élesség fa – az alapharmónikus térfrekvenciája

39. 4fa 10fa Szűrés a frekvenciatartományban Kis térfrekvenciájú komponensek kiszűrése Lassú változások törlése: mindenütt egyen-szürke Az élesség (nagy térfrekvenciás rész) megmarad Minél erősebb a vágás, annál szürkébb lesz a kép fa – az alapharmónikus térfrekvenciája

40. Szűrés a frekvenciatartományban Képjavítás: nagy térfrekvenciák kiemelése Az erős átmenetek hangsúlyosabbak lesznek, de a zaj is nő. Hasonló a hatása a Laplace-oprátoréhoz. Még azonos is lehet vele.

41. Inverz szűrés

42. Ekkor: ahol E a torzítatlan kép • Az eredeti E torzítatlan képet dekonvolícióval allíthatjuk helyre: • Dekonvolúció helyett osztás a frekvenciatartományban ahol a dekonvolúció jele majd vissza transzformáljuk E-t Inverz szűrés • Adott egy T torzított kép • Ismert a csatorna torzításának S operátora (a csatorna szóródási függvénye vagy súlyfüggvénye)

43. T torzított kép Fourier- transzformáció Fourier- transzformáció Csatorna S szóródási függvénye Inverz Fourier- transzformáció Helyre-állított kép Képhelyreállítás inverz szűréssel

44. eredeti kép torzított kép Lineáris szűrő Lineáris szűrő 1 fénylő pötty (Dirac-) szóródási függvény Képhelyreállítás inverz szűrésselKísérlet – előkészítés

45. A nagy térfrekvenciás részletek, ha nem vesztek el teljesen, az inverz szűrőkarakterisztikával visszanyerhetők. torzított kép Zajos helyreállított kép Zajmentes eredeti kép helyreállított kép inverz szűrés szóródási függvény Képhelyreállítás inverz szűrésselKísérlet – helyreállítás A nagy térfrekvenciás részletek kiemelése szükségképpen erősíti a zajt is. Ez látszik is a helyreállított képen.

46. Képhelyreállítás inverz szűrésselMegjegyzések • Ami információ nincs benne a képben, azt az inverz szűrés sem tudja pótolni. • Kioltási vonalak: • Lehet, hogy a súlyfüggvényben, amivel osztanunk kell, sok 0 közeli érték lesz. • Ennek zajkiemelő hatása van, a kép élvezhetetlenné válhat. • Korlátozni kell az inverz szűréssel megvalósuló térharmónikus-kiemelés mértékét. • A teljes képnek rendelkezésre kell állnia: lásd a szűrés miatt alkalmazott fekete keretet a kísérleti képben.

47. Képhelyreállítás inverz szűrésselMegjegyzések • Körbecsavarodás (wrap-around): Ha a súlyfüggvény nem a sarkon elhelyezkedő 1 pixel képe, akkor a helyreállítás eredménye egy felvágott és körbecsavarodott kép lesz: • Nemlinearitások: Fotók (papír képek) és TV kamerák gradációs függvénye – a szűrőkarakterisztika korrigálandó velük az inverz szűrés előtt.

48. Életlenre állított kamerával felvett folt A helyreállított kép és annak DFT-je: és a jó eredeti kép: Képhelyreállítás inverz szűrésselPélda Életlenre állított kamerával felvett kép Valami szöveg, de teljesen olvashatatlan

49. A háromszoros expozíció szóródási függvénye A helyreállított kép és annak DFT-je: Képhelyreállítás inverz szűrésselPélda Háromszor exponált kép

50. Alakfelismerés