Oldřich Zmeškal Fakulta chemická Vysoké učení technické v Brně zmeskal@fch.vutbr.cz

1. Digitální fotografie ve vědě a životě ? Oldřich Zmeškal Fakulta chemická Vysoké učení technické v Brně zmeskal@fch.vutbr.cz www.fch.vutbr.cz/lectures/imagesci

2. Obsah přednášky • Analogový nebo digitální záznam obrazu • Zařízení pro digitální záznam obrazu • Principy záznamu a digitalizace obrazu • Záznam obrazů makroskopických a mikroskopických objektů • Analýza obrazových dat

3. Výhody a nevýhody digitálního záznamu obrazu • kvalita obrazových dat - fotografií a videa (rozlišovací schopnost, barevná hloubka, ...) • amatérské a profesionální zpracování fotografií a videa (správa barev – Color Management) • ekonomické aspekty (pořizovací a provozní náklady) • ekologické aspekty (životní prostředí)

4. Zařízení pro digitální záznam obrazu • digitální fotoaparáty (kompakty, zrcadlovky) • digitální videokamery (profesionální, amatérské, webové) • plošné a filmové skenery (digitalizace fotografií a filmů)

5. Definice • Digitální fotoaparát • zařízení umožňující zaznamenat statické barevné obrazy pomocí elektrických signálů (s využitím světlocitlivých záznamových prvků) a v digitalizované podobě je uložit na paměťovém médiu (např. v magnetické, elektronické, optické paměti) Digitální fotografie digitalizovaný záznam (vytvořený pomocí digitálního fotoaparátu) zobrazený nebo zaznamenaný v grafické podobě (např. pomocí LCD displeje, monitoru nebo tiskárny)

6. Definice Světlocitlivý záznamový prvek integrovaný obvod zabezpečující konverzi světelného záření dopadajícího na jeho jednotlivé obrazové elementy (pixely) na elektrický náboj. Počet lokálně generovaných elektronů přitom odpovídá intenzitě dopadajícího světelného záření. CCD (Charge Coupled Devices) elektronický integrovaný obvod, ve kterém je elektrický náboj vygenerovaný ve fotodiodách obrazových elementů přenášen potenciálovými jámami pomocí napětí na soustavě elektrod CMOS (Complementary Metal Oxide Semiconductors) elektronický integrovaný obvod, ve kterém je elektrický náboj vygenerovaný ve fotodiodách obrazových elementů odváděn pomocí adresovatelné sběrnice

7. Základní parametry • Digitální fotoaparáty • typ snímacího prvku (CMOS, CCD) • velikost (úhlopříčka) snímacího prvku (1/2,8”,2/3”) • barevná hloubka (8, 12, 16 resp. 24, 36, 48 bitů) • citlivost snímacího prvku (ISO 100, 200, 400, ...) • maximální rozlišení (fotografie, videa) • formát ukládaných dat (JPEG, TIFF, RAW) • optický zoom (AF, 10x) • ohnisko (28 mm – 350 mm) • clona (F2,8 – F8) • expozice (1/10000 s – 30 s)

8. Základní parametry • Digitální kamery • typ snímacího prvku (3CCD, CCD) • velikost (úhlopříčka) snímacího prvku (3x1/4,7”) • barevná hloubka (14 bitů) • maximální rozlišení (fotografie, videa) • formát ukládaných dat (JPEG, MPEG1) • paměť (flash, kazeta) • optický zoom (12x) • ohnisko (49 mm – 588 mm) • clona (F1,6 – F2,8) • rychlost závěrky (1/1000 s – 1/3 s)

9. Proces záznamu a digitalizace obrazu • vytvoření a transformace obrazu pomocí čoček, zrcadel, svazků optických vláken, • separace barevných složek pomocí vhodných optických filtrů (např. RGB, CMY), • zaznamenání barevných složek obrazu pomocí světlocitlivých senzorů (CCD nebo CMOS) • generace elektrických signálů pro jednotlivé obrazové body (pixely) a barevné složky, • transformace elektrických signálů na digitální data kvantováním na definovaný počet úrovní (A/D převodníky).

10. Vytvoření a transformace obrazu • světlo dopadá na záznamový prvek zpravidla prostřednictvím optických systémů, které jsou určeny • ke zvětšení nebo zmenšení obrazu, • k separaci barevných složek obrazu, • ke konverzi do oblasti vlnových délek viditelného spektra, • k zesílení optického signálu, • ke kompenzaci optických vad • optické systémy mohou být složeny z různých optických elementů, např. • z čoček, (polopropustných) zrcadel, • ze svazků optických vláken, • z hranolů a optických filtrů.

11. Příklady optických soustav objektivy - optické soustavy určené k vytvoření zmenšeného (někdy zvětšeného) obrazu na záznamové ploše světlocitlivého senzoru speciální optické filtry - optické prvky určené k separaci barevných složek obrazu (jejich spektrální charakteristiky mohou odpovídat např. charakteristikám lidského oka)

12. Příklady optických soustav svazky optických vláken - optické soustavy určené k vytvoření nebo transformaci obrazu (např. z rentgenových nebo neutronových scintilačních obrazovek, chemoluminiscenčních zdrojů, obrazových zesilovačů nebo zářičů)

13. Separace barevných složek - systémy bez multiplexu (optické filtry) - systémy s vícevrstvým záznamovým médiem (X3) - časově multiplexované systémy (interferenční filtry) - prostorově multiplexované systémy (RGBG filtry)

14. Příklad systému bez multiplexu

15. Příklad systému RGBG a X3

16. Zaznamenání barevných složek obrazu • Plnící kapacita (Full Well Capacity) • dopadající světelné záření způsobuje u všech tří uvedených principů lokální generaci elektrického náboje (pár elektron/díra) v místech obrazových bodů • maximální množství náboje které je možno v daném místě vygenerovat definuje veličina nazvaná plnící kapacita • plnící kapacita závisí na velikosti pixelu obrazového senzoru

17. Oblast lineárního plnění • závislost mezi dopadajícím světelným zářením a množstvím vygenerovaného náboje je pro malé hodnoty náboje lineární, • pro velké intenzity světelného záření dochází k jeho saturaci, limitní hodnotou je plnící kapacita • pracovní oblast je určena linearitou celého procesu záznamu obrazu sestávajícího z • - konverze fotonů na elektrický náboj (lineární plnění) • - přesunu elektronů do paměťového registru • - zesílení a konvertování náboje na analogový signál • - zesílení signálu a jeho digitalizace

18. Oblast lineárního plnění

19. Módy záznamu obrazu • digitální fotoaparáty umožňují zpravidla možnost volby záznamu obrazu v některém z následujících módů • mód s velkým dynamickým rozsahem (High Dynamic Range Mode) • mód s vysokou citlivostí (High Sensitivity Mode) • mód s vysokým poměrem signál – šum (High Signal to Noise Ratio Mode)

20. Příklad • Kodak KAF1400 (plnící kapacita 45000 elektronů, vyčítací šum je při 1 MHz 11 elektronů) • dynamický rozsah 45 000 : 11 (resp. 4091 :1) • 12 bitový A/D převodník (umožňující rozlišit 4096 odstínů)

21. Přenos elektrického náboje • Pro přenos náboje ze senzoru se používají čtyři odlišné principy • - s mechanickou závěrkou (Full Frame CCD) • - s meziřádkovým přenosem náboje (Interline-Transfer CCD) • - s přenosem snímků (Frame - Transfer CCD) • - s přímou adresací pixelů (Charge Injection Devices – CID)

22. Interline transfer CCD (mikročočky)

23. Frame transfer CCD & CID

24. Digitalizace signálu k digitalizaci signálu se používají A/D převodníky (Analog Digital Unit – ADU) počet kvantovacích úrovní digitalizovaného signálu určuje tzv. barevnou hloubku zaznamenaného obrazu, ze které vyplývá počet různých barev, které lze na obrázku rozlišit nejčastěji se provádí záznam obrazů ve 24 bitové nebo 36 bitové barevné hloubce (na každý barevný kanál RGB připadá 8 bitů, resp. 12 bitů), pomocí které lze rozlišit až 16,7 milionů (68,7 miliard) barev

25. Chyby při digitalizaci signálu digitalizace spojitých barevných odstínů vede k tzv. chybě kvantování plošná rozlišovací schopnost je ovlivněna velikostí obrazových bodů senzoru, při záznamu detailů může dojít k chybě vzorkování

26. Chyba kvantování je způsobena nahrazením spojitého barevného přechodu skokovou měnou barev je vnímána jako nová informace v obraze, která může ovlivnit výsledky obrazové analýzy lze ji eliminovat zvětšením barevné hloubky, adaptivním výběrem nebo nerovnoměrným kvantováním odstínů barev.

27. Chyba vzorkování vzniká jako důsledek konečné velikosti pixelů z této skutečnosti vyplývá, že pomocí matice pixelů nelze zobrazit větší detaily než je poloviční vzdálenost pixelů (Shannonův terorém) v opačném případě dochází k chybné interpretaci zaznamenané struktury, vznikne tzv. aliasing

28. Vlastnosti optické soustavy • digitální fotoaparát NIKON Coolpix 4500 • RGB barevné kanály • rozlišení obrazů až 2048  1536 pixelů • 24 bitová barevná hloubka, 8 bitů pro každý kanál (R, G,B). • obrazy ve formátu TIFF nebo JPEG optický mikroskop NIKON Eclipse, 40

29. Korekce vlivu optické soustavy • nerovnoměrné osvětlení vzorku • vzorek je ve středu zorného pole osvětlen více než při okrajích • nehomogenitu osvětlení je třeba vhodným způsobem odstranit • nelineární přenos jasů • posloupnost hodnot jasu obrazu na vstupu neodpovídá posloupnosti hodnot signálu na výstupu • je nutné provést tzv. gamma korekci, která upraví přenos jasů na lineární. • teplotní šum záznamového prvku (obrazového senzoru) • pro delší expozice zhoršuje kvalitu zaznamenaného obrazu

30. Nerovnoměrné osvětlení vzorku ztráta světelnosti snímaného obrazu mimo osu optické soustavy způsobená nedokonalostí optických prvků (především objektivu a okuláru)

31. Nelineární přenos jasů posloupnost hodnot jasu obrazu na vstupu neodpovídá posloupnosti hodnot signálu na výstupu. Proto je nutné provést tzv. gamma korekci, která upraví přenos jasů na lineární (gamma = 1). digitální fotoaparáty mají gammu záměrně upravenou na nižší hodnotu. Důvodem je skutečnost, že fotografie z digitálních fotoaparátů jsou určeny především k zobrazení na monitorech, které mají naopak gammu vyšší

32. Teplotní šum vzniká jednak jako důsledek šumu temnotního proudu nebo při transportu elektrického náboje z pixelů senzoru Temnotní šum (Dark Noise, DN) Vyčítací šum (Reading Noise, RN) Celkový šum (Total Noise, TN)

33. Úpravy obrazu před analýzou rozklad na barevné složkyumožňuje provádět separace jednotlivých barevných složek v různých barevných prostorech (např. RGB, HSB, HLS) bitové operacejsou jednoduché operace mezi barevnými složkami jednotlivých pixelů obrazu. Mohou to být aritmetické, logické nebo podmíněné operace filtracespočívá v modifikaci obsahu pixelů (jejich barevných informací) s ohledem na nejbližší okolí. Výsledkem je nový změněný obrázek.

34. Rozklad na barevné složky Odstíny šedé • obrázky uložené pomocí RGB složek (např. ve 24 bitové barevné hloubce - 16,7 milionů barev) lze převést na odstíny šedé • převod se provádí s ohledem na citlivost lidského oka (nejcitlivější je na zelenou) převodem se sníží barevná hloubka třikrát (např. na 8 bitů - ve všech třech barevných kanálech bude stejný odstín barvy, počet odstínů barev bude 256) tím se podstatně (třikrát) sníží objem dat

35. barvový prostor RGB • trojdimenzionální prostor tvaru jednotkové krychle • ve vrcholech krychle jsou • základní barvy - červená (R), zelená (G), modrá (B), • doplňkové barvy - azurová (C), purpurová (M) a žlutá (Y) • barvy černá (K) a bílá (W) • aditivním mícháním základních barev vznikne jakákoliv jiná barva • pomocí složek RGB lze zobrazit barvy téměř všech elektronických zobrazovacích systémech • z prostoru RGB lze odvodit doplňkový barvový prostor CMY, odečtením složek od bílé barvy (W)

36. barvový prostor HSB • je odvozen od barvového prostoru RGB • základními komponentami jsou hue (H), saturation (S) and brightness (B) • barevný tón označuje převládající spektrální barvu, sytost určuje příměsi jiných barev a jasová hodnota množství bílého světla • má tvar šestibokého jehlanu, jeho vrchol má černou barvu (K). jasová hodnota roste směrem k podstavě, střed podstavy tvoří bílá barva. Sytost je dána vzdáleností bodu od osy jehlanu • dominantní barvy leží na plášti jehlanu, čisté barvy jsou u obvodu podstavy • prostor často označuje jako HSV (V - value)

37. barvový prostor HLS • je odvozen od barvového prostoru RGB • základními komponentami jsou hue (H), lightness (L) a saturation (S), má tvar dvou kuželů obrácených podstavami k sobě • barevný tón je vyjádřen úhlovou hodnotou (0 - 360°), světlost se mění od nuly (black, dolní vrchol) do jedné (white, horní vrchol). Sytost nabývá na povrchu kuželu hodnoty jedna a klesá na nulu směrem k ose kuželů

38. Bitové operace • algebraické operace mohou sloužit např. ke zjišťování rozdílů mezi obrázky (nebo jejich složkami), k odstranění nebo zavedení šumů, (operátory +, –), k odstranění nehomogenity osvětlení nebo ke zvýšení/snížení kvantovacího kroku (operátory *, /). • logické operace (and, or, xor) lze použít např. k maskování barevných složek RGB nebo jejich odstínů. • podmíněné operace lze s výhodou využít k prahování složek barevného obrázku (minimum, maximum, diference), tj. k výběru tmavých, světlých odstínů barev, resp. pásma barev. • bitové operace mohou být realizovány • mezi jednotlivými obrázky (podmínkou je jejich stejná velikost) • nebo mezi obrázkem a zadanou konstantou.

39. Filtrace nejčastěji provádí pomocí čtvercové matice, tzv. filtrační matice výsledek operace se zapisuje do místa, kde se nachází střed matice nejjednodušší filtrace spočívá v násobení prvků filtrační matice s prvky nejbližšího okolí upravovaného pixelu tato operace se nazývá diskrétní konvoluce a filtr, který ji provádí konvoluční filtr

40. Druhy filtrů vyhlazovací filtry jsou určeny ke zjemnění hran analyzovaných struktur. Používají se např. binomiální, box, mediánové, Kuwahara filtry, které využívají k vyhlazení odlišné algoritmy. hranové filtry jsou určeny k vyhledávání hran v obraze. Většina z nich je izotropní, tj. že vyhledávají hrany nezávisle na jejich orientaci. Mezi hranové filtry patří např. gradientní, Laplaceovy či Sobelovy filtry. derivační filtry umožňují vyhledávání diskontinuit v obraze. Mohou být aplikovány zleva doprava, zprava doleva či oběma směry a to jak ve svislém, tak i horizontálním směru. integračně derivační filtry (např. Sobelovy) výrazné hrany zdůrazňují, jemné naopak potlačují. Lze je proto využít např. k odstranění šumů a současně ke zvýraznění hran.

41. Základní obrazová analýza měření délek (vzdáleností, trajektorií) a úhlů měření ploch (velikosti a počtu, příp. jejich plošné distribuce) určování histogramů barev obrázků, resp. barevného profilu barvových složek v definovaném směru výběr detailů je možné provádět ručně (např. označením nebo ohraničením pomocí myši) nebo programově (autonomně) při rutinním zpracování je možné naprogramovat posloupnost úprav předcházejících obrazové analýze (barevné separace, bitové operace, filtrace) vlastní analýzu je možné provádět ručně nebo autonomně na základě algoritmů umožňujících registrovat spojité oblasti stejných barevných odstínů

42. Komplexní obrazová analýza výhoda spočívá v tom, že nepracuje s jednotlivými pixely (složek) obrázků, ale s celým obrázkem najednou hodnotí obrázek jako celek z pohledu opakujících se motivů, jejich zmenšených, příp. pootočených kopií je založena na lineární (integrální) transformaci obrazu, kterém přiřazuje pomocí definované báze jiný obraz (obraz prostorových frekvencí), ve kterém jednotlivé pixely odrážejí různé vlastnosti (definované bází) celého původního obrázku pokud je transformace ortogonální, lze pomocí inverzní báze získat lineární (integrální) transformací původní data

43. Komplexní obrazová analýza • v prostoru obrazových frekvencí je • jednodušší analýza dat, • jednodušší provádění některých operací (např. konvoluce) • snadnější vyloučení redundantních složek • zvýšení odolnosti při přenosu dat

44. Komplexní obrazová analýza • bitovými operacemi obrazu prostorových frekvencí lze např. • odfiltrovat šum (vysoké frekvence) nebo odfiltrovat základní motiv obrazu (nízké frekvence), čímž lze snížit množství dat popisujících daný obraz • význačnou roli hrají v komplexní analýze obrazu transformace • pomocí diskrétních periodických funkcí (např. Fourierova transformace, kosinová nebo Walsh - Hadamardova transformace) • pomocí prostorově omezených funkcí, tzv. waveletů (např. Haarova transformace)

45. Periodické transformace diskrétní Fourierova transformace je lineární ortogonální transformace v oboru komplexních čísel, jejíž bázi tvoří harmonická funkce kosinová transformace je modifikací Fourierovy transfor-mace pro obor reálných čísel Fourierova (kosinová) transformace je založena na opakování zmenšené harmonické (tzv. vyšší harmonické) funkce Walsh - Hadamardova transformace je založena na opakování zmenšené diskrétní Walshovy funkce, která nabývá hodnot +1, –1

46. Periodické transformace

47. Waveletové transformace • Haarova transformace vychází ze systému ortogonálních Haarových funkcí, které nabývají hodnot +1, 0, –1 násobených mocninou čísla 2i/2, kde i = 0, 1, 2, ... • první dvě Haarovy funkce jsou totožné s Walshovými • vyšší Haarovy funkce se získají z nižších (tj. předcházejících) změnou měřítka a posuvem

48. Waveletové transformace

49. Fraktální analýza z koeficientů integrálních transformací lze pro černobílé obrázky jednoduše určit počty černých NB, částečně černých NBW a bílých NW čtverců pro různé velikosti sítě (1  1, 2  2, 4  4, ... pixelů) z jejich mocninné závislosti na velikosti měřítka lze potom určit základní parametry struktury, tzv. fraktální dimenziD a fraktální míruK černé a bílé plochy a jejich rozhraní. Pro rozhraní např. platí tyto parametry mohou být využity k hodnocení determinovatelnosti obrázků, ale také např. ke zjišťování počtu definovaných objektů bez toho aniž by je bylo nutno počítat

50. Fraktální analýza