Pretraživanje baza slika na osnovu sličnost i

1. Univerzitet u Banjaluci Elektrotehnički fakultet Multimedijalni sistemi Pretraživanje baza slika na osnovu sličnosti

2. Veliki obim multimedijalnih podataka Lako Kreiranje, Čuvanje, Prenos, Diseminacija multimedijalnog sadržaja Digitalne kamere i skeneri Magnetni i optički mediji, flash PNG, JPEG[2000], MPEG-[1,2,4] TCP/IP, HTTP WWW, Prezentacije, Štampani mediji Upravljanje multimedijalnim podacima Računarski trendovi Korištene tehnologije Kako indeksirati, pretraživati i pronalaziti multimedijalne podatke?

3. Oblasti u kojima se generišu i koriste baze digitalnih slika • Medicina • Digitalne biblioteke • Muzeji • Obrazovanje • Arhive dokumenata • CAD/CAM sistemi • Sistemi za nadgledanje • Sprovođenje zakona • Istraživanje nafte i gasa • Zabava • Pretraživanje weba Ovo su samo neki od primjera. Lista se ovdje ne završava!

4. Pretraživanje relacionih baza podataka • Pronaći podatke o pacijentima snimanim na rentgenu 20.05.2006. godine SELECT IME, PREZIME, DATUM_ROĐENJA FROM Pacijent, Pretraga WHEREDATUM_PRETRAGE=’20.05.2006.’AND MODALITET=‘rentgen’AND MBR=MBR_PAC; • Pronaći sve slike tumora koji su veći od 30mm SELECT SLIKA FROM Pretraga WHERE VELICINA > 30; ???

5. plaža, ljudi, grad… Pretraživanje baza slika(rani pristup) • Dodavanje tekstualnih anotacija slikama • Sporo • Neskalabilno • Subjektivno (šta opisati?) • Neka vizuelna obilježja se ne mogu opisati riječima

6. Pretraživanje baza slika(moderni pristup) • Reprezentacija slika korištenjem vizuelnih obilježja niskog nivoa, npr. boje, teksture, oblika, ivica... • Slike se predstavljaju korištenjem deskriptora ili vektora obilježja koji su numeričke reprezentacije vizuelnih obilježja • Deskriptori se automatski izdvajaju iz vrijednosti piksela, tj. sadržaja slike Pretraživanje baza slika na osnovu sadržaja (Content-based image retrieval CBIR) • Upit se sastoji od vrijednosti deskriptora, zadate slike ili skice  Pretraživanje pomoću primjera (Query By Example) • Kriterij po kojem se pretražujePretraživanje na osnovu sličnosti (Similarity-based retrieval)

7. Klasifikacija tipova upita bazama slika • 3 nivoa tipova upita bazama slika [Eakins & Graham, 1999] • Nivo 1, Upiti na osnovu vizuelnih obilježja niskog nivoa: boje, teksture, oblika, lokacije... • Nivo 2. Pretraživanje po određenom tipu objekta, konkretnom objektu ili osobi • Nivo 3. Pretraživanje po apstraktnim atributima: tipu događaja ili aktivnosti, emocionalnim ili religioznim stanjima.

8. Primjer pretraživanja na osnovu sličnosti Slika upit

9. Vizuelna nasuprot semantičke sličnosti • Rezultati pretraživanja korištenjem vizuelnih obilježja niskog nivoa uglavnom se sastoje od slika sa sličnom raspodjelom tih vizuelnih elemenata • Korisnici žele rezultate pretraživanja koji su semantički slični upitu • Jaz između semantike korisnika i sistema semantički jaz • Ali semantička sličnost je subjektivan pojam • [Pentland et al.]“Čovjek je nelinearan, vremenski promjenljiv sistem čije ponašanje zavisi od nepoznatih unutrašnjih stanja.” • Kako sistem može otkriti semantičke preference trenutnog korisnika?

10. Ljudski faktor • Dodavanje interaktivnosti sistemu • Korisnički interfejs – formulisanje upita i pregled rezultata • Ocjena relevantnosti – podešavanje težina obilježja u skladu sa rezultatima pretraživanja • Sistem se prilagođava informacionim potrebama korisnika, uči šta korisnik smatra sličnim

11. Arhitektura sistema za pretraživanje baza slika na osnovu sadržaja Baza slika Izdvajanje obilježja Baza deskriptora Mjera sličnosti Rezultati pretraživanja Anotacije i meta-podaci Obrada upita Ocjena relevantnosti Interfejs za zadavanje upita Popunjavanje baze Pretraživanje baze Korisnički upit

12. Reprezentacija slika korištenjem vizuelnih obilježja niskog nivoa • Vizuelna obilježja se predstavljaju numeričkim deskriptorima • Dobri deskriptori bi trebalo da: • Opisuju sadržaj slika • Omogućavaju definisanje neke mjere sličnosti slika • Perceptualna sličnost Slične slike su blizu u prostoru obilježja (i obrnuto) • Omogućavaju uvođenje neke šeme za indeksiranje kako bi pristup podacima bio efikasniji • Postoje obilježja opšte namjene i specijalizovana obilježja.

13. Boja • Jedna od najizraženijih vizuelnih osobina slika • Često se koristi u sistemima za pretraživanje baza slika na osnovu sadržaja • Izbori prilikom projektovanja sistema • Kolor-prostor (RGB, HSV, CIE L*a*b*, CIE L*u*v*) • Kvantizacija kolor-prostora • Mjera sličnosti • Popularni deskriptori boje • Kolor-histogram • Kolor-momenti • Prostorni raspored boja • Dominantne boje…

14. Primjer pretraživanja korištenjem kolor-histograma Slika upit

15. Tekstura • Tekstura se odnosi na vizuelno obilježje koje je homogeno, ali homogenost ne potiče od jedne boje. • Obilježja teksture: periodičnost, usmjerenost, složenost (slučajnost), kontrast, uniformnost, gruboća, gustina... • Percepcija teksture zavisi od skale. • Dvije grupe deskriptora • Zasnovani na statistici: co-occurrence matrice, Tamurini deskriptori, Woldova dekompozicija… • Zasnovani na transformacijama: DCT, Furije-Melinovi, polarni Furijeovi, Gaborovi, waveleti...

16. Primjer pretraživanja korištenjem Gaborovog deskriptora teksture Slika upit

17. Primjer pretraživanja uz invarijantnost na rotaciju

18. Prosječan procenat pronađenih tekstura po klasama

19. Dopunjavanje teksture u regionima nepravilnog oblika

20. Veoma diskriminativno obilježje zato što je na višem nivou apstrakcije od boje i teksture Teško izračunavanje Zahtjeva segmentaciju slike 3-D objekat se na razne načine može projicirati u 2-D oblik Oblik

21. Oblik (nastavak) • Nijedan opis oblika u potpunosti ne pokriva sve aspekte • Dvije grupe deskriptora • Zasnovani na rubu: lančani kodovi, Furijeovi deskriptori, kurvatura na različitim skalama... • Zasnovani na regionu: elongacija, kompaktnost, invarijante momenata, ugaona radijalna transformacija…

22. Primjer pretraživanja korištenjem Furijeovih deskriptora oblika Slika upit

23. Još neka obilježja… • Lokacije objekata • Odnosi između ivica • Prostorni odnosi • Obilježja zasnovana na waveletima • Obilježja lica • Obilježja medicinskih slika • Obilježja satelitskih slika Specijalizovana obilježja

24. 0.01 0.28 . . . 0.02 0.004 . . . 0.1 0.05 . . . 0.09 0.03 . . . Globalna i lokalna obilježja slika • Globalna obilježja • raspodjela vizuelnih obilježja na cijeloj slici • slike se porede kao cjeline • Lokalna obilježja • raspodjela vizuelnih obilježja u objektima/regionima • poređenje slika kao skupova objekata/regiona • bliže ljudskoj percepciji

25. Lokalna obilježja slika • Načini podjele slike na regione: • Fiksna, npr. regioni pravougaonog oblika, • Adaptivna, dobijena segmentacijom. • Problemi koji se javljaju: • Kako automatski izdvojiti objekte, tj. potpuno nenadgledana automatska segmentacija slika, • Na slikama sa teksturom nema objekata, • Kako integrisati sličnost pojedinih regiona u globalnu mjeru sličnosti slika?

26. Mjere sličnosti • Korištenje globalnih deskriptora • Fuzija svih deskriptora u jedan vektor i određivanje udaljenosti deskriptora • Dvije metode integracije obilježja • Sekvencijalna – filtriranje obilježja, • Paralelna – dodjela težina obilježjima. • Korištenje deskriptora regiona • Određivanje mjere sličnosti parova regiona, • Integracija mjera sličnosti parova regiona u globalnu mjeru sličnosti slika (IRM, EMD...) • Takođe je potrebno integrisati vizuelna obilježja sa prostornim i tekstualnim obilježjima, te sa meta-podacima.

27. Multidimenzionalne indeksne strukture • Indeksna struktura treba da obezbijedi obradu upita koja je: • iscrpna, • korektna, • deterministička. • Teško je napraviti efikasne strukture koje imaju sve tri osobine. • U tradicionalnim bazama dominiraju varijante B-stabla (skalarni ključevi). • U prostornim bazama (GIS) koriste se R-stabla (transformacija prostora u hiperpravougaonike).

28. Multidimenzionalne indeksne strukture (nastavak) • Specifičnosti multimedijalnih baza • Deskriptori su veliki multidimenzionalni vektori tradicionalne šeme indeksiranja (npr. B-stabla) nisu pogodne • Narušeni geometrijski odnosi  metode indeksiranja zasnovane na transformaciji prostora u hiperpravougaonike postaju neefikasne

29. Redukcija dimenzionalnosti • Aproksimacija vektora obilježja projekcijama na prostor niže dimenzionalnosti: • selekcija promjenljivih, • multidimenzionalno skaliranje, • geometrijsko hešovanje. • Aproksimacija može uticati na rangiranje rezultata pretraživanja. • Neke transformacije rotiraju prostor  obilježja moraju biti invarijantna na rotaciju.

30. Podjela metoda indeksiranjaŠta se indeksira? • Indeksiranje u vektorskom prostoru • Indeksiraju se reprezentacije objekata baze • Indeksiranje u metričkom prostoru • Indeksiraju se udaljenosti između parova objekata baze

31. Podjela metoda indeksiranjaKako se indeksira? • Nehijerarhijska podjela prostora • Region u kojem se nalazi upit se može identifikovati u konačnom broju operacija; • Rekurzivna podjela prostora • Prostor se organizuje u strukturu stabla; • Metodi zasnovani na projekcijama • Pretražuju se projekcije tačaka u bazi u raznim smjerovima.

32. Izbor odgovarajuće indeksne strukture • Ne postoji pravilo. • Mogu se uzeti u obzir razni parametri: • karakteristike podataka, • metrika, • dimenzionalnost prostora, • tip upita. • Ocjena performansi indeksnih struktura je teška.

33. Dalji pravci istraživanja indeksnih struktura • Omogućavanje kombinovanja heterogenih obilježja različitih tipova i različitih metrika, • Omogućavanje iterativnog poboljšavanja upita, npr. ocjenom relevantnosti, • Prilagođavanje indeksnih struktura modernim računarskim arhitekturama.

34. Performanse sistema za pretraživanje baza slika • Referentna kolekcija slika • Ocjena relevantnosti slika za različite upite • Mjere performansi • P-R grafici

35. Odnos sa Prepoznavanjem uzoraka • Rezultat pretraživanja baze slika na osnovu sličnosti je uređenje svih slika u bazi, čak i ako ne postoje očigledni pogoci • Rezultat Prepoznavanja uzoraka je podjela baze na slike koje se poklapaju sa uzorkom i slike koje se ne poklapaju sa uzorkom • Sistemi za pretraživanje baza slika na osnovu sličnosti su interaktivni: • Korisnik pregleda rezultate i dotjeruje upite, • Lažno pozitivni rezultati su manje važni, • Lažno negativne treba izbjeći. • Sistemi za prepoznavanje uzoraka su automatski • Zahtjeva se visoka preciznost – bez lažno pozitivnih rezultata.

36. Integracija sa relacionim bazama podataka • Objektno-relacioni sistemi za upravljanje bazama podataka omogućavaju integrisanje multimedijalnih podataka i pretraživanja na osnovu sličnosti pomoću: • korisnički-definisanih apstraktnih tipova podataka i • korisnički-definisanih funkcija koje se mogu koristiti u SQL upitima. • Komercijalna proširenja SUBP • Oracle Visual Image Retrieval Cartridge, • DB2 UDB Image Extenders (QBIC), • Informix Image Retrieval Datablade. • Približno slične mogućnosti ovih sistema

37. Specijalizovani sistemi u upotrebi • Baze zaštićenih znakova (trademark) • Medicinski sistemi • Detekcija replika slika • Prepoznavanje lica

38. MPEG-7 standard • Standard za opis multimedijalnog sadržaja (slika, audio i video sadržaja) zasnovan na XML-u • Opis se nalazi u istom toku sa podacima ili je povezan sa podacima na odgovarajući način • Standardizovan je opis, ali ne i ekstrakcija obilježja niti pretraživanje • Osnovni normativni elementi standarda • Deskriptori • Deskripcione šeme • Jezik za definisanje opisa • Metode za kodiranje opisa

39. Sistem za pretraživanje baza slika razvijen na ETF-u • Segmentacija slika na regione sa homogenom bojom i teksturom • Algoritam zasnovan na lokalnim varijacijama boje piksela • Reprezentacija regiona deskriptorima boje, teksture, oblika i položaja • Određivanje mjere sličnosti parova regiona • Određivanje mjere sličnosti slika modifikovanim integrisanim uparivanjem regiona

40. Deskriptori regiona • Boja • 4 dominantne boje regiona dobijene k-means algoritmom i njihove procentualne zastupljenosti • Poređenje kvadratnom distancom histograma • Tekstura • Srednje vrijednosti i standardne devijacije izlaza Gaborovih filtara na 4 skale i 6 orijentacija • Poređenje metrikom Minkovskog sa p = 1 • Oblik • Furijeovi deskriptori • Poređenje Euklidovom metrikom

41. Mjera sličnosti regiona • Udaljenost regiona po obilježju x • Gausova normalizacija udaljenosti • Sličnost regiona po obilježju x • Ukupna sličnost regiona

42. Mjera sličnosti slika Sličnost skupova regiona IRM algoritam Odrediti wij pod uslovom w11 w12 w13 w14

43. Primjer pretraživanja Slika upit

44. Primjer pretraživanja(još jedan) Slika upit

45. Poređenje performansi sistema u pretraživanju

46. Performanse sistema na slikama iz različitih semantičkih kategorija • 10 kategorija po 100 slika = 1000 slika • JPEG format, 384*256 ili 256*384

47. Performanse sistema za različite semantičke kategorije

48. Preciznost po kategorijama za 30 rezultata pretraživanja

49. Preciznost po kategorijama za 100 rezultata pretraživanja

50. Gdje se nalazimo? • Reprezentacija sika korištenjem jednostavnih obilježja niskog nivoa • Interfejs za opis multimedijalnog sadržaja (MPEG-7standard) • Integracija vizuelnih obilježja sa tekstualnim i meta-podacima • Mehanizam ocjene relevantnosti (Relevance feedback mechanism) • Kombinacija jednostavnih obilježja sa mašinskim učenjem i statističkim klasifikatorima u pokušajima da se dobije semantička informacija (npr. klasifikacija slika)