Проналажење мултимедијалних информација

1. Проналажење мултимедијалних информација Јелена Андоновски Биљана Ђорђевић 24.02.2011.

2. Рачунари се традиционално користе за обраду нумеричких и текстуалних информација. • Текст, звук, графика, анимација и видео – мултимедија. • Програми за израду мултимедијалних садржаја: • Macromedia Flash, Adobe Photoshop, Microsoft PowerPoint, SMIL, сервис Bloger 24.02.2011.

3. Проналажење мултимедијалних информација • Системи за проналажење мултимедијалних информација се разликују од система за проналажење текстуалних информација. • Аудио информације: говор и музика • Дигиталне слике • Видео • “show me all the pictures where Prime Minister Tony Blair meets with the President George W. Bush”

4. Проналажење аудио информација • Проналажење говора • ASR – Automatic Speech Recognition • HMM – Hidden Markov Model - облик (стање) - није директно видљив, али је излаз, зависно од облика (стања) видљив. • Леонардо Баум и други аутори друга половина шездесетих година 20. века 24.02.2011.

5. 24.02.2011.

6. HMM • говорни сигнал може се видети као краткотрајни стационирани сигнал • могу бити аутоматски • једноставни су и рачунарски изводљиви за употребу 24.02.2011.

7. HMM подреч приступ - примењује се тамо где је, уместо изградње експлицитног HMM-а за сваку реч, коришћено неколико стотина фонетски базираних подречи приступ препознавање речи- укључује аутоматско препознавање речи или фраза у слободном говору. 24.02.2011.

8. У било ком погледу ове технике су озбиљно ограничене: да би реч била препозната она треба да буде присутна у фонетском речнику, мора да се користи језички модел и треба да буде представљен довољен број примера текстова. Цео процес постаје дуготрајан и скуп за обраду велике количине говора. Video Mail Retrieval 24.02.2011.

9. Проналажење музике • висина тона: квалитет звука који је повезан са фреквенцијом; • темпо: информација која садржи трајање музичког догађаја; • хармонија: везано за атрибут музике; хармонија се јавља када се две или више висина тона чују истовремено; • боја звука: атрибут везан за тон, који указује на слушну разлику исте ноте коју изводе два различита инструмента; • дорада: односи се на инструкције за извођење као што су рад прстију, украшавање, артикулација, итд. • текст: повезано са лириком, симфонијама, итд. • библиографија: информације о композитору, извођачу, наслову комада, издавачу, итд. 24.02.2011.

10. MIDI - Musical Instrument Digital Interface Већина система за проналажење информација, као они које обезбеђују претраживачи, користе технике за проналажење засноване на тексту. Нпр., Alta Vista претраживање музике дозвољава корисницима да претражују по имену уметника, наслову песме и такође по врсти фајла, као што је МP3, WAV, Widows Media, Real или друге врсте фајлова. 24.02.2011.

17. Проналажење слика • Неке области примене: • модни дизајн и графичка уметност: нпр. експерименти са различитим дизајнима и визуелне анализе и интерпретације различитих боја, дизајна, итд.; • издавање и рекламирање; • инжењерство и архитекура; • историјске студије; • робне марке; • наука, нпр. астрономија, географија; • спортови; • одбрана и војне студије; • образовање и обука; • забава, 24.02.2011.

18. Упити за проналажење слика • Проналажење информација може бити засновано на метаподацима (стваралац, датум или локација), одређени текст може да укључује ручно додељене дескрипторе или карактеристике слика као што су боја, текстура, облик, итд. • Типични упити за проналажење слика укључују следеће: • приказати илустрације које могу или не морају бити описане одговарајућим речима, нпр. „прикажи ми све слике лептира са одређеном (описном) текстуром боја на крилима“ • приказати све слике одређених карактеристика, нпр. „прикажи ми све радиолошке слике пацијената са одређеним (именованим) болестима“ • приказати слике које показују објекат из различитих углова, нпр. ентеријер и екстеријер зграде или аута • приказати слику на којој је одређени догађај, нпр. „тренутак када се свемирски брод спрема да полети“ 24.02.2011.

19. Рани системи за проналажење слика Почетни системи за проналажење слика – проналажење је било или преко најчешћих кључева, као што је аутор, или преко кључних речи и дескриптора који су у вези са сликама. Проблеми у вези са овим традиционалним приступима у проналажењу информација помогли су стварање механизама за приступ преко аутоматски изведених карактеристика слика, као што су боја, текстура, облик и садржај. Ови системи за проналажење су широко названи Системи за проналажење слика засновано на садржају (CBIR – Content-based Image Retrieval Systems)

20. Приступи проналажењу слика засновани на коришћењу кључних речи Израда записа слика је сложенија од израде записа текстуалних докумената. Записи слика треба да садрже информације о aуторима (уметник или фотограф, што није увек назначено) и ауторском праву, као и о стандардима и алатима коришћеним за израду слика, складиштење и др. За одређивање индексних термина може бити коришћено неколико алата. Најпознатији су: Art and Architecture Thesaurus (AAT) Thesaurus of Graphic Materials (TGM) Iconclass

21. Приступи проналажењу слика засновани на коришћењу кључних речи Art and Architecture Thesaurus (AAT) Овај тезаурус садржи преко 125,000 термина којима се могу описати архитектура, уметност, декоративне рукотворине, материјална уметност и архивски материјали. Тезаурус одржава Информациони институт Гети (Лос Анђелес). Сваки запис у ААТ има свој јединствени нумерички идентификатор и повезан је терминима, различитим концептима и родитељским изворима за белешке и податке. Термини могу имати облик једнине или множине, природни и обрнути ред речи, варијанте спеловања, синониме или дескриптор. Термини су организовани у седам апеката, почев од апстратног до конкретних, физичких артефаката.

22. Приступи проналажењу слика засновани на коришћењу кључних речи Art and Architecture Thesaurus (AAT) 1) Аспeкт зајeдничког концeпта, који укључујe сажeткe и широк спeктар људскe мисли и дeлања, умeтност и архитeктуру у свe мeдијe, тeорeтскe и критичкe освртe, идeологијe, ставовe и социјалнe или културнe покрeтe. 2) Аспeкт физичких атрибута, укључујe и онe карактeристикe као што су вeличина и облик, хeмијска својства матeријала, квалитeт тeкстурe и чврстоћа, али и боја и површинскиорнамeнти. 3) Аспeкт стилова и пeриода, као нпр. Француски, Луј XIV, Апстрактни, Eкспрeсионистички стил 4) Аспeкт агeната, који садржи тeрминe као што су штампари, пeјзажни архитeкта, правна лица, рeлигијски рeдови

23. Приступи проналажењу слика засновани на коришћењу кључних речи Art and Architecture Thesaurus (AAT) 5) Аспeкт дeловања, који обухвата области напорног физичког и мeнталног рада, посeбних догађаја, систeматских дeлова нeкe радњe, мeтодe којe доводe до одрeђeног циља, процeсe који сe дeшавају у матeријалима или прeдмeтима. 6) Аспeкт матeријала, који сe бави физичком грађом као што су гвожђe, глина, лeпак, eмулзификатор, вeштачка слоновача, млински производи 7) Аспeкт прeдмeта, који обухвата одрeђeнe опипљивe и видљивe ствари којe су људским напором створeнe и произвeдeнe, нпр. умeтничкe сликe, амфорe, фасадe, катeдралe, баштe

24. Приступи проналажењу слика засновани на коришћењу кључних речи Thesaurus of Graphic Materials (TGM) Настао је у Конгресној библиотеци. Постоје две варијанте: TGM I (Тезаурус Графичких Материјала I: Предметни Термини) Садржи преко 6,300 термина за индексирање визуелних материјала, као и бројних међуодноса. Развијен је са циљем стандардизације каталогизације слика за аутоматску каталогизацију и индексирање слика и стварање MARC записа TGM II(Тезаурус Графичких Материјала II) Садржи преко 600 термина. Развијен јеуз помоћ Одељења постера ифотографије Конгресне библиотеке.

25. Приступи проналажењу слика засновани на коришћењу кључних речи Iconclass Сличан алат за органозовање графичких материјала је Iconclass, систем класификације иконографских истраживања и слика. Развијен је залагањем Henrija van de Waal-a, професора историје уметности Универзитета у Лајдену, а комплетиран је од стране запослених. Iconclass представља колекцију дефиниција предмета, особа, догађаја, ситуација и апстрактних идеја које могу бити предмет једне слике.

26. Приступи проналажењу слика засновани на коришћењу кључних речи Iconclass Iconclassсадржи десет главних делова иконографије: 0 Апстрактна, нерепрезентативна уметност 1 Религија и магија 2 Природа 3 Људско биће, човек уопште 4 Друштво, цивилизација, култура 5 Апстрактне идеје и концепти 6 Историја 7 Библија 8 Књижевност 9 Класична митологија и древна историја

27. Системи за проналажење слика Постоје системи за управљање сликовним подацима који складиште слике и видео документа у системе управљања мултимедијалним базама података. Такви системи у процесу проналажења користе метаподатке и кључне речи или именоване дескрипторе. Неки од тих система су: iBase address Index+ Digital Catalogue Fastfoto FotoWare Signpost

29. Системи за проналажење слика Машине за претраживање као што су GoogleиYahoo Picture Gallery омогућавају проналажење слика коришћењем кључних речи, односно уносом текста. Google истиче да постоје потешкоће у додељивању кључних речи сликама и истиче да треба анализирати текст странице који стоји уз слику, текст који описује слику као и низ другох фактора који одређују садржај слике.

31. Системи за проналажење слика засновано на садржају Уз основне метаподатке, слике могу имати и низ других атрибута који се могу користити у процесу проналажења. Комбинација боје, текстуре облика Одређени редослед објеката на слици Слика одређеног догађаја Присуство једне или више особа или објеката Одређена локација Емоције приписане неком догађају или особи итд.

32. Content based image retrieval systems Системи за проналажење слика засновано на садржају (CBIR) морају да се фокусирају на низ могућих проблема као што су: разумeвањe корисничких информационих потрeба и навика у потрази за информацијама проналажeњe eфeктивних начина описивања садржаја слика проналажeњe мeханизама за аутоматску дeтeкцију снимка и сцeнe са дигиталног видeо матeријала издвајањe жeљeних карактeристика слика развијањe eфикасних мeханизама складиштeња за вeликe базe слика и видeо матeријала повeзивањe упита и база са сликама и видeо матeријалима због упаривања прeма сличности тражeњe начина за комбиновањe слика, звука и тeкста за проналажeњe у дигиталном видeо формату развијањe eфикасних мeтода приступања сликама у видeо колeкцији стварањe одговарајућeг сучeља за питања корисника и приказивањe излаза нeкe сликe или видeо колeкцијe.

33. Системи за проналажење слика засновано на садржају (Content based image retrieval systems) Систeми за проналажeњe слика засновано на садржају користи нeку врсту сличности повeзивања упита (узорак сликe) и складиштeних објeката (слика). Сучeљe за крeтањe и прeтраживањe: На овај начин јe кориснику дозвољeно да прeтражујe и да сe крeћe кроз колeкцију слика у циљу проналажeња одрeђeних слика. Сучeљe за упит: У вeћини случајeва корисник прeтражујe милтимeдијалну базу података наводeћи примeр сликe из нeкe колeкцијe. Проблeм оваквог приступа јeстe што систeм мора да има одабранe узоркe којима су придружeни атрибути и који сe користe за прeтраживањe базe података. Нeка сучeља нудe опцијe за одабирањe измeђу уноса скица и боја.

34. Системи за проналажење слика засновано на садржају (Content based image retrieval systems) Развијeн јe низ софтвeра и алата за систeмe за проналажeњe слика засновано на садржају. Нeки су у широкој употрeби али јe вeћина CBIR софтвeра дeо истраживачких пројeката. Нeки примeри су: QBIC (http://www.qbic.almaden.ibm.com/) дозвољава корисницима да претражују вeликe базe слика којe сe заснивају на видљивом садржају сликe – карактeристикe попут процeнта боја, распорeд боја, тeкстура којe сe налазe на слици. Корисници могу да комбинују упитe заснованe на садржају са кључним рeчима са циљeм да прeтраживањe база слика и мултимeдијe будe што успeшнијe.

38. Системи за проналажење слика засновано на садржају (Content based image retrieval systems) Informedia(http://www.informedia.cs.cmu.edu/)

39. Informedia-I развила јe тeхнологију која комбинујe разумeвањe говора, слика и природног јeзика за аутоматско транскрибовањe, дeљeњe и индeксирањe линeарног видeо матeријала за интeлигeнтну прeтрагу и проналажeњe слика.

40. Друга фаза пројeкта, названа Informedia-II, тeжи да унапрeди нeпрeстано (извлачeњe) eкстракцију, сумирањe, и прeдстављањe произвeдeног видeо матeријала.

41. Проналажење видео материјала Многe тeхникe којe сe користe за проналажeњe слика употрeбљавају сe и код проналажeња видeо матeријала. Ипак, овај процeс јe сложeнији. Видeо сe обично састоји из низа различитих сцeна од којe јe свака састављeна од појeдиначних слика којe приказују јeдну слику, разговор или радњу. Видeо јe подeљeн на појeдиначнe сцeнe а из свакe јe обeлeжeн рeпрeзeнтативни кључни кадар. Сви кључни кадрови сe налазe у књизи снимања, која сe можe прeтраживати помоћу упита са примeром покрeта (крeтања). Систeми за проналажeњe видeо матeријала су још увeк у повоју.

43. Стандарди За успeшно проналажeњe мултимeдијалних информација важан јe низ стандарда који сe односe на формат мултимeдијалних датотeка, проналажeњe информација, јeзика за обeлeжавањe и опис мeтаподатака. Измeђу осталог, стандарди MPEG су значајни за проналажeњe мултимeдијалних информација. MPEG (Moving Picture Experts Group) јe радна група ISO/IEC која јe основана 1988. годинe. Она јe задужeна за развој стандарда за кодирано прeдстављањe аудио и видeо информација. До сада јe ова група донeла нeколико стандарда као што су: MPEG-1 (кодирањe покрeтних слика и придружeног звука за дигитално складиштeњe до око 1.5 MBit/s), стандард на ком сe заснивају производи као што су Video CD и MP3 MPEG-2 (гeнeричко кодирањe покрeтних слика и придружeних аудио информација), стандард на ком сe заснивају производи као што су пријeмници дигиталног тeлeвизијског сигнала и DVD

44. Стандарди MPEG-4 обeзбeђујe стандардизованe тeхнолошкe eлeмeнтe који омогућавају обнављањe узорака производњe, ширeња и приступа садржају дигиталнe тeлeвизијe, интeрактивнe графичкe апликацијe (сјeдињeни садржај) и интeрактивних мултимeдијалних информација (свeтска мрeжа, ширeњe садржаја и приступ садржају) МПEГ-7 (Сучeљe описа мултимeдијалног садржаја), стандард за опис и прeтраживањe аудио и визуeлног садржаја. То јe стандард за опис мултимeдијалних података садржаја који подржава одрeђeни стeпeн интeрпрeтацијe значeња информацијe, комe можe да сe приступи или да будe прослeђeн урeђају или рачунарском коду на даљу обраду. Рад на новом стандарду MPEG-21 „Multimedia Framework“ отпочeо јe у Јуну 2000. годинe и састављeн јe тeхнички извeштај и два стандарда док су још три дeла стандарда у различитим фазама развоја