1 / 36

Učenie v Image Retrieval

Učenie v Image Retrieval. Miroslav Pich. Ako pracuje IR system s učením ?. 1. Aplikácia poskytne počiatočný výsledok na dotaz pomocou Kľúčového slová Náčrtu Vzoru 2. Užívateľ ohodnotí výsledok 3. Aplikácia sa poučí a vráti lepší výsledok. “ Nájde podobne obrazy ”. CBIR. Dotaz.

naif
Download Presentation

Učenie v Image Retrieval

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Učenie v Image Retrieval Miroslav Pich

  2. Ako pracuje IR system s učením? • 1. Aplikácia poskytne počiatočný výsledok na dotaz pomocou • Kľúčového slová • Náčrtu • Vzoru • 2. Užívateľ ohodnotí výsledok • 3. Aplikácia sa poučí a vráti lepší výsledok

  3. “Nájde podobne obrazy” CBIR Dotaz Výsledok Dotaz pomocou vzoru • Vyberie sa vzor, ktorý sa poskytne systému pre získanie podobných obrazov

  4. Dotaz Feedback Feedback 2.Výsledok 1.Výsledok Relevance Feedback • Užívateľ ohodnotí obrázky z posledného dotazu • Systém si upraví svoje parametre tak, aby pri ďalšom dotaze vrátil lepšie výsledky Počiatočný vzor

  5. Extrahovanie vlastností • Farba • Textúra • Štruktúra • Tvary • ...

  6. Vizuálna podobnosť • Ako vyjadriť “podobnosť” pomocou týchto vlastností? • Podobnosť je subjektívna a závisí na kontexte vyhľadávania • Extrahované vlastností sú nízko úrovňové. • Nedokážu popísať, čo obraz zobrazuje • Medzera medzi sémantickým významom a extrahovanými vlastnosťami

  7. Ktoré vlastností sú dôležité? • Ak budeme vyhľadávať auta, tak pre nás bude dôležitejší tvar ako farba • Naopak, ak budeme vyhľadávať západ slnka, tak pre nás bude dôležitejšia farba ako tvar • Váha jednotlivých vlastností sa bude meniť

  8. Ako meniť váhu vlastností? • Manuálne • Užívateľ zadá špecifické hodnoty pre jednotlivé vlastností • 30% farba, 50% tvar ... • Veľmi ťažko sa určuje presná hodnota • Automatický • Program si “všimne” na ktoré vlastnosti kladie užívateľ dôraz.

  9. CBIR spočítanieW dotaz výsledok Váhová matica • Z dotazu systém určí váhovú maticu W, pomocou ktorej sa počíta podobnosť.

  10. Ako spočítať W? • Žiadne negatívne vzory (1-class) • Pozitívne a negatívne vzory (2-class) • Jedna pozitívna a veľa negatívnych tried (1+x)-class • Veľa pozitívnych a veľa negatívnych tried (x+y)-class

  11. Dostupne iba relevantne obrazy • Chceme pridať väčšiu váhu vlastnostiam v ktorých jednotlivé vzory čo najmenej líšia. • Použijeme rozptyl • Vlastnosti s malým rozptylom • Základne vlastnosti • Zvýšime im váhu

  12. One class Relevance Feedback • Spočíta sa rozptyl pre relevantné vzory • Inverzná hodnota rozptylu sa použije ako váha • Týmto spôsobom sa zvýši váha pre dôležité vlastnosti W je k x k diagonálna matica

  13. Problém dvoch tried • Fisher’s Discriminant Analysis (FDA) • Nájde W ktoré... • Minimalizuje rozptyl pre každú triedu • Maximalizuje rozptyl medzi klastrami

  14. Problém dvoch tried • Cieľová funkcia: • W je úplná matica

  15. Problém dvoch tried • Problém je redukovaný na nájdenie vlastných čísel

  16. Rozšírenie • Pozitívne vzory sú väčšinou z jednej triedy ako napríklad kvety • Negatívne vzory môžu byť z mnohých tried, ako napríklad auta, pomaranče, žirafy .... • Nieje vhodné predpokladať, že negatívne vzory sú z jednej triedy

  17. (1+x)-Class problém • Biased Discriminant Analysis • Negatívnym vzorom môže byť akýkoľvek obraz • Každý negatívny obraz ma vlastnú skupinu pozitívne negatívne

  18. (x+y)-Class problém • Group BDA algoritmus • Viacnásobné kladné triedy • Izolované negatívne triedy pozitívne negatívne

  19. PicSOM • Je to systém založený na neurónových sieťach. • Využíva Samo-Organizujúce mapy. • Obrazy sú organizované do dvojrozmernej mriežky tak, že podobné obrazy sú blízko seba. • PicSOM využíva SOM so stromovou štruktúrou (TS-SOM) • TS-SOM je vytvorený pre každý príznakový vektor. • Tieto mapy sú paralelne použité pri vyhodnocovaní výsledku

  20. PicSOM • V prvom kroku sú vybrané obrazy z najvrchnejšej vrstvy • Postupne sú vyberané z nižších vrstiev, tým sa dotaz spresňuje • Nakoniec by sa mal užívateľ dostať k tomu, čo hľadá.

  21. Učenie v PicSOM • PicSOM reaguje na odozvu od užívateľa • Všíma si, či sú vybrané obrazy v samoorganizujucej mape blízko. • Ak áno, zvýši váhu príznaku, ktorý táto mapa reprezentuje

  22. COSIMIR • COSIMIR = Cognitive SIMilarity Learning in Information Retrieval • Neurónová sieť so spätným šírením • Dokáže sa naučiť komplexné vzťahy medzi jednotlivými obrazmi • Vyžaduje veľa trénovacích vzorov • Dosiahli sa dobre výsledky s krátkymi vektormi

  23. COSIMIR

  24. Aké vzory poskytovať užívateľovi? • Stále tie najlepšie, tj. najbližšie k dotazu • Výhody: • užívateľ môže kedykoľvek ukončiť vyhľadávanie a dostane najlepší výsledok • Nevýhody: • Pomalé učenie sa IR systému • Veľa kladných vzorov a malo záporných

  25. Aké vzory poskytovať užívateľovi? • Také z ktorých získa učiaci algoritmus najviac informácii • Výhody: • Rýchlejšia cesta k cieľu • Vhodné pre systémy, kde je užívateľ ochotný spolupracovať • Nevýhody: • Nieje priebežne poznať ako kvalitne výsledky je systém schopný poskytnúť

  26. show-me-the-result ask-me-questions

  27. Aké vzory poskytovať užívateľovi? • najviac informačné obrazysa vo všeobecnosti nezhodujú s najviac pozitívnymi • najviac pozitívne obrazy často už boli ohodnotené a zvyknú kolerovať s obrazmi ktoré už boli ohodnotené

  28. SVM active learning algorithm • SVM (Support vector machine) • Jeden z typov učiaceho sa stroja • Pomocou trenovacích vzorov vytvára rozhodovacie pravidla • Tieto pravidla potom môžu byť použite na klasifikáciu neoznačených obrazov

  29. SVM

  30. SVM active learning algorithm • Cieľom je vybrať také vzory, aby sa čo najviac minimalizoval priestor, kde sa môžu nachádzať hľadané obrazy • Snahou je tento priestor pozitívnych obrazov pri každej iterácii zmenšiť na polovicu • Body na hranici klastrov vytvorených pomocou SVM dokážu výrazne redukovať tento priestor

  31. SVM active learning algorithm

  32. SVM active learning algorithm

  33. SVM active learning algorithm

  34. Aké vzory poskytovať užívateľovi? • Veľmi vhodné je preto kombinovať ako výsledok vyhľadávania pozitívne s informatívnymi obrázkami. • Užívateľ tým získa pocit, že aplikácia hľadá to čo má. • ...a zároveň sa urýchli proces učenia

  35. Ďakujem za pozornosť Dotazy

More Related