1 / 48

Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova

Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova. Ivan Filković Mentor : Prof. dr. sc . Zoran Kalafatić. Sadržaj. Motivacija, uvod Ispitni skupovi prometnih znakova Sustav za evaluaciju postupaka za raspoznavanje prometnih znakova HOG, LDA, PCA, SVM

zuzela
Download Presentation

Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova Ivan Filković Mentor: Prof. dr. sc. Zoran Kalafatić

  2. Sadržaj • Motivacija, uvod • Ispitni skupovi prometnih znakova • Sustav za evaluaciju postupaka za raspoznavanje prometnih znakova • HOG, LDA, PCA, SVM • Rezultati testiranja • Zaključak

  3. Motivacija • Postojeći komercijalni sustavi • Mogućnost poboljšanja performansi • Uklanjanje pretpostavki kao što su vožnja u neurbanim sredinama (npr. autocestama) • Malen podskup prometnih znakova (znakovi ograničenja brzine) • Primjena • Napredni sustavi za potporu vozaču • Sustavi za kartiranje i provjeravanje prometne signalizacije • Autonomna vozila • Projekt VISTA:u okviru sustava za otkrivanje, raspoznavanje i praćenje prometnih znakova

  4. Uvod • Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom • Osmišljeni da budu što uočljiviji čovjeku (intenzivne boje, pravilni oblici i refleksivna površina) • Problem:reprezentacija koja odgovara čovjeku je nepogodna za računalo • Problemi: • Promjena osvjetljenja • Djelomična prekrivenost prometnih znakova • Vremenski uvjeti • Perspektiva prometnih znakova • Podskupovi prometnih znakova koji su vizualno vrlo slični jedni drugima • Standardizacija

  5. Uvod - Standardizacija • Bečki sporazum o prometnim znakovima i signalizaciji (1968) • Standardizacija prometnih znakova (manje razlike između država) • 62 države potpisnice (Hrvatska; većina europskih država) • Problem:nemogućnost izrade jedinstvenog sustava za otkrivanje i raspoznavanje prometnih znakova

  6. Uvod - Prometni znakovi • Osam osnovnih vrsta prometnih znakova (Bečki sporazum): • Znakovi upozorenja od opasnosti • Znakovi prednosti • Znakovi zabrane ili ograničenja • Znakovi obveze • Znakovi posebne regulacije prometa • Znakovi informacija, objekata ili usluga • Znakovi smjera, položaja ili naznake • Dopunske ploče • Primjeri osnovnih vrsta prometnih znakova u Hrvatskoj

  7. Uvod – Prometni znakovi (Hrvatska) • Znakovi opasnosti • A01 – A50 → 50 znakova • Znakovi izričitih zabrana • B01 – B62 → 62 znaka • Znakovi obavijesti • C01 – C133 → 133 znaka • Znakovi obavijesti za vođenje prometa • D01 – D17 → 17 znakova • Dopunske ploče • E01 – E50 → 50 znakova 322 različita prometna znaka!!!

  8. Uvod - Cilj • Sustav raspoznavanja prometnih znakova • Robustan • Rad u realnom vremenu (ADAS) • Minimizirati troškove (jačina računala, karakteristike kamere; ADAS) • Maksimizirati performanse (ADAS)

  9. Uvod - Raspoznavanje prometnih znakova • Raspoznavanje prometnih znakova→ problem strojnog učenja (nadzirano učenje) • Najvažnije - kvalitetan skup podataka (skup prometnih znakova) koji dobro reprezentira dani problem • Višerazredni klasifikacijski problem s neujednačenom zastupljenosti razreda • Problem: 322 različita prometna znaka u Hrvatskoj → 322 razreda → težak klasifikacijski problem • Rješenje: problem razdvojiti na više podproblema • Podskup prometnih znakova (npr. trokutasti, okrugli, znakovi ograničenja brzine) → novi problem

  10. Skupovi prometnih znakova • 3 javno dostupna skupa podataka: • MASTIF - Mapping and Assessing the State of Traffic Infrastructure skup podataka • GTSRB - German TrafficSignRecognitionBenchmarkskup podataka • BTSC - BelgiumTrafficSignClassificationskup podataka • Terminologija: • Jedan fizički prometni znak = instanca prometnog znaka • Trag prometnog znaka - primjeri instance prometnog znaka

  11. MASTIF skup podataka • FER • Kamera: • Pričvršćena na prednji dio automobila • SDTV rezolucija: 720 x 576 • FOV (engl. FieldofView): 48° • FPS: 25 • Tri podskupa snimljena 2009., 2010. i 2011. godine • Problemi: • Primjeri za učenje male rezolucije (20 x 20 do 90 x 90) • Prisutno zamućenje uslijed gibanja vozila • Korištena interlaced kamera za podskup 2009 • Mali broj primjera za učenje nekih razreda

  12. MASTIF skup podataka

  13. MASTIF skup podataka

  14. MASTIF skup podataka

  15. Prerađeni MASTIF skup podataka

  16. Prerađeni MASTIF skup podataka

  17. GTSRB skup podataka • Stallkamp, Schlipsing, Salmen, Igel • Kamera: • Prosilica GC 1380CH • 10 sati slikovne sekvence dobivene kamerom pričvršćenom na prednji dio vozila tijekom dana (Ožujak, Listopad i Studeni 2010) • Rezolucija: 1360 x 1024 • FPS: 25 • Rezolucija primjera: • 15 x 15 do 222 x 193 • HOG1, HOG2, HOG3

  18. GTSRB skup podataka

  19. GTSRB skup podataka

  20. BTSC skup podataka

  21. BTSC skup podataka

  22. Skupovi prometnih znakova - Pregled

  23. Sustav za evaluaciju postupaka za raspoznavanje prometnih znakova

  24. HistogramOrijentiranih Gradijenata (HOG) • Prebrojavanje različitih orijentacija gradijenata u lokaliziranim dijelovima slike • Gusta mrežu uniformno raspoređenih ćelija • Ideja: lokalni izgled i oblik objekta se može opisati razdiobom orijentacije gradijenta (rubova) • Parametri: • Veličina ćelije (sl. el. x sl. el) • Veličina bloka (#ćelija x #ćelija) • # odjeljka histograma po ćeliji • Normalizacija • Veličina odjeljka histograma • Raspon histograma

  25. Linearna diskriminatna analiza (LDA) • Smanjenje dimenzionalnosti • Minimizacija raspršenosti primjera unutar razreda i maksimizacija raspršenosti između razreda Loša projekcija Dobra projekcija

  26. Analiza glavnih komponenti (PCA) • Smanjenje dimenzionalnosti • Ortogonalna transformacija primjera iz n-dimenzionalnog prostora u k-dimenzionalan ( • Osi novog koordinatnog sustava traže se način da se za svaku značajku pronađe ona os na kojoj će projicirane vrijednosti imati najveću varijancu

  27. Stroj s potpornim vektorima (SVM) • Jedan-naspram-ostali (K – 1 klasifikatora) • Pronalazak hiperravnine koja maksimizira marginu razdvajanja • Hiperravnina definirana primjerima (potporni vektori) • Linearni SVM (C) • C malen: margina razdvajana velika nauštrb pogrešne klasifikacije • C velik: manja margina

  28. SVM - jezgre • Polinomijalna jezgrena funkcija • Radijalna jezgrena funkcija (RBF) • Sigmoidalna jezgrena funkcija • Križajuća jezgrena funkcija mali → su različiti veliki → su slični

  29. Testiranje 1 • HOG konfiguracije • SVM s različitim jezgrama • Stopa točnosti klasfikacije • HIK SVM/HOG2/HOG2* • najbolji rezultati • HOG je dobro implementiran • HOG1*/HOG2* • HOG3* • MASTIF(1568) • , , • BTSC(1568) • , , • 2916 dvostruko više • RBF, SIGMOIDA • prenaučenost

  30. Testiranje 1 - LDA

  31. Testiranje 1 - PCA • Osjetan pad performansi od prosječno 4% • Smanjenjem dimenzionalnosti izgubi se korisna informacija • POLINOMIJALNA, RBF, SIGMOIDA • prenaučenost

  32. Testiranje 2 • Cilj: pokazati postoji li razlika između istih prometnih znakova u Hrvatskoj, Njemačkoj i Belgiji • Kako? Skupa za učenje i skup za provjeru: GTSRB Skup za testiranje: MASTIF, BTSC Skupa za učenje i skup za provjeru: MASTIF Skup za testiranje: GTSRB, BTSC Skupa za učenje i skup za provjeru: BTSC Skup za testiranje: MASTIF, GTSRB

  33. Testiranje 2

  34. Testiranje 2 MASTIF GTSRB BTSC

  35. Testiranje 2 • Zaključak: • Stopa točnosti klasifikacije: → isti znakovi u Hrvatskoj, Njemačkoj i Belgiji su približno slični • Sljedeći korak:

  36. Testiranje 2 • HIK-SVM, HOG2* • Stopa točnosti klasifikacije = 0.979765 (2082/2125) • makroF1 = 0.974471(2082/2125) • Zaključak: moguće je uspješno naučiti klasifikator koji dobro klasificira podskup trokutastih prometnih znakova iz triju spomenutih zemalja

  37. Testiranje 2 - matrica zabune Stvarno Predviđeno

  38. Testiranje 2 – Pogrešno klasificirani primjeri

  39. Zaključak, budući ciljevi • Kombinacije HOG2/HOG2* konfiguracija, LDA, SVM s linearnom ili križajućom jezgrom • Dobar odabir • Rezultati usporedivi s rezultatima iz reprezentativnih radova • Preliminarni rezultati pokazuju da je moguće napraviti jedan sustav raspoznavanja određenog podskupa prometnih znakova koji bi radio u više zemalja (potpisnica Bečkog sporazuma) • Ispitati ponašanje koncepta u ovisnosti o komponentama cijelog sustava za otkrivanje, raspoznavanje i praćenje prometnih znakova

  40. Hvala!

  41. HistogramOrijentiranih Gradijenata (HOG) • Prebrojavanje različitih orijentacija gradijenata u lokaliziranim dijelovima slike • Gusta mrežu uniformno raspoređenih ćelija • Ideja: lokalni izgled i oblik objekta se može opisati razdiobom orijentacije gradijenta (rubova) • Parametri: • Veličina ćelije (sl. el. x sl. el) • Veličina bloka (#ćelija x #ćelija) • # odjeljka histograma po ćeliji • Normalizacija • Veličina odjeljka histograma • Raspon histograma

  42. HOG • Postupak: • Postaviti područje od interesa na prometni znak u slici • Promijeniti veličinu ulazne slike na 40 x 40 (npr. bilinearna interpolacija) • Prebaciti sliku iz RGB sustava boja u HSV sustav boja • Izračunati gradijentne slike u x i y smjeru (npr. Sobelov, Robertsov, Prewittov operator)

  43. HOG • Izračunati histograme orijentacije gradijenata za svaku ćeliju • Amplituda gradijenta: • Orijentacija gradijenta:

  44. HOG • Izračunati pripadajuće integralne slike iz slika odjeljaka histograma • Zbroj vrijednosti svih slikovnih elemenata iznad i lijevo od slikovnog elementa • Nema operacija s pomičnim zarezom • Look-up tablice

  45. HOG • Izračunati vektor značajki

  46. HOG • Normalizacija bloka • Robusnost na promjene osvjetljenja

  47. Evaluacija klasifikatora • Stopa točne klasifikacije • Točnost – udio točno klasificiranih primjera u skupu svih • Preciznost – udio točno klasificiranih primjera u skupu pozitivno klasificiranih • Odziv – udio točno klasificiranih primjera u skupu pozitivnih • Specifičnost – udio točno klasificiranih primjera u skupu negativnih • Mikro F1 • MakroF1

  48. Evaluacija klasifikatora • Višerazredna klasifikacija • Neke mjere nemaju smisla • Točnost • Specifičnost • CCR = Preciznost = Odziv = Mikro F1 • Makro F1 je tipično stroža mjera • Slabo zastupljene klase → klasifikacija lošija

More Related