1 / 36

Background Subtraction for Urban Traffic Monitoring using Webcams

Background Subtraction for Urban Traffic Monitoring using Webcams. Master Thesis Verdediging Begeleider : Rein van den Boomgaard door: Mark Smids 19 maart 2007. Overzicht presentatie. Project omschrijving Verkeersanalyse Achtergrond / voorgrond detectie Schaduw detectie en eliminatie

huey
Download Presentation

Background Subtraction for Urban Traffic Monitoring using Webcams

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart 2007

  2. Overzicht presentatie • Project omschrijving • Verkeersanalyse • Achtergrond / voorgrond detectie • Schaduw detectie en eliminatie • Het samenvatten van videobeelden • Demo’s • Evaluatie • Conclusies • Gelegenheid voor vragen

  3. Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Uitgebreid literatuuronderzoek op het gebied van: • visuele verkeersanalyse • achtergrond / voorgrond detectie • schaduwdetectie

  4. Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Implementatie van: • twee achtergrond / voorgrond detectors • een schaduwdetector • een toepassing: ‘slimme’ beveiligingscamera

  5. Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Vergelijken van de twee achtergrond / voorgrond detectors: • testen op een aantal videos • testen onder verschillende weersomstandigheden • testen van de schaduw detector

  6. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’

  7. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’ • Beperkingen: • Kostbaar en deze systemen tellen alleen

  8. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’ • Beperkingen: • Kostbaar en deze systemen tellen alleen • Uitgebreide analyse is gewenst zoals: • verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig,

  9. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’ • Beperkingen: • Kostbaar en deze systemen tellen alleen • Uitgebreide analyse is gewenst zoals: • verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig,

  10. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Waarom gericht op stedelijke gebieden? • Meeste literatuur is gericht op verkeerssituaties op snelwegen • Veel uitdagendere taken op kruispunten

  11. Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Waarom gericht op stedelijke gebieden? • Meeste literatuur is gericht op verkeerssituaties op snelwegen • Veel uitdagendere taken op kruispunten • Componenten in een verkeersanalyse systeem: • cameras, calibratie, achtergrond / voorgrond detectie, tracking, schaduw detectie,samenvatten van videobeelden, …

  12. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deze detectie is onder te verdelen in: • het maken van een initieel achtergrond model • het weergeven van de voorgrond gegeven het achtergrond model • het bijwerken van het achtergrond model

  13. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deze detectie is onder te verdelen in: • het maken van een initieel achtergrond model • het weergeven van de voorgrond gegeven het achtergrond model • het bijwerken van het achtergrond model • Twee verschillende benaderingen: • deterministisch • statistisch

  14. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden

  15. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model

  16. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model • for all x,y: if I(x,y) – B(x,y) > T then M(x,y) = 1 • else M(x,y) = 0

  17. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model • voor alle x,y: als I(x,y) – B(x,y) > T dan M(x,y) = 1 • anders M(x,y) = 0 • Updaten van het achtergrond model: voor alle x,y: als M(x,y) = 0 dan B(x,y) = I(x,y)

  18. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Statistische methode • Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model • Alle voorgaande pixel waarden wegen mee in de huidige classificatie

  19. Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Statistische methode • Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model • Alle voorgaande pixel waarden wegen mee in de huidige classificatie • Voordelen van deze methode: • stilstaande voorgrond objecten worden na verloop van tijd opgenomen in het achtergrond model • lerende factor: onthouden van meerdere ‘achtergrondwaarden’

  20. Statistische methode • Modelleer elk pixel door middel van een ‘mixture of Gaussians’ • Waarom een mix? • Een achtgrond model wordt gevormd door het kiezen van die Gausische verdelingen die eigenschappen bevatten van achtergrond componenten • Updaten van het achtergrond model: door middel van updaten van parameters

  21. Wat zijn de eigenschappen van een achtergrond component? Hoe herkennen we deze? • Observatie: deze componenten zullen relatief veel samples bevatten (“high supporting evidence”) en lage varianties hebben • Sorteer de K distributies in het mixture model op de volgende wijze • De hoogst geplaatste B verdelingen worden gekozen als achtergrond model:

  22. Schaduw detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen Waarom het negeren van schaduw in een scene verbeterde resultaten geeft bij verkeersanalyse…

  23. Schaduw detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Beschouw alleen de pixels in een beeld die geclassificeerd zijn als voorgrond • Een pixel in een beeld is mogelijk een ‘schaduw pixel’ wanneer zijn waarde veel lager is dan de waarde van dit pixel in het bijbehorende achtergrond model.

  24. 1. Vergelijken van grootes van de vectoren: • c = (R,G,B) and • dan mate van overeenkomst in grootte: • 2. Vergelijken van de hoek tussen de vectoren • wanneer < 1 en D < dan is het pixel een schaduw pixel

  25. Samenvatten van videobeelden • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Toepassing: ‘slimme’ beveiligingscamera • Het basisidee: neem alleen de beelden op waarin voorgrond objecten zichtbaar zijn • Hoe garanderen we dat het volledige traject van een voertuig wordt opgenomen?

  26. Demos • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Schaduw detectie in actie – 1 | 2 • Achtergrond / voorgrond detectie in actie • det 1 | stat 1 - det 2 | stat 2 • ‘Slimme’ beveiligingscamera - 1

  27. Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Test videos: drie verschillende weersomstandigheden (elk 5 minuten) • Doel: test beide achtergrond / voorgrond detectors op deze videos • Beperking: geen ‘ground truth’ op pixel • niveau beschikbaar!

  28. Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Evaluatie op een andere manier: gebruikmakend van de samengevatte videobeelden • Een ‘ground truth’ op beeld-niveau: bevat een beeld (frame) één of meer voorgrond object(en)? • Met deze gegevens kan een score worden berekend

  29. Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen

  30. Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen

  31. Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter)

  32. Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem

  33. Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem • De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden

  34. Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem • De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden • nauwkeurigere scores: een ‘ground-truth’ op pixel niveau, en vervolgens met deze informatie opnieuw evalueren

  35. Vragen? • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen http://www.qdqp.nl/uva/afstuderen/master

  36. Gaussian mixture details • Update vergelijkingen: • MoG: Z. Zivkovic, “Improved Adaptive Gaussian Mixture Model for Background Subtraction”

More Related