Roboty Reprezentacje

1. Roboty Reprezentacje Inteligentne Systemy Autonomiczne W oparciu o wykład Dr. Hadi Moradi University of Southern California Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

2. Maszynowe Widzenie • Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). • Przykład: drużyna robotów (ang. RoboCup) • Roboty humanoidalne (2 min) • Mała liga (2 min)

3. Fizyka wzroku • Światło przechodzi przez tęczówkę • Pada na siatkówkę oka

4. Wczesne i późniejsze widzenie • Wczesne widzenie: nerwy przetwarzają informację • Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu • Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

5. Przetwarzanie światła w kamerze • W aparatach • Halogenki srebra na filmie fotograficznym, • Półprzewodnikowy przetwornik obrazu (CCDs) Bardzo proste przetwarzanie

6. Skupienie obrazu • Obraz wynikowy nie jest całkowicie ostry • Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne • Ten zakres w aparatach jest nazwany głębią pola.

7. Rekonstrukcja obrazu • Rekonstrukcja: jaki był świat, który wytworzył ten obraz? • Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu(zauważ, że będą one odwrócone).

8. Rozbicie obrazu na piksele • piksele: komórki obrazu • Każdy obraz jest podzielony na małe komórki • Typowy aparat: 1024 X 1024 pikseli • Ludzkie oko: • 120 x 106 rods (pręcików) • 6 x 106 cones (czopków na siatkówce)

9. Jasność obrazu • Jasność: proporcjonalna do ilości światła skierowanego na aparat • Jasność zależy od: • współczynnika odbicia powierzchni • pozycji i rozproszenia źródeł światła w środowisku • ilości światła odbitego od innych przedmiotów w otoczeniu na obserwowana powierzchnię

10. Elementy wczesnego widzenia • Przykład: • Czarno-biały aparat • Płaszczyzna obrazu 1024 x 1024 pikseli. • Poziom intensywności między białym a czarnym • Pytanie: • Czy wiemy czy jest przedmiot? • Jak znaleźć przedmiot w płaszczyźnie obrazu? • Charakterystyczny pierwszy krok: • wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak?

11. Przykład

12. Wykrywanie krawędzi • Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności • Proste podejście: szukać ostrych zmian jasności: • przez różniczkowanie obrazu • szukaj obszarów gdzie wielkość pochodnej jest duża • Problem: cienie innych przedmiotów.

13. Łagodzenie szumu • Szum: małe odchylenia w zróżniczkowanym obrazie. • Usuwanie szumu: • Nazywane wygładzaniem • Splot: znajdź i usuń odizolowane odchylenia • Splot stosuje filtr obrazu. • Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

14. Przykład: Projekt ludzkiego ciała Wyszukiwanie krawędzi

15. Złożoność obliczeń • Wykrywanie krawędzi zostało dobrze przestudiowane • Wykrywanie krawędzi nie jest obliczeniowo proste. • =>Wizja wymaga złożonego przetwarzania.

16. Znajdywanie przedmiotów • Krok 2:Znajdź przedmioty pośród wszystkich tych krawędzi. • Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. • Pytania: • Skąd wiemy które linie odpowiadają którym przedmiotom? • Co tworzy przedmiot/obiekt? • Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

18. Wykryty obiekt

19. Wskazówki dla segmentacji (1) • Użycie nagromadzonych modeli (wizja bazująca na modelach) • porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań • weź pod uwagę rotację, przesunięcie, i skalowanie • przykład: MARKO, robot do kanałów ściekowych

20. Wskazówki dla segmentacji(2) • Wykorzystanie ruchu (wizja bazująca na ruchu) • porównaj dwa kroki czasowe, odejmij obrazy • przedmioty poruszają się jak konkretne elementy, wszystkie razem • jasność, kolor, tekstura, kształt, itp., pozostają takie same • nic innego nie powinno się poruszać

23. Wskazówki dla segmentacji (3) • Użycie zdolności widzenia binokularnego (wizja stereo) • Dwie kamery obserwują teren • Dwa obrazy bez konieczności poruszania • Ponownie odejmij, użyj znanych różnic

24. Wskazówki dla segmentacji (4) lewy obraz prawy obraz Obraz po rozpoznaniu różnic

25. Wskazówki dla segmentacji(5) • Użycie tekstur • jednolita tekstura prawdopodobnie pochodzi od jednego obiektu • porównaj dwa kroki czasowe, odejmij obrazy • Użyj cieniowania, konturowania, … • odzyskaj kształt w podobny sposób jak z tekstury

26. Przykłady segmentacji Robot ukladajacy kostke Rubika

27. Strategie biologiczne • Wiele strategii jest wykorzystywanych w systemach biologicznych • Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) • Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. • Dostrzeganie nowości, niespodziewanego przedmiotu • Trudne w każdym systemie

28. Złożoność wyczuwania wizji • Rekonstrukcja:opisane metody są konieczne • Są one obliczeniowo bardzo złożone i przez to powolne • Jeśli nie ma potrzeby rekonstrukcji: • Uprościć przetwarzanie wizji • Q: Jak można tego dokonać?

29. Uproszczenie wizji • Użycie koloru • Drużyny sportowe • Użycie mniejszego planu obrazu(np. linii) • Czytanie jednej linii naraz • Puzzles • Użycie innych czujników aby uzupełnić wiedzę • podczerwień, sonar, zaciski, itp. • Użycie informacji przydatnej dla określonego zadania • do kierowania, szukaj białych linii na drodze • zawsze szukaj właściwego sensora dla określonego zadania!

30. Czujniki ultradźwiękowe • Czujniki ultradźwiękowe • pomiar czasu i odległości • nadajniki i odbiorniki • sonary w biologii

31. Czas Przelotu • Nadajnik: wysyla impuls • Odbiornik: otrzymuje odbity sygnal • Roznica czasu • 342 m/sek • Technika echolokacja

32. Pytanie? • Czy jest to odczucie pasywne czy aktywne

33. Sonary w Technice • Mapy oceanów

34. Problemy: Odbicia Otrzymanie sygnałów od innych sonarów

35. Inne zastosowania: NavBelt http://www.engin.umich.edu/research/mrl/00MoRob_19.html

36. Navchair http://www.engin.umich.edu/research/mrl/00MoRob_19.html

37. Laska Nawigacyjna

38. Laska Nawigacyjna

39. Nietoperze • 7: odbiorników sonarnych • Wiele częstotliwości do wykrywania różnych objektow • Użyte do komunikacji • Lot nietoperza (1 min 45 sec)

40. MEMS: Miniaturowe Motory Ludzki włos Nanotechnologia Male i mniejsze Video 2:30 min Nanotechnologia Video 9:54 min

41. Nanotechnologie rewolucjonizują medycynę Prawie niewidoczne narzędzia robione przez Europejskich badaczy do wykrywania chorób i leczenia pacjentów. Zmniejszanie instrumentów do wymiarow mikro i nano sa obietnica by uczynić nasze zycie bezpieczniejszym i czyściejszym. W projekcie "Adonis", cząsteczki złota o wymiarach nano sa użyte do wykrywania komórek raka prostaty we wczesnym stadium. Video 7:30 min http://www.zangani.com/node/2763

42. Nanotechnologia 101 Nanotechnologia jest sztuka I nauka manipulowania przedmiotami w skali nano (do 1/100,000 grubości włosa ludzkiego) w celu wyprodukowania nowych unikalnych materiałów i wyrobów. Jeśli by zmniejszyc człowieka do 100 nm to odległość do księżyca byłaby 20 cm. • Nanotechnologia ma ogromny potencjał dla społeczeństwa. Szacunkowe nakłady na badania w zakresie nano technologii na świecie rzędu $9 mld rocznie maja doprowadzić do: • Nowych metod leczenia i narzędzi medycznych; • Bardziej wydajna produkcja, przesyłania i magazynowanie energii; • Łatwiejszy dostęp do czystej wody; • Bardziej skuteczne zmniejszanie zanieczyszczeń; • Mocniejsze, lżejsze materiały i inne zastosowania.

43. Nanotechnologia 101 No to co? Nano to rozmiary cząsteczek i atomow z których zrobiona jest materia na świecie. W tej skali naukowcy mogą bezpośrednio manipulować własnościami materiałów czyniąc je bardziej twardymi, lżejszymi czy trwałymi. • Czasem tylko zmniejszanie rzeczy do poziomu nano zmnienia ich własności. • Preparat może zmienić kolor lub • Zacząć przewodzić prądelektryczny • Cząsteczki nano sa bardziej aktywne chemicznie o większej powierzchni • Nanorurki zrobione z węgla daja materiały 30 razy mocniejsze niż stal a jednocześnie 6 razy lżejsze. http://www.nanotechproject.org/topics/nano101/introduction_to_nanotechnology/

44. Nanotechnologia 101 Nanorurki 9:50min Wartość rynkowa W 2007 sprzedano wyrobów w oparciu o nanotechnologie za $60 miliardow. Nanotechnologia pozwoli stworzyć 7 milionow miejsc pracy w następnym dziesięcioleciu. W 2014, wyroby o wartości $2.6 bilionow będzie wytwarzanych w oparciu o nanotechnologie. • Węglowe nanorurki daja lżejsze i mocniejsze rakiety tenisowe i ramy rowerowe. • Nanocząsteczki dwutlenku tytanu i tlenku cynku sa używane w kremach przeciw słonecznych. • Nanocząsteczki srebra sa bakteriobójcze i zabezpieczają jedzenie w torebkach plastikowych prze zepsuciem. • Ubrania powlekane pokryciem z nanocząsteczek sa odporne na brud i nie elektryzują sie. • Kostki komputerow używające elementow w skali nano sa używane w sprzęcie elektronicznym, aparatach cyfrowych, i grach wideo.

45. Przyszłe Technologie Video: Cześć 1: 7:00 min Cześć 2: 7:50 min Cześć 3: 7:22 min Cześć 4: 8:24 min Cześć 5: 7:30 min