Sieci neuronowe - architektury i zastosowania

1. Sieci neuronowe - architektury i zastosowania Piotr Gołąbek Politechnika Radomska Instytut Automatyki i Telematyki Transportu email: pgolab@poczta.onet.pl

2. Historia • McCulloch & Pitts (1943)– pierwszy arytmetyczno-logiczny model neuronu (nie zrealizowany sprzętowo)

3. Historia • Donald Hebb (1949) – teza o przechowywaniu wiedzy w sieci neuronowej w postaci wag połączeń, propozycja metody uczenia polegającej na zmianie wag.

4. Historia • Rosenblatt (1958) – tzw. perceptron – sprzętowa realizacja sieci z adaptowanymi połączeniami, zdolnej do klasyfikacji (efektywnie – 1 neuron).

5. Historia • Widrow i Hoff (1960) – ADALINE – struktura podobna do perceptronu, liniowe funkcje aktywacji, użycie algorytmu najmniejszych kwadratów

6. Historia • Minsky & Papert – „Perceptron” (1969) – krytyka perceptronu (jedno- lub wielo-warstwowego), jako zdolnego do rozwiązywania tylko liniowych problemów

7. Historia • Amari (lata siedemdziesiąte) – teoria uczenia się, SOM • Kohonen (1972), Anderson – pamięć asocjacyjna • Grossberg (1980) – nowa reguła samoorganizacji – ART • Hopfield (1982) – sieci rekurencyjne

8. Historia • Kohonen (1982) – dwuwymiarowe sieci SOM • Kirkpatrick (1983) – reguła optymalizacji globalnej - symulowane wyżarzanie • Barto, Sutton (1983) – uczenie się ze wzmacnianiem • Hinton, Sejnowski (1985) – maszyna Boltzmanna – działająca w oparciu o symulowane wyżarzanie

9. Historia • Rummelhart, Hinton (1986) – wsteczna propagacja błędu – metoda uczenia sieci, która pozwalała na rozwiązywanie problemów nieliniowych (nie separowalnych liniowo) ...okazało się, że zrobił to już w 1974r. Paul Werbos • Od tego czasu notuje się nieustanny, żywiołowy rozwój dziedziny

10. Neurony - elementy składowe sieci neuronowych Tak wyglądają nasze neurony ...

11. Neurony - elementy składowe sieci neuronowych ... a tyle z nich zostaje w sztucznych sieciach neuronowych ...

12. Neurony - elementy składowe sieci neuronowych Jednak oczywiście analogia jest do prześledzenia:

13. Funkcja przetwarzania neuronu progowego

14. Sieci neuronowe • W naszym mózgu jest ok. 1011 neuronów • Każdy z nich tworzy połączenie średnio z 103 innych neuronów • Oznacza to, że każdy neuron ma połączenia z zaledwie jedną dziesięciomiliardową częścią wszystkich neuronów • Gdyby w naszym mózgu neurony tworzyły połączenia „każdy z każdym”, musiałby on mieć średnicę rzędu kilkuset metrów

15. Sieci neuronowe Poniższe cztery zdjęcia pochodzą z prezentacji „Introduction to Neural Networks” autorstwa Jianfeng Fengze School of Cognitive and Computing Sciences Fragment sieci neuronowej łączącej siatkówkę z obszarem mózgu odpowiedzialnym za percepcję obrazu

16. Sieci neuronowe Pojedynczy neuron – obraz stereoskopowy

17. Sieci neuronowe Połączenie synaptyczne – struktura

18. Sieci neuronowe Połączenie synaptyczne – poziom molekularny

19. Sieci neuronowe a komputery • Wiele (1011) prostych elementów przetwarzających (neuronów) • Przetwarzanie równoległe, rozłożone • Rozłożona w całej strukturze pamięć adresowana zawartością • Duża odporność na uszkodzenia • Kilka bardzo złożonych elementów przetwarzających (procesorów) • Przetwarzanie sekwencyjne, scentralizowane • Skupiona, adresowana indeksem pamięć o dostępie swobodnym • Duża podatność na uszkodzenia

20. Neurony Wejścia Wagi połączeń Wyjście (aktywacja) neuronu Operacja sumowania Pobudzenie neuronu Funkcja aktywcyjna Próg aktywacji

21. Funkcja realizowana przez neuron • Równania neuronu

22. (Iloczyn skalarny)

23. x α x w w (Iloczyn skalarny x x w w max antypodobieństwo max niepodobieństwo max podobieństwo

24. Inna realizacja progowania

25. Inna realizacja progowania

26. Dwie grupy problemów • Zadania klasyfikacji/grupowania danych • Zadania aproksymacji funkcji

27. System klasyfikacyjny System klasyfikacyjny ... ... ... ... 7! 7! Klasyfikacja

28. System klasyfikacyjny Klasyfikacja Alternatywny schemat przetwarzania: 0 (1%) 1 (1%) 2 (1%) 3 (1%) 4 (1%) ... ... 5 (1%) 6 (1%) 7 (90%) 8 (1%) 9 (1%) Brak decyzji

29. System klasyfikacyjny ... ... 7! Klasyfikacja

30. Klasyfikacja - typy zastosowań Klasyfikacja == Rozpoznawanie wzorców: • diagnozowanie chorób • rozpoznawanie niebezpiecznych warunków w procesach sterowania • rozpoznawanie pisma • identyfikacja obiektów • wspomaganie decyzji

31. Klasyfikacja • Zakłada, że obiekty podobne należą do jednej klasy • Podobieństwo musi być zdefiniowane • Obiekty podobne – obiekty o zbliżonych cechach • Muszą być określone cechy obiektu

32. Klasyfikacja • Np. cechy ludzi: • Wzrost • Wiek Klasa K: „Wysocy ludzie przed trzydziestką”

33. Klasyfikacja Obiekt O1 klasy K: „Człowiek 180 cm wzrostu, 23 lata” Obiekt O2 nie należący do klasy K: „Człowiek 165cm wzrostu, 35 lat” (180, 23) (165, 35)

34. WIEK WIEK 35 35 23 23 WZROST WZROST 165 165 180 180 Klasyfikacja

35. WIEK 35 23 WZROST 165 180 Podobieństwo obiektów

36. Podobieństwo • Odległość Euklidesa (tzw. metryka Euklidesa):

37. Inne metryki Tzw. metryka Manhattan

38. X1 X2 X3 Klasyfikacja • Więcej cech – więcej wymiarów:

39. Podobieństwo wielowymiarowe

40. Klasyfikacja Atr 2 Atr 4 Atr 6 Atr 1 Atr 3 Atr 5 Atr 8, itd. .. Atr 7

41. WIEK 35 23 WZROST Y=K*X WIEK = K*WZROST Klasyfikacja WIEK > K*WZROST • Wytyczenie granicy między dwoma grupami WIEK < K*WZROST

42. Klasyfikacja WIEK = K*WZROST+B WIEK-K*WZROST-B=0 WIEK+K2*WZROST+B2=0 WIEK 35 23 WZROST

43. Klasyfikacja • Ogólnie, dla wielowymiarowego przypadku, tzw. hiperpłaszczyzna klasyfikacji ma równanie: • Bardzo niedaleko stąd do neuronu ...

44. Funkcja przetwarzania neuronu progowego

45. Neuron jako klasyfikator • Pojedynczy neuron progowy (model McCullocha-Pittsa) realizuje więc liniową separację obiektów w wielowymiarowej przestrzeni. • Dobór wag i progu aktywacji neuronu zmienia położenie hiperpłaszczyzny separującej

46. Neuron jako klasyfikator • Jeśli poprawnie wytyczyć tę hiperpłaszczyznę, czyli poprawnie dobrać wagi neuronu, to będzie on zdolny orzekać dla każdego obiektu, do której klasy należy. • Wartości cech badanego obiektu należy podać na wejścia neuronu. Stan wyjścia neuronu wskaże, do której klasy należy obiekt.

47. Wiele klas • Wiele neuronów • Każdy neuron przeprowadza bisekcję przestrzeni • Kilka neuronów dzieli więc przestrzeń na rozłączne obszary

48. Inna funkcja aktywacyjna • Tzw. funkcja sigmoidalna, np.:

49. Inna funkcja aktywacyjna β=1 β=100 β=0.4

50. WIEK 35 23 WZROST Inna funkcja aktywacyjna