1 / 33

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe. Uczenie sieci wielowarstwowowych – reguła propagacji wstecznej. Sieci wielowarstwowe jednokierunkowe . Wskaźnik jakości uczenia.

temple
Download Presentation

Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe Uczenie sieci wielowarstwowowych – reguła propagacji wstecznej

  2. Sieci wielowarstwowe jednokierunkowe Wskaźnik jakości uczenia Podobnie jak dla sieci jednowarstwowych, uczenie sieci wielowarstwowej realizowane jest metodą pod nadzorem. Sieci przedstawiany jest w trakcie procesu uczenia zbiór uczący - przykłady właściwego działania sieci Uczenie sieci powinno prowadzić do minimalizacji oczekiwanej wartości średniej kwadratu błędu  dla sieci z jednym neuronem w warstwie wyjściowej  dla sieci z wieloma neuronami w warstwie wyjściowej

  3. Sieci wielowarstwowe jednokierunkowe Podobnie jak dla sieci jednowarstwowych estymujemy  wartość oczekiwaną kwadratu błędu  kwadratem błędu w k-tej iteracji (po przeprowadzeniu k-tej prezentacji (pewnej pary uczącej))  dla sieci z jednym neuronem w warstwie wyjściowej  dla sieci z wieloma neuronami w warstwie wyjściowej

  4. Sieci wielowarstwowe jednokierunkowe Uczenie sieci wielowarstwowej - reguła propagacji wstecznej (backpropagation) Reguła propagacji wstecznej jest uogólnieniem reguły delty na przypadek sieci wielowarstwowej Jak została skonstruowana reguła delty? Jak ją wykorzystamy w sieciach wielowarstwowych? Korzystamy z ogólnej formuły iteracyjnej metody gradientu prostego zmiany wartości wag i progów dla neuronu dowolnej m‑tej warstwy zapewniającej minimalizowanie wskaźnika jakości działania sieci

  5. Sieci wielowarstwowe jednokierunkowe Formuła wyjściowa reguły delty Notacja 1 Notacja 2

  6. Sieci wielowarstwowe jednokierunkowe Funkcjonał błędu jest funkcją złożoną  wartość tego funkcjonału zależy w pierwszej kolejności od wartości wzorca wyjściowego rzeczywistego czyli w szczególności dla warstwy wyjściowej od

  7. Sieci wielowarstwowe jednokierunkowe  w drugiej kolejności od wartości sygnału pobudzenia Notacja 1 czyli w szczególności dla warstwy wyjściowej od

  8. Sieci wielowarstwowe jednokierunkowe Notacja 2 czyli w szczególności dla warstwy wyjściowej od  w trzeciej kolejności od wartości wag i wartości progu dla im  ‑ tego neuronu m‑tej warstwy Możemy zatem napisać

  9. Sieci wielowarstwowe jednokierunkowe Zapiszemy narazie te wyrażenia w postaci W ostatnim zapisie wielkość nazywa się czułością (sensitivity) funkcjonału na zmiany pobudzenia  ‑tego neuronu m‑tej warstwy

  10. Sieci wielowarstwowe jednokierunkowe Ponieważ więc

  11. Sieci wielowarstwowe jednokierunkowe Możemy zatem napisać i podać reguły modyfikacji wag i progów w bardziej szczegółowej postaci

  12. Sieci wielowarstwowe jednokierunkowe Dla wszystkich wag i progów związanych z ‑tym neuronem m‑tej warstwy możemy napisać Dla wag i progów wszystkich neuronów m‑tej warstwy otrzymamy zapis macierzowy

  13. Sieci wielowarstwowe jednokierunkowe W ostatnim zapisie Aby zakończyć konstruowanie reguły propagacji wstecznej musimy pokazać jak można obliczać wektory czułości dla poszczególnych warstw

  14. Sieci wielowarstwowe jednokierunkowe Formalnie możemy zaproponować inny sposób obliczania czułości czyli

  15. Sieci wielowarstwowe jednokierunkowe Policzymy

  16. Sieci wielowarstwowe jednokierunkowe gdzie

  17. Sieci wielowarstwowe jednokierunkowe Obliczone w ten sposób pochodne dla ‑ego neuronu m+1‑szej warstwy względem wszystkich związanych z nim pobudzeń neuronów warstwy m‑tej tworzą wektor

  18. Sieci wielowarstwowe jednokierunkowe Wszystkie obliczone w ten sposób pochodne dla m+1 ‑ ej warstwy tworzą jakobian

  19. Sieci wielowarstwowe jednokierunkowe Korzystając z poprzednio wyprowadzonego wzoru na możemy podać zależność macierzową na obliczenie jakobianu czułości gdzie

  20. Sieci wielowarstwowe jednokierunkowe Możemy teraz podać zależność rekurencyjną na obliczenie wektora czułości dla pobudzeń neuronów m‑tej warstwy Ostatnia zależność tłumaczy skąd reguła propagacji wstecznej wzięła swoją nazwę. Czułość można określić przemieszczając się wstecz sieci od warstwy ostatniej do pierwszej

  21. Sieci wielowarstwowe jednokierunkowe Dla zakończenia prezentacji reguły propagacji wstecznej musimy pokazać jak obliczyć wielkość początkującą obliczanie czułości, czyli

  22. Sieci wielowarstwowe jednokierunkowe Ponieważ Możemy napisać lub dla całej warstwy wyjściowej

  23. Sieci wielowarstwowe jednokierunkowe Reguła propagacji wstecznej – kroki postępowania Krok1: Oblicz odpowiedzi poszczególnych warstw sieci rozpoczynając od pierwszej a kończąc na ostatniej dla kolejnej pary wzorców (po k-ej prezentacji)

  24. Sieci wielowarstwowe jednokierunkowe Krok 2: Oblicz czułości dla poszczególnych warstw sieci rozpoczynając od ostatniej a kończąc na pierwszej dla kolejnej pary wzorców (po k+1-ej prezentacji):

  25. Sieci wielowarstwowe jednokierunkowe Krok 3: Zmodyfikuj wartości wag i progów korzystając z metody gradientu prostego:

  26. Sieci wielowarstwowe jednokierunkowe Przykład: Sieć z poprzedniego przykładu Struktura sieci

  27. Sieci wielowarstwowe jednokierunkowe Na wejście sieci podano sygnał: Wzorcowa odpowiedź sieci: Bieżące (początkowe, k=0) wartości wag i progów: Sprawdzić, czy sieć umie już odpowiadać poprawnie na podany sygnał, a jeżeli nie zmodyfikować jej wagi i progi korzystając z reguły propagacji wstecznej

  28. Sieci wielowarstwowe jednokierunkowe Krok1: Odpowiedzi warstw i sieci

  29. Sieci wielowarstwowe jednokierunkowe Krok2: Czułości dla poszczególnych warstw

  30. Sieci wielowarstwowe jednokierunkowe Stąd

  31. Sieci wielowarstwowe jednokierunkowe Krok3: Modyfikacja wartości wag i progów Przyjmiemy: α=0.1

  32. Sieci wielowarstwowe jednokierunkowe

  33. Koniec materiału prezentowanego podczas wykładu Dziękuję za uczestnictwo w wykładzie i uwagę

More Related