1 / 28

Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni  wzorców w sieciach MLP

Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni  wzorców w sieciach MLP. Cezary Dendek prof. nzw. dr hab. Jacek Mańdziuk. Agenda. Intuicje dotyczące uporządkowania wzorców uczących. Agenda. Intuicje dotyczące uporządkowania wzorców uczących

goro
Download Presentation

Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni  wzorców w sieciach MLP

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni  wzorców w sieciach MLP Cezary Dendek prof. nzw. dr hab. Jacek Mańdziuk

  2. Agenda • Intuicje dotyczące uporządkowania wzorców uczących

  3. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących

  4. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań

  5. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań • Wyniki

  6. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań • Wyniki • Dalsze prace

  7. Intuicje • Uporządkowanie losowe • Bardzo łatwe do osiągnięcia,pokazało swoją skuteczność • Związek z metodami Monte Carlo(jednostajny rozkład próbek w przestrzeni) • Nie przekazuje dodatkowej (często znanej) informacji o przestrzeni wzorców

  8. Intuicje • Propozycja: uporządkowanie Distant-First • Hipoteza:Uwzględnienie w uczeniu odległych od siebie wzorców (w sensie metryki specyficznej dla przestrzeni) może poprawić generalizację • Uporządkowanie takie przenosi informację o topologii przestrzeni

  9. Reguła tworzenia ciągów uczących • n elementowa sekwencja ucząca {S} indeksowana {1, … n} spełniająca (w przybliżeniu) własność Dla każdego indeksu n>k>1 Średnia odległość w zbiorze{S1...Sk}≥Średnia odległość w zbiorze{Sk+1...Sn } • Przybliżone spełnianie własności – nierówność spełniana z dużym p-stwem(problem w domenie statystycznej)

  10. Metryka przestrzeni wzorców • Metryki (zależne od problemu) zdefiniowane na • przestrzeniwejściowej wzorca (dX) • przestrzeni wyjściowej(dY) są normalizowane poprzez E(dX) oraz E(dY) • Metryka zdefiniowana na przestrzeni wzorców łączy metryki obu podprzestrzeni

  11. Algorytmy porządkowania zbioru Sortowanie odległości (DS) • dla każdego wzorca oblicz sumę odległości od innych elementów • posortuj elementy zgodnie z obliczoną wartością

  12. Algorytmy porządkowania zbioru Sortowanie odległości z usuwaniem wzorców (DSR) • dla każdego pozostałego do uporządkowania wzorca oblicz sumę odległości od pozostałych elementów • wybierz element o największej wartości sumy i przenieś go na początek sekwencji • jeśli pozostały jakieś elementy  1

  13. Przykłady uporządkowania • Tendencja koncentracji jednego z końców na geometrycznym centrum przestrzeni

  14. Przykłady uporządkowania • Tendencja koncentracji na ekstremach gęstości p-stwa

  15. Przykłady uporządkowania • Przykład wieloklastrowy

  16. Przykłady uporządkowania • Porządek sekwencjiw problemie aproksymacji funkcji • Jednostajny rozkład wzorców w X

  17. Przykłady uporządkowania • Porządek sekwencjiw problemie aproksymacji funkcji • Niejednostajny rozkład wzorców w X

  18. Przeplatanie sekwencji uczących • Bezpośrednie zastosowanie uporządkowanej sekwencji uczącej może byćnieefektywneze względu na złamanie ciągłościreguływ chwili łączenia sekwencji (po ostatnim elemencie) • Propozycja: losowe przeplatanie sekwencji uporządkowanej sekwencją losową, zgodnie z wybranym modelem p-stwa

  19. Przeplatanie sekwencji uczących • Zaproponowany model p-stwa • p – p-stwo początkowe • η – współczynnik redukcji p-stwa • t – numer epoki

  20. Wyniki • Problem testowy: rozpoznawanie izolowanych odręcznie pisanych cyfr • Architektura sieci i parametry procesu: • MLP • Warstwa ukryta zawierająca 30 neuronów • 600 epok uczących alg. propagacji wstecznej

  21. Wyniki • Testowane sekwencje • DS oraz jego odwrotność • DSR oraz jego odwrotność • Hipoteza zerowa • Parametry procesu • p = 1.0 • η wybrane tak, aby P600 = 0.03 • Każda populacja o liczności 100 (wagi inicjowane losowo)

  22. Wyniki. • Hipoteza zerowa • „przedstawiony algorytm nie poprawia skuteczności uczenia” • reprezentowana przez procesy: • z jedną losową sekwencją uczącą • z dwiema różnymi sekwencjami z przeplotem

  23. Wyniki • Istotna różnica wrozkładzie RMSE w populacjach otrzymywanychw procesach • z przeplotem2 sekwencji losowych • z przeplotem sekwencji uporządkowanej sekwencją losową • z 1 sekwencją losową • średnie RMSE wyższe w procesach z sekwencjami losowymi • średnie RMSE najwyższe w procesach z 1 sekwencją losową • Najefektywniejsze klasyfikatory uzyskane w wyniku uczenia sekwencjami uporządkowanymi z przeplotem

  24. Wyniki • Względna różnicaRMSE dla procesu z sekwencją losową i sekwencją uporządkowaną przeplataną losową • Strona dodatnia wykresu: proces z sekwencją uporządkowaną

  25. Dalsze prace • Wyjaśnienie zaobserwowanego zjawiskaHipotezy: • Większa zdolność do opuszczania lokalnych minimów (ograniczenie efektu znoszenia się zmian) • W czasie pełnej prezentacji ciągu uczącego sieć „przeszukuje” większy fragment przestrzeni wag

  26. Dalsze prace • Problemy do rozwiązania: • usunięcie nieciągłości reguły przy sklejaniu sekwencjidroga: ekstrakcja najważniejszych własności z bieżącego modelu • zmniejszenie kosztu porządkowania sekwencjidroga: lokalizacja (w sensie elementów sekwencji) procesu porządkowania. Porządkowanie w trakcie uczenia

  27. Dalsze prace • Generalna własność:średnia odległość kolejnych 2 elementów ciągu uporządkowanego wyższa od średniej odległości w zbiorze wzorców • Jej lokalne spełnienie w trakcie uczenia • Adaptacja do bieżącego elementu • Adaptacja do bieżącego stanu sieci

  28. Dziękuję za uwagę Pytania? Wnioski? Pomysły?

More Related