1 / 59

Neuronové sítě

Neuronové sítě. Marcel Jiřina. Neuronové sítě. Inspirovány poznatky o neuronech a nervových sítích živých organizmů Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé Schopnost řešit silně nelineární úlohy Schopnost učit se Schopnost zevšeobecňovat

bin
Download Presentation

Neuronové sítě

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Neuronové sítě Marcel Jiřina

  2. Neuronové sítě • Inspirovány poznatky o neuronech a nervových sítích živých organizmů • Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé • Schopnost řešit silně nelineární úlohy • Schopnost učit se • Schopnost zevšeobecňovat • Využití pro klasifikaci, regresi a predikci časových řad

  3. Biologická inspirace

  4. Biologická inspirace

  5. Biologická inspirace • Tvar impulsu vysílaných do axonu

  6. Biologická inspirace • Synapse (elektrická, chemická)

  7. Biologická inspirace

  8. Biologická inspirace • Paměť a její mechanizmy • Reflexní paměť – více podnětů • Deklarativní paměť – asociačního charakteru • Paměťové mechanismy • Krátkodobý paměťový mechanismus • Střednědobý paměťový mechanismus • Dlouhodobý paměťový mechanismus • Principy učení • Asociativní učení • Neasociativní učení

  9. Umělá neuronová síť • Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

  10. Model neuronu • neuron je základní výpočetní jednotkou neuronových sítí

  11. Model neuronu • obsahuje několik vstupů, které jsou ohodnoceny vahami a jeden výstup • v neuronu pobíhají dva procesy: • výpočet (post-synaptického) potenciálu • výpočet hodnoty výstupu pomocí aktivační funkce, nejčastěji tzv. sigmoidy

  12. Struktura sítě • pro větší výpočetní sílu se neurony uspořádávají do sítí neuronů

  13. Typy neuronových sítí • Existuje celá řada typů neuronových sítí • Každý typ se hodí pro jinou třídu úloh • Základními úlohami neuronových sítí jsou klasifikace a regrese (aproximace) • Podle přítomnosti „učitele“ můžeme neuronové sítě dělit na sítě s učitelem a bez učitele

  14. Typy neuronových sítí • Existuje celá řada neuronových sítí, např. • Vícevrstvá perceptonová síť (MLP) • Hopfieldova síť • Kohonenovy samoorganizující se mapy • Síť RBF • ... • Každá neuronová síť je vhodná pro jiné třídy úloh. • Některé neuronové sítě se mohou vzájemně doplňovat.

  15. Proces učení neuronových sítí • Pro učení (trénování NS) je třeba mít dostatek reprezentativních příkladů • Trénovací, výběrová, testovací množina • Na začátku učení bývají váhy nejčastěji nastaveny na náhodná čísla • Proces učení se snaží minimalizovat odchylku (chybu) mezi skutečným (aktuálním) a požadovaným výstupem • Každá neuronová síť má jiný algoritmus učení, vesměs jsou to ale iterační procesy

  16. Návrh neuronové sítě • Pro řešení každé úohy musí být navržena jedinečná neuronová síť • Otázka vhodného výběru sítě • Výběr struktury sítě, tj. počet vstupů, výstupů, vrstev, skrytých neuronů, typ aktivačních funkcí, atd. • Výběr trénovacího algoritmu • Problém over-sizing, over-learning (over-fitting)

  17. Vícevrstvá perceptonová síť • Nejrozšířenější a nejpoužívanější síť • Jak pro klasifikaci tak pro regresi (a tedy i predikci časových řad) • Síť s učitelem • Aktivační funkcí je nejčastěji sigmoida • Otázka výběru počtu vrstev a počtu neuronů • Kromě základního algoritmu backpropagation existuje řada sofistikovaných metod učení, např. metoda sdružených gradientů, Levenbergova-Marquardtova metoda atd.

  18. Vícevrstvá perceptonová síť • K nevýhodám sítě patří obtížné řešení problému lokálních minim a poměrně dlouhá doba učení • Zlepšení pomocí momentu, šumu, dalších neuronů

  19. Vícevrstvá perceptonová síť

  20. Vícevrstvá perceptonová síť • Věta (Kolmogorovova, 1957) Nechť n > 1 je přirozené číslo a f je spojitá reálná funkce. Potom lze tuto funkci reprezentovat vztahem kde a jsou spojité funkce jedné proměnné. • libovolnou rozumnou, tj. spojitou, funkci lze zapsat (reprezentovat) s pomocí do sebe vnořených funkcí jediné proměnné.

  21. Vícevrstvá perceptonová síť • Příklad trénování vícevrstvé perceptronové sítě

  22. Vícevrstvá perceptonová síť

  23. Vícevrstvá perceptonová síť

  24. Vícevrstvá perceptonová síť

  25. Vícevrstvá perceptonová síť

  26. Vícevrstvá perceptonová síť

  27. Vícevrstvá perceptonová síť • Metody zlepšující chování sítě • Velikost parametru učení • Moment • Šum • Přidání neuronů

  28. Síť RBF • Radial Basis Function (RBF), síť radiálních jednotek • Pevný počet vrstev • Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) • Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí

  29. Síť RBF • Síť se učí velmi rychle • Vhodná jak pro klasifikaci, tak pro regresi

  30. Síť RBF • Postsynaptický potenciál • Aktivační funkce • Adaptace vah

  31. Síť RBF • Příklad: se transformoval na • Např. bod

  32. Kohonenova síť • Kohonenova síť (SOM, SOFM) • Bez učitele, provádí proto pouze analýzu vstupních dat, přesněji druh shlukové analýzy • Obsahuje jedinou vrstvu radiálních neuronů, které mohou být uspořádaný to tzv. mřížky • Síť je možné rozšířit tak, aby byla schopna klasifikace (Learning Vector Quantization – LVQ)

  33. Kohonenova síť • Struktura Kohonenovy sítě

  34. Kohonenova síť • Proces učení (adaptace vah)

  35. Kohonenova síť • Vzdálenosti vzoru k neuronům • Výběr nejbližšího neuronu • Adaptace vah

  36. Kohonenova síť • Adaptační funkce

  37. Kohonenova síť

  38. Kohonenova síť • Kohonenovu neuronovou síť lze rozšířit tak, aby mohla klasifikovat => učící vektorová kvantizace (Learning Vector Quantization – LVQ) • LVQ1, LVQ2, LVQ3 • Princip spočívá v přiřazení ohodnocení třídy neuronům na základě četností, s jakou se vyskytují v dominantní skupině.

  39. Hopfieldova síť • Navržena J. Hopfieldem v roce 1982 • Autoasociativní paměť • Pracuje s bipolárními (binárními) hodotami vstupů/výstupů • Spojitá varianta Hopfieldovy sítě se používá pro řešení optimalizačních problémů

  40. Hopfieldova síť

  41. Hopfieldova síť • Učení • Vybavování

  42. Hopfieldova síť

  43. Hopfieldova síť

  44. Hopfieldova síť • Příklad

  45. Technické realizace umělých neuronových sítí

  46. Technické realizace umělých neuronových sítí

  47. Technické realizace umělých neuronových sítí • Neuronové čipy (neuročipy)

  48. Technické realizace umělých neuronových sítí • Optické realizace neuronových sítí

  49. Technické realizace umělých neuronových sítí • Holografický klasifikátor (autoasociativní paměť)

More Related