Inteligencja obliczeniowa systemy neurorozmyte
This presentation is the property of its rightful owner.
Sponsored Links
1 / 21

Inteligencja Obliczeniowa Systemy neurorozmyte. PowerPoint PPT Presentation


  • 80 Views
  • Uploaded on
  • Presentation posted in: General

Inteligencja Obliczeniowa Systemy neurorozmyte. Wykład 19 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: Duch W. Zbiory rozmyte Wnioskowanie rozmyte. Co było. Neuro-fuzzy Feature Space Mapping Jak uczyć - adaptacja parametrów Jak tworzyć reguły logiczne, rozmyte i ostre

Download Presentation

Inteligencja Obliczeniowa Systemy neurorozmyte.

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Inteligencja obliczeniowa systemy neurorozmyte

Inteligencja ObliczeniowaSystemy neurorozmyte.

Wykład 19

Włodzisław Duch

Uniwersytet Mikołaja Kopernika

Google: Duch W


Co by o

Zbiory rozmyte

Wnioskowanie rozmyte

Co było


Co b dzie

Neuro-fuzzy

Feature Space Mapping

Jak uczyć - adaptacja parametrów

Jak tworzyć reguły logiczne, rozmyte i ostre

Jak stosować takie reguły.

Co będzie


System rozmyto neuronowy

System rozmyto-neuronowy

Typowa 4-warstwowa architektura systemu realizującego funkcję wyostrzania:


Nefclass

NEFCLASS

NEuroFuzzy CLASSification (Nauck, Kruse 1995)

Rozmyty perceptron, ustalone zbiory rozmyte.

Znajdź dla każdego {xi} max miji.

Znajdź regułę R dla której W(xi,R)= miji, i=1 .. n

Jeśli nie ma R to utwórz i dołącz wyjście do odpowiedniej klasy.

Po zakończeniu prezentacji danych zostaw najlepsze k reguł.

Dzielone wagi: dla tych samych termów.

Można wprowadzić adaptację zbiorów rozmytych - w praktyce trójkątne MF.


Inteligencja obliczeniowa systemy neurorozmyte

FuNN

Fuzzy Neural Networks (Kasabov 1996)

5 warstw: wejście, rozmywanie, reguły, agregacja, wyostrzenie.

Uczenie: BP bez modyfikacji MF

BP z regularyzacją Laplace’a.

Genetyczne algorytmy.

Reguły zwykłe i ważone.

Zalety: modularna budowa.

Działa w miarę dobrze z małymi zbiorami danych treningowych.

Wady: trudno jest znaleźć dobre rozwiązania; za dużo parametrów, dużo zastosowań ale mało dobrych wyników.


E funn

E-FuNN

Evolving Fuzzy Neural Networks (Kasabov 2000)

FuNN konstruktywistyczny.

Zmiana struktury sieci.

BP z regularyzacją Laplace’a.

Genetyczne algorytmy.

Reguły zwykłe i ważone.

Zalety: modularna budowa.

Działa w miarę dobrze z małymi zbiorami danych treningowych.

Wady: trudno jest znaleźć dobre rozwiązania; za dużo parametrów, dużo zastosowań ale mało dobrych wyników.


Inteligencja obliczeniowa systemy neurorozmyte

FSM

Feature Space Mapping (Duch 1995)

Inspiracje kognitywne - obiekty w przestrzeni cech.

Uniwersalny system neurorozmyty.

  • FSM jako system neurorozmyty: węzły realizują rozmyte reguły, adaptując kształt funkcji przynależności.

  • FSM jako system do ekstrakcji reguł logicznych, ostrych i rozmytych.

  • FSM jako system do autoasocjacji

  • ·Znajdź brakujące wartości nieznanych cech.

  • FSM jako heurystyka do rozumowania

  • ·Ucz się na fragmentach problemu, stosuj wiedzę do całości


Fsm inspiracje kognitywne

FSM - inspiracje kognitywne

Od neurodynamiki do opisu zdarzeń w przestrzeni umysłu (mind space)

Obiekty w przestrzeni cech: rozkłady p dla kombinacji cech/zachowań.

  • Próba ucieczki od neurodynamiki: za dużo zmiennych, zbyt skomplikowana, nie daje prostych wyjaśnień.

  • Przestrzenie psychologiczne używane w psychologii.

  • Model działania umysłu w p. psychologicznych.

Jak tworzyć neuronowe reprezentacje p. psychologicznych? Ile wymiarów?

Jak oceniać niesymetryczne relacje podobieństwa zachowujące obrazek geometryczny?

Jak przekształcić neurodynamikę w dynamikę aktywacji elementów p. umysłu?


Fsm sie

FSM - sieć

Szukaj lokalnych minimów PDF (Prob. Density Function).

Najprostszy model statyczny.

Obliczanie gradientów można zastąpić wybieraniem najbardziej pobudzonego węzła.

Funkcje transferu g() - dowolne separowalne.


Fsm w asno ci

FSM - własności

Statyczna realizacja idei p. umysłu: ogólne cechy modelu FSM:

·Model konstruktywistyczny: dodawanie, usuwanie, łączenie węzłów, końcowa złożoność sieci dopasowana do danych.

·Wiele różnych typów separowalnych funkcji transferu, możliwość obrotu granic decyzji w wielu wymiarach.

·Inicjalizacja przez wstępną klasteryzację (np. dendrogramy), FSM pozwala na obroty gęstości bez późniejszej adaptacji.

·Uczenie: metoda heurystyczna, modyfikacja istniejących i dodawanie nowych węzłów, uwzględnia położenia, rozmycia, wagi, masę i pobudzenie neuronu.

·Dla zlokalizowanych funkcji transferu douczanie nowych faktów nie psuje sieci - uczenie lokalne.

·Selekcja cech: automatyczne rozszerzanie funkcji na cały obszar.


Funkcja fsm

Funkcja FSM

(X,Y) - wektor {Xi, ,Yi,}, fakt, należy do zbioru rozmytego.

Funkcja FW modeluje rozkład gęstości par (X,Y); standardową funkcję:

zastąpić można odchyleniem od :

Uczenie lokalne: zmiany tylko w obszarze napływających danych.

W MLP możliwe katastroficzne zapominanie i konieczne jest ciągłe douczanie bo nowe dane wpływają na wszystkie parametry.


Funkcje faktoryzowalne

Funkcje faktoryzowalne

Interpretacja węzłów jako f. przynależności: wystarczy by

W praktyce wszystkie składowe są często jednakowe, np. Gaussowskie

Rozmyte gęstości elipsoidalne; niesymetryczne Gaussy:


Funkcje zlokalizowane

Funkcje zlokalizowane

Separowalne + zlokalizowane f. powinny mieć mało parametrów i opisywać skomplikowane gęstości.

Gaussowskie - 2N parametrów; ich uproszczenia:

lub

Gaussy: jedyne radialne funkcje separowalne.

Wiele możliwości funkcji Gausso-podobnych.


Belkowate

Belkowate

Gaussian bars, 3N parametrów adaptacyjnych.

Łatwo dokonać selekcji cech manipulując wagami; alternatywa: zwiększanie dyspersji f. gaussopodobnych. nie są to funkcje radialne i wymagają filtracji przez sigmoidy.

Kombinacje iloczynów funkcji sigmoidalnych: 2N lub 4N parametrów.

Iloczyn s(x) (1-s(x+b)) zastąpić można iloczynem różnic s(x)-s(x+b)

Skupienia na regularnej siatce: dla K2 skupień 4K funkcji belkowatych.

Wady: obliczanie eksponentu N lub 2N razy.


Bicentralne

Bicentralne

Iloczyny par sigmoid, 2N lub więcej parametrów adaptacyjnych.

Rozszerzenia: niezależne skosy:

Bicentralne zdelokalizowane:


Bicentralne obroty

Bicentralne + obroty

Najbardziej ogólne - 6N parametrów.

Obrót konturów wprowadzić można następująco:

Alternatywa to macierz obrotów


Pewna r wnowa no

Pewna równoważność

Iloczyn dwóch funkcji logistycznych równoważny jest z dokładnością do normalizacji ich różnicy.

Równości użyteczne przy dowodzie:

Czy jest tak dla innych funkcji sigmoidalnych?


Dualizm f transferu

Dualizm f. transferu

Płaszczyzna to powierzchnia równo odległa od pary punktów.

Renormalizacja Gaussa daje sigmoidę!

gdzie wagi:

Wi=4Di /bi2

Jaki jest związek między f. aktywacji sigmoidy i Gaussa?


Zastosowania system w rozmytych

Zastosowania systemów rozmytych

Wszystko fuzzy, szczególnie w Japonii od 1987!

Kontrolery rozmyte: jak się przewraca to pchaj! Kontrolery w: pralkach, opiekaczach, kamerach (autofokus), klimatyzacji, samochodach (hamulce, wtryski), automatyce przemysłowej, sterowaniu robotów ...

Języki AI, np. FuzzyCLIPS. FuzzyJESS (Expert System Shell z Sandia National Lab.)

Fuzzy Java Toolkit ...

Fuzzyfikacja sieci neuronowych: systemy neurrozmyte i rozmyto-neuronowe.


Koniec wyk adu 19

Koniec wykładu 19

Dobranoc !


  • Login