Definicija Uporaba Raskorak ciljeva i trenutnih problema Ostvarenje Usporedba s drugim metodama

1. Neuronske mreže s učiteljemFakultet elektrotehnike i računarstvaZEMRISProf. Bojana Dalbelo Bašić28.01.2004 Irena Kezić

2. Definicija • Uporaba • Raskorak ciljeva i trenutnih problema • Ostvarenje • Usporedba s drugim metodama • Zaključak Neuronske mreže

3. Neuronske mreže s učiteljem • Međusobno povezani jednostavni procesni elementati čija sefunkcijonalnost temelji na biološkom neuronu • Služe distribuiranoj paralelnoj obradi podataka • Postoji unaprijed poznat skup primjera oblika (ulaz, izlaz) Neuronske mreže

4. Uporaba • Procesiranje signala • Robotika • Raspoznavanje uzoraka • Reproduciranje i raspoznavanje govora • U medicini • Kompresija podataka • Klasifikacija teksta Neuronske mreže

5. Ciljevi u razvoju neuronskih mreža • Oblikovanje modela koji će imati sve bitne funkcije čovjekovog mozga • Paralelno procesiranje podataka • Visok stupanj povezanosti glavnih komponenti • Veze se mijenjaju ovisno o iskustvu • Učenje kontinuiran proces • Malen pad učinkovitosti ako se neki dijelovi izgube Neuronske mreže

6. Neuronske mreže danas... Prednosti • Dobre u procjeni nelinearnosti • Sposobnost rada s nejasnim podacima • Robusne na pogreške u podacima • Prilagodljivost okolini • Velik broj varijbli Nedostaci • U praksi ne postoji nužno skup za učenje • Ne daju objašnjenje pri klasifikaciji • Ne postoji učinkovit način kvalitativne i kvantitativne obrade podataka istovremeno • Rezultat ovisi o početnom stanju mreže Neuronske mreže

7. Ostvarenje i osnovni pojmovi • Dvije faze • Faza učenja • Faza obrade podataka • Skup primjera za učenje dijelimo na • Skup za učenje (iterativno podešavanje težina) • Skup za testiranje (provjera rada mreže) • Skup za provjeru (konačna provjera) Neuronske mreže

8. Ostvarenje i osnovni pojmovi • Osnovni element (model neurona) nazivamo čvor ili jedinica • Čvor prima ulazne podatke od drugih čvorova ili vanjskog izvora • Svaki ulaz ima pridruženu promjenjivu težinu w • Izlaz se izračunava prema izrazu yi = f(Σwijyij) Neuronske mreže

9. Ostvarenje i osnovni pojmovi • Perceptron • Sastoji se od osnovnih jedinica čiji ulazi dolaze od pretprocesirajučih A-jedinica (association unit) Neuronske mreže

10. Ostvarenje i osnovni pojmovi • Pravilo perceptrona • Ukoliko se uzorak klasificira ispravno -> ne radi korekciju • Ukoliko se uzorak ne klasificira ispravno -> primjeni korekciju • Ciklički uzimaj sve uzorke redom, a postupak zaustavi kad su svi uzorci ispravno klasificirani Wi(k+1) = Wi(k) + μ(t-o)x(k) Neuronske mreže

11. Ostvarenje i osnovni pojmovi • Kako bi mreža mogla predstaviti visoko nelinearne funkcije, prijenosna funkcija procesnih elementa mora i sama biti nelinearna • Sigmoidalna funkcija • Metoda gradijentnog spusta za smanjenje pogreške nad skupom primjera za učenje Neuronske mreže

12. Ostvarenje i osnovni pojmovi • Neuronska mreža s više izlaza ima slojevitu strukturu (sloj ulaznih podataka, sloj težina, izlazni sloj) Neuronske mreže

13. Ostvarenje i osnovni pojmovi • Gradijent G funkcije gubitaka s obzirom na svaku od težina wij G=∂E/∂wij • Kolika će biti promjena težina određuje learning rate – μ (stopa učenja) • za malu stopu algoritmu treba mnogo vremena da konvergira • za veliku stopu algoritam divergira Neuronske mreže

14. Uporaba u data miningu 1 • Journal of Machine Learning Research • Yoshua Bengio, Réjean Ducharme, Pascal Vincent,Christian Jauvin Département d’Informatique et Recherche Opérationnelle Centre de Recherche Mathématiques Université de Montréal, Montréal, Québec, Canada • Usporedba sa statističkim trigram i back-off n-gram modelima • Cilj je bio prepoznati povezane nizove riječi u tekstu Neuronske mreže

15. Uporaba u data miningu 1 • Usporedba je izvršena na Brown korpusu (1 181 041 riječi, sastoji se od velikog broja engleskoh tekstova i knjiga) Prvih 800 000 riječi za učenje, sljedećih 200 000 za ocijenu, a preostalih 181 041 za testiranje. • Usporedba izvršena i na APN bazi novinskih članaka Set za učenje veličine 14 000 000 riječi, setovi za ocijenu i testiranje veličine 1 000 000 riječi. Neuronske mreže

16. Uporaba u data miningu 1 • Neuronska mreža dala je značajno bolje rezultate • razlika složenosti ispitivanja je 24% na Brown te 8% na APN bazi podataka • Statističke metode su brže • Metode griješe na različitim mjestima, te su ipak najbolji rezultati postignuti kombinacijom metoda klasifikacije Neuronske mreže

17. Uporaba u data miningu 2 • University Park, Pa. Iowa • Za prepoznavanje elektroničkog otiska uljeza koriste se neke od data mining metoda • Napravljena je usporedba tri takve metode • Neuronske mreže • Induktivno učenje • Rough sets Neuronske mreže

18. Uporaba u data miningu 2 • Induktivno učenje i neuronske mreže već su prije upotrebljavane u tu svrhu • Rough sets metoda je relativno nov pristup • Ne zahtjeva dodatne podatke o podacima • Može obrađivati neprecizne vrijednosti • Nesmetano radi ako neke vrijednosti nedostaju Neuronske mreže

19. Uporaba u data miningu 2 • Istraživanje koristi podatke programa sendmail • Podatci uključuju normalne i abnormalne otiske • Normalan otisak ostavlja sam program te ne uzrokuje smetnje • Abnormalan otisak sadrži smetnje koje uzrokuju tipične Unix probleme Neuronske mreže

20. Uporaba u data miningu 2 • Postotak točnosti klasifikacije za tri metode je • 75,68% za rough sets • 69,78% za neuronske mreže • 51,16% za induktivno učenje • Bolji rezultati su postignuti kada set za učenje ima jednak broj normalnih i abnormalnih otisaka Neuronske mreže

21. Uporaba u data miningu 3 • Raspoznavanje jezika • Shane MacNamara, Pádraig Cunningham i John ByrneDepartment of Computer Science, Trinity College Dublin Dublin 2 Ireland • Upotrebljene neuronske mreže s paralelno distribuiranim procesiranjem • Procesiranje kratkih uzoraka teksta Neuronske mreže

22. Uporaba u data miningu 3 • Učinkovitost uspoređena s trigram metodom i metodom sufiksne/morfološke analize • Postotak pravilno klasificiranih uzoraka • 92% trigram metoda • 88% neurnska mreža • 85% morfološka analiza • Trigram metoda značajno brža Neuronske mreže

23. Uporaba u data miningu 4 • J. Mostafa, W. Lam • School of Library and Information Science, Indiana University, Bloomington Department of Systems Engineering and Engineering Management, Chinese University of Hong Kong, Shatin, New Territories, Hong Kong, People's Republic of China • Klasifikacija medicinskih članaka iz područja stanične biologije • Usporedba s klasifikacijom koju obavlja čovjek Neuronske mreže

24. Uporaba u data miningu 4 • Dvije faze • Faza učenja • Faza klasifikacije • Neuronske mreže pokazale su zadovoljavajuće rezultate • Performanse mreže variraju u ovisnosti o postotku točnosti predpostavljenih klasa Neuronske mreže

25. Zaključak • Neuronske mreže uobičajno nisu upotrebljavane u data minigu • Ne daju objašnjenje svojih postupaka • Treba im dugo vremena za klasifikaciju • Ipak postoje dva oblika neuronskih mreža prikladna za data mining • Izdvajanje pravila (izdvajanje simboličkih modela iz trenirane neuronske mreže) • Jednostavne mreže s direktnim učenjem (Future Generations Computer Systems. 13(2-3):211-229 ) Neuronske mreže

26. Literatura • http://baze.irb.hr • http://search.epnet.com • http://www3.interscience.wiely.com • http://www.zemris.fer.hr/education/ml • http://www.willamette.edu/~gorr/classes/cs449/intro.html Neuronske mreže