GERI D N S ML AGLAR

1. 1 GERI D�N�S�ML� AGLAR Tugba �zge �ZDIN�

2. 2 Geri D�n�s�ml� Aglar Geri d�n�s�ml� aglarda, agin proses elemanlarinin �iktilari yine aga belirli bir sekilde geri g�nderilerek girdi olarak kullanilmaktadir. Geri d�n�s�ml� aglar, iki sekilde olabilirler: � Tam Geri D�n�s�ml� Aglar � Kismi Geri D�n�s�ml� Aglar

3. 3 Geri D�n�s�ml� Aglar (Devam Ediyor) Tam Geri D�n�s�ml� Aglar: Bu aglar gelisig�zel ileri ve geri baglantilari olan aglardir. Bu baglantilarin hepsi egitilebilirdir. Kismi Geri D�n�s�ml� Aglar: Bu aglarda agin proses elemanlarina ek olarak i�erik elemanlari vardir. Bu aglar, temelde ileri beslemeli bir agdir. Ileri baglantilar egitilebilirler. Geri d�n�s�m sadece i�erik elemanlari �zerinde yapilir ve bu baglantilar egitilemezler. I�erik elemanlari ara katman elemanlarinin ge�mis durumlarini hatirlamak i�in kullanilirlar. Agin �iktisi hem �nceki durumlara hem de agin o andaki durumuna bagli olarak olusturulmaktadir.

4. 4 Elman Agi Elman agi, daha �nce anlatilan �ok katmanli algilayici aginin �grenme kuralina g�re �grenmektedir.

5. 5 Elman Agi (Devam Ediyor) Girdi Katmani: Girdi elemanlari dis d�nyadan bilgiler alir ara katmanlara iletirler. �ok katmanli algilayicilarda oldugu gibi Elman aginda da girdi elemanlarinin bilgi isleme �zellikleri yoktur. Girdileri oldugu gibi ara katman elemanlarina g�nderirler. �ikti Katmani: �ikti elemanlari ise agin �iktisini dis d�nyaya iletirler. �ikti �nitelerinin bilgi isleme fonksiyonu dogrusaldir. Sadece kendilerine gelen bilgileri toplarlar.

6. 6 Elman Agi (Devam Ediyor) Ara Katmani: Ara katman elemanlari ise hem dogrusal hem de dogrusal olmayan aktivasyon fonksiyonlarina sahip olabilirler. I�erik Elemanlari: I�erik elemanlari ara katman elemanlarinin �nceki aktive degerlerini hatirlamak i�in kullanilmaktadir. Bir �nceki iterasyondaki aktivasyon degerini bir sonraki iterasyona girdi olarak tasirlar.

7. 7 Ileri beslemeli baglantilarin agirliklari egitim sirasinda degistirilebilirler. Geri d�n�s�mlerin (i�erik elemanlarinin) baglanti agirliklari ise sabittir. Bu nedenle Elman aglari �kismi geri d�n�s�ml� ag� olarak isimlendirilir. Elman Agi (Devam Ediyor)

8. 8 Elman agindaki, her hangi bir t zamaninda hem t zamanindaki girdi degerleri hem de ara katmanlarin t-1 zamanindaki aktivite degerleri aga girdi olarak verilirler. Agin girdileri belirlendikten sonra ag artik ileri beslemeli bir �ok katmanli algilayiciya d�n�smektedir. Bu girdiler kullanilarak agin �iktilari belirlenir. Bu ileri dogru hesaplamadan sonra agin ara katmanlarinin aktivasyon degerleri geriye dogru i�erik elemanlarina girdi olarak g�nderilir ve orada bir sonraki iterasyonda kullanilmak �zere saklanir. Elman Aginin �alismasi

9. 9 Baslangi�ta ara katmanlarin aktivasyon degerleri bilinmediginden i�erik elemanlarinin baslangi� degerlerinin belirlenmesi gerekir. Bunun i�in, genel olarak bir ara katmanin alabilecegi maksimum degerin yarisi i�erik elemanlarinin baslangi� girdi degerleri olarak atanir. Elman aginda agirliklarin degistirilmesinde herhangi farkli bir durum yoktur. Burada dikkat edilmesi gereken geri d�n�s�m agirliklarinin degerinin sabit oldugu ve degistirilmeyecegidir. Bu agirliklar ileri dogru bilgi islerken i�erik elemanlarinin girdisini olusturmada kullanilirlar. Elman Aginin �alismasi (Devam Ediyor)

10. 10 Agin agirliklarini degistirirken geri d�n�s�m baglanti agirliklarinin dikkate alinmamasi ve i�erik elemanlarinin girdi elemani olarak d�s�n�lmesi halinde Elman aginin bir �ok katmanli ag ile ayni yapiya sahip oldugu g�r�l�r. Elman Aginin �alismasi (Devam Ediyor)

11. 11 Jordan agi, Elman agina benzer bir topoloji ve �alisma sekline sahiptir. Bu agin ayni zamanda durum tabakasindaki her islemci elemandan kendisine baglantilari vardir. Jordan Agi

12. 12 Hopfield yapay sinir agi �recurrent� ya da �recursive� yani tekrar beslemeli bir yapiya sahiptir. Bu �zelligi ile diger yapay sinir agi modellerinden ayrilmaktadir. Tekrar besleme kabiliyeti sayesinde girdi �r�nt�s� Hopfield mimarisine verildiginde, mimari isleme bir baslangi� enerjisi ile baslar. Bu baslangi� konumundan itibaren yapi, girdi �r�nt�s�n� bir baska girdi �r�nt�s�ne (daha �nce �grendigi) dogru y�nlendirmeye baslar. Hopfield Agi

13. 13 Bu s�re�te girdi �r�nt�s�nde yapilan her ufak degisimin ardindan enerji tekrar tekrar hesaplanarak girdi �r�nt�s�n�n morfolojik d�n�s�m�n�n kontrol� saglanir. Girdi �r�nt�s�n�n bir baska �grenilmis olan girdi �r�nt�s�ne benzetilme islemi (morfolojisi), enerji stabilize olana dek s�rer. Enerji stabilizasyonu ise enerjinin minimuma ulastigi ve degismedigi yerdir. Hopfield Agi (Devam Ediyor)

14. 14 Girdi �r�nt�s�n�n tekrar besleme yardimiyla enerjisini d�s�re d�s�re yerel minimuma ulasmasi (enerjinin artik d�st�g� ve degismedigi s�re�) olayina �convergence� denir. �Convergence� pozisyonunda olan girdi �r�nt�s�ne ise �converged vector� adi verilir. Yani elde edilen cevap vekt�r�d�r. Bu a�idan matematiksel olarak interpolasyon islemine benzeyen bir operasyon olan bu �grenme s�reci sayesinde Hopfield sinir agi modeli optimizasyon problemleri i�in referans modeli olmustur. Hopfield Agi (Devam Ediyor)

15. 15 Tek katmanli ve geri d�n�s�ml� bir agdir. Islem elemanlarinin tamami hem girdi hem de �ikti elemanlaridir. H�creler a�ik (+1) ya da kapali (-1) olarak ikili mantiga g�re �alisir. Hopfield Aginin �zellikleri

16. 16 Islemci fonksiyonu s�reksiz formda esik fonksiyonu, s�rekli formda sigmoid ve tanjant hiperbolik fonksiyonu olarak d�s�n�lm�st�r. Agin baglanti degerleri bir enerji fonksiyonu olarak saklanmaktadir. Agin �grenmesi Hebb kuralina g�re yapilir. Hopfield Aginin �zellikleri (Devam Ediyor)

17. 17 Hopfield Agi desenlerin depolanmasi i�in tasarlanmistir, g�r�lt�l� veya kismi ipu�larindan desenleri d�zeltebilir. Bu islemi her deseni temsil eden attractorlara (�ukur b�lgeler) sahip bir enerji y�zeyi olusturarak yapar. G�r�lt�l� ve kismi ipu�lari sistemin attractorlara yakin olan durumlaridir. Hopfield Aginin �zellikleri (Devam Ediyor)

18. 18 Bir Hopfield Agi i�in enerji y�zeyi g�r�lt�l� desenden en yakin attractora dogru kayar. G�rsel olarak en �ekici g�sterimlerden birisi bir grup resmin depolanabilmesidir. Sonra aga ya resimlerden birinin bir par�asi (kismi ipucu) ya da g�r�lt�l� bir resim (g�r�lt�l� ipucu) verilebilir ve bir �ok iterasyon yoluyla depoladigi resimlerden birini bulgulardan �ikarmayi basarir. Hopfield Aginin �zellikleri (Devam Ediyor)

19. 19 Hopfield Aginin �zellikleri (Devam Ediyor)

20. 20 Hopfield Aginin �zellikleri (Devam Ediyor)

21. 21 Hebbian �grenme kurali Hopfield Agi Hebbian �grenmeyi uygular. Bu sekilde bir �grenme ilk defa Hebb (1949) tarafindan ifade edilen sinaptik mod�lasyon y�nteminin matematiksel bir �ikarimidir. Hebb�in kuralina g�re, eger alici n�ron atesliyorken bir n�ron baska bir n�ronu uyariyorsa, iki h�cre arasindaki baglanti agirliklandirilir. Hopfield Aginin �zellikleri (Devam Ediyor)

22. 22 Matematiksel olarak; wij = ai aj Bir agirliktaki degisim baglandigi birimlerin aktivasyonlari �arpimina esittir. B�ylelikle, eger iki birim de a�iksa (ai=1) veya her iki birim de kapaliysa (ai=-1) agirligin g�c� artar, aksi halde azalir. Hebb kuralinin matematiksel tanimi bir agirligin, eger her iki birim de kapaliysa artmasina ve eger birimlerin aktivasyonlari 1 ve �1 ise azalmasini saglar. Bu �zellikler muhtemelen fiziksel olarak a�iklanamaz ve degistirilemez, bununla birlikte sisteme eger Hebbian kurali uygulanmissa anlasilmasi daha kolay olur. Hopfield Aginin �zellikleri (Devam Ediyor)

23. 23 Eger birimler dizisine bir deseni aninda verip kurali uygularsak, o desen agin attractoru haline gelir, bu da Hopfield aginin ilgilendigi Hebbian �grenmenin �nemli bir �zelligidir. Sonu� olarak, eger agin aktivasyonunun deseni depolanmis bir desene yakinsa, o desene dogru gitmeye �alisacaktir. Hopfield Aginin �zellikleri (Devam Ediyor)

24. 24 Iki �esit Hopfield Agi vardir: Kesikli (discrete) Hopfield Agi: �agrisimli bellek (associative memory) olarak kullanilir. (�r: G�r�nt� tanima ve onarma) Kesikli Hopfield agi i�in aktivasyon fonksiyonu Sgn fonksiyonudur. S�rekli (continuous) Hopfield Agi: Kombinetoryal optimizasyon problemlerinde kullanilir (�r: Gezgin satici problemi) H�cre islemcisinin fonksiyonu s�rekli fonksiyon olmalidir. Zamanda s�rekli oldugundan giris ve �ikislar devamli yenilenir. S�rekli Hopfield agi i�in aktivasyon fonksiyonu Sigmoid gibi t�revi alinabilir bir fonksiyondur. Hopfield Aginin �zellikleri (Devam Ediyor)

25. 25

26. 26

27. 27

28. 28

29. 29

30. 30

31. 31 Bu b�l�mde incelenen ag yapilari �nceki yapilardan farkli olarak geri besleme �zelligine sahiptir. Hopfield agi Hebb �grenme kurali �zerine kurulmus olup temel mantigi ise kisaca: eger a n�ronu baska bir b n�ronundan girdi aliyorsa ve her ikisi de aktif ise a ve b arasindaki agirliklar artar. Sonu�

32. 32

33. 33

34. 34 Dinlediginiz I�in Tesekk�r Ederim�..