به نام خدا

1. به نام خدا A Specialized Transiently Chaotic Neural Network for the Minimum Vertex Cover Problem حل مساله پوشش راسی در گراف با استفاده از شبکه عصبی بی نظم گذرای ویژه

3. مقدمه • این مساله یک مساله ی NP-Complete است. • در این مقاله یک شبکه ی عصبی بی نظم گذرای مخصوصی برای این مساله ارائه می شود. • نتایج نشان می دهد که شبکه ی عصبی بی نظم گذرا روی گراف هایی که به طور تصادفی تولید می شوند نتیجه ی بهتری می دهد.

4. مساله پوشش راسی در گراف • گراف غیرجهتدار G(V,E) را در نظر می گیریم که V مجموعه ی رئوس و E مجموعه ی یالها باشد. مجموعه ی پوشش راسی مینیمم مجموعه V’ است به طوری که V’ زیرمجموعه ی V است. که برای هر یالی که در این گراف وجود دارد (مثلاً یال ab) یا a عضو V’ است یا b و یا هردو.

5. مثال

6. مساله پیدا کردن پوشش راسی مینیمم یک مساله ی مهم در علوم کامپیوتر است. • در سال 1972، Karp نشان داد که این مساله NP-complete است.(به این معنا که غیرممکن است الگوریتمی در زمان چند جمله ای برای حل این مساله در بدترین حالت پیدا کنید) • این مساله حتی برای گراف های خاص هم NP-complete است.(مثلاً گراف با حداکثر درجه ی 5) • الگوریتم های زیادی برای حل این مساله ارائه شده است شامل الگوریتم های تقریبی، الگوریتم های پارامتری و الگوریتم های ابتکاری.

7. Hopfield network • نوعی از شبکه های عصبی مصنوعی بازگشتی است که در سال 1982 توسط John Hopfield ایجاد شده است. • این شبکه ها به عنوان سیستم های حافظه آدرس پذیر از طریق محتوا با گره های باینری به کار می روند. • این شبکه ها تضمین می کنند که به مینیمم محلی همگرا می شوند ولی ممکن است بعضی اوقات به مینیمم محلی اشتباهی همگرا شوند.

8. ساختار • ارزش واحدها در این شبکه ها باینری است یعنی یک حدآستانه ای تعریف می شود اگر از آن بیشتر شد یک مقدار و اگر بیشتر نشد مقدار دیگری را می گیرد. • این مقادیر باینری می توانند 1 و -1 باشند و یا 1 و 0 باشند. • هر جفت واحد i و j با هم مرتبط هستند که با وزن Wij توصیف می شود. • G=<V,f> که V مجموعه ی نرون هاست. • f تابعی از V^2 به مجموعه ی اعداد حقیقی R است.

9. ساختار • شرایط زیر را در این نوع شبکه ها داریم: • هیچ راسی با خودش ارتباط ندارد (Wii=0) • Wij=Wji • این تقارن باعث می شود که تابع انرژی به طور یکنواخت کاهش پیدا کند. • اگر این تقارن وجود نداشته باشد ممکن است رفتارهای بی نظم و تناوبی از خود نشان دهد. • این رفتارهای بی نظم به بخش های کوچکی از فضای فاز مربوط می شوند و تونایی شبکه را برای اینکه به عنوان یک سیستم حافظه شرکت پذیر قابل آدرس دهی براساس محتوا عمل کند از بین نمی برند.

10. به روز رسانی Wij وزن بین اتصال دو یال i و j است. Sj حالت واحد j است. Өi مقدار آستانه واحد i است.

11. دو روش برای به روزرسانی • آسنکرون: فقط یک واحد در یک زمان به روزرسانی می شود که این واحد می تواند به صورت تصادفی یا با یک ترتیب از پیش تعیین شده انتخاب شود. • سنکرون: تمام واحدها در یک زمان به روزرسانی شوند.

12. جذب و دفع نرون ها توسط همدیگر • وزن بین دو نرون (w) تاثیر زیادی روی ارزش نرون (s) دارد. • If Wij>0 and Sj=1 then Si is pulled by j to 1(Sj) • If Wij>0 and Sj=-1 then Si is pulled by j to -1(Sj) • بنابراین ارزش نرون های i و j به همدیگر همگرا می شوند اگر Wij>0 باشد. • و ارزش نرون های i و j از همدیگر واگرا می شوند اگر Wij<0 باشد.

13. انرژی شبکه

14. انرژی شبکه • این مقدار انرژی شبکه نامیده می شود به این دلیل که با عملیات به روزرسانی نرون ها یا مقدار آن کم می شود و یا ثابت می ماند. • اگر به طور مکرر به روزرسانی نرون ها انجام شود به مینیمم محلی انرژی شبکه می رسیم.(که تابع Lyapunov نامیده می شود) اگر این یک مینیمم محلی برای تابع انرژی باشد یک حالت پایدار خواهد بود.

15. حل مساله با استفاده از شبکه های عصبی Hopfield • این شبکه ها دارای دو بخش به نام های neuron unit و motion equation هستند. که neuron unit همان مجموعه ی نرون ها می باشد. • هر نرون یک ورودی uiو یک خروجی viدارد. • رفتار شبکه با استفاده از equationmotion توصیف می شود.

16. equationmotion u ورودی نرون است. V خورجی نرون است. E انرژی شبکه است. r یک فاکتور کاهش است.

17. تابع خروجی

18. بررسی مساله • گراف غیرجهتدار G=(V,E) را در نظر می گیریم و فرض می کنیم n تا راس و m تا یال داریم. • مقادیر باینری dijرا به طوری که i و j بین 1 تا n هستند در نظر می گیریم. که از ماتریس مجاورت گراف G آمده اند.

19. مثال ماتریس مجاورت

20. بررسی مساله • حالت نرون i به شکل زیر تعریف می شود: • Vi=1 اگر راس i-ام در مجموعه ی پوشش راسی مینیمم باشد در غیراینصورت برابر صفر است. • بنابراین تعداد نرون های شبکه برابر تعداد رئوس گراف است. پس اگر گراف n راس داشته باشد به n نرون نیاز داریم.

21. تعداد رئوس در مجموعه پوشش راسی مینیمم به شکل زیر نمایش داده می شود

22. بررسی مساله اگر یال (i,j) به وسیله ی این مجموعه پوشش داده نشود بنابراین vi و vj هر دو صفر خواهند بود. در معادله سمت راست ∨ همان or منطقی و خط بالا همان متمم است. هدف مساله مینیمم کردن E1 با این شرط که E2 برابر صفر باشد است.

23. بنابراین تابع انرژی در این مساله به شکل زیر نمایش داده می شود

25. شبکه عصبی بی نظم گذرا • ایراد اصلی شبکه ی عصبی Hopfield این است که در مینیمم محلی گیر می کند( به علت gradient descent dynamics) • به جای استفاده از gradient descent dynamics از شبکه های عصبی با chaotic dynamics استفاده شده است.

26. Transiently Chaotic Neural Network • برای استفاده از مزیت همگرایی شبکه های Hopfield و chaotic dynamics شخصی به نام Chen et al. مدل Transiently Chaotic Neural Network را توسعه داد.

27. Transiently Chaotic Neural Network vi خروجی نرون i است. ui حالت درونی نرون i است. wij وزن یال مرتبط بین نرون i و نرون j است. Ii بایاس ورودی نرون i است. : پارامتر مقایس گذاری مثبت برای وردی است. k فاکتور تعدیل برای غشاء رشته ی عصبی است.و بین صفر و یک می باشد. Zi(t) وزن اتصال بازخورد یا مقاومت کننده است. که بزرگتر یا مساوری صفر می باشد. ابسیلون پارامتر شیب برای تابع خروجی است. بتا فاکتور تعدیل برای Z می باشد. Ioپارامتر مثبت است.

28. Transiently Chaotic Neural Network • Z همان دما در پردازش حرارت تصادفی است. بنابراین معادله اسلاید قبل یک کم کننده حرارت نمایی است. • با این معادلات شبکه ی عصبی در ابتدا به طور نامنظم و غیرقابل پیش بینی رفتار می کند و در نهایت وقتی z به اندازه ی کافی کوچک می شود به یک نقطه ی پایدار همگرا می شود.

29. Transiently Chaotic Neural Network • این شبکه ها از معادله دو اسلاید قبل به عنوان معادله ی پویای خود استفاده می کنند. در این معادله یک پارامتر I0 وجود دارد که تمامی شبکه هایی که به این شکل هستند یک مقدار ثابتی به آن می دهند. مثلاً 0.5 یا 0.65 و یا 0.75 • این پارامتر تاثیر مهمی در معادله دارد. وقتی که شاخه ها ناپدید می شوند خروجی یک نرون خیلی به I0نزدیک می شود.

30. توصیف مدل تک نرونی

31. نمودار تغییرات vدر مدل تک نرونی

32. نمودار تغییرات v در مدل تک نرونی

33. نمودار تغییرات v • همانطور که در دو شکل قبل مشخص است بعد از عبور از دوشاخه مقدار v برابر I0خواهد بود. • اگر آلفا خیلی بزرگ باشد این نوع شبکه ها نمی توانند سیگنال های نامنظم تولید کنند. واضح است که در قسمت دوم معادله ی اسلاید 27 بزرگ خواهد شد اگر آلفا بزرگ شود. در این معادله اگر قسمت دوم از قسمت سوم خیلی بزرگتر شود قسمت سوم تقریباً بی اثر می شود.

34. Transiently Chaotic Neural Network • اگر فاز نامنظم نباشد این شبکه ها از حالت داینامیک بودن خود خارج می شوند. • اگر آلفا کوچک باشد این الگوریتم از قدم های بیشتری برای رسیدن به نقطه ی تعادل باید استفاده کند.

35. نتایج شبیه سازی • این نوع شبکه ها برای حل مساله پیدا کردن مجموعه ی پوشش راسی مینیمم در گراف استفاده شده است که گراف ها دو نوع هستند: • 1.گراف هایی که به طور تصادفی تولید شده اند. • 2.گراف های benchmark. • هر گراف تصادفی دو مشخصه ی n و d دارد که n تعداد رئوس را در آن گراف معلوم می کند و d مقداری بین صفر و یک است که چگالی یال می باشد.

36. d از رابطه زیر محاسبه می شود

37. برای گرافهایی که به طوری تصادفی تولید می شوند الگوریتم Yuan و شبکه های عصبی گذرای نامنظم مقایسه شده اند. در این شبکه ها I0برابر 0.65 در نظر گرفته شده است. و پارامتر های دیگری مانند شکل بالا تعریف شده اند.

38. پارامترهای مدل مطرح شده به شکل زیر است

39. نتایج • Yuan et al. نشان داد که این متد می تواند در 2300 iteration به نقطه تعادل برسد اگر نرون کاملاً فعال باشد و یا کاملاً غیرفعال باشد.

40. نتایج برای گراف تصادفی

41. نتایج برای گراف های موجود

42. پایان