گزینش ویژگی با استفاده از شبکه های عصبی

1. University Of Kurdistan Spring 2012 گزینش ویژگی با استفاده از شبکه های عصبی استاد: دکتر شیخ اسماعیلی ارائه از: محسن رمضانی-علی امیریان-میکائیل اونق University of Kurdistan – Engineering Department

2. مشخصات مقاله مورد بحث

3. رئوس مطالب • مقدمه • شبکه عصبی استفاده شده • تکنیکهای انتخاب ویژگی • روش پیشنهادی • آزمایشات تجربی گزینش ویژگی با استفاده از شبکه عصبی

4. 1. مقدمه • مساله تشخیص الگو به طور سنتی به مراحل استخراج ویژگی و طبقه بندی تقسیم می شود. • استخراج ویژگی قصد پیدا کردن یک نگاشت را دارد که ابعاد الگوهایی که باید طبقه بندی شود را کاهش دهد. • با جمع آوری ویژگی های مرتبط و حذف ویژگیهای غیر مرتبط هزینه جمع آوری داده های بعدی، ممکن است کاهش یابد. گزینش ویژگی با استفاده از شبکه عصبی

5. 1. مقدمه – ادامه • با رشد تعداد ویژگی های استفاده شده تعداد مثالهای آموزشی نیاز به رشد نمایی دارند • در بسیاری از کاربردهای عملی نیاز به کاهش ابعاد داده داریم(Dimensionality Reduction). • تحلیل مولفه اصلی (PCA) و تحلیل تفکیک کننده خطی دو تکنیک عمومی استخراج ویژگی هستند. • این تکنیک ها سعی دارند ابعاد داده را با ایجاد ویژگی های جدیدی که ترکیب خطی از ویژگی های اولیه هستند را کاهش دهند. گزینش ویژگی با استفاده از شبکه عصبی

6. 1. مقدمه– ادامه • به طور کلی انتخاب ویژگی یک مساله سخت است. • در حالت کلی فقط یک جستجوی جامع می تواند یک راه حل بهینه را تضمین کند. • تعداد کمی تکنیک انتخاب ویژگی برپایه تئوری مجموعه فازی پیشنهاد شده است. • شبکه های عصبی خودشان ثابت کرده اند که ابزار قوی در سطح متنوعی از کاربردهای تشخیص الگو هستند.(اگر تعداد ویژگیها کم باشد) • شبکه های عصبی توانایی ترکیب فرایندهای یادگیری, استخراج ویژگی, انتخاب ویژگی و طبقه بندی را در طول یادگیری دارند «روش های انتخاب ویژگی» 1- تقسیم و غلبه 2- انتخاب ترتیبی پیش رونده و عقب گرد 3- انتخاب ترتیبی پیش رونده شناور 4- انتخاب ویژگی بر پایه تئوری مجموعه فازی گزینش ویژگی با استفاده از شبکه عصبی

7. 1. مقدمه-ادامه • انتخاب ویژگی با شبکه های عصبی می تواند به یک حالت خاص از هرس معماری تصور شود. • فرایند انتخاب ویژگی معمولا مبتنی بر انتخاب برجسته (Saliency) است که منجر به حذف ویژگیهای غیرمرتبط می شود. • از آنجا که بیشتر فرایندها، برجستگی ویژگی ها را در طول فرایند یادگیری محاسبه می کنند این ویژگیها شدیدا وابسته به الگوریتم های یادگیری به کاربرده شده دارند. گزینش ویژگی با استفاده از شبکه عصبی

8. 2.شبکه عصبی استفاده شده • سیگنال خروجی نرون j ام در لایه خروجی (L ام) : • خروجی در لایه q: • سطح فعال سازی نرون : گزینش ویژگی با استفاده از شبکه عصبی سیگنال خروجی J امین نرون در لایه q وزن اتصالی از نرون i ام در لایه (q-1) به نرون j‌ام در لایه q

9. 3. تکنیک های رقابتی انتخاب ویژگی • معیار معرفی شده در این مقاله با 5 معیار دیگر مقایسه شده است. • این 5 معیار عبارتند از: • انتخاب ویژگی شبکه عصبی (NNFS)‌ :بر اساس حذف وزنهای لایه ورودی • معیار برجستگی ویژگی وزن-مبنا(تکنیکی بر اساس نسبت سیگنال به نویز (SNR)) • معیار برجستگی ویژگی بر اساس حساسیت خروجی شبکه عصبی • آنتروپی فازی • تحلیل تفکیک کننده (معیاری که در روش ارائه شده در این مقاله نیز استفاده شده است). • در ادامه هر کدام را بیشتر توضیح می دهیم گزینش ویژگی با استفاده از شبکه عصبی

10. 3.1 انتخاب کننده ویژگی شبکه عصبی(NNFS) • باید ویژگیهای مرتبط نسبت به ویژگیهای غیر مرتبط یا بلااستفاده تفاوت وزنی زیادی داشته باشند • انتخاب ویژگی بر مبنای واکنش خطای طبقه بندی مجموعه داده ارزیابی – بینابینی (Cross-Validation) به حذف ویژگی های تکی انجام می گیرد • عبارت دوم از R1(w) دقیقا بخش تنزل وزن است، فقط وزنهای ورودی به لایه مخفی را در نظر می گیرد. وزنهای متصل به ویژگیهای بی اهمیت باید در طول یادگیری به سمت مقدار نزدیک صفر میل کنند. • اولین بخش از تابع R1(w)می تواند به عنوان معیاری از شمارش کل وزنهای غیر صفر در شبکه باشد. گزینش ویژگی با استفاده از شبکه عصبی

11. 3.1 انتخاب کننده ویژگی شبکه عصبی(NNFS) - ادامه • یک الگوریتم تنزل وزن ساده سعی در به دست آوردن وزنهای کوچکتر دارد. • وزنهای کوچکتر منجر به ورودی کوچکتر به نرون ها و اشتقاقهای سیگموید بزرگتر می شود بنابرابن خروجی به افزایش ورودی حساس است. • در حالتی که همه ویژگیها حضور دارند ما تفاوت زیادی بین دقت طبقه بندی به دست آمده برای مجموعه های آموزشی و تست مشاهده می کنیم. • کمتر شدن دقت برای مجموعه تست به دست آمده به این نکته تاکید دارد که حساسیت خروجی به تغییرات ورودی بالا است. • به منظور طبقه بندی ما نیاز به کم بودن حساسیت خروجی نسبت به تغییرات ورودی داریم. از این رو به جای محدودیت وزنهای لایه ورودی از محدودیت اشتقاقهای تابعهای انتقال نرونها استفاده کنیم. با این محدودیت اشتقاقها می توانیم نرونونها را مجبور کنیم که با ناحیه های اشباع کار کنند. • بنابراین حساسیت کم خروجی نسبت به ورودی با مقادیر نسبتا بزرگ وزنها حاصل می شود. گزینش ویژگی با استفاده از شبکه عصبی

12. 3.2 نسبت سیگنال به نویز(SNR) • معیارهای برجستگی ویژگی در انتخاب ویژگی بر مبنای شبکه عصبی • مبتنی بر وزن یا حساسیت خروجی شبکه عصبی • وزنهای متصل به ویژگیهای مهم مقادیر قدر مطلق بزرگ، در حالی که وزن های متصل به ویژگی های بی اهمیت مقادیر خیلی کوچک و احتمالا نزدیک صفر را به دست آوردند. • SNR مبتنی برمقایسه وزن(برجستگی)ویژگی کاندیدا و ویژگی نویز گزینش ویژگی با استفاده از شبکه عصبی

13. 3.2 نسبت سیگنال به نویز(SNR)- ادامه SNR در پاسخ به محدودیتهای زیر ایجاد شده است: • یک معیار برجستگی به تنهایی نمی تواند تعداد ویژگی های کاندید مورد استفاده را نشان دهد • تعداد ویژگیهایی که باید انتخاب شوند نشان داد که در هنگام حذف یک ویژگی کاهش قابل ملاحظه ی در دقت طبقه بندی مجموعه داده تست مواجه می شود. گزینش ویژگی با استفاده از شبکه عصبی

14. 3.3 رتبه بندی ویژگی برمبنای حساسیت خروجی شبکه عصبی • ابتدا پرسپترون چندلایه یک مجموعه داده را یاد می گیرد • اندیس کیفیت ویژگی (FQIq)برای هر ویژگی q‌ محاسبه می شود • سپس ویژگی های برحسب این اندیس رتبه بندی می شوند • برای هر نقطه داده آموزشی Xi،یک Xiq تعریف می شود. (با صفر کردن ویژگی q ام) گزینش ویژگی با استفاده از شبکه عصبی ANN

15. 3.3 رتبه بندی ویژگی برمبنای حساسیت خروجی شبکه عصبی-ادامه • اگر ویژگی q یک ویژگی بی اهمیت باشد بردارهای خروجی oiو oi(q) نباید تفاوت زیادی داشته باشند. • تعریف اندیس کیفیت ویژگی (FAQq) به صورت زیر : • اگر اندیس کیفیت بزرگتر نشان دهنده اهمیت بیشتر ویژگی است. گزینش ویژگی با استفاده از شبکه عصبی

16. 3.4 رتبه بندی بر اساس آنتروپی فازی • اگر A یک مجموعه فازی تعریف شده براساس موضوع بحث باشد که در آن μA(xi) عضویت از xiبه A را نشان می دهد. • آنتروپی از مجموعه فازی A به صورت زیر تعریف می‌شود • استاندارد S-function را می‌توان برای مدل کردن μ می‌توان استفاده کرد. گزینش ویژگی با استفاده از شبکه عصبی

17. 3.4 رتبه بندی بر اساس آنتروپی فازی-ادامه • کلاس Cj به عنوان یک مجموعه فازی مطرح می‌شود و آنتروپی Hqjاز کلاس برای ویژگی qام را می‌توان محاسبه کرد. • اگر به ادغام کلاس های Cj و Ck بپردازیم در صورت افزایش مقدار Hqjkبرای کلاستر های ادغام شده، قدرت تفکیک q امین ویژگی کاهش می یابد. • برای یک ویژگی خوب برای بیشتر نقاط داده μ(xq) ≈ 0 or 1 خواهد بود. گزینش ویژگی با استفاده از شبکه عصبی

18. 3.4 رتبه بندی بر اساس آنتروپی فازی-ادامه • . اندیس سراسری ارزیابی ویژگی(OFEI ) : • که در آن Q تعداد کلاس‌هاست. فرض شد که مقدارپایین تر از OFEI نشان دهنده ویژگی بهتر است. گزینش ویژگی با استفاده از شبکه عصبی

19. 3.5 رتبه بندی ویژگی براساس تحلیل تفکیکی • تابع معیار برای رتبه بندی ویژگی :pj احتمال رخداد کلاس jام است. گزینش ویژگی با استفاده از شبکه عصبی

20. 4. روش پیشنهادی • از بسط قانون خطای معادله 1 • حساسیت خروجی وابسته به میزان وزن و مشتق تابع انتقال نودهای لایه مخفی و نودهای لایه خروجی است. گزینش ویژگی با استفاده از شبکه عصبی

21. 4. روش پیشنهادی - ادامه • برای پایین آوردن حساسیت، برای مشتق محدودیت قرار می دهیم، تابع خطای آنتروپی-عرضی را کمینه کرده و شبکه عصبی را با آن آموزش می دهیم : گزینش ویژگی با استفاده از شبکه عصبی

22. 4.1 رویه انتخاب ویژگی • تولید وزن اولیه تصادفی برای هریک از یال ها. برای هر کدام ازL شبکه عصبی مراحل 2-8 تکرار می‌شود.j = 1, … , L • مجموعه داده ای موجود را به صورت تصادفی به سه قسمت تقسیم می‌کنیم • آموزشی • Cross-validation • آزمایشی • آموزش شبکه عصبی با استفاده از کمینه کردن فرمول 15 و تغییر وزن ها تاجائی که کمترین خطای Cross-validation حاصل شود. • محاسبه دقت طبقه بندی ATj • ویژگی ای که کمترین کاهش دقت طبقه بندی در هنگام حذف آن در مجموعه داده test بدست می آید را مشخص کنید . گزینش ویژگی با استفاده از شبکه عصبی

23. 4.1 رویه انتخاب ویژگی - ادامه • ویژگی بدست آمده در مرحله 5 را حذف کنید. • اگر M>1 برو به مرحله 3 (M: تعداد ویژگی های فعلی). • رتبه‌بندی ویژگی‌های بدست آمده و دقت طبقه بندی ATjکه با حضور تمام ویژگی ها حاصل شده است را ثبت می کنیم. • رتبه‌بندی ویژگی ها و دقت T را با میانگین گیری از نتایج L اجرا محاسبه می کنیم. • حذف ویژگیکه برحسب رتبه بندی به دست آمده دارای کم ترین برجستگی باشد و سپس فقط مرحله 3 را اجرا کن(یعنی شبکه را با ویژگی های موجود آموزش بده) گزینش ویژگی با استفاده از شبکه عصبی

24. 4.1 رویه انتخاب ویژگی - ادامه • محاسبه دقت طبقه بندی test (همان کار مرحله 4) و اختلاف دقت (A∆) را نسبت به Tمحاسبه کن. • اگر ∆A<∆A0باشد برو به مرحله 10( ∆A0پارامتری قابل تنظیم است) • تمام ویژگی های باقیمانده و آخرین ویژگی حذف شده را نگه دار. • آموزش مجدد شبکه با مجموعه جدید از ویژگی‌ها. گزینش ویژگی با استفاده از شبکه عصبی

25. 5. آزمایشات تجربی و پارامترها • در تمام آزمایشات، ما آزمایش را 30 بار و با مقادیر مختلف وزن اولیه و تقسیم‌بندی مختلف مجموعه‌ داده ها اجرا کردیم. • چهار پارامتر برای تنظیم وجود دارد • α1 : ثابت‌ • α2 : ثابت • L : به عنوان تعداد شبکه‌ها • ∆A0 : پارامتر مقدار کاهش قابل قبول در دقت طبه بندی در هنگام حذف یک ویژگی گزینش ویژگی با استفاده از شبکه عصبی

26. مجموعه داده ای مورد استفاده • داده‌های یادگیری، cross-validation و آزمایشی (Dl, Dv, Dt) • مجموعه داده‌ای از طریق راه‌حل زیر نرمال می‌شود: • میانگین و واریانس مجموعه محاسبه می شود • سپسازطریق xn=(x-)/δ داده های Dl، Dv، Dt نرمال می شوند. پخش شایعه در شبکه های اجتماعی

27. 5.2 مشکل شناسائی wave-form گزینش ویژگی با استفاده از شبکه عصبی

28. 5.2 مجموعه داده های واقعی • مسئله سوابق رای‌گیری کنگره ایالات متحده • مشکل تشخیص دیابت • مشکل تشخیص سرطان گزینش ویژگی با استفاده از شبکه عصبی

29. 5.3 نتایج آزمایشات • برای مجموعه داده‌ای مصنوعی wave-form ما توانائی تکنیک‌های مختلف را آزمایش کردیم تا ویژگی‌های نویز را از میان ویژگی‌های دیگر که توسط نویز فاسد شدند مشخص کند. گزینش ویژگی با استفاده از شبکه عصبی

30. 5.3 نتایج آزمایشات -ادامه گزینش ویژگی با استفاده از شبکه عصبی

31. 5.3 نتایج آزمایشات -ادامه • مسئله سوابق رای‌گیری کنگره ایالات متحده هم یک کار آسان از نظر انتخاب ویژگی است به این خاطر که یکی از ویژگی ها(ویژگی 4) تقریبا قدرت تمایزی معادل با تمام ویژگی ها را داراست. گزینش ویژگی با استفاده از شبکه عصبی

32. 5.3 نتایج آزمایشات -ادامه • نتایج رتبه بندی ویژگی که از تکنیک FQI بدست آمده خیلی به مقدار دهی اولیه شبکه و جزء بندی مجموعه داده به مجموعه های (Training) و (Crossvalidation) و (Test) بستگی دارد گزینش ویژگی با استفاده از شبکه عصبی

33. 5.3 نتایج آزمایشات - ادامه • با توجه به جدول4 متد معرفی شده در این مقاله به بیشترین میزان صحت دسته بندی روی مجموعه داده دست یافته است. • برای بدست آوردن نتایج دسته بندی تکنیک های OFEI و FQI از 2 ویژگی به عنوان نتایج حاصل از متد خود استفاده شد. گزینش ویژگی با استفاده از شبکه عصبی

34. 5.3 نتایج آزمایشات -ادامه • و اما مساله University of Wisconsin breast cancer • در تمام 30 با اجرای انجام شده، تکنیک ما نتیجه گرفت که 2 ویژگی باید برای حل مساله انتخاب شود. گزینش ویژگی با استفاده از شبکه عصبی

35. 5.3 نتایج آزمایشات - ادامه • تکنیک FQI و OFEI و SNR یک زیر مجموعه از 2 ویژگی ها را یکی انتخاب می کنند که آن هم 6و1 است. • تکنیک معرفی شده در این مقاله و روش DA یک انتخاب مشابه شامل 6و3 را زمانی که یک زیر مجموعه از 2 ویژگی نیاز باشد انتخاب می کند. گزینش ویژگی با استفاده از شبکه عصبی

36. 5.3 نتایج آزمایشات - ادامه • نتایج انتخاب ویژگی که از تکنیک FQI حاصل شده به شدت بستگی به انتخاب تصادفی مقدار اولیه شبکه و مجموعه آموزشی دارد. • نتایج بدست آمده مشخص می کند که زیر مجموعه ویژگی 6و3 و همینطور 6و1 تقریبا دارای قدرت تفکیک برابری دارند گزینش ویژگی با استفاده از شبکه عصبی

37. 5.4 تست برای روش دسته بندی K-NN • چند روش یک زیر مجموعه از ویژگی های را انتخاب کردند. • آزمایش را 30 مرتبه • جزء بندی های تصادفی مجموعه داده به قسمت های Training و Test اجرا می کنیم. • زمانی که نرخ دسته بندی صحیح روی قسمت داده Test محاسبه می شود: • نزدیک ترین همسایه ها از قسمت Training داده ها انتخاب می شوند. گزینش ویژگی با استفاده از شبکه عصبی

38. 5.4 تست برای روش دسته بندی K-NN- ادامه گزینش ویژگی با استفاده از شبکه عصبی

39. پیشنهاد های گروه - پارامترهای α1 وα2 را می توان با الگوریتم ژنتیک تعیین کنیم - ابتدا ویژگیهایی که دارای کمترین اهمیت هستند را با الگوریتم های موجود حذف سپس با الگوریتم پیشنهادی این الگوریتم ویژگیهای برجسته را تعیین می دهیم گزینش ویژگی با استفاده از شبکه عصبی

40. با تشکر از توجه شما... گزینش ویژگی با استفاده از شبکه عصبی