دانشگاه امير كبير
This presentation is the property of its rightful owner.
Sponsored Links
1 / 30

تعميم در يادگيري مبتني بر نمونه ها PowerPoint PPT Presentation


  • 162 Views
  • Uploaded on
  • Presentation posted in: General

دانشگاه امير كبير دانشكده ‌ مهندسي كامپيوتر و فناوري اطلاعات. تعميم در يادگيري مبتني بر نمونه ها. ارائه دهنده: الهام باوفای حقیقی استاد درس: آقای دکتر شيري. فهرست. مقدمه تعميم و متناسب سازي شبه جواب در مسايل معكوس يادگيري از داده ها با روش معكوس فضاي بازتوليد هسته هيلبرت

Download Presentation

تعميم در يادگيري مبتني بر نمونه ها

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


دانشگاه امير كبير

دانشكده‌ مهندسي كامپيوتر و فناوري اطلاعات

تعميم در يادگيري مبتني بر نمونه ها

ارائه دهنده: الهام باوفای حقیقی

استاد درس: آقای دکتر شيري

تعميم در يادگيري مبتني بر نمونه ها


فهرست

  • مقدمه

  • تعميم و متناسب سازي

  • شبه جواب در مسايل معكوس

  • يادگيري از داده ها با روش معكوس

  • فضاي بازتوليد هسته هيلبرت

  • يادگيري از داده ها با روش معكوس و هسته

  • مزاياي بكارگيري هسته ها

  • جمع بندي

تعميم در يادگيري مبتني بر نمونه ها


مقدمه

تبديل تابعي

مسئله معكوس

يادگيري بر اساس داده

تعميم در يادگيري مبتني بر نمونه ها


تعميم و متناسب سازي

دو مسئله اصلي در يادگيري

  • انتخاب مدل (فرضيه) مناسب

  • بدست آوردن پارامترهاي مناسب

  • بيشترين برازش (Over fitting)

  • متناسبترين برازش (Regularization)

  • روش مستقيم (بهترين برازش تصحيح)

  • روش غير مستقيم

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي مستقيم (1)

Tikhonov Regularization

Ridge Regrssion

روش بيزي

ساختار

داده ها

خطاي آموزشي

پارامتر متناسب سازي

پايدار كننده (جريمه)

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي مستقيم (1)

پايدار كننده (جريمه)

نرم كننده

جريمه فركانسهاي بالا

فيلتر فركانس بالا:

نرم وزن دار

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي مستقيم (2)

Tikhonov Regularization

Ridge Regrssion

روش بيزي

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي مستقيم (3)

Tikhonov Regularization

Ridge Regrssion

روش بيزي

max

min

خطاي آموزشي

پايدار كننده (جريمه)

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي مستقيممشكلات

  • نقطه ضعف:

  • توابع متناسب ساز بايد يك ساختار يكنواخت و متقارن داشته باشند.

  • اما

  • وجود چند زير ساختار گسسته

  • مقياس مناسب مدل (فرضيه)

  • مشكل اصلي:

  • مقدار پارامتر متناسب سازي

تعميم در يادگيري مبتني بر نمونه ها


متناسب سازي غير مستقيم

اضافه كردن نويز به نمونه ها

اضافه كردن نويز به پارامتر

اتمام پروسه يادگيري پيش از همگرايي

داراي همان نقاط ضعف و مشكلات متناسب سازي غير مستقيم است

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوستعريف مسئله

Computer Tomography

The amount of absorption

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوسخصوصيات راه حل

Given g in Y, we are looking for f in X such that A( f ) = g.

  • Existence : For each g in Y there is at least one f in X such that A( f ) = g

  • Uniqueness :For each g in Y there is at most one f in X such that A( f ) = g

  • Stability : f depends continuously on g

Well Posed Condition

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوسبدست آوردن شبه جواب (1)

بدليل ارضا نشدن شرايط

Well Posed Condition

داريم

Ill Posed Condition

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوسبدست آوردن شبه جواب (2)

تخمين حداقل مربعات خطا

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوسحساسيت شبه جواب

بازاي مقادير بزرگ

شرايط مريض داريم

متناسب كردن پاسخ

تعميم در يادگيري مبتني بر نمونه ها


شبه جواب در مسايل معكوسمتناسب سازي جواب

تعميم در يادگيري مبتني بر نمونه ها


يادگيري از داده ها با روش معكوستبديل مسئله يادگيري به يك مسئله معكوس

تعميم در يادگيري مبتني بر نمونه ها


يادگيري از داده ها با روش معكوسبررسي شرايط مسئله معكوس جديد

تبديل فضا

فضاي بازتوليد هسته هيلبرت

Reproducing Kernel Hilbert Space (RKHS)

تعميم در يادگيري مبتني بر نمونه ها


فضاي بازتوليد هسته هيلبرتخصوصيات

به صورت يكتا توسط يك كرنل شبه مثبت معين متقارن تعريف مي شود

RKHS

تعميم در يادگيري مبتني بر نمونه ها


فضاي بازتوليد هسته هيلبرتخصوصيت بازتوليد

تعميم در يادگيري مبتني بر نمونه ها


فضاي بازتوليد هسته هيلبرتبرخي توابع

تعميم در يادگيري مبتني بر نمونه ها


يادگيري از داده ها با روش معكوس و هستهبيشترين برازش

تعميم در يادگيري مبتني بر نمونه ها


يادگيري از داده ها با روش معكوس و هستهمتناسب ترين برازش

بايد كوچك انتخاب شود

به دليل وجود ضريب

احتمال منفرد بودن ماتريس را كاهش مي دهد

تعميم در يادگيري مبتني بر نمونه ها


مزاياي بكارگيري هسته ها

1- تغيير فضا در ماشينهاي بردار پشتيبان

2- اعمال جريمه براي فركانسهاي بالا

نسخه آنالوگ

نسخه ديجيتال (تئوري Mercer)

3- توابع ارزيابي پيوسته و سهولت تعريف ترم متناسب ساز

تعميم در يادگيري مبتني بر نمونه ها


جمع بندي

متناسبترين برازش

يادگيري از داده

استفاده از روشهاي مسائل معكوس

استفاده از RKHSجهت تبديل فضا

پيوستگي و اعمال برخي جريمه ها

متناسب سازي

احتمال منفرد بودن ماتريس را كاهش مي دهد

تعميم در يادگيري مبتني بر نمونه ها


باتشکر از توجه شما 

تعميم در يادگيري مبتني بر نمونه ها


فضاي هيلبرت

فضاي خطي نرم دار

از طريق نرم مي توان همگرايي را نشان داد

دنباله به همگرا است اگر .

دنباله يك دنباله كوشي است اگر .

هر دنباله كوشي به يك بردار همگرا شود، فضا كامل

فضاي كامل و داراي ضرب داخلي، فضاي هيلبرت

برگشت

تعميم در يادگيري مبتني بر نمونه ها


يادآوري

بردار

نرمها

تابع

بردار

ضرب

داخلي

تابع

برگشت

تعميم در يادگيري مبتني بر نمونه ها


تئوري Mercer(1)

برگشت

تعميم در يادگيري مبتني بر نمونه ها


تئوري Mercer(2)

برگشت

تعميم در يادگيري مبتني بر نمونه ها


  • Login