یادگیری
Download
1 / 56

یادگیری بر پایه نمونه - PowerPoint PPT Presentation


  • 150 Views
  • Uploaded on

یادگیری بر پایه نمونه. Instance Based Learning. Author : Saeed Shiry With little change by: Keyvanrad & Mitchell Ch. 8. Fall 1392. مقدمه. در روشهائی که تاکنون بررسی کردیم، سعی بر این بود که با استفاده از مثالهای آموزشی تابعی پیدا کنیم که بتواند توصیف کننده داده ها باشد .

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'یادگیری بر پایه نمونه' - micheal


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

یادگیریبرپایهنمونه

Instance Based Learning

Author : Saeed Shiry

With little change by: Keyvanrad

& Mitchell Ch. 8

Fall 1392


مقدمه

  • درروشهائیکهتاکنونبررسیکردیم،سعیبراینبودکهبااستفادهازمثالهایآموزشیتابعیپیداکنیمکهبتواندتوصیفکنندهدادههاباشد.

  • درروشیادگیری IBL بسادگیفقطمثالهاراذخیرهمیکنیموهرگونهتعمیمتامشاهدهمثالجدیدبهتعویقمیافتد. بههمیندلیلاینروشگاهیروشتنبلیا lazy همنامیدهمیشود.

  • بامشاهدهمثالهایجدیدرابطهآنبانمونههایذخیرهشدهبررسیشدهویکمقداربرایتابعهدفآننسبتدادهمیشود.

درروش IBL یکفرضیهعمومیمشخصبرایدادههابدستنخواهدآمدبلکهدستهبندیهرنمونهجدیدهنگاممشاهدهآنوبراساسنزدیکترینمثالهایذخیرهشده،انجامخواهدشد.


Instance-based Learning

Its very similar to a

Desktop!!


یکتفاوتاساسی

  • روش IBL برایهرنمونهجدید،تقریبجداگانهایازتابعهدفراایجادمیکند. اینتقریبفقطبههمسایگینمونهجدیدقابلاعمالبودهوهرگزنمیتواندبررویفضایتمامنمونههاعملکند.

  • کاربرداینروشهنگامیموثراستکهتابعهدفخیلیپیچیدهبودهولیدرعینحالقابلنمایشتوسطتوابعسادهترمحلیباشد.


Instance based learning
Instance-based Learning

When To Consider IBL

  • Instances map to points

  • Less than 20 attributes per instance

  • Lots of training data

    Advantages:

  • Training is very fast

  • Learn complex target functions

  • Don't lose information

    Disadvantages:

  • Slow at query time

  • Easily fooled by irrelevant attributes


مشخصهها

اینروشدارای 3 مشخصهاصلیاست:

  • تابعشباهت:

    مشخصمیکندکهدونمونهچقدرنزدیکبههمهستند.انتخاباینتابعمیتواندبسیارمشکلباشد. مثلاچگونهمیتوانشباهترنگموی 2 نفررابیاننمود؟

  • انتخابنمونههابرایذخیره:

    دراینالگوریتمسعیمیشودنمونههائیذخیرهشوندکهعمومیترباشند.تشخیصاینکهآیایکنمونهعمومیتداردیاخیر،میتواندکارمشکلیباشد.

  • تابعدستهبندیکننده:

    تابعیاستکهبامشاهدهیکمثالدستهبندیآنراتعیینمیکند.


مشکلات

  • دستهبندیدادهجدیدمیتواندبسیارپرهزینهباشد. زیرادرمرحلهآموزشعملیصورتنمی پذیردوتمامیمحاسباتدرهنگامدستهبندیانجاممیگردند.

  • ازاینروبرایکاهشزماندستهبندیازتکنیکهایایندکساستفادهمیشود.

    • مثل روش درخت باینری

  • دراغلبروشهای IBL برایبازخوانیمثالهایمشابهازحافظهازتمامیویژگیهایموجوداستفادهمیشود. بنابرایناگرتابعهدففقطبهبرخیازویژگیهابستگیداشتهباشد،مثالهائیکهواقعامشابههستندممکناستبسیارازیکدیگردورشوند.


مثالیازکاربردها

Image Scene Classification

برایهرتصویربااستفادهازمقادیرپیکسلهایآنیک signature محاسبهشدهوازآنبرایمقایسهتصویرورودیباتصاویرموجوددردیتابیساستفادهمیشود.


مثالیازکاربردها

  • image size: 82x100 pixels

  • 5NN is used for prediction

  • error rate is about 9.5%

  • 5NN performs best among LVQ, CART, NN, … .


روشهایمختلف

  • K-Nearest Neighbor (KNN)

    • Discrete Target Functions

    • Continuous Target Functions

    • Distance Weighted

  • Locally Weighted Regression

  • Radial Basis Function Networks

  • Case-Based Reasoning

  • General Regression Neural Networks


  • K nearest neighbor learning k nn
    K-Nearest Neighbor Learning (k-NN)

    • k-NN سادهترینومتداولترینروشبرپایهیادگیرینمونهاست.

    • دراینروشفرضمیشودکهتمامنمونههانقاطیدرفضای n بعدیحقیقیهستندوهمسایههابرمبنایفواصلاقلیدسیاستانداردتعیینمیشوند.

    • مرادازkتعدادهمسایههایدرنظرگرفتهشدهاست.


    فاصلهاقلیدسی

    • اگریکمثالدلخواهرابصورتیکبردارویژگینمایشدهیم:

    • فاصلهبیندومثال xiو xjبصورتزیرتعریفمیشود:


    الگوریتمk-NN برایتابعهدفگسسته

    براییکتابعهدفگسستهبصورت

    الگوریتمk-NN بصورتزیراست:

    الگوریتمیادگیری

    • هرمثالآموزشی<x , f(x) >رابهلیستtraining_examplesاضافهکنید.

      الگوریتمدستهبندی:

    • براینمونهموردبررسی : xq

      • نزدیکتریننمونههائیاز training_examplesبهآنرابا x1 … xkنمایشدهید.

      • مقدارزیررامحاسبهنمودهوبرگردانید.


    -

    -

    +

    -

    ·

    +

    Xq

    -

    +

    +

    -

    مثال

    • اگر k=1 انتخابشودالگوریتم 1-NN مقدارنزدیکتریننمونهبه xqراانتخابخواهدنمود.برایمقادیربزرگتر k متداولترینمقداربین k همسایهنزدیکانتخابخواهدشد.

    دراینمثالxqدرحالت 1-NN مثبتوبرای 5-NN منفیخواهدبود.


    فضایفرضیه

    ماهیتفضایفرضیهضمنیدرنظرگرفتهشدهتوسطالگوریتم k-NN چیست؟

    • اگرچهاینالگوریتمهرگزفرضیهعمومیمشخصیایجادنمیکند،بااینوجودممکناستسطحتصمیمالقاشدهتوسطالگوریتمبراییکفضایدوبعدیرابصورتترکیبیازچندوجهیهانشاندادکههرچندوجهیمجموعهایازنقاطیرا کهتوسطآندستهبندیخواهندشدمشخصمینماید.

    • نقاطخارجچندوجهینقاطیخواهندبودکهتوسطسایرچندوجهیهادستهبندیخواهندشد.

    • ایننوعنمودار Voronoi diagramخواندهمیشوند.


    Voronoi diagram
    Voronoi diagram

    query point qf

    nearest neighbor qi

    مثال 1

    مثال 2


    بایاساستقرا

    • بایاساستقراالگوریتم k-NN رامیتوانبصورتزیردرنظرگرفت:

    دستهبندییکنمونهمشابهدستهنمونههایدیگریخواهدبودکهدرنزدیکیآنقراردارند


    الگوریتمk-NN برایتابعهدفپیوسته

    • الگوریتم k-NN رامیتواندبسادگیبرایتوابعهدفپیوستهنیزاستفادهنمود.دراینحالتبجایانتخابمتداولترینمقدارموجوددرهمسایگیمقدارمیانگین k مثالهمسایهمحاسبهمیشود.

    • درنتیجهدرخطآخرالگوریتمازرابطهزیراستفادهمیشود:


    k-NN برایتابعهدفپیوسته

    1-nearest neighbor

    3-nearest neighbor


    one

    two

    three

    six

    five

    four

    Eight ?

    seven

    مثال

    برخی از این نقاشی ها طبق جدول بعد متعلق به نقاشی به نام Mondrian هستند. مشخص کنید که آیا نقاشی هشتم نیز به وی تعلق دارد؟


    Training data
    Training data

    Test instance


    نرمالیزهکردندادههایآموزشی

    یکراهنرمالیزهکردندادهآموزشیar(x)بهa´r(x)عبارتاستاز



    Distances of test instance from training data
    Distances of test instance from training data

    Classification

    1-NN Yes

    3-NN Yes

    5-NN No

    7-NN No


    Distance weighted k nn
    Distance-weighted k-NN

    میتوانعملکرداینالگوریتمرابادرنظرگرفتنوزنیبرایهریکاز k مثالهمسایگیبهترنمود.اینوزنبراساسفاصلهنمونههاتانمونهموردبررسیاعمالمیشودومعمولابافاصلهنمونههارابطهمعکوسدارد.

    • درحالتگسسته:

    • درحالتپیوسته

      درصورتاعمالوزناینامکانوجودخواهدداشتکهبهجای k نمونههمسایهازتمامینمونههابرایدستهبندیاستفادهکنیم.امااینانتخابباعثکندشدنعملدستهبندیخواهدشد.


    نکاتیدرموردالگوریتم k-NN

    • الگوریتم Distance-weighted k-NN بطورموثریدرمسائلعملیمختلفیبرایاستنتاجاستقرائیبکاررفتهاست.

    • اینروشنسبتبهنویزمقاومبودهودرمواردیکهدادهآموزشیزیادیموجودباشدبسیارکاراست.


    The curse of dimensionality
    The curse of dimensionality

    • ازانجائیکهبرایمحاسبهفاصلهازتمامیویژگیهااستفادهمیشوداینامکانوجودداردکهحتیویژگیهاینامرتبطدرامردستهبندیمورداستفادهقرارگیرند. اینامربرخلافروشهائیمثلدرختتصمیماستکهدرآنسعیمیشدتافقطازویژگیهایمرتبطاستفادهشود.

    • برایمثالفرضکنیدکههرنمونهبا 20 ویژگیمشخصشوندکهازمیانآنانفقط 2 ویژگیبرایدستهبندیکافیباشنددراینصورتممکناستنمونههایذخیرهشدهایکهدرایندوویژگیمشابههستندبسیارازهمفاصلهداشتهباشند. دراینصورتمعیارفاصلهمورداستفادهدر k-NN میتواندبسیارگمراهکنندهباشد.

    • اینمسئله curse of dimensionality نامیدهمیشود.


    Cross validation
    Cross-validation

    • یکراهحلاینمشکلاستفادهازوزنبیشتربرایویژگیهایمرتبطاست.اینامرمشابهتغییرمقیاسمحورهاست:محورویژگیهایمرتبطکوتاهترومحورویژگیهاینامرتبططولانیترمیشوند.

    • برایتعیینوزنویژگیهامیتوانازروشcross-validationاستفادهنمود:

      • مجموعهایازدادههابهعنواندادههایآموزشیانتخابمیشوند.

      • مقادیرz1,…,znبعنوانضرایبیکهبایددرهرمحورضربشوندانتخابمیگردند.اینانتخاببنحویاستکهخطایدستهبندیدرباقیماندهمثالهاکاهشیابد.

      • میتوانباقراردادنzj=0 اثریکویژگیرابکلیحذفنمود.


    Indexing
    Indexing

    ازآنجائیکهدرروشK-NN دستهبندیمثالهاتازمانبرخوردباآنمثالبهتعویقمیافتداستفادهاز Indexing برایمرتبکردنمثالهایآموزشیمیتواند بطورچشمگیریکارائیالگوریتم راافزایشدهد.

    روشkd-tree(k-dimensional tree) یکروشبرایایندکسکردناستکهدرآننمونههادرسطح یکدرختذخیرهشدهونمونههاینزدیکبههمدرهمانگرهویاگرههاینزدیکبههمذخیرهمیشوند.


    ویژگیهای یادگیری نمونه

    • مزایا:

      • میتواندتوابعپیچیدهرامدلکند

      • اطلاعاتموجوددرمثالهایآموزشیازبیننمیرود

      • میتواندازنمایشسمبلیکنمونههااستفادهکند (در روش case-based reasoning)

    • معایب:

      • بازدهالگوریتمهنگامانجامدستهبندیکماست

      • تعیینیکتابعفاصلهمناسبمشکلاست

      • ویژگیهاینامرتبطتاثیرمنفیدرمعیارفاصلهدارند

      • ممکناستبهحافظهبسیارزیادینیازداشتهباشد


    لغت نامه استفاده شده در منابع دیگر

    • : regressionعبارتاستازتقریبیکتابعبامقدارحقیقی

    • : Residual عبارتاستازمقدارخطایحاصلازتقریبتابع

    • :Kernel Function عبارتاستازتابعیکهبااستفادهازفاصلهمقداروزنهایمثالهایآموزشیرامعینمیکند.


    Kernel
    توابع دیگر Kernel

    • معمولابافاصلهرابطهمعکوسدارندتانقاطنزدیکتروزنبیشتریبگیرند.

    • K(d(xi,xq))

      • 1/d2

      • e-d

      • 1/(1+d)


    Kernel1
    توابع دیگر Kernel

    K(d(xq,xi)) =

    exp(-(d(xq,xi)/0)2)

    K(d(xq,xi)) =

    1/ d(xq,xi)2

    K(d(xq,xi)) =

    1/(d0+d(xq,xi))2


    Locally weighted regression
    Locally Weighted Regression دیگر

    • الگوریتم LWR تعمیمیبرالگوریتم K-NN استکهتقریبصریحیازتابع f حولناحیهمحلیدربرگیرندهنمونهموردبررسی xq بدستمیدهد.

    • اینتقریبمحلیبااستفادهازمثالهاینزدیکهمویامثالهای distance-weightedانجاممیشود.

    • اینتابعممکناستیکتابعخطی،درجهدوویایکشبکهعصبیباشد.

      دلیلنامگذاری:

      • :local ازمثالهاینزدیکنمونهموردبررسیاستفادهمیکند

      • :Weighted اثرهرمثالآموزشیبادرنظرگرفتنفاصلهآنمنظورمیشود

      • :Regressionبرایتقریبیکتابعبامقدارحقیقیبکارمیرود


    f1 (simple regression) دیگر

    Locally-weighted regression

    f2

    Locally-weighted regression

    f3

    Locally-weighted regression

    f4

    Training data

    Predicted value using simple regression

    Predicted value using locally weighted (piece-wise) regression


    Locally weighted linear regression
    Locally Weighted Linear Regression دیگر

    • اینروشازیکتابعخطیبرایتقریبتابعهدفدرنزدیکیمثالموردبررسیاستفادهمیکند:

    • اینتابعمشابهتابعمورداستفادهدرفصل 4 برایمحاسبهوزنهاییکشبکهعصبیاستکهدرآنوزنهاطوریانتخابمیشدندکهمقدارخطایزیرحداقلگردد:

    • کهبرایاینکارازقانونآموزش gradient descent استفادهمیشد.


    رابطه دیگرمحلی؟

    • قانوندلتایکپروسیجرتقریبکلیاستدرحالیکهدرروش nearest neighbor بهدنبالیکرابطهبرایتقریبمحلیهستیم.

    • سوال: چگونهمیتوانبااستفادهازرابطهکلیقانوندلتارابطهمحلیموردنظررابدستآوریم؟


    استفاده دیگرازخطایمحلی

    • بهنظرمیرسدکهسادهترینراه، تعریفمجددرابطهخطاستبنحویکهبامثالهایمحلیآموزشیتطبیقنماید.

    • اینکاررابهسهروشمیتوانانجامداد:

    -1 استفادهاز k مثالهمسایگی

    -2 استفادهازتمامیمثالهاباتخصیصیکمقداروزنیبهآنها

    -3 ترکیبیازروشهای 1 و2


    قانون دیگرتغییروزنها

    • درانتخابهایفوق

    • E1فاصلهرادرنظرنمیگیرد

    • E2 جالبترازهمهبودهامامحاسبهآنپرهزینهاست

    • E3 یکانتخاببینابیناست

    • باانتخاب E3 میتوان قانوندلتارابراییادگیریوزنهابصورتزیرنوشت:


    انتخاب دیگرمقدار k

    • اگر k خیلیکوچکباشد،نسبتبهنویزحساسخواهدبود

    • اگر K خیلیبزرگباشدممکناستیکهمسایگینقاطیازسایرکلاسهارانیزدربربگیرد.

    • Large k:

      • less sensitive to noise (particularly class noise)

      • better probability estimates for discrete classes

      • larger training sets allow larger values of k

    • Small k:

      • captures fine structure of space better

      • may be necessary with small training sets

    • Balance must be struck between large and small k


    Radial basis functions
    Radial Basis Functions دیگر

    • روشیبرایتقریبتوابعاست.

    • یادگیریبا RBF ارتباطنزدیکیباشبکههایعصبیمصنوعیو Distance-weighted regression دارد.

    • دراینروشفرضیهیادگرفتهشدهبصورتزیرمیباشد:

    • دراینروشازتعداد k تابعکرنلبرایتقریبتابعاستفادهمیشود .تابعکرنلمعمولابصورتیکتابعگاوسیانتخابمیشود:


    Radial basis functions1
    Radial Basis Functions دیگر

    • نشاندادهشدهاستکهدرصورتیکهتعدادکافیتابعکرنلگاوسیانتخابشوند،بااستفادهاز RBF میتوانهرتابعیراباخطاینسبتاکمیتقریبزد.

    • رابطهفوقرامیتوانبهیکشبکهعصبیدولایهتشبیهنمودکه

      • لایهاولمقادیرکرنلهاو

      • لایهدوممجموعآنهارامحاسبهمینماید.

    f(x)

    W0

    wk

    w1

    w2

    1

    K1

    K2

    Kk

    x1 x2 x3 xn


    آموزش دیگر RBF

    درصورتداشتنمجموعهایازمثالهایآموزشی،آموزش RBF دردومرحلهصورتمیگیرد:

    • تعدادتوابعکرنلانتخابمیشود.بعبارتدیگرباانتخابمقداریبرای ,Kمقادیر xu , s2uبرایهرتابعکرنلتعیینمیگردد.

    • وزنهایشبکهطوریانتخابمیشوندکهشبکهبادادههایآموزشیمنطبقگردد.اینکاربااستفادهازرابطهخطایکلیزیرانجاممیشود


    نحوه دیگرانتخابتعدادواحدهایمخفی

    • بازاهرمثالآموزشی<xi,f(xi)> یککرنلگاوسیتخصیصدادهمیشود.

      • اینتابعبهمرکزیت xi بودهوبرایتمامیآنهامقداریکسانs2درنظرگرفتهمیشود.

      • شبکه RBF طوریآموزشدادهمیشودکهبتواندتقریبیکلیبرایتابعهدفپیداکند.توجهشودکههرمثالآموزشیفقطمیتوانددرهمسایگی xi تابعتقریبزدهشدهراتحتتاثیرقراردهد.

      • وزنهاطوریمحاسبهمیشوندکهبازاهرمثالآموزشی<xi,f(xi)> درخروجیشبکه رابطه f’(x)=f(x) برقرارباشد.بدینترتیبشبکه RBF بطورکاملبامثالهایآموزشیانطباقخواهدداشت.


    K2 دیگر

    K1

    نحوهانتخابتعدادواحدهایمخفی

    • دراینروشتعدادتابعکرنلانتخابشدهکمترازتعدادمثالهاست.

      • اینروشبازدهیبیشتریازروشقبلیدارد.

      • مرکزکرنلهارامیتوانبصورتیکنواختانتخابنمود.

      • درحالتیکهتوزیعنمونههاغیریکنواختباشندمیتوانتوزیعکرنلهاراهمبصورتمشابهیانتخابنمود.

      • یکراهدیگرکلاسترینگنمونههاوتخصیصیککرنلبههرکلاستراست.


    ویژگی دیگرهایشبکه RBF

    • آموزشاینشبکههاآسانترازشبکههایعصبیمعمولیاستکهازروش Back Propagation استفادهمیکنند.

    • اینشبکهیکتقریبکلیازتابعرابااستفادهازمجموعتقریباتمحلیمحاسبهمیکند.



    Case based reasoning1
    Case Based Reasoning دیگر

    سهخاصیتاصلیسیستمهاییادگیریبرپایهنمونه:

    • روشهاییادگیریتنبلیهستندکهعملتعمیمتامشاهدهنمونهجدیدبهتعویقمیافتد

    • برایدستهبندینمونهجدیدازمثالهایمشابهاستفادهمیشود

    • نمونههاتوسطنقاطیبامقادیرحقیقیدرفضای n بعدینشاندادهمیشوند

    روشیادگیریCBR ازدوویژگیاولتبعیتمیکنددرحالیکهبراینمایشنمونههاازروشسمبلیکاستفادهمینماید. بههمیندلیلبدستآوردننمونههایمشابهمشکلتراست


    مسائلی دیگرراکهبهشیوه CBR حلمیکنیم

    CBR مشابهروشیاستکهآدمیبرایحلبرخیازمسائلبکارمیبرد .نظیر:

    • پزشکی:

      اغلبپزشکاننمونههایقبلیبیمارانرابخاطرسپردهودرمواجههبابیمارانجدیدازتجربهگذشتهسودمیبرند.

    • حقوق:

      قضاوتدرکشورهائیمثلامریکاوانگلستانبراساساختلافاتگذشتهورایهائیکهبرایآنهاصادرشدهاستانجاممیشود.

    • بنگاهمسکن:

      معمولاقیمتخانههابراساسخانههایمشابهیکهاخیرافروشرفتهاندتعیینمیگردند.


    اجزا دیگرسیستم CBR

    • Case-base

      • یکدیتابیسازمثالهایقبلی

    • Retrieval of relevant cases

      • استفادهازایندکسبرایمثالهایموجوددردیتابیس

      • قابلیتتطبیقباشبیهترینمثالها

      • بدستآوردنراهحلبااستفادهازمثالهایمشابه

    • Adaptation of solution

      • تغییردادنراهحلبنحویکهاختلافبینمثالموردبررسیونمونههایپیداشدهدردیتابیسرادرنظربگیرد.


    Solution دیگر

    CBR Solving Problems

    Review

    Retain

    Database

    Adapt

    Retrieve

    Similar

    New

    Problem


    مثالی دیگراز :CBR تعییننرخمسکن

    Test instance


    چگونگی دیگرایجادقوانین

    • مثالهائیراپیدامیکنیمکهتاحدزیادیشبیههمباشند

      • case 1 and case 2

      • قانون: R1 اگرتعدادrecep-roomsاز 2 به 1 تغییرکندقیمترا £5,000کاهشدهید.

      • case 3 and case 4

      • قانون: R2 اگرTypeازsemiبهterracedتغییرکندقیمترا £7,000کاهشدهید.


    انطباق دیگر

    • مثالموردبررسیرابامثالهایذخیرهشدهمقایسهکردهومواردانطباقرامشخصمیکنیم:

      • matches(5,1) = 3

      • matches(5,2) = 3

      • matches(5,3) = 2

      • matches(5,4) = 1

    • Estimate price of case 5 is £25,000


    Adaptation
    Adaptation دیگر

    • قانون 2 معکوسمیشود:

      • قانون: R2 اگرTypeازsemiبهterracedتغییرکندقیمترا £7,000افزایشدهید.

    • اعمالقانونمعکوس

      • پیشبینیجدیدازقیمتمسکنموردنظر £32,000 است


    یادگیری دیگر

    • بدینترتیبیکcase جدیدویکقیمتجدیدتخمینزدهشدهاست.

      • دراینمرحلهچیزیبهدیتابیساضافهنمیشود.

    • اگردرآیندهاینخانهبهقیمت £35,000 فروشبروداینموردبهعنوانیکcase جدیداضاقهشدهویکقانونجدیدهماضافهمیشود

      • اگراز 8 به 7 تغییرکندقیمترابهمیزان £3,000 اضافهمیشود.


    ad