1 / 141

Neural Networks

Neural Networks. رئوس مطالب. مقدمه کاربردهای شبکه عصبی مبانی نظری شبکه های عصبی مصنوعی. بخش اول: مقدمه. هوش مصنوعی ( AI ). شبکه های عصبی مصنوعی ( ANNs ) منطق فازی ( FL ) محاسبات تکاملی ( EC ) الگوریتهای ژنتیک ( GAs ) حرکت مورچگان …. ANNs. GAs. FL.

Download Presentation

Neural Networks

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Neural Networks

  2. رئوس مطالب • مقدمه • کاربردهای شبکه عصبی • مبانی نظری شبکه های عصبی مصنوعی شبکه های عصبی مصنوعی

  3. بخش اول:مقدمه شبکه های عصبی مصنوعی

  4. هوش مصنوعی (AI) • شبکه های عصبی مصنوعی (ANNs) • منطق فازی (FL) • محاسبات تکاملی (EC) • الگوریتهای ژنتیک (GAs) • حرکت مورچگان • … ANNs GAs FL سوال: شباهت این تکنیکها در چیست؟ شبکه های عصبی مصنوعی

  5. شبکه های عصبی مصنوعی

  6. تعریف شبکهعصبیمصنوعی روشیکامپیوتری برایمحاسبهاستکهبرپایهاتصالبههمپیوستهچندینواحدپردازشیساختهمی شود. شبکهازتعداددلخواهیواحدپردازشی(یانرون،سلولیاگره)که در لایه (ها) قرار می گیرندتشکیلمی شودکهمجموعهورودیرابهمجموعه خروجیربطمی دهند. شبکه های عصبی مصنوعی

  7. انواع شبکه های عصبی مصنوعی شبکه های عصبی مصنوعی

  8. بخش دوم:کاربردهای شبکه عصبی مصنوعی شبکه های عصبی مصنوعی

  9. ANNsکاربردهای عمومی تشخیص الگو (گروه‌بندي اشكالي كه مشابه هم هستند) ذخيره كردن و بازبيني داده‌ها تقریب تابع (رگرسیون غیر خطی، تخمین و پیشگویی) بهينه سازي و تعيین جواب با وجود قيود متعدد داده کاوی (استخراج دانش کلان ، قابل استناد و جديد از پايگاه داده ها ي بزرگ ) به طور کلی هر جا که سخن از تخمین، تشخیص الگو یا طبقه بندی باشد می توان از شبکه های عصبی مصنوعی استفاده کرد. شبکه های عصبی مصنوعی

  10. data prospecting and surveying transformed data make model database preprocess & transform (normalization, PCA, pruning,…) selected data select Interpretation & rule formulation فرایند داده کاوی تعريف مساله انبارش داده هاساختن پايگاه داده مربوط به داده كاوي انتخاب داده ها جستجوي داده تبديل داده ها آماده ساختن داده براي مدل سازي کاوش در داده ها ساختن مدل ارزيابي مدل تفسير نتيجه ساخت مدل و ارائه نتايج شبکه های عصبی مصنوعی

  11. ANNs کاربردهای مختلف شناسایی تصویر /سیگنال بینایی ماشین مدل کردن غیر خطی کنترل فرآیند ساخت ارزیابی بکارگیری یک سیاست بهینه سازی محصول تشخیص ماشین و فرآیند مدل کردن کنترل سیستمها مدل کردن ساختارهای شیمیایی مدل کردن سیستمهای دینامیکی تشخیص بیماری پردازش سیگنالهای تصویری زمانبندی وسیله نقلیه سیستمهای مسیریابی کلاسه بندی نمودارهای مشتری/بازار سیستمهای بازرسی کیفیت، پیش بینی کیفیت، کلاسه بندی انواع سلولها, میکروبها و نمونه ها، پیش بینی فروشهای آینده پیش بینی نیازهای محصول پیش بینی وضعیت بازار پیش بینی شاخصهای اقتصادی تعیین قیمت وضعیت فعلی پیش بینی ملزومات انرژی پیش بینی هوا پیش بینی محصول مدیریت و برنامه ریزی کنترل سیستم فرایند شیمیایی و دینامیکی کنترل مسیر در دستگاههای خودکار, ربات, جرثقیل مدل کردن کنترل فرآیند شبکه های عصبی مصنوعی

  12. Aerospace High performance aircraft autopilots, flight path simulations, aircraft control systems, autopilot enhancements, aircraft component simulations, aircraft component fault detectors Agriculture Agri-product classification, inspection, grading and sorting, soil and yield modeling, prediction and estimation, modeling, regression and non-linear curve-fitting, fault diagnoses and detection, … Automotive Automobile automatic guidance systems, warranty activity analyzers Banking Check and other document readers, credit application evaluators Defense Weapon steering, target tracking, object discrimination, facial recognition, new kinds of sensors, sonar, radar and image signal processing including data compression, feature extraction and noise suppression, signal/image identification ANNsکاربردهای تخصصی شبکه های عصبی مصنوعی

  13. Electronics Code sequence prediction, integrated circuit chip layout, process control, chip failure analysis, machine vision, voice synthesis, nonlinear modeling Financial Real estate appraisal, loan advisor, mortgage screening, corporate bond rating, credit line use analysis, portfolio trading program, corporate financial analysis, currency price prediction Manufacturing Manufacturing process control, product design and analysis, process and machine diagnosis, real-time particle identification, visual quality inspection systems, beer testing, welding quality analysis, paper quality prediction, computer chip quality analysis, analysis of grinding operations, chemical product design analysis, machine maintenance analysis, project bidding, planning and management, dynamic modeling of chemical process systems ANNsکاربردهای تخصصی شبکه های عصبی مصنوعی

  14. Medical Breast cancer cell analysis, EEG and ECG analysis, prosthesis design, optimization of transplant times, hospital expense reduction, hospital quality improvement, emergency room test advisement Robotics Trajectory control, forklift robot, manipulator controllers, vision systems Speech Speech recognition, speech compression, vowel classification, text to speech synthesis Securities Market analysis, automatic bond rating, stock trading advisory systems Telecommunications Image and data compression, automated information services, real-time translation of spoken language, customer payment processing systems Transportation Truck brake diagnosis systems, vehicle scheduling, routing systems ANNsکاربردهای تخصصی شبکه های عصبی مصنوعی

  15. چند کاربرد شبکه عصبی Bankruptcy prediction modeling with hybrid case-based reasoning and genetic algorithms approach  Applied Soft Computing, Volume 9, Issue 2, March 2009, Pages 599-607 Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters  Expert Systems with Applications, Volume 28, Issue 4, May 2005, Pages 603-614Jae H. Min, Young-Chan Lee A threshold-varying artificial neural network approach for classification and its application to bankruptcy prediction problem  Computers & perations Research, Volume 32, Issue 10, October 2005, Pages 2561-2582 Hybrid neural network models for bankruptcy predictions  Decision Support Systems, Volume 18, Issue 1, September 1996, Pages 63-72 A multivariate neuro-fuzzy system for foreign currency risk management decision making  Neurocomputing, Volume 70, Issues 4-6, January 2007, Pages 942-951 شبکه های عصبی مصنوعی

  16. چند کاربرد شبکه عصبی Forecasting currency prices using a genetically evolved neural network architecture  International Review of Financial Analysis, Volume 8, Issue 1, 1999, Pages 67-82 ارزيابي روش هاي سنجش کيفيت خدمات به وسيله شبکه هاي عصبي مصنوعي   ميرغفوري سيدحبيب اله,طاهري دمنه محسن*,زارع احمدآبادي حبيب ارزیابی یک مدل شبکه عصبی جهت پیش بینی قیمت نفت اصفهانیان و ناصری پیش بینی نرخ ارز با مدل نروفازی ایمان دوست شبکه های عصبی مصنوعی

  17. بخش سوم:مبانی شبکه های عصبی مصنوعی شبکه های عصبی مصنوعی

  18. تاریخچه ANN has past through three phases 1940’s – 1970’s, 1970’s – 1980’s, 1980’s – Now Major contributors - McCulloch & Walter Pitts(Mathematical model) - Donald Hebb (Hebbian Rule) - Rosenblatt (Perceptron) - Widrow & Hoff (Delta rule) - Minsky & Papert - Kohonen - Grossberg - Hopfield - Rumelhart & McClelland (Backpropagation) شبکه های عصبی مصنوعی

  19. تاريخچه • مطالعه برروي شبكه‌هاي عصبي توسط مك كلاخ و پيتس در سال 1943 آغاز شد. شبكه‌هاي تك لايه، با توابع فعال سازی آستانه‌اي، توسط روزنبلات در سال 1962 بنيان‌گذاري شدند كه اين نوع شبكه‌ها، پرسپترون ناميده شدند. • در دهه 1960، به صورت تجربي نشان داده شد كه پرسپترون‌ها قابليت حل مسائل فراواني را دارند، ولی بسياري از مسائل پيچيده توسط آنها قابل حل نبود. • محدوديت‌ پرسپترونهای يك لايه در سال 1966توسط مينسكي و پپرت در كتاب پرسپترون آنها به چاپ رسيد. نتايج مطالعه اين كتاب باعث شد كه شبكه‌هاي عصبي به مدت دو دهه كمتر مورد توجه قرار گيرند. • باکشفالگوريتم پس-انتشار توسط رملهات، هينتن و ويليامز در سال 1986 مطالعات جديد بر روي شبكه‌هاي عصبي مجددا شروع شد. اهميت ويژه اين الگوريتم اين بود كه شبكه‌هاي عصبي چند لايه توسط آن مي‌توانستند آموزش داده شوند. شبکه های عصبی مصنوعی

  20. الهامازطبیعت مطالعهشبکههایعصبیمصنوعیتاحدزیادیالهام گرفتهازسیستمهاییادگیرطبیعیاستکهدرآنهایکمجموعهپیچیدهازنرونهایبههممتصلدرکاریادگیریدخیلهستند. گمانمیرودکهمغزانسانازتعداد 10 11نرونتشکیلشدهباشدکههرنرونباتقریبا 104نروندیگردرارتباطاست. سرعتسوئیچنگنرونهادرحدود 10-3ثانیهاستکهدرمقایسهباکامپیوترها 10 -10 ) ثانیه ( بسیارناچیزمینماید. بااینوجودآدمیقادراستدر 0.1 ثانیهتصویریکانسانرابازشناسائینماید. اینقدرتفوقالعادهبایدازپردازشموازیتوزیعشدهدرتعدادیزیادیازنرونهاحاصلشدهباشد. شبکه های عصبی مصنوعی

  21. نرون بیولوژیکی شبکه های عصبی مصنوعی

  22. نرون مصنوعی From experience: examples / training data Strength of connection between the neurons is stored as a weight-value for the specific connection. Learning the solution to a problem = changing the connection weights A physical neuron An artificial neuron شبکه های عصبی مصنوعی

  23. مدل ریاضی یک نرون (مک کلاخ-پیتس-1943) w1 x1 y b w2 x2 + f(y) O … … w0 wn xn x0 Output Inputs Weights Summation Activation شبکه های عصبی مصنوعی

  24. توابع فعال سازیمتداول f(y) sgn(y) 1 tanh(y) y -1 شبکه های عصبی مصنوعی

  25. توابع فعال سازی سیکموئید x1 w1 x2 net w2 Σ O O = f(net) = 1 / (1 + e –net) w0 wn xn X0=1 برایاینکهبتوانیمفضایتصمیمگیریرابصورتغیرخطیازهمجداکنیم،لازماستتاهرسلولواحدرابصورتیکتابعغیرخطیتعریفنمائیم. مثالیازچنینسلولیمیتواندیکواحدسیگموئیدباشد: شبکه های عصبی مصنوعی

  26. ساختار شبکه عصبی نرون ها به صورت طبيعي به روش خاصي اتصال مي يابند تا يک شبکه عصبي را تشکيل دهند نحوه اتصال نرون ها مي تواند به گونه اي باشد که شبکه تک لايه يا چند لايه باشد. شبکه هاي چند لايه از يک لايه ورودي، يک لايه خروجي و يک يا چند لايه بين آنها (لایه پنهان) که مستقيما به داده هاي ورودي و نتايج خروجي متصل نيستند تشکيل يافته اند. واحدهاي لايه ورودي صرفا وظيفه توزيع مقادير ورودي را به لايه بعد برعهده دارند. و هيچ گونه تاثيري بر روي سيگنال هاي ورودي ندارند. به همين دليل در شمارش تعداد لايه ها به حساب نيامده اند. شبکه شامل يک لايه خروجي است که پاسخ سيگنال هاي ورودي را ارائه مي دهد. که تعداد نرون ها در لايه ورودي و لايه خروجي برابر با تعداد ورودي ها و خروجي ها مي باشد و لايه يا لايه هاي پنهان وظيفه ارتباط دادن لايه ورودي به لايه خروجي را بر عهده دارند. شبکه با داشتن اين لايه هاي پنهان قادر مي گردد که روابط غير خطي را از داده هاي ارائه شده به شبکه استخراج کند. شبکه های عصبی مصنوعی

  27. شبکه های عصبی چند لایه یا MLP x0=1 y0=1 y1 y3 x1 y2 Layer 2 Output Layer 1 Hidden x2 Input شبکه های عصبی مصنوعی

  28. آموزش مراحل کار با شبکه عصبی اجرا تعمیم كار با هر شبکه عصبی شامل سه مرحله می باشد: آموزش، تعمیمو اجرا. • در مرحله آموزش، شبکه الگوهای موجود در داده هاي ورودي را یاد می گیرد. هر شبکه عصبی برای یادگیری از قانون خاص استفاده می کند. • تعمیم، قدرت شبکه عصبی در ایجاد پاسخ های قابل قبول برای ورودی هایی است که عضو مجموعه آموزشی نبودهاند. • در مرحله اجرا نیز شبکه عصبی برای عملکردی که به آن منظور طراحی گردیده است، استفاده می شود. الگو های داده های ورودی پاسخ برای ورودی های مجهول شبکه های عصبی مصنوعی

  29. یادگیری در شبكه‌هاي عصبي مصنوعي هدف از آموزش شبكه،رسيدن به شرايطي است كه شبكه قادر به پاسخگويي صحيح به داده‌هاي ارائه شده در آموزش شبكه(به خاطر سپردن) و همچنين داده‌هاي مشابه و متفاوت از ورودي هايي كه از آنها براي آموزش شبكه استفاده شده است(تعميم دادن)،باشد. برتري عمدة شبكه‌هاي عصبي آموزش داده‌شده بر محاسبات كلاسيك اين است كه نتايج مورد نياز با تلاش كمتر و در زمان كمتري قابل حصول است.در نتيجه اين مزايا خصوصاً براي مسائلي كه مستلزم محاسبات طولاني هستند بسيار مفيد و موثر واقع گردد. دو نوع آموزش شبكه به شكل زير است: الف‌ـ‌آموزش با معلم ب‌ـ‌آموزش بدون معلم شبکه های عصبی مصنوعی

  30. آموزش شبكه‌هاي عصبي مصنوعي الف‌- آموزش با معلمآموزش اكثر شبكه‌هاي عصبي با استفاده از زوج بردارهاي نمونه صورت مي‌گيرد به طوري كه به هر بردار ورودي يك بردار خروجي مشخص نسبت داده مي‌شود.با ارائة اين مجموعه بردارها به شبكه،وزنها بر اساس الگوريتم يادگيري شبكه اصلاح مي‌گردند.اينگونه آموزش را آموزش با معلم مي‌نامند. شبکه­های دلتا، آدالاین ، مادالاین، تابع پایه شعاعی (RBF) و پس­انتشار (BP)ب-آموزش بدون معلمدر اين نوع آموزش،بردارهاي ورودي به شبكه ارائه گرديده بدون اينكه بردارهاي خروجي مربوط به شبكه داده شوند،وزنهاي شبكه بصورتي اصلاح مي‌شوند كه بردارهاي ورودي مشابه در يك گروه‌بندي قرار گيرند.پاسخ شبكه بر اساس نزديكترين بردار به بردار ورودي خواهد بود. یادگیری بدون ناظر را خود یادگیری هم میگویند. از شبکههای به کارگیرنده الگوریتم بدون ناظر میتوان به شبکههای هب، کوهونن و هاپفیلد اشاره کرد. شبکه های عصبی مصنوعی

  31. یادگیری با معلم - یادگیری بدون معلم این بلوکها را در دو کلاس (گروه) قرار دهید. سوال:کدام روش یادگیری مناسب است؟ شبکه های عصبی مصنوعی

  32. یادگیری با معلم توجه: طبقات کلاس به عنوان اطلاعات تکمیلی داده شده است. شبکه های عصبی مصنوعی

  33. دو جواب ممکن ... یادگیری بدون معلم ... هیچگونه هدایتی برای اینکه کدام را انتخاب کنیم نشده است. شبکه های عصبی مصنوعی

  34. الگوريتم هاي يادگيري منظور از يادگيري در ANN، تنظيم وزن ها و باياس هاي شبكه مي باشد. بر اين اساس الگوريتم هاي متفاوتي بيان شده، كه معمول ترين آنها عبارتند از: • يادگيري هب: در اين روش وزن مربوط به ورودي يك نرون، زماني افزايش مي يابد كه سيگنال ورودي و خروجي هر دو بالا باشند که در واقع منظور تقويت كردن آن ورودي است. • قانون يادگيري دلتا: اين الگوريتم كه بعضاً ميانگين مربع خطا (LMS) نيز ناميده مي شود وقتي استفاده مي‌گردد كه سيگنال خطا مينيمم شود كه به واقع اختلاف بين خروجي واقعي شبكه و خروجي مورد انتظار (مطلوب) مينيمم باشد. در اين روش سيگنال خطا جهت اصلاح وزن ها و باياس‌هاي نرون ها به عقب منتشر مي‌شود. الگوريتم پس انتشار خطا معمول ترين روش پياده سازي از قانون يادگيري دلتا است كه دست كم در 75% از كاربردهاي شبكه هاي عصبي مصنوعي استفاده مي‌گردد. • يادگيري رقابتي: در اين روش عناصر پردازشي جهت اصلاح وزن ها و باياس هاي خودشان با هم رقابت مي كنند. شبکه های عصبی مصنوعی

  35. الگوریتم نزول گرایان (Gradient Descent) باتوجهبهنحوهتعریف E سطحخطابصورتیکسهمیخواهدبود. مابدنبالوزنهائیهستیمکهحداقلخطاراداشتهباشند. الگوریتمGD درفضایوزنهابدنبالبرداریمیگرددکهخطاراحداقلکند. اینالگوریتمازیکمقداردلبخواهبرایبرداروزنشروعکردهودرهرمرحلهوزنهاراطوریتغییرمیدهدکهدرجهتشیبکاهشیمنحنیفوقخطاکاهشدادهشود. E(W) w1 w2 E = ½Σi (Ti – Oi)2 شبکه های عصبی مصنوعی

  36. شرطخاتمه الگوریتم BP معمولاالگوریتم BP پیشازخاتمههزارانباربااستفادههماندادههایآموزشیتکرارمیگرددشروطمختلفیرامیتوانبرایخاتمهالگوریتمبکاربرد: توقفبعدازتکراربهدفعاتمعین توقفوقتیکهخطاازیکمقدارتعیینشدهکمترشود. توقفوقتیکهخطادرمثالهایمجموعهاعتبار سنجیازقاعدهخاصیپیروینماید. اگردفعاتتکرارکمباشدخطاخواهیمداشتواگرزیادباشدمسئله Overfitting رخخواهدداد. شبکه های عصبی مصنوعی

  37. قدرتتعمیمو overfitting • شرطخاتمهالگوریتم BP چیست؟ • یکانتخابایناستکهالگوریتمراآنقدرادامهدهیمتاخطاازمقدارمعینیکمترشود. اینامرمیتواندمنجربهoverfittingشود. Validation set error Error Training set error epoch overfitting ناشیازتنظیموزنهابرایدرنظرگرفتنمثالهاینادریاستکهممکناستباتوزیعکلیدادههامطابقتنداشتهباشند. تعدادزیادوزنهاییکشبکهعصبیباعثمیشودتاشبکهدرجهآزادیزیادیبرایانطباقبااینمثالهاداشتهباشد. باافزایشتعدادتکرار،پیچیدگیفضایفرضیهیادگرفتهشدهتوسطالگوریتمبیشتروبیشترمیشودتاشبکهبتواندنویزومثالهاینادرموجوددرمجموعهآموزشرابدرستیارزیابینماید. شبکه های عصبی مصنوعی

  38. MLP Feed Forward- Back propagation شبکه های عصبی مصنوعی

  39. انتشاربهسمتجلو Inputs Output انتشاربهسمتعقب شبکه های عصبی مصنوعی

  40. شبکه عصبی چگونه کار میکند؟ • در واقع ایده اصلي شبکه عصبی تبديل پذير بودن پارامترهاي آن ( باياس و وزن هاي ارتباطي بين نرون ها) بوده که اين پارامترها مي توانند طوري تنظيم شوند که انتظار مورد نظر را تامين کنند. بنابراين با استفاده از آموزش شبکه مي توانيم اين پارامترها را براي انجام کار مورد نظر خود تعديل کنيم مقدار واقعی مقایسه ورودی ها شبکه عصبی خروجی ها (منهاج، 1387)، (کیا،1387)

  41. مثال پرسپترون inputs weights threshold x w1 output + >8? x w2 شبکه های عصبی مصنوعی

  42. P2 الگویی است که باید پرسپترون یاد بگیرد: یعنی، اگر هر دو ورودی 1 هستند، خروجی با ید 1 باشد weights threshold x 2 output + >8? inputs x 3 مثال P1 = P2 = Pn = شبکه های عصبی مصنوعی

  43. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) 1 1 شبکه های عصبی مصنوعی

  44. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) 2 1 3 1 شبکه های عصبی مصنوعی

  45. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) 2 1 5 3 1 شبکه های عصبی مصنوعی

  46. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) 2 1 5 0 3 1 شبکه های عصبی مصنوعی

  47. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) P2 = 2 1 5 0 3 1 شبکه های عصبی مصنوعی

  48. inputs weights threshold x 2 output + >8? x 3 مثال آموزشی (1و1) wi = wi + η(T – O) xi Must increase weights! 2 1 5 0 3 1 شبکه های عصبی مصنوعی

  49. مراحل طراحي يك مدل شبكه عصبي به منظور طبقه بندي يا پيش بيني (تخمين): 1- شناخت متغييرهاي ورودي و خروجي 2- تبديل مقادير ورودي و خروجي به دامنه صفر تا يك 3- انتخاب هندسه (توپولوژی) مناسب براي شبكه عصبي 4- آموزش با داده هاي آموزشي معرف 5- آزمون شبكه با داده هايي مستقل از مجموعه آموزشي و در صورت لزوم ادامه آموزش و تنظيم مثال هاي آموزشي، توپولوژی شبكه و پارامترهاي آن. شبکه های عصبی مصنوعی

  50. Initial Neural Net Training Training Set Data set Trained Neural Net Testing Testing Set Trained Net with Performance Measurement شبکه های عصبی مصنوعی

More Related