Slide1 l.jpg
Advertisement
This presentation is the property of its rightful owner.
1 / 32

Intellect PowerPoint PPT Presentation

intellect

Download Presentation

intellect

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Slide1 l.jpg

مقدمه اي بر داده کاوي و اکتشاف دانش

استاد : جناب آقاي دکتر رهگذر

تهيه کننده : يوحنا قديمي - علی عباسی - کاوه پاشايي


Slide2 l.jpg

مقدمه

  • امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد .

  • با استفاده ار پرسش هاي ساده در SQL و ابزارهاي گوناگون گزارش گيري معمولي ، مي توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند

  • وقتي که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين کار هم با شند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است


Slide3 l.jpg

مقدمه

  • از سوي ديگر کاربران معمولا فرضيه اي را مطرح مي کنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه مي پردازند ، در حالي که امروزه نياز به روشهايي است که اصطلاحا به کشف دانشبپردازند يعني با کمترين دخالت کاربر و به صورت خودکار الگوها و رابطه هاي منطقي را بيان نمايند .

  • داده کاوييکي از مهمترين اين روشها است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند .


Slide4 l.jpg

مفاهيم پايه در داده کاوي

  • در داده کاوي معمولا به کشف الگوهاي مفيد از ميان داده ها اشاره مي شود . منظور از الگوي مفيد ، مدلي در داده ها است که ارتباط ميان يک زير مجموعه از داده ها را توصيف مي کند و معتبر ، ساده ، قابل فهم و جديد است .


Slide5 l.jpg

تعريف داده کاوي

  • داده کاوي عبارت است از فرايند استخراج اطلاعات معتبر ، از پيش ناشناخته ، قابل فهم و قابل اعتماد از پايگاه داده هاي بزرگ و استفاده از آن در تصميم گيري در فعاليت هاي تجاري مهم.

  • اصطلاح داده کاوي به فرايند نيم خودکار تجزيه و تحليل پايگاه داده هاي بزرگ به منظور يافتن الگوهاي مفيد اطلاق مي شود

  • داده کاوي يعني جستجو در يک پايگاه داده ها براي يافتن الگوهايي ميان داده ها


Slide6 l.jpg

تعريف داده کاوي

  • داده کاوي يعني استخراج دانش کلان ، قابل استناد و جديد از پايگاه داده ها ي بزرگ .

  • داده کاوي يعني تجزيه و تحليل مجموعه داده هاي قابل مشاهده براي يافتن روابط مطمئن بين داده ها .


Slide7 l.jpg

کاربردهاي داده کاوي

  • خرده فروشي : از کاربردهاي کلاسيک داده کاوي است که مي توان به موارد زير اشاره کرد :

    • تعيين الگوهاي خريد مشتريان

    • تجزيه و تحليل سبد خريد بازار

    • پيشگويي ميزان خريد مشتريان از طريق پست(فروش الکترونيکي)


Slide8 l.jpg

کاربردهاي داده کاوي

  • بيمه :

    • تجزيه و تحليل دعاوي

    • پيشگويي ميزان خريد بيمه نامه هاي جديد توسط مشتريان

  • پزشکي :

    • تعيين نوع رفتار با بيماران و پيشگويي ميزان موفقيت اعمال جراحي

    • تعيين ميزان موفقيت روشهاي درماني در برخورد با بيماريهاي سخت


Slide9 l.jpg

کاربردهاي داده کاوي

  • بانکداري :

    • پيش بيني الگوهاي کلاهبرداري از طريق کارتهاي اعتباري

    • تشخيص مشتريان ثابت

    • تعيين ميزان استفاده از کارتهاي اعتباري بر اساس گروههاي اجتماعي


Slide10 l.jpg

مراحل فرايند کشف دانش از پايگاه داده ها

  • انبارش داده ها

  • انتخاب داده ها

  • تبديل داده ها

  • کاوش در داده ها

  • تفسير نتيجه


Slide11 l.jpg

انبارش داده ها

  • هدف از فرايند انبارش داده ها فراهم کردن يک محيط يکپارچه جهت پردازش اطلاعات است .

  • در اين فرايند ، اطلاعات تحليلي و موجز در دوره هاي مناسب زماني سازماندهي و ذخيره مي شود تا بتوان از آنها در فرايند هاي تصميم گيري که از ملزومات آن داده کاوي است ، استفاده شود

  • انبار داده ها ، مجموعه اي است موضوعي، مجتمع، متغير در زمانو پايداراز داده ها که به منظور پشتيباني از فرايند مديريت تصميم گيري مورد استفاده قرار مي گيرد


Slide12 l.jpg

انتخاب داده ها

  • براي فرايند داده کاوي بايد داده ها ي مورد نياز انتخاب شوند

  • به عنوان مثال در يک پايگاه داده هاي مربوط به سيستم فروشگاهي ، اطلاعاتي در مورد خريد مشتريان ، خصوصيات آماري آنها ، تامين کنندگان ، خريد ، حسابداري و ... وجود دارند .

  • براي تعيين نحوه چيدن قفسه ها تنها به داده ها يي در مورد خريد مشتريان و خصوصيات آماري آنها نياز است .

  • حتي در مواردي نياز به کاوش در تمام محتويات پايگاه نيست بلکه ممکن است به منظور کاهش هزينه عمليات ، نمونه هايي از عناصر انتخاب و کاوش شوند .


Slide13 l.jpg

تبديل داده ها

  • هنگامي که داده هاي مورد نياز انتخاب شدند و داده ها ي مورد کاوش مشخص گرديدند ، معملا به تبديلات خاصي روي داده ها نياز است .

  • نوع تبديل به عمليات و تکنيک داده کاوي مورد استفاده بستگي دارد : تبديلاتي ساده همچون تبديل نوع داده اي به نوع ديگر تا تبديلات پيچيده تر همچون تعريف صفات جديد با انجام عملياتهاي رياضي و منطقي روي صفات موجود .


Slide14 l.jpg

کاوش در داده ها

  • داده هاي تبديل شده با استفاده از تکنيکها و عملياتهاي داده کاوي مورد کاوش قرار مي گيرند تا الگوهاي مورد نظر کشف شوند .


Slide15 l.jpg

تفسير نتيجه

  • اطلاعات استخراج شده با توجه به هدف کاربر تجزيه و تحليل و بهترين نتايج معين مي گردند .

  • هدف از اين مرحله تنها ارائه نتيجه (بصورت منطقي و يا نموداري) نيست ، بلکه پالايش اطلاعات ارايه شده به کاربر نيز از اهداف مهم اين مرحله است .


Slide16 l.jpg

عملياتهاي داده کاوي

  • مدلسازي پيشگويي کننده

  • تقطيع پايگاه داده ها

  • تحليل پيوند

  • تشخيص انحراف


Slide17 l.jpg

معیارهای انتخاب عملیات داده کاوی

  • تناسب با نوع داده هاي ورودي

  • شفافيت خروجي داده کاوي

  • مقاومت در مقابل اشتباه در مقادير داده ها

  • ميزان صحت خروجي

  • توانايي کار کردن با حجم بالاي داده ها


Slide18 l.jpg

عملياتها و تکنيکهاي داده کاوي

  • مدلسازي پيشگويي کننده

    • رده بندي ، پيشگويي مقدار

  • تقطيع پايگاه داده ها

    • خوشه بندي آماري ، خوشه بندي

  • تحليل پيوند

    • کشف بستگي ، کشف الگوهاي متوالي ، کشف دنباله هاي زماني مشابه

  • تشخيص انحراف

    • آمار ، تجسم مدل


Slide19 l.jpg

تحليل پيوند

  • کشف بستگي

  • کشف الگوهاي متوالي

  • کشف دنباله هاي زماني مشابه


Slide20 l.jpg

پارامترهای قوانين وابستگي

  • درجه پشتيباني

    • کسري از جمعيت است که در يک قاعده ، هم مقدم و هم تالي را دارند

  • درجه اطمينان

    • در يک جمعيت مورد بررسي ، کسري از موارد است که وقتي مقدم قاعده در آنها ظاهر شده است ، تالي نيز در آنها وجود دارد


Slide21 l.jpg

مدلها و الگوريتمهاي داده كاوي

  • شبكه هاي عصبي

    • شبكه هاي عصبي به طور خاصي مورد استفاده اند چرا كه آنها ابزاري موثر براي مدلسازي مسائل بزرگ و پيچيده كه ممكن است در آنها صدها متغير پيش بيني كننده كه فعل و انفعالات زيادي دارند وجود داشته باشد

    • شبكه هاي عصبي مي توانند در مسائل طبقه بندي يا حدسهاي بازگشتي(كه در آنها متغير خروجي پيوسته است) استفاده شوند.


Slide22 l.jpg

مدلها و الگوريتمهاي داده كاوي

  • يك شبكه عصبي با يك لايه داخلي شروع مي شود كه در آن هر گره به يك متغير پيشگو منسوب مي گردد.

  • اين گره هاي ورودي به يك تعداد از گره ها در لايه پنهان متصل مي شوند.گره ها در لايه پنهان مي توانند به گره هايي در يك لايه پنهان ديگر يا به يك لايه خروجي متصل شود.

  • لايه خروجي خود شامل يك يا بيشتر متغيرهاي جواب مي باشد.


Slide23 l.jpg

مدلها و الگوريتمهاي داده كاوي


Slide24 l.jpg

درخت هاي انتخاب

  • درخت هاي انتخاب راهي براي نمايش يك سري از قوانين كه به يك كلاس يا مقدار منجر مي شود مي باشند.

  • براي مثال شما ممكن است بخواهيد درخواستهاي وام را برحسب ريسك اعتبار خوب يا بد طبقه بندي كنيد.


Slide25 l.jpg

درخت هاي انتخاب


Slide26 l.jpg

استنتاج قانون

  • استنتاج قانون روشي براي بدست آوردن يك سري از قوانين براي طبقه بندي موارد مي باشد.

  • اگرچه درختهاي تصميم مي توانند يك سري قوانين توليد كنند روشهاي استنتاج قانون يك مجموعه از قوانين وابسته كه ضرورتا درختي تشكيل نمي دهند را توليد مي نمايد.

  • چون استنتاج كننده قوانين لزوما انشعابي در هر سطح قرار نمي دهد و مي تواند گام بعدي را تشخيص دهد گاهي اوقات مي تواند الگوهاي مختلف و بهتري را براي طبقه بندي بيابد.

  • برخلاف درختان قوانين توليدي ممكن است تمام حالتهاي ممكن را پوشش ندهند.


Slide27 l.jpg

الگوريتمهاي ژنتيك

  • الگوريتمهاي ژنتيك براي يافت الگوها استفاده نمي شود بلكه بيشتر به منظور راهنمايي در مورد فرآيند يادگيري الگوريتمهاي داده كاوي مانند شبكه هاي عصبي مورد استفاده قرار مي گيرد.

  • الگوريتمهاي ژنتيك به عنوان يك متد جهت انجام يك جستجوي هدايت شده براي مدلهاي خوب در فضاي حل مساله عمل مي كند.


Slide28 l.jpg

الگوريتمهاي ژنتيك

  • اين الگوريتمها, الگوريتمهاي ژنتيك ناميده مي شوند چون بطور بي قاعده اي الگوي تكامل زيستي كه در آن اعضاي يك نسل بر سر انتقال خصوصيات خود به نسل بعد رقابت مي كنند تا نهايتا بهترين مدل يافت شود را دنبال مي كنند.

  • اطلاعاتي كه بايد انتقال داده شود در قالب كروموزمها كه شامل پارامترهايي براي ساختن مدل مي باشد قرار مي گيرد.


Slide29 l.jpg

گامهاي اصلي داده كاوي جهت كشف دانش

  • تعريف مساله

  • ساختن پايگاه داده مربوط به داده كاوي

  • جستجوي داده

  • آماده ساختن داده براي مدل سازي

  • ساختن مدل

  • ارزيابي مدل

  • ساخت مدل ونتايج


Slide30 l.jpg

مراحل لازم براي ساخت يك پايگاه داده داده كاوي

  • جمع آوري داده ها

  • توضيح داده ها

  • انتخاب داده ها

  • تعيين كيفيت داده ها و پاك كردن آن

  • تثبيت و يكپارچگي

  • ساختن فوق داده (داده هايي كه خود بيانگر توضيحي در مورد داده هاي موجود مي باشند.)

  • باركردن پايگاه داده مربوط به داده كاوي

  • نگهداري پايگاه داده مربوط به داده كاوي


Slide31 l.jpg

آماده سازي داده براي مدل سازي

  • انتخاب متغيرها

  • انتخاب سطرها

  • ساختن متغيرهاي جديد

  • تغيير شكل متغيرها


Slide32 l.jpg

منابعو مراجع:

  • [1] Introduction to Data Mining and Knowledge Discovery By Two Crows Corporation

  • [2] Jeffery W. Seifert , Analyst in information science and Technology Policy, ‘ Data Mining : An Overview ‘ December 2004.

  • [3] David J. HAND , Data Mining: Statistics and More? , December 2002.

  • [4]Eamonn Keogh , Stefano Lonardi , Chotirat Ann Ratanamahatana , ‘Towards Parameter-Free Data Mining ‘ Semtember 2005.


  • Login