داده کاوي توزيع شده

1. داده کاوي توزيع شده پرهام مرادي pmoradi@cic.aut.ac.ir Distributed Database Distributed Database

2. فهرست • بخش اول – داده کاوي (Data Mining) • مقدمه‌اي بر داده‌کاوي • کاربردهاي داده کاوي • تکنيکهاي داده‌کاوي • ابزارهاي داده کاوي • بخش دوم : داده کاوي توزيع شده • معماري سيستم‌هاي موازي و توزيع شده • اجراي موازي تکنيک‌هاي داده‌کاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

3. مقدمه‌اي بر دادهکاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

4. مقدمه‌اي بر داده کاوي • حجم داده‌ها (Data) با سرعت زيادي در حال رشد است • Large number of records (108 – 1012 bytes) • High dimensional data ( 102 – 104 attributes) • اطلاعات (Information) ما در مورد اين داده‌ها کم است • دانش (Knowledge) ما نسبت به اين اطلاعات صفر است • راه حل استفاده از تکنيک‌هاي داده کاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

5. مقدمه‌اي بر داده کاوي • داده کاوي (Data Mining) • جستجو براي اطلاعات با ارزش در ميان حجم زيادي از داده ها • استخراج اتوماتيک مدل از داده • فرآيند استخراج اطلاعات نهفته در حجم زيادي از داده داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

6. مقدمه‌اي بر داده کاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

7. KDD and Data Mining داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

8. KDD & Data Mining • استخراج دانش از پايگاه داده (KDD) • Knowledge Discovery from Database • داده کاوي يکي از مراحل KDD است • KDD از تکنيک‌هايي نظير پيش پردازش ، تميز سازي، تبديل، داده کاوي و ... براي استخراج دانش از پايگاه داده، استفاده مي‌کند داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

9. منابع داده‌اي • پايگاه داده رابطه‌اي • انباره داده (Data Warehouse) • متن • وب • داده‌هاي ناهمگون و توزيع شده • چند رسانه‌اي (Multimedia) • Time-Series داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

10. داده کاوي ترکيبي از علوم مختلف 20x20 ~ 2^400  10^120 patterns داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

11. داده کاوي ترکيبي از علوم مختلف Information Retrieval • Similarity Measures • Hierarchical Clustering • IR Systems • Imprecise Queries • Textual Data • Web Search Engines Statistics • Bayes Theorem • Regression Analysis • EM Algorithm • K-Means Clustering • Time Series Analysis Database Data Mining • Relational Data Model • SQL • Association Rule Algorithms • Data Warehousing • Scalability Techniques Algorithms Machine Learning • Algorithm Design Techniques • Algorithm Analysis • Data Structures • Neural Networks • Decision Tree Algorithms داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

12. کاربرد‌هاي داده کاوي • آناليز بازار (Market analysis) • آناليز و مديريت ريسک • تشخيص تقلب • متن کاوي و وب کاوي • Stream data mining • DNA and bio-data analysis داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

13. کاربرد‌هاي داده کاوي – آناليز بازار • Target marketing • پيدا کردن الگوي خريد مشتري • Cross-market analysis • پيدا کردن قوانين انجمني مربوط به خريد مشتريان • Customer profiling • دسته بندي مشتريان براساس نوع خريد • آناليز نيازهاي مشتريان • تشخيص محصولات مناسب براي دسته‌هاي مختلف مشتريان • تشخيص فاکتورهايي براي جذب مشتريان جديد داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

14. کاربرد‌هاي داده کاوي – تشخيص تقلب • مشخص کردن تمام تراکنشهاي مربوط به يک مشتري خاص که در آن تقلب صورت گرفته است. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

15. داده کاوي و هوش تجاري داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

16. تکنيک‌هاي داده کاوي • پيشگويي (Predictive) • طبقه بندي (Classification) • رگرسيون (Regression) • آناليز سري‌هاي زماني (Time Series Analysis) • توصيفي(Descriptive) • قوانين انجمني(Association Rules) • خوشه بندي (Clustering) • الگوهاي متوالي (Sequential Patterns) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

17. تکنيک‌هاي داده کاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

18. پيشگويي (Prediction) • استفاده از مقادير و متغيرهاي گذشته جهت تشخيص متغيرهاي جديد. مثال : • رتبه بندي کسي که تقاضاي کارت اعتباري مي کند به يکي از دسته‌‌هاي عالي، خوب، متوسط، بد بر اساس يک سري اطلاعات درخواست کننده (سن، تحصيلات ،حقوق ماهيانه و ..) يک سري اطلاعات ديگر. • دسته بندي مشتريان بانک • پيشگويي اينکه آيا مشتري تمايل دارد به Junk Mail ها پاسخ مي دهد يا خير؟ داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

19. پيشگويي- طبقه بندي (Classification) • دسته بندي کردن داده‌ها به يکي از کلاسهاي از پيش تعيين شده. • تشخيص طبقه مربوط به يک داده جديد (که طبقه آن مشخص نيست) به يکي از طبقات تعريف شده مثال : • درخواست کننده‌هاي کارتهاي اعتباري ( خوب،متوسط،بد) • وضعيت دانشجويان ( عالي، خوب،متوسط،ضعيف) • تقسيم بندي مريضها بر اساس حال آنها(عادي،وخيم) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

20. طبقه بندي – درخت تصميم (Decision Tree) مثال : دسته بندي افراد بر اساس قد (کوتاه – متوسط-بلند) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

21. طبقه بندي – درخت تصميم (Decision Tree) مثال : دسته بندي ريسک واگذاري بيمه داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

22. پيشگويي- رگرسيون (Regression) • نگاشت يک آيتم داده‌اي به مقدار واقعي آن بر اساس يک فرمول از پيش تعيين شده. • به دست آوردن چند جمله‌اي زير Y = a0 + a1 * X1 + a2 * X2 + … + an * Xn مثال : Risk score=0.01*(Balance)- 0.3*(Age)+4*(House Owned) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

23. پيشگويي- آناليز سري زماني (Time Series) مثال : بازار سهام • تشخيص رفتار آينده بر اساس رفتار گذشته • تشخيص الگوهاي مشابه در بازه‌هاي زماني • طبقه بندي کردن رفتار بر اساس بازه‌هاي زماني داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

24. مشتري که هر دو را مي خرد مشتري که شير مي خرد مشتري که نان مي خرد توصيفي– قوانين انجمني (Association Rules) • مشترياني که نان مي خرند به احتمال زيادي شير هم مي خرند. • دانشجويي که کتاب پايگاه داده را مي خرد به احتمال 70% کتاب سيستم عامل را هم مي خرد. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

25. توصيفي– خوشه بندي (Clustring) • پيدا کردن خوشه‌هايي که داراي رکوردهاي مشابهي هستند. • تقسيم پايگاه داده به گروههاي مختلف که داراي اعضاي مشابه هستند. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

26. توصيفي– الگوهاي متوالي (Sequential patterns) پيدا کردن قوانيني شبيه : اگر مشتري تلوزيون خريد، سپس چند روز بعد دوربين مي خرد و به احتمال 50% يک ماه بعد ويديو خواهد خريد. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

27. ابزار‌هاي داده کاوي Data To Knowledge http://www.ncsa.uiuc.edu/Divisions/DMV/ALG/d2k/ SAS http://www.sas.com/ Clementine http://www.spss.com/spssbi/clementine/ Intelligent Miner http://www-3.ibm.com/software/data/iminer/ Insightful Miner http://www.insightful.com/products/product.asp?PID=26 WEKA داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

28. فهرست • بخش اول – داده کاوي • مقدمه‌اي بر داده‌کاوي • کاربردهاي داده کاوي • تکنيکهاي داده‌کاوي • ابزارهاي داده کاوي • بخش دوم : داده کاوي توزيع شده • معماري سيستم‌هاي موازي و توزيع شده • اجراي موازي تکنيک‌هاي داده‌کاوي داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

29. معماري‌هاي مختلف • محاسبات موازي (Parallel computing) • حل يک مساله با استفاده از يک کامپيوتر با تعداد زيادي پردازنده • محاسبات توزيع شده( Distributed computing) • حل يک مساله با استفاده از تعدادي کامپيوترمختلف که از طريق شبکه به هم متصل هستند. • در بعضي مواقع از يک نرم افزار زمان بند براي هماهنگي اين سيستم‌ها استفاده مي‌شود • محاسبات توري ( Grid Computing- (Meta Computing • حل يک مساله با استفاده از تعداد زيادي کامپيوتر که از لحاظ جغرافيايي توزيع شده هستند و از طريق اينترنت به هم متصل هستند • يک نرم افزار براي هماهنگي محاسباتي اين کامپيوتر‌ها لازم است. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

30. دسته بندي – مدل کنترلي • دسته بندي Flynn (1966) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

31. دسته بندي – مدل کنترلي - SISD • A serial (non-parallel) computer • Single instruction: only one instruction stream is being acted on by the CPU during any one clock cycle • Single data: only one data stream is being used as input during any one clock cycle • Examples: most PCs, single CPU workstations and mainframes داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

32. دسته بندي – مدل کنترلي -SIMD • Single instruction: all processing units execute the same instruction at any given clock cycle. • Multiple data: each processing unit can operate on a different data element. • Examples: • Processor Arrays: Connection Machine CM-2, Maspar MP-1, MP-2 • Vector Pipelines: IBM 9000, Cray C90, Fujitsu VP, NEC SX-2, Hitachi S820 داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

33. دسته بندي – مدل کنترلي-MISD Multiple Instruction, Single Data • Few actual examples of this class of parallel computer have ever existed. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

34. دسته بندي – مدل کنترلي - MIMD Currently, the most common type of parallel computer • Multiple Instruction: every processor may be executing a different instruction stream. • Multiple Data: every processor may be working with a different data stream. • Execution can be synchronous or asynchronous, deterministic or non- deterministic. • Examples: most current supercomputers, networked parallel computer "grids" and multi-processor SMP computers - including some types of PCs. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

35. دسته بندي – Communication Model • Shared vs. Distributed Memory systems داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

36. محاسبات موازي و توزيع شده • Parallel computing usually considers dedicated homogeneous HPC systems to solve parallel problems. • Distributed computing extends the parallel approach to heterogeneous general-purpose systems. • Both look at the parallel formulation of a problem. • usually reliability, security, heterogeneity are not considered in parallel computing, Whereas they are considered in ِGrid computing. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

37. محاسبات موازي و توزيع شده • Parallel computing: • Shared-Memory SIMD • Distributed-Memory SIMD • Shared-Memory MIMD • Distributed-Memory MIMD • Distributed computing and Clusters • Behind parallel and distributed computing: • Metacomputing SCALABILITY داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

38. اجراي موازي تکنيک‌هاي داده کاوي • پيشگويي (Predictive) • طبقه بندي (Classification) • رگرسيون (Regression) • آناليز سري‌هاي زماني (Time Series Analysis) • توصيفي(Descriptive) • قوانين انجمني(Association Rules) • خوشه بندي (Clustering) • الگوهاي متوالي (Sequential Patterns) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

39. قوانين انجمني • Given • A database of transactions • Each transaction contains a set of items • Find all rules X->Y that correlate the presence of one set of items X with another set of items Y • Example: When a customer buys bread and butter, they buy milk 85% of the time + داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

40. قوانين انجمني Example: Association Rule: Support: Confidence: داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

41. قوانين انجمني • Given a set of items/attributes, and a set of objects containing a subset of the items • Find rules: if I1 then I2 (sup, conf) • I1, I2 are sets of items • I1, I2 have sufficient support: P(I1+I2) • Rule has sufficient confidence: P(I2|I1) داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

42. قوانين انجمني • Notation • Minimum support (minsup) • Minimum confidence (minconf) • Find all frequent itemsets (> minsup) • Exponential Search Space • Computation and I/O Intensive • Generate strong rules (> minconf) • Relatively cheap داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

43. قوانين انجمني داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

44. الگوريتم‌هاي قوانين انجمني • Apriori • Dynamic Hashing and Pruning (DHP) • Partition • Dynamic Itemset Counting (DIC) • Clique • MaxClique • SEAR • Eclat داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

45. Apriori • Given ntransactions and m different items: • number of possible association rules: • computation complexity: داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

46. Apriori • Systematic search for all patterns, based on support constraint: • If {A,B} has support at least a, then both A and B have support at least a. • If either A or B has support less than a, then {A,B} has support less than a. • Use patterns of k-1 items to find patterns of k items. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

47. Apriori Guiding Principle: every subset of a frequent itemset has to be frequent. داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

48. Apriori • Three Step of Apriori Algorithm • Step 1 : • Generate candidates of length k from the frequent (k-1) length itemset • Step 2 : • Prune any candidate that has at least one infrequent subset • Step 3 : • Scan all transactions to obtain candidate supports داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

49. Apriori Min.Support=50 % Min.Confidence = 50% Database D F1 C1 Scan D C2 C2 F2 Scan D داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر

50. Apriori Items (1-itemsets) Pairs (2-itemsets) Minimum Support = 3 Triplets (3-itemsets) If every subset is considered, 6C1 + 6C2 + 6C3 = 41 With support-based pruning, 6 + 6 + 2 = 14 داده کاوي توزيع شده - پرهام مرادي - درس پايگاه داده توزيع شده - دانشکده رياضي و علوم کامپيوتر