1 / 36

Verification of data mining result Elimination of redundant rules

Verification of data mining result Elimination of redundant rules. سال تحصیلی 93-92. ملیحه هاشمی. مقدمه.

matteo
Download Presentation

Verification of data mining result Elimination of redundant rules

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Verification of data mining result Elimination of redundant rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab) سال تحصیلی 93-92 ملیحه هاشمی

  2. مقدمه • یکی از چالش­های موجود در داده­کاوی، تعداد زیاد الگوهای تولید شده توسط تکنیک­های داده­کاوی است که این امر ارزیابی الگوهای به دست آمده را دشوار می­کند. به همین دلیل زمینه­ی تحقیقاتی فعالی در داده­کاوی برای کاهش الگوهای به دست آمده وجود دارد. برخی از کارهای انجام شده در این زمینه به خلاصه­سازی، گروه بندی، حذف قواعد غیر جالب و حذف قواعد افزونه می­پردازند. مقاله­ی مورد بررسی نیز در راستای کاهش الگوها بر حذف الگوهای افزونه تاکید دارد. افزونه بودن یکی از انواع ناسازگاری­هایی است که در یک مجموعه از الگوها قابل مشاهده است و از بین بردن آن در صحت سنجی مورد تاکید است. به همین دلیل ما نه تنها برای کاهش تعداد الگوها بر حذف افزونگی تاکید داریم، بلکه برای اطمینان از صحت الگوها این گونه ناسازگاری­ها باید از بین بروند. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  3. Effective elimination of redundant association rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  4. Effective elimination of redundant association rules • مرور کلی • ارائه‌ی روشی برای استخراج فرم فشرده‌ای از قوانین انجمنی بر مبنای حذف افزونگی‌ها • امکان به دست آوردن تمام قواعد انجمنی از این فرم فشرده در صورت نیاز • اثبات soundness و completeness قواعد استنتاج شده از این فرم فشرده نسبت به مجموعه اصلی قواعد حاصل از داده کاوی آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  5. Association rule mining • Supp(X) = The number of transaction that support x The number of transaction in database D آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  6. Concise representations ofFIs • DB = {<a1, …, a100>, < a1, …, a50>} , =1 • Maximal FIs (MFIs) • <a1, …, a100>: 1 • Closed FIs (CFIs) • <a1, …, a100>: 1 , < a1, …, a50>: 2 آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  7. Association rule mining آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  8. Definitions • (δ-Tolerance closed frequent itemset) • δ(0 ≤ δ ≤ 1) is a user-specified support tolerance factor • (δ) is set of δ-TCFIs آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  9. We get 50 AR We get 6 𝜹−TARs δ = 0.04 → : { abcd , bcd , bd ,b} آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  10. Definitions • Closest superset آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  11. Definitions • Closest δ-TCFI superset آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  12. Definitions • Closure of δ-TCFI آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  13. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  14. Definitions • Support extension آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  15. Definitions • Estimated Support = • = 1.03 آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  16. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  17. FI tree and FI-tree-based association rules FI-parent آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  18. FI tree and FI-tree-based association rules FI-tree • FI-parent of X} ∪ {(γ ,X) : X ⊂ γ and Y ∈ F such that Y ⊃ X} آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  19. FI tree and FI-tree-based association rules • FI-tree-based association rules (RTF) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  20. R be the set of all ARs that have support no less than σ. • When γ ∈ F, then RTF ⊆ R. Let Rγ = {X ⇒ Y : (X ∪ Y ) = γ and γ F}. • When γ F, then (RTF − Rγ) ⊆ R. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  21. Definition- inference rules conf (r) = (conf () · conf ()) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  22. . آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  23. Definition- inference rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  24. . آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  25. Definition- inference rules Lemma 3. Referring to Rule 3, let r ∈ (RTF ∪ R). Then, supp(r) and conf(r) are correctly defined, and r ∈ R or r ∈ Rγ. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  26. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  27. δ-Tolerance association rule tree And δ-Tolerance association rule آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  28. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  29. (δ-Tolerance association rule tree) The δ-Tolerance Association Rule tree (δ-TAR tree), denoted as Tδ = (Vδ,Eδ), where Vδ = (V ∪{γ }∪Vb) and Eδ = (E ∪ Eγ ∪ Eb), are defined as follows: آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  30. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  31. δ-Tolerance association rules آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  32. Definition- inference rules : آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  33. (Support extension) : آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  34. Definition آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  35. آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

  36. Non-redundancy • (Non-redundancy) آزمايشگاه سيستم های هوشمند (http://ce.aut.ac.ir/islab)

More Related