به نام خدا
This presentation is the property of its rightful owner.
Sponsored Links
1 / 34

به نام خدا انبار داده ها PowerPoint PPT Presentation


  • 69 Views
  • Uploaded on
  • Presentation posted in: General

به نام خدا انبار داده ها. زير نظر : دکتر رهگذر توسط :مصطفي چهرقاني. انبار داده ها. نياز به انبار داده ها : شکاف بين اطلاعات وجود ابزارهاي عملياتي ولي عدم وجود ابزارهاي پردازشي ويژگيهاي انبار داده : موضوع گرا یکپارچه متغیر بازمان غیر فرار. معماریهای انبار داده. معماری دولایه

Download Presentation

به نام خدا انبار داده ها

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


6200196

به نام خداانبار داده ها

زير نظر : دکتر رهگذر

توسط :مصطفي چهرقاني


6200196

انبار داده ها

نياز به انبار داده ها :

شکاف بين اطلاعات

وجود ابزارهاي عملياتي ولي عدم وجود ابزارهاي پردازشي

ويژگيهاي انبار داده :

موضوع گرا

یکپارچه

متغیر بازمان

غیر فرار


6200196

معماریهای انبار داده

معماری دولایه

معماری دولين

معماری سه لایه


6200196

معماری دولایه

  • مراحل :

    • داده ها از فايلها و بانکها گرفته مي شوند

    • داده های منابع مختلف قبل از لود شودن یکپارچه می شوند

    • انبار داده براي پشتيباني از تصميم گيري

    • داده کاوي و OLAP

  • مشکل : عدم پشتيباني از توزيع


6200196

معماری دولایه


6200196

معماری دولين

  • سيستمهاي عملياتي و داده ها

  • enterprise data warehouse

  • Data martها


6200196

معماری دولين


6200196

معماری سه لایه

  • داده هاي عملياتي (Operational)

  • داده های مورد توافق (Reconciled )

    • جزئی نشده

    • تاریخی

    • نرمال نشده

    • جامع

    • باکیفیت

  • داده های مشتق شده ( Derived data )

  • Operation meta data

  • meta dataEDW

  • Data mart mata data


  • 6200196

    معماری سه لایه


    6200196

    فرآیند تطبیق

    • تبدیل داده های عملیاتی به داده های مورد توافق

    • مراحل :

      • capture (گرفتن )

        • استخراج داده ها از فایلها و بانکهای مبدا

        • استفاده از فایل کارنامه بانک

      • scrub (پاک سازی) (cleansing)

        • افزایش کیفیت داده های مبدأ

        • استفاده از تطبیق الگو


    6200196

    ادامه فرآیند تطبیق

    • Transform (تغییر شکل)

      • تبدیل فرمت داده های عملیاتی به فرمت EDW (بعد از اعمال capture )

      • هدف scrub کردن تصحیح خطاها در مقادیر داده هاست در حالیکه هدف از Transformation تبدیل داده ها به فرمت EDW است

  • lode and index (بارگذاری و ایندکس)

    • بار کردن داده های انتخاب شده در EDW و ایجاد ایندکسهای مورد نیاز

    • استفاده از ايندکس bitmap


  • Transformation

    انواع توابع Transformation

    • توابع در سطح رکورد

      • selection و join و aggregation و normalization

  • توابع در سطح فیلد

    • تک فیلدی

    • چند فیلدی


  • 6200196

    ابزارهای تولید داده های مورد توافق

    • انواع :

      • ابزارهایی که کیفیت داده ها را کنترل می کنند

        • Analyze

          • کیفیت داده ها را می سنجد و توصیه هایی برای پاک سازی و سازماندهی داده ها قبل از استخراج و تبدیل می دهد

        • WizRules

          • جستجوي همه رکوردها و استخراج قوانين

          • مشخص کردن رکوردهايي که قوانين را ارضا ميکنند

      • ابزارهایی که عمل تبدیل داده را انجام می دهند

      • ابزارهایی که عمل پاکسازی داده را انجام می دهند


    6200196

    ابزارهای تبدیل داده

    • کارهاي اصلي :

      • استخراج

      • تبدیل

      • بارگذاری و ایندکس

    • آنها بعنوان ورودی یک شما یا یک فایل توصیف گر از فایلهای مبداء و مقصد ونیز قوانین تبدیل را دریافت می کنند

    • قوانین تبدیل معمولاً به صورت فرمول ، الگوریتم و یا جداول Lock up هستند

    • این ابزارها کد لازم برای اجرای عمل تبدیل را تولید می کنند


    6200196

    ابزارهای پاک سازی داده ها

    • کارهاي اصلي :

      • تحلیل کیفیت داده ها

      • پاک سازی داده ها

      • کشف قوانین و ارتباطات بین پدیده ها

    • از جمله اين ابزارها :

      • Integrity


    6200196

    لايه مشتق شده

    • اهداف و فواید data mart :

      • فراهم ساختن استفاده آسان برای برنامه های تصمیم گیری

      • فراهم سازی زمان پاسخ کم برای پرس و جو های کاربران

      • د سته بندی داده ها به گروه های خاص

      • پشتیبانی از پرس و جو های تصادفی و برنامه های data mining

  • مشخصات data mart

    • هم داده های جرئی شده و هم داده های خلاصه شده باید موجود باشند

    • داده ها روی سرورهای مختلف پخش شوند

    • جدول داده ترجیحاً به صورت شمای ستاره ای باشد


  • Data warehouse data mart

    ابزار هاي پرس و جو و تحلیل داده های ذخیره شده در data warehouse و data mart

    • ابزارهای گزارش گیری و پرس و جوهای تجاری

    • ابزارهای OLAP

    • ابزارهای Data mining

    • ابزارهای Data visualization


    Data mining

    ابزارهای Data mining

    • OLAP

      • هزینه در مان برای افراد مجرد بیشتر است یا متأ هل ؟ و ....

  • Data mining

    • دنبال الگوها یا مجموعه ای از حقایق

  • اهداف Data mining

    • Explanatory

      • توضیح علت شرایط و پیشامد ها

  • Confirmatory

    • تأ یید یا رد نظریه

  • Exploratory

    • تحلیل داده ها برای ارتباطات پیش بینی نشده


  • 6200196

    IQL

    • زبان تابعي و داراي نوع

      • پشتيباني از زوج مرتب{x,y,z}

      • پشتيباني از ليست [x,y,z]

  • توابع پيشوندي

    • (+), (-), (*), (/), (=), (!=), (<), (>), (<=), (>=), and, or, not, if

  • توابع ميانوندي

    • (--) , (++)

  • توابع جديد با استفاده از lambda abstractions

    • lambda {x,y,z} ((*) ((+) x y) z)


  • 6200196

    ادامه IOL

    let v = q1 in q2

    let v = ((+) 200 500) in ((*) v v)

    union : R ++ S

    duplicate elimination: distinct (R)

    setUnion R S Ξdistinct (R ++ S)

    difference : R – S

    projection : [{x,z} | {x,y,z} <- R]


    6200196

    ادامه IOL

    • Cartesian product :

      • [{x1,y1,z1,x2,y2,z2,x3} | {x1,y1,z1} <- R; {x2,y2,z2} <- S; {x3} <- T]

    • Joins

      • [{x1,y1,z1,x2,y2,z2} | {x1,y1,z1} <- R; {x2,y2,z2} <- S; (=) y1 y2]

    • Grouping and Aggregation Operations

      • count R

      • sort R

      • distinct R


    6200196

    ادامه IOL

    • Grouping and Aggregation Operations

      • max [y | {x,y,z} <- R]

      • min [y | {x,y,z} <- R]

      • sum [z | {x,y,z} <- R]

      • avg [z | {x,y,z} <- R]

      • group [{x,{y,z}} | {x,y,z} <- R]

      • gc agFun xs

        • groups xs on their first component

        • apply agFun to the second component

      • map f xs

        • applies f to each member of xs


    Iql automed

    استفاده از IQL در AutoMed

    • مثال : اعمال قيد کليد اصلي

      (=) (count (distinct [n | {s,n} <- <<Student,name>>])) (count <<Student>>)

    • Name : field

    • Student : table


    Transformation1

    مثالي از مسير transformation


    Transformation2

    ادامه مثالي از مسير transformation

    • TS1,S2 =

    • addNode (dept,{“Maths”,“CompSci”});

    • addNode (person, [x| x mathematician] ++ [x| x compScientist]);

    • addNode (avgDeptSalary, {avg [s| (m,s)«_, mathematician, salary»]} ++

    • {avg [s| (c,s)«_, compScientist, salary»]});

    • addEdge («_, dept, person», [( “Maths”, x)| x mathematician] ++

    • [(“CompSci”, x) | x compScientist]);

    • addEdge («_, person, salary», «_, mathematician,salary» ++ «_, compScientist, salary»);

    • addEdge («_, dept, avgDeptSalary», {( “Maths”, avg [s| (m,s)«_, mathematician, salary»]),


    Transformation3

    ادامه مثالي از مسير transformation

    • (“CompSci”, avg [s| (c,s)«_, compScientist, salary»])});

    • delEdge («_, mathematician, salary», [(p, s)| (d, p) «_, dept, person»; (p’, s) «_, person, salary»;

      • d = “Maths”; p = p’]);

    • delEdge («_, compScientist, salary», [(p, s)| (d, p) «_, dept, person»; (p’, s)«_, person, salary»;

    • d = “CompSci”; p = p’});

    • delNode (mathematician, [p| (d, p) «_, dept, person»; d = “Maths”]);

    • delNode («compScientist», [p| (d, p) «_, dept, person»; d = “CompSci”]);


    Incremental view maintenance

    Incremental view maintenance

    • Di : set of base relations

    • ΔDi : bags inserted into Di

    • ⌂Di : bags deleted from Di

    • V : materialized view

    • ΔV : bags inserted into V

    • ⌂V : bags deleted from V

    • Vnew = (V ++ ΔV) -- ⌂V

    • شرط Minimality :

    • ΔV C V

    • ΔV∩ ⌂V = Ø


    Incremental view maintenance1

    ادامه Incremental view maintenance


    Incremental view maintenance2

    ادامه Incremental view maintenance


    6200196

    ليست مقاله ها :

    • Research Issues in Data Warehousing

    • Modeling Multidimensional Databases

    • Improving Data Warehouse and Business Information Quality

    • Aspects of Data Modeling and Query Processing for Complex Multidimensional Data


    6200196

    ليست مقاله ها :

    • Data Warehouse Data Policy

    • Tracing Data Lineage Using Schema Transformation Pathways

    • Using AutoMed Metadata in Data Warehousing Environments

    • A System Prototype for Warehouse View Maintenance


    6200196

    ليست مقاله ها :

    • Incremental view maintenance and data lineage tracing in heterogeneous database environments

    • A Tutorial on the IQL Query Language

    • Practical Lineage Tracing in Data Warehouses

    • A Framework for supporting data integration using the materialized and virtual approaches


    6200196

    ليست مقاله ها :

    • A logical approach to multidimensional databases

    • Bitmap Index Design and Evaluation


    6200196

    سوال ؟


  • Login