1 / 43

VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG

VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG. Thực hiện : Nguyễn Minh Hùng – 0712012 Lê Văn Huy – 0712192 GVHD: PGS.TS Đồng Thi ̣ Bích Thủy. 1. Giới thiệu. Nhu cầu tích hợp dư ̃ liệu. 1. Giới thiệu. Mục tiêu của đê ̀ tài :

tamyra
Download Presentation

VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG Thựchiện: Nguyễn Minh Hùng – 0712012 LêVănHuy – 0712192 GVHD: PGS.TS ĐồngThị BíchThủy

  2. 1. Giớithiệu • Nhucầutíchhợpdữ liệu

  3. 1. Giớithiệu • Mụctiêucủađề tài: • Xâydựngkhodữ liệu • Xâydựngquytrìnhtíchhợpdữ liệu • Sử dụngcông cụ mã nguồnmở miễn phí • Dễ triểnkhai • Dễ sử dụng

  4. 1.Giới thiệu • Đốitượngvà phạm vi nghiêncứu: • Cáckiếntrúckhodữ liệuđiểnhình • Quytrìnhtíchhợpdữ liệu (ETL) • Công cụ mã nguồnmở PDI • Xâydựngkhodữ liệutừ CSDL củamoodle, file điểmđịnhdạng excel • Xâydựngphầnmềmđónggóiquytrìnhtíchhợpdữ liệutrên HĐH Windows.

  5. 2. Cáckiếntrúckhodữ liệu • Kiếntrúc DDS đơn

  6. 2. Cáckiếntrúckhodữ liệu • Kiếntrúc NDS + DDS

  7. 2. Cáckiếntrúckhodữ liệu • Kiếntrúc ODS + DDS

  8. 3. Môhìnhhóađachiều • So sánh CSDL tácnghiệpvà CSDL phục vụ khodữ liệu • Địnhnghĩa: Đâylàkĩthuậtthiếtkếcơsởdữliệuchokhodữliệuđặcbiệtđểhỗtrợtruyvấnđầucuốimộtcáchhiệuquả. [6]

  9. 3. Môhìnhhóađachiều • Lượcđồ hìnhsao

  10. 3. Môhìnhhóađachiều • Chiều: Cácđốitượngthamgiavàomộtsựkiện hay làngữcảnhcủasựkiệnđó [5] • Dữ kiện: Con sốthểhiệnđộđocủamộtsựkiệngọilàdữkiện[5]

  11. 3. Môhìnhhóađachiều • Giảmdạngchuẩnvà phâncấptrênchiều • Mụcđích • Phươngpháp

  12. 4. Tíchhợpdữ liệu • Mụcđích • Kếthợpdữ liệutừ nhiềunguồnkhácnhau • Tậptrungdữ liệuđã kếthợpvàomộtkhungnhìnchung

  13. 4. Tíchhợpdữ liệu • Quytrìnhtíchhợpdữ liệu

  14. 4.1. Rúttríchdữ liệu • Nắmbắtthayđổitrêndữ liệunguồn • Kháiniệm: • Là quá trìnhtheodõicácthayđổitrêndữ liệunguồn • Cậpnhậtdữ liệutươngứngvàohệ thốngđích • Tácdụng: • Giảmảnhhưởnglênhệ thốngnguồn • Giảmthờigianxử lý • Cácphươngpháp: 4 phươngpháp

  15. 4.1. Rúttríchdữ liệu • Xử lý dữ liệuđầuvào • Vùngxử lý

  16. 4.2. Biếnđổidữ liệu • Kiểmtratínhhợplệ • Làmsạchdữ liệu • Giảinghĩavà ánhxạ dữ liệu • Tạovà quảnlý khóa • Tổnghợpdữ liệu

  17. 4.3. Nạpdữ liệu • Nạpvà duy trì cácchiều • Chiềuthayđổichậm • Bảngcầunối • Chiềuthờigian • Nạpdữ kiện • Dữ liệulớn • Thamchiếuđếncácbảngchiều

  18. 5. Công cụ Pentaho Data Integration

  19. 5. Công cụ Pentaho Data Integration • Cácloạiđốitượngcủa Kettle: • Biếnđổi (transformation)

  20. 5. Công cụ Pentaho Data Integration • Cácloạiđốitượngcủa Kettle: • Côngviệc (job)

  21. 5. Công cụ Pentaho Data Integration • Cácthànhphầnchính: • Giaodiệnpháttriểnđồ họa

  22. 5. Công cụ Pentaho Data Integration • Cácthànhphầnchính: • Bộ lậplịch

  23. 5. Công cụ Pentaho Data Integration • Cácthànhphầnchính: • Công cụ dònglệnh (Pan/Kitchen)

  24. 6. Xâydựngứngdụngthử nghiệm • Yêucầucủaứngdụng: • Yêucầuphântíchtrêndữ liệu • Yêucầuhệ thống

  25. 6. Xâydựngứngdụngthử nghiệm • Danhsáchcácnghiệp vụ

  26. 6. Xâydựngứngdụngthử nghiệm • Môhìnhkiếntrúccủaứngdụng

  27. 6. Xâydựngứngdụngthử nghiệm • Cấutrúcdữ liệunguồn: cácbảngcầnlấythông tin

  28. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế vùngxử lý: • Vùngxử lý dữ liệulấytừ CSDL

  29. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế vùngxử lý: • Vùngxử lý dữ liệulấytừ file Cấu trúc tập tin Excel chứa kết quả học tập Cấutrúctập tin Excel chứathông tin vềhọckì, nămhọc

  30. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế CSDL chuẩnhóa:

  31. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế CSDL củakhodữ liệu

  32. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế CSDL củakhodữ liệu • Thiếtkế cácchiềuliênquanđếnthờigian

  33. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế CSDL củakhodữ liệu • Lựachọnloạithayđổichậmchocácchiều

  34. 6. Xâydựngứngdụngthử nghiệm • Thiếtkế CSDL củakhodữ liệu • Sử dụngbảngcầunốiđốivớichiềuđa trị và đệ quy

  35. 6. Xâydựngứngdụngthử nghiệm • Xâydựngquytrìnhtíchhợpdữ liệu

  36. 6. Xâydựngứngdụngthử nghiệm • Nắmbắtcácthayđổitrêndữ liệu Lấydữliệumới/thayđổidựatrênthờigian Lấydữliệumới/thayđổibằngcách so sánhkhácbiệtvềgiátrịthuộctính

  37. 6. Xâydựngứngdụngthử nghiệm • Xửlíxungđộtvớicácnguồndữliệucùngcấutrúc: • Tạokhóatự nhiênvà khóađạidiện

  38. 6. Xâydựngứngdụngthử nghiệm • Xâydựngứngdụngđónggói • Môhìnhcủaứngdụng

  39. 6. Xâydựngứngdụngthử nghiệm • Xâydựngứngdụngđónggói • Cácchứcnăng: • Tạo tài khoản người dùng • Cấu hình các nguồn dữ liệu • Cấu hình kho dữ liệu • Cấu hình ngày tháng hệ thống • Cấu hình đường dẫn thư mục chứa Kettle và các tập tin công việc (file job)

  40. 6. Xâydựngứngdụngthử nghiệm • Lậplịch: • (hìnhảnhcông cụ lậplịch)

  41. 7. Kếtluận • Cáckết quả đạtđược • Thiếtkếhoànchỉnhkhodữliệuphụcvụchomôitrườnghọctậptrựctuyến • Càiđặthoànchỉnhquytrìnhtíchhợpdữliệutừnhiềunguồncóthểloạivàcấutrúckhácnhau • Ứngdụngthửnghiệm

  42. 7. Kếtluận • Nhữngvấnđề còntồntại: • Quytrìnhtíchhợpdữliệuchưacókhảnăngtựgiámsát (audit) bằngsiêudữliệu (metadata) • Phầnmềmđónggóichưacóbộlậplịchtíchhợpmàphảisửdụngbộlậplịchcủabênthứ 3

  43. 7. Kếtluận • Hướngpháttriển: • Mởrộngkhodữliệuchonhiềuyêucầuphântíchkhác. • Mởrộnghỗtrợtíchhợpdữliệuchonhiềunguồnhệthốnghọctậptrựctuyếnkhác (Sakai, APS…) • Tíchhợpbộlậplịchvàophầnmềmđónggói.

More Related