VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG

VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG Thựchiện: Nguyễn Minh Hùng – 0712012 LêVănHuy – 0712192 GVHD: PGS.TS. ĐồngThị BíchThủy

Nội dung • Giớithiệuđề tài • Chuẩn bị dữ liệu • Công cụ Pentaho Data Integration (Kettle) • Ứngdụngthử nghiệm • Kếtluận

1. Giớithiệu

1.1. Nhucầuvề tíchhợpdữ liệu

1.1. Nhucầuvề tíchhợpdữ liệu (tt)

1.2. Mụctiêu, đốitượng, phạm vi

2. Chuẩn bị dữ liệu

2.1. Khodữ liệu • Cácđặcđiểmcủakhodữ liệu

2.2. Kiếntrúckhodữ liệu • Kiếntrúc DDS đơn

2.2. Kiếntrúckhodữ liệu (tt) • Kiếntrúc NDS + DDS

2.2. Kiếntrúckhodữ liệu (tt) • Kiếntrúc ODS + DDS

2.3. Môhìnhhóađachiều • So sánhkhodữ liệuvới CSDL tácnghiệp

2.3. Môhìnhhóađachiều (tt) • Lượcđồ hìnhsao

2.4. Cáckháiniệmliênquanđếnkhodữ liệu • Cáckháiniệmliênquanđếnkhodữ liệu • Chiềuthờigian • Chiềuthayđổichậm • Loại 1: Ghiđè • Loại 2: Thêmdòng • Loại 3: Thêmcột

2.4. Cáckháiniệmliênquanđếnkhodữ liệu (tt) • Cáckháiniệmliênquanđếnkhodữ liệu • Chiềuđa trị

2.4. Cáckháiniệmliênquanđếnkhodữ liệu (tt) • Cáckháiniệmliênquanđếnkhodữ liệu • Chiềuđệ quy

2.5. Tíchhợpdữ liệu • Quytrìnhtíchhợpdữ liệu • Rúttrích • Biếnđổi • Nạp

2.6. Rúttríchdữ liệu • Nắmbắtthayđổitrêndữ liệunguồn • Xử lí dữ liệuđầuvào (staging)

2.7. Biếnđổidữ liệu • Kiểmtratínhhợplệ • Làmsạchdữ liệu • Giảinghĩavà ánhxạ dữ liệu • Tạovà quảnlý khóa • Tổnghợpdữ liệu

2.8. Nạpdữ liệu • Nạpvà duy trì cácchiều • Nạpdữ kiện

3. Công cụPentaho Data integration (Kettle)

3.1. Pentaho BI Suite

3.2. Pentaho data integration (Kettle)

3.3. Môhìnhhệ thống Kettle

3.4. Cácthànhphầncủa Kettle • Giaodiệnpháttriểnđồ họa (Spoon)

3.4. Cácthànhphầncủa Kettle (tt) • Bộ lậplịch (Quartz)

3.4. Cácthànhphầncủa Kettle (tt) • Công cụ dònglệnh (Pan/Kitchen)

3.5. Tíchhợpdữ liệuvới Kettle • Rúttrích (extraction) • Vậnchuyển (transportation) • Biếnđổi (transformation) • Nạp (load)

4. Ứngdụngthử nghiệm

4.1. Cácyêucầucủaứngdụng • Yêucầuphântíchtrêndữ liệu • Yêucầuhệ thống • Cácnghiệp vụ liênquan

4.2. Môhìnhkiếntrúccủaứngdụng

4.3. Thiếtkế dữ liệu – Vùngxử lí • Vùngxử lí dànhchodữ liệunguồn là CSDL

4.3. Thiếtkế dữ liệu – Vùngxử lí (tt) • Vùngxử lí dànhchodữ liệunguồn là tập tin

4.4. Thiếtkế dữ liệu - CSDL chuẩnhóa

4.5. Thiếtkế dữ liệu – CSDL củakho

4.6. Xâydựngquytrìnhtíchhợpdữ liệu

4.7. Nắmbắtthayđổitrêndữ liệu So sánhkhácbiệt Dựatrênthờigian

4.7. Xử lí sausự cố • Cácsự cố khiến quá trìnhnạp bị giánđoạn: • Trongkhinạptừ nguồnvàovùngxử lí • Trongkhinạptừ vùngxử lí vào CSDL chuẩnhóa • Trongkhinạptừ CSDL chuẩnhóavào CSDL kho

4.8. Xử lí xungđộtvớicácnguồndữ liệucùngcấutrúc

4.9. Biếnđổitrêndữ liệu • Kiểmtratínhhợplệ • Làmsạch • Tổnghợpdữ kiện

4.10. Nạpchiều • Cácchiềuliênquanđếnthờigian • Cácchiềuthayđổichậm

4.10. Nạpchiều (tt) • Nạpchiềuđa trị • Nạpchiềuđệ quy

4.11. Nạpdữ kiện

5. Xâydựngứngdụngthử nghiệm

5.1. Môhìnhứngdụng

5.2. Cácchứcnăng • Cấu hình • Ghi log • Lập lịch • Chạy tay(manual)

5.3. Demo ứngdụngthử nghiệm

6. Kếtluận

6. Kếtluận • Cáckết quả đạtđược • Nhữngvấnđề còntồntại • Hướngpháttriển

VẤN ĐỀ TÍCH HỢP DỮ LIỆU VÀO KHO DỮ LIỆU: KHẢO SÁT LÍ THUYẾT VÀ XÂY DỰNG ỨNG DỤNG