제 9 장 데이터 웨어하우스의 구조

1. 제 9 장데이터 웨어하우스의 구조 박 종수 성신여자대학교 컴퓨터정보학부

2. 제9장 데이터 웨어하우스의 구조 • 데이터 웨어하우스 기본 구조 • 데이터 웨어하우스 • 데이터 웨어하우스 어플리케이션 • 데이터 웨어하우스 구축 방식 • 데이터 마트 • ODS(Operational Data Store) • 전사적 데이터웨어하우스 • 비즈니스 환경과 데이터 웨어하우스 • ‘데이터 인프라’ • 데이터 인프라로서의 전사적 데이터 웨어하우스 구조

3. 1. 데이터 웨어하우스 기본 구조 • 일반적인 데이터 웨어하우스 구조 : 그림 참조 (165페이지) • 데이터 저장고(repository) • ODS • 다차원적인 모델링: fact table, dimension table, summary table, meta data • 데이터 웨어하우스 application • 여러 가지 기술을 사용하여 액세스 • 통계 분석 패키지를 사용, Data mart, Data Mining • 데이터베이스 마켓팅 분야와 결합

4. 2. 데이터 웨어하우스 구축 방식 • Top-down 방식 • 데이터 웨어하우스  데이터 마트 • Bottom-up 방식 • 데이터 마트  데이터 웨어하우스

5. 데이터의 추출 Data Mart OLTP 시스템 부서별 사용자 Data Mart • Data mart • 소수 사용자가 제한된 주제로 소규모의 데이터 사용 • 각 부서별로 다양한 분석과 예측을 목적 • 장점: 저렴한 비용, 쉽고 빠르게 구축 • 단점 • 데이터 추출, 유지 관리 • 많은 데이터 마트는 관리 지원이 어렵다 • 구축된 생명이 짧다.

6. 독립적으로 존재하는 데이터 마트들의 위험성 • 168페이지 그림 • 전체 시스템 관리를 매우 혼란스럽게 한다 • 회계 데이터 분석을 위한 데이터 마트 • 판매관리 분석을 위한 데이터 마트 • DB 마켓팅 • 데이터 마이닝 • 리포팅을 위한 정보계 시스템 • 데이터 관점 • OLTP 시스템에서 여러번 데이터를 중복해서 추출, 로딩, 정제, 통합 작업

7. ODS와 같이 존재하는 데이터 마트 • ODS(Operational Data Store) • 추출 분야의 문제점을 해결하기 위해서 중간 단계의 데이터저장고를 RDBMS로 구축하려는 구조 • ODS  Data Marts • 169페이지 그림 • ODS가 같이 존재하는 데이터 마트들

8. ODS • DW에서 ODS의 역할 • 데이터의 추출 부분뿐만 아니라 • ‘모든 데이터의 원장’ 역할 • ODS는 주로 원시 데이터(Raw Data)가 다 들어가기 때문에 • 전체 디스크 용량 산정시 중요한 요소 • ODS는 데이터 정제 작업을 쉽게 할 수 있다 • ODS의 내부 구조가 일반적으로 ER 모델링

9. ODS+데이터 마트 구축 • 구축 원리 • 데이터 마트의 추출 문제를 ODS로 해결 • 운영계 시스템에서 데이터를 추출하여 ODS에 load • ODS는 ER 모델링으로 • 부서별 데이터 마트의 데이터는 ODS에서 추출 • DW 구축시 서버에서의 병목 현상을 데이터 마트로 해결 • 업무가 통합되지 않은 회사에 많은 도움 • 소규모의 제조업체나 소규모의 유통업체 등

10. ODS 없는 데이터 웨어하우스 • DW의 Fact Tables은 운영계 시스템에서 생성 • 171페이지 그림 참조 • 장점 • 기존의 하드웨어 장비를 활용 • 데이터 웨어하우스용 서버를 작게 할 수 있다 • ODS가 없으므로 디스크 용량을 작게 할 수 있다 • 비교적 저렴한 비용으로 구축할 수 있다 • 단점 • Fact tables 생성시 운영계 시스템에 부하 • Fact tables 생성시 많은 추출 프로그램 작성

11. ODS가 존재하는 데이터 웨어하우스 • 가장 많이 채택하고 있는 구조 • Host에서 data를 SAM 형태로 추출해서 ODS에 로딩 • ODS에서 DW를 위한 데이터의 통합과 정제 • 장점 • 데이터 추출을 제외하면 운영계 시스템에 부하 없음 • 운영계 시스템과 독립적으로 DW의 개발과 운영 • 향후 전사적 DW로의 확장이 매우 쉽다 • 단점 • ODS에 많은 데이터를 보관  디스크 용량이 커진다 • 데이터의 정제, 통합을 하는 H/W의 용량이 커진다

12. Top-down이냐, Bottom-up이냐? • 방식 • Top-down 방식 • 데이터 웨어하우스  데이터 마트 • ROLAP 도구를 만드는 회사의 주장 • ROLAP 도구는 Data Warehouse를 만드는 데 적합 • Bottom-up 방식 • 데이터 마트  데이터 웨어하우스 • MOLAP 도구를 만드는 회사의 주장 • MOLAP 도구는 Data Mart를 만드는 데 적합 • Data Mart를 많이 만들고 이를 통합한다는 것은 거의 불가능 • Data Warehouse 설계 또는 ODS를 같이 구축

13. 3. Enterprise Data Warehouse • 전사적 데이터 웨어하우스 • 한 회사의 거의 모든 시스템에서 거의 모든 데이터를 가지고 구축하는 데이터 웨어하우스 • 비즈니스 환경과 데이터 웨어하우스 • ‘데이터 인프라’로서의 Data Warehouse • 데이터 인프라로서의 전사적 데이터 웨어하우스 구조

14. 비즈니스 환경과 데이터 웨어하우스

15. ‘데이터 인프라’로서의 Data Warehouse

16. 데이터 인프라로서의 전사적 데이터 웨어하우스 구조