200 likes | 357 Views
Tipos de Sistemas. Sistemas Operacionais (DB) Sistemas de Registo Histórico (DW). Sistemas típicos das Organizações. Clientes. A Organização. Sistemas de Suporte à Decisão. ERPs. Portais. Soluções CRM. Data Marts. Data Stages. Extranets. Data Warehouse. Soluções B2B. Fornecedores.
E N D
Tipos de Sistemas • Sistemas Operacionais (DB) • Sistemas de Registo Histórico (DW)
Sistemas típicos das Organizações Clientes A Organização Sistemas de Suporte à Decisão ERPs Portais Soluções CRM Data Marts Data Stages Extranets Data Warehouse Soluções B2B Fornecedores
Taxonomia de Dados e de Sistemas • Os dados podem ser classificados como: • Históricos/Projectados • Primitivos/Derivados • Públicos/Privados Os diferentes tipos de dados determinam as características dos Sistemas de Informação. Immon 93 - “Data Architecture: The Information Paradigm”
Taxonomia de Dados e de Sistemas Dados Primitivos / Derivados • Primitivos • dependem de uma única ocorrência ou facto na organização. Exemplo, registo da data, montante e intervenientes de cada transação. • Derivados • os dados derivados dependem de vários factos ou ocorrências na organização. São dados calculados, agregados e resumidos
Taxonomia de Dados e de Sistemas Dados Históricos/Projectados • “Históricos” • registam factos acontecidos com valores precisos e correctos. Existe acordo quando à forma de os obter ou calcular. • Projectados • são estimativas ou previsões de factos que irão acontecer. O conceito de correcto ou incorrecto não se aplica às projecções. Normalmente não existe unanimidade quando à forma de os obter ou calcular.
Taxonomia de Dados e de Sistemas Dados Públicos/Privados • Públicos • São dados cuja integridade é mantida pela organização. Podem ser o único registo de um facto na organização. Interessam a vários indivíduos da organização. • Privados • Traduzem as necessidades imediatas de cada indivíduo. Têm como dono e interessam a um único indivíduo.
Primitivos Derivados Taxonomia de Dados e de Sistemas Sistemas Operacionais Sistemas de Suporte à Decisão Sistemas de suporte Data Marts Data Warehouse Sistemas de registo Data Marts atómico departamental individual + públicos + privados Presente Históricos Estimativas + orientados à aplicação + orientados ao assunto
Taxonomia de Dados e de SistemasDiferenças entre dados Primitivos/Derivados
Taxonomia de Dados e de Sistemas Sistemas Operacionais • Suportam as operações diárias do negócio (seg. a seg), segundo processos bem definidos • Manipulam dados descreve o estado actual do negócio • A informação refere-se às operações atómicas • São optimizados para o processamento rápido • Os sistemas são optimizados para o armazenamento e modificação da informação • Os clientes acedem cada vez mais a estes dados Data warehouse & Sistemas de Suporte à Decisão • São usados para gerir e controlar o negócio • A informação é uma série de vistas do negócio em determinados pontos no tempo • A optimização (desnormalização) resulta apenas do facto de não haver updates • Os sistemas são optimizados para a pesquisa da informação • Estes sistemas dão suporte a processos não definidos
Data Warehouses e Sistemas Suporte à Decisão OLAP Data Mining Highly Summarized Data Data Mart M/D Extração, Limpeza e Carregamento de Dados M/D Data Mart Meta Data Data Warehouse Current Detail M/D M/D Old Detail Sistemas Operacionais Sistemas Legados
Taxonomia de Dados e de Sistemas • Exemplo de Informação/Queries em cada nível Operacional Atomic /DW DataMart Client/mes individual J Jones 123 Main St Credit-AA J Jones 1986-1987 456 Hight St Credit-B Jan - 4101 Feb - 4209 Mar – 4175 Apr – 4215 .... Clientes desde 88 com crédito > A e contas > 5000 Qual é o crédito do J Jones ? J Jones 1987-1989 456 Hight St Credit-A Que características têm os clientes ? Estamos ganhar ou perder clientes de crédito ? Qual é a evolução do crédito do J Jones ? J Jones 1989-pres. 123 Main St Credit-AA
Taxonomia de Dados e de Sistemas • Exemplo de Integração J Jones female July 20, 1945 2 tickets 1998 1 bad accident 1999 2 children High blood pressure 123 Main Street maried ...... Operacional Life Policy Operacional Auto Policy J Jones female July 20, 1945 ... J Jones 2 tickets 1998 1 bad accident 1999 ... Atomic /DW Operacional health Policy Operacional Home Policy J Jones 2 children High blood pressure ... J Jones 123 Main Street maried ...
Data Warehousing • Large organizations have complex internal organizations, and have data stored at different locations, on different operational (transaction processing) systems, under different schemas • Data sources often store only current data, not historical data • Corporate decision making requires a unified view of all organizational data, including historical data • A data warehouse is a repository (archive) of information gathered from multiple sources, stored under a unified schema, at a single site • Greatly simplifies querying, permits study of historical trends • Shifts decision support query load away from transaction processing systems
When and how to gather data Source driven architecture: data sources transmit new information to warehouse, either continuously or periodically (e.g. at night) Destination driven architecture: warehouse periodically requests new information from data sources Keeping warehouse exactly synchronized with data sources (e.g. using two-phase commit) is too expensive Usually OK to have slightly out-of-date data at warehouse Data/updates are periodically downloaded form online transaction processing (OLTP) systems. What schema to use Schema integration Components of Data Warehouse
Components of Data Warehouse (Cont.) • Data cleansing • E.g. correct mistakes in addresses • E.g. misspellings, zip code errors • Merge address lists from different sources and purge duplicates • Keep only one address record per household (“householding”) • How to propagate updates • Warehouse schema may be a (materialized) view of schema from data sources • Efficient techniques for update of materialized views • What data to summarize • Raw data may be too large to store on-line • Aggregate values (totals/subtotals) often suffice • Queries on raw data can often be transformed by query optimizer to use aggregate values
Warehouse Schemas • Typically warehouse data is multidimensional, with very large fact tables • Examples of dimensions: item-id, date/time of sale, store where sale was made, customer identifier • Examples of measures: number of items sold, price of items • Dimension values are usually encoded using small integers and mapped to full values via dimension tables • Resultant schema is called a star schema • More complicated schema structures • Snowflake schema: multiple levels of dimension tables • Constellation: multiple fact tables