Qualità dei dati
This presentation is the property of its rightful owner.
Sponsored Links
1 / 14

Qualità dei dati una esperienza Consip … PowerPoint PPT Presentation


  • 105 Views
  • Uploaded on
  • Presentation posted in: General

Qualità dei dati una esperienza Consip … (DWH della struttura di supporto agli acquisti della P.A.). CONSIP S.p.A. AIPA 12.03.2001. Agenda. La Consip Il contesto operativo Approccio al problema Alcuni risultati Stato dell’arte Considerazioni. la Consip. L’esigenza:

Download Presentation

Qualità dei dati una esperienza Consip …

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Qualit dei dati una esperienza consip

Qualità dei dati una esperienza Consip …

(DWH della struttura di supporto agli acquisti della P.A.)

CONSIP S.p.A.

AIPA 12.03.2001


Agenda

Agenda

  • La Consip

  • Il contesto operativo

  • Approccio al problema

  • Alcuni risultati

  • Stato dell’arte

  • Considerazioni

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


La consip

la Consip

L’esigenza:

D.L. del 19/11/1997 n. 414

“Attività informatiche dell’amministrazione statale in materia finanziaria e contabile”

  • …specifiche attività informatiche riservate allo Stato da svolgersi mediante un organismo a struttura societaria con unica ed esclusiva funzione di servizio allo Stato

    La nascita:

    Decreto del Ministro del Tesoro 22/12/1997

    “Affidamento alla Consip di compiti di servizi informatici”.

    La missione:

    Decreto del 17/6/1998

    Attività informatiche riservate allo Stato

    Legge n. 388/99 (finanziaria 2000)

    Legge n. 488/00 (finanziaria 2001)

    D.M. 24/2/2000“Conferimento alla Consip S.p.a. dell’incarico di stipulare convenzioni e contratti quadro per l'acquisto di beni e servizi per conto delle Amministrazioni dello Stato”

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Il contesto operativo

Il contesto operativo

Nell’ambito di Consip il nostro obiettivo è realizzare il Data Warehouse del MTBPE. In questo contesto nasce l’esigenza di:

  • integrare i dati provenienti da fonti diverse (Consip, fornitori, enti P.A.)

  • raggiungere gli obiettivi in tempi brevi

  • integrare i processi di bonifica e caricamento dei dati

  • minimizzare il numero degli scarti nei caricamenti nei DWH

  • migliorare la qualità del dato all’origine, di conseguenza limitare la fase di bonifica ai soli casi non risolvibili con modifiche del processo di acquisizione

Quindi di utilizzare metodi e tecniche per la qualità dei dati.

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Il contesto operativo scenario architetturale

ARCHIVIO

ADESIONI P.A.

(WEB ACQUISTI)

  • Category Manager

  • Direzione Consip

INTRANET

CONSIP

BO client

STAGING

EDW

DB PARTI

COMUNI

  • Utenti MTBPE

Browser

FLUSSI

DM

INTERNET

  • P.A.

  • C.d.c.

pc e stampanti

Browser

PARTI

SPECIALIZZATE

cancelleria

Definizione e

Acquisizione dei

flussi dal fornitore

e dati adesioni

Abbinamento,

Cleaning,

Integrazione

Caricamento

negli archivi

Relazionali

(dati integrati)

Caricamento

nei Data Mart

Diffusione del sistema:

1) prospetti statici via Intranet

/Internet,

2) Olap con client/server BO.

Il contesto operativo - scenario architetturale

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema

ANALISI DEL PROCESSO

verifica del processo di

acquisizione dei dati

ANALISI DEL DATO

ricerca tra i prodotti/servizi

di mercato

realizzazione di un

prototipo in house

definizione metodi e strumenti

standard per la qualità dei dati

Approccio al problema

Le attività intraprese:

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema1

Approccio al problema

Verifica del processo di acquisizione dati

  • Centralizzazione delle informazioni anagrafiche degli Enti ordinanti in un archivio disponibile su WEB costruito con le informazioni delle certificazioni delle P.A. necessarie per gli acquisti on-line

  • Condivisione di alcuni dati del suddetto archivio con i fornitori

  • Acquisizione delle informazioni anagrafiche degli Enti ordinanti dall’archivio condiviso al sistema di DWH

  • Eliminazione dai flussi di alimentazione del sistema di DWH delle informazioni anagrafiche (nome ente, gerarchia organizzativa, comune, indirizzo etc.) e sostituzione delle stesse con codici di riferimento

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema2

Approccio al problema

Individuazione dei prodotti di mercato per mezzo di:

  • Ricerche su internet,

  • Esperti (Larry English www.infoimpact.com),

  • Società di consulenza (es. Gartner Group)

    Prodotti esaminati:

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema3

Approccio al problema

Valutazione della efficacia di eventuali soluzioni di mercato

  • Pro

    • Disponibilità in tempi brevi

    • Problematiche risolte da specialisti con algoritmimi efficienti,

    • Migliori performance elaborative

    • Costi, anche se elevati, inferiori alla realizzazione di soluzioni ad hoc

  • Contro

    • Orientati verso soluzioni di natura privata

    • Copertura limitata a singole fasi del processo di qualità del dato

    • Tipicamente non operano su DB relazionali ma su file sequenziali

    • Necessità di formazione del personale

    • Architetture chiuse

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema4

Approccio al problema

L’analisi condotta ha evidenziato una risposta parziale in termini di funzionalità dei singoli prodotti (analisi dello stato qualitativo dei dati attraverso la definizione di parametri e metriche, correzione dei dati, normalizzazione e data re-engineering, certificazione, monitoraggio, … ).

La complessità della fase di selezione dei prodotti/servizi disponibili sul mercato ha reso necessario il consolidamento del requisito interno con la realizzazione di un prototipo.

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Approccio al problema5

Approccio al problema

Il prototipo Consip.

Cosa abbiamo fatto:

  • individuato archivi di riferimento (comuni, località, indirizzi postali, etc.)

  • realizzato utilities per la formattazione/normalizzazione dei dati (parser, normalizzatore per indirizzi)

  • riconosciuto i dati da bonificare

  • realizzata una utility interattiva per la verifica dei dati non riconosciuti

  • definito archivi di sinonimi (nome errato-nome corretto) per la bonifica massiva e rapida nei processi di caricamento

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Alcuni risultati esempi

Prima

Dopo

Ministero del Tesoro

Ragioneria Provinciale dello Stato

Amministrazioni Centrali e Periferiche dello Stato

Ministero del Tesoro, del Bilancio e della Programmazione Economica

Dipartimento per l'Amministrazione Generale del Personale e dei Servizi del Tesoro

Direzione Centrale degli Uffici Locali e dei Servizi del Tesoro

Dipartimento Provinciale del Tesoro di Rovigo

Prima

Dopo

Aeronautica Militare

Distaccamento Aeroportuale

Amministrazioni Centrali e Periferiche dello Stato

Ministero della Difesa

Aeronautica Militare

Distaccamento Aeroportuale di Brindisi

39052

BZ

CALDARO SULLA STRADA

39052

BZ

CALDARO SULLA STRADA DEL VINO

16038

GE

S. MARGHERITA LIGURE

16038

GE

SANTA MARGHERITA LIGURE

39030

BZ

ST. VIGI

39030

BZ

ST.VIGIL ENNEBERG

71015

FG

SAN NICANDRO

71015

FG

SANNICANDRO GARGANICO

71015

FG

SANNICANDRO GARGANO

71015

FG

SANNICANDRO GARGANICO

02024

RI

S. ELPIDI

02024

RI

SANT'ELPIDIO DI PESCOROCCHIANO

Alcuni risultati … esempi

Comune / Località

Pubblica Amministrazione

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Stato dell arte

Stato dell’arte

ANALISI DEL PROCESSO

verifica del processo di

acquisizione dei dati

80%

ANALISI DEL DATO

ricerca tra i prodotti/servizi

di mercato

ricerca tra

di mercato

30%

realizzazione di un

prototipo in house

realizzazione di un

prototipo in house

80%

definizione metodi e strumenti

standard per la qualità dei dati

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


Considerazioni

Considerazioni

L’ottimizzazione del processo di generazione e morte del dato è fondamentale per ottenere un miglior livello qualitativo

Gli strumenti di Data Quality nascono per essere applicati a valle del processo, di conseguenza migliorano il livello di qualità ma non esauriscono il problema

Nell’ambito della qualità dei dati la loro certificazione e condivisione assumono un significato strategico per la P.A.

Certificare significa:

  • individuare un gestore unico e responsabile del dato che sia il riferimento per tutta la P.A.

  • delegare a tale gestore la costituzione di archivi di riferimento da condividere con tutti gli enti interessati

    Individuare un gestore unico che coordini il patrimonio comune che assegni le competenza e le responsabilità ai soggetti individuati.

Qualità dei dati Una esperienza Consip AIPA 12.03.2001


  • Login