Data Quality Management

1. Data Quality Management DATRAS - Data Tracing Systems Westendstr. 142 80339 München Tel 089 - 5100 9072 Fax 089 - 5100 9087 E-Mail Datras@Datras.de

2. Data Quality Management Qualitätsmanagement Qualitäts- analyse Qualitäts- optimierung Qualitäts- sicherung - 1 -

3. Fehler in Daten • Systematischer Fehler: Der Fehler gehorcht einer Fehlercharakteristik. • Statistischer Fehler: Einzelfall, für den es mit anderen Fehlern keine Gemeinsamkeit gibt. • Systematische Fehler: • Erst wenn die Charakteristik eines systematischen Fehlers bekannt und formulierbar ist, kann man nach ihm suchen. • Die Fehlercharakteristik hängt (im Allgemeinen) von der Datenquelle ab. • Nur der Mensch kann Fehler mit unbekannter Charakteristik identifizieren. - 2 -

4. Fehlersuche • Der Computer kann die Daten nur nach denjenigen Fehlern durchsuchen, für die man • die Fehlercharakteristik für den Computer formulieren kann. • Für eine effektive Fehlersuche benötigt man dazu ein System, • mit vielfältigen Ausdrucksmöglichkeiten, damit Fehlercharakteristiken treffsicher erfasst werden können; • mit dem man auch Millionen von Daten schnell überprüfen kann. - 3 -

5. Suche nach einer Fehlercharakteristik: In Straßennamen darf kein Komma stehen.

6. Ein Mensch erkennt Fehler sofort aus dem Zusammenhang: Eine Straße, die in der Gemeinde Rostock (ST_GEM) liegt, befindet sich nach der Zuordnung zu einer neuen Gemeinde (ST_GEM_N) fälschlicherweise in Rosenheim.

7. Operative Datenmengen • Operative Daten in der Produktion unterliegen einem fortwährenden Wandel. • Fehler häufen sich fortlaufend und die Qualität nimmt permanent ab. • Oftmals lassen sich zwar fehlerhafte Daten korrigieren, nicht aber die Fehlerquellen beheben. • Deshalb muss man in einer Produktion Automaten einsetzen, damit man dieQualität der Daten effektiv steigern kann und auch permanent sichern kann. - 4 -

8. Fehlerkorrektur • Um einen Fehler korrigieren zu können, benötigt man ein System, mit dem man für eine • Fehlercharakteristik eindeutige Korrekturanweisungen formulieren kann. • Dabei muss beachtet werden: • Jede Datenmenge hat ihre eigene Fehlercharakteristik und benötigt ihre spezifischen Korrekturanweisungen. • Auch die Korrekturanweisungen müssen vor einer endgültigen Korrektur überprüfbar sein, damit keine neuen Fehler entstehen. - 5 -

9. Systematische Fehler: Nicht-standardisierte Abkürzungen für „Bürgermeister“ in einer operativen Datenmenge.

10. Standardisierung der Bürgermeister-Abkürzungen durch einen Automaten. Zeile oben: Vorfilter (links), Suchen und Ersetzen (Mitte), visuelle Kontrolle des Ergebnisses (rechts) Zeile unten: Kontrolle der Korrekturmuster.

11. DQM in einer Produktionsumgebung Die Produktion darf durch DQM nicht beeinträchtigt werden. • Anforderungen beim Ausführen der Korrekturanweisungen: • Überprüfen der Aktualität seit dem Export. • Störungen in der Produktion dürfen nicht zu Datenverlust führen. • Korrekturen müssen im Notfall rückgängig gemacht werden können (Reversibiltät). - 6 -

12. Reversibilität Durchgeführte Korrekturen sollen in einem Notfall rückgängig gemacht werden können, ohne dass zwischenzeitlich erfolgte Veränderungen im Produktionsbetrieb verworfen werden müssen. SQL lässt Anweisungen zu, die sich auf mehrere Datensätze beziehen. Beziehen sich die Korrekturanweisungen auf jeweils genau einen Datensatz, ist die Reversibilität möglich. - 7 -

13. Data Quality & Management Die Datenqualität geht unmittelbar in die Betriebskosten ein. Data Quality Management ist ein Instrument der Unternehmensleitung, um den Kosten-Nutzen-Faktor der Produktion zu optimieren. - 8 -

14. Data & Quality Management • Nach erfolgreicher Etablierung des DQM in der Produktion kann mit der Prozessoptimierung begonnen werden: • Straffung der Produktionsabläufe bei gesichertem Qualitätsniveau. • Reduzierung von Personalaufwand ohne Qualitätseinbußen. - 9 -