Using Quality of Data Metadata for Source Selection and Ranking

1. Using Quality of Data Metadata for Source Selection andRanking Santiago López Andrés Margalef

2. Agenda • Introducción y Datos generales • Motivación • Objetivos • Modelo • Lenguaje de consulta • Solución Propuesta • Críticas • Conclusión

3. Introduccion • Usando la Calidad de Datos para la selección de fuentes de datos. • Autores • George Mihaila. (Doctorado en Universidad de Toronto, actualmente trabaja IBM). • Louiqa Raschid. (UMIACS) • María Esther Vidal. (UMIACS) • Fecha Publicación • ¿2000?

4. Motivación • Crecimiento del uso de Internet • Adopción formatos y estándares • Cuales son los datos relevantes para un determinado problema? • De los datos relevantes, cuales son los mejores?

5. Objetivos • Usando calidad de datos… • Selección de fuentes de datos • Ranking de fuentes relevantes • Score de rankeo

6. Modelo • Bases del modelo • Se basa en atributos de dimensión y de medición, los dominios de ellos y además de parámetros de calidad de los datos. • Parámetros de calidad • Completitud • Edad de los datos (Recency) • Frecuencia de actualización (Update Frecuency) • Granularidad (Granularity)

7. Componentes del modelo • SODA: conjunto de atributos dimensión como por ejemplo ciudad, tiempo. • SOMA: conjunto de atributos de medición por ejemplo, temperatura, presión atmosférica. • T1…TN son tipos relacionales, cada Ti tienen un conjunto de atributos los cuales estos tienen determinados dominios. Los atributos pertenecen a la unión entre SODA y SOMA. • Fuente S, que contiene los datos para cada Ti comprendida.

8. Descriptores de calidad del contenido de una fuente (SCQD) Es una terna (t, cd, qods) • t: tipo relacionado a los datos (valor de Ti) • Cd: es el descriptor del contenido, comprende un conjunto de parejas de atributos y su respectivos dominio. Estos atributos pertenecen a SODA. • Qods: conjunto de descriptores de calidad de los datos.

9. Descriptor de calidad de dato (QOD) Es una tupla con los elementos (lcd, c, r, f, g, soma) los cuales • lcd: descriptor de contenido de alguna fuente, estos deben estar incluidos en el descriptor del contenido (cd). • c, r, f, g: corresponden a los parámetros de calidad de datos, completitud, edad de datos, frecuencia de actualización y granularidad respectivamente. • soma: subconjunto de todos los atributos de medición (SOMA).

10. Identificación de componentes

11. Proponen utilizar el formato WS-XML

12. Lenguaje de Consulta • Notación similar a SQL.

13. Resultados de las Consultas Se devuelve una lista ordenada de las fuentes que verifican las condiciones impuestas en la consulta. • A cada fuente se le asigna un score que indica el nivel de relevancia de la fuente. • Combinando fuentes.

14. Solución Propuesta • Ejemplo

16. Agrupando descriptores de contenido de las fuentes. (Buckets) • Buckets del ejemplo

17. Surge un problema… • Si bien se reduce el problema de eficiencia, igualmente es posible que la cantidad de buckets crezca considerablemente. • Como se puede solucionar?… • Extendiendo la solución empleando conjuntos parcialmente ordenados

18. Conjuntos parcialmente ordenados • Relación de inclusión entre Buckets. • Bi esta incluido en Bj si y solo si, los dominios comprendidos por los atributos de Bi están incluidos estrictamente en los dominios de los atributos definidos en Bj. • Incompatibilidad Dos buckets son incompatibles si no son el mismo y ninguno esta incluido en el otro. • Usando la inclusión entre buckets se agrupan buckets en diferentes niveles, cada nivel es un superbucket.

19. SuperBucket • Consiste en la agrupación de los buckets incompatibles. • Implícitamente si un bucket Bi incluye a otro Bj, entonces el superbucket que aloja Bi incluye al superbucket que aloja Bj • Conjunto parcialmente ordenado(po-set) • Conjunto de superbackets ordenados según la relación de inclusión

20. po-set del ejemplo

21. Combinaciones de SCQD • Si no hay una fuente que cumpla con la consulta se pueden usar combinaciones de fuentes de datos, de manera tal que el resultado obtenido de esta combinación cumpla con las condiciones de la consulta , y como consecuencia esta combinación es relevante. • Aquellos buckets tal que su lcd cumplan con algún elemento del lcd propuesto en la consulta serán los candidatos a formar parte de la combinación.

22. En este ejemplo los buckets candidatos son: B32, B31, B12, resultando las siguientes combinación de fuentes: {S1, S2, S6}, {S1, S2, S5}, {S2, S4, S6}, {S2,S4, S5}.

23. Problemas • Puede existir un numero muy grande de combinaciones de fuentes. • Alternativa 1 • Extender el po-set hacia un lattice. • Se agregan todos los buckets generados a través de combinación de fuentes a la estructura de superbukets. • El problema de esta solución ese que igualmente puede existir un crecimiento exponencial de la cantidad de buckets.

24. Alternativa 2 • Construir parcialmente el lattice. • Se agrega un bucket que contiene la combinación de las fuentes de los buckets mas generales. • Solución sencilla, pero tiene como contrapartida la perdida de exactitud en los datos devueltos.

25. Según esta metodología el ejemplo retornaría el resultado a S2 y S3, cuando existe una mejor solución realizando la unión de S1 y S2

26. Criticas • No es auto contenido • Creación de scores no desarrollados. • Elección de parámetros de calidad. • No consigue una solución definitiva • Ubicación de componentes de ejemplos inadecuada. • Ausencia de fecha de publicación del articulo. • Profundidad técnica sencilla de comprender • Presenta ejemplos claros.

27. Conclusión • Problemática adecuada a la realidad • Solución no es completamente madura. • Mejorar el desarrollo de las alternativas propuestas. • Una buena idea para solucionar problemas que se presentan en la actualidad en esta area.

28. Preguntas