MANEJO DE COLECCIONES DE DATOS CIENTIFICOS EN LA WEB

1. MANEJO DE COLECCIONES DE DATOS CIENTIFICOS EN LA WEB Santa Bárbara del Zulia, julio de 2007 Geóg. Zulay Méndez (zulay@ula.ve) Ing. Rodrigo Torréns (torrens@ula .ve)

2. Los datos producto de una investigación científica • Los datos que yo necesito existen? • Dónde están? • Cómo los obtengo? • Ubicar • Accesar • Recuperar • Compartir? …datos

3. Momento de publicación Detalles específicos acerca de la recolección de los datos se pierden al pasar el tiempo Retiro o cambio de carrera del científico recolector Accidente puede destruir datos y documentación Muerte del investigador y subsecuente pérdida de registros restantes Tiempo Degradación de los datos a través del tiempo Tomado de: [Michener, 1997]

4. Uso secundario y a largo plazo de los datos científicos • Organizados y de fácil acceso • Consistentes • Bien documentados • Facilidad de comprensión por parte de usuarios Depende de que sean: Si no se documentan los datos, pierden su valor y hay que desecharlos.

5. Uso secundario y a largo plazo de los datos científicos • Ubicar, accesar, recuperar y compartir la información • Garantizar permanencia de los datos en el tiempo Herramientas organizativas y tecnológicas Formación de Redes de colaboración entre científicos y entre usuarios de información Tecnologías de Información y Comunicaciones Uso de metadatos y estándares de intercambio de información

6. Metadatos Qué son? • " Datos sobre los datos " . • "Nivel superior de la información, o instrucciones que describen el contenido, contexto, calidad, estructura, y accesibilidad de una colección de datos específica" (J.K. Michener 1997).

7. Aspectos fundamentales que describen los metadatos • Identificación: Cuál es el nombre de la colección de datos (dataset)? Quien creó la colección? • Qué temas se incluyen, cuan actualizada está la información? Hay restricciones para acceder o usar los datos?. • Calidad de los datos: Existe información que permite a los usuarios decidir si los datos se adaptan a sus propósitos? Los datos están completos? ¿Son consistentes? • Información sobre entidades y atributos: Qué información (parámetros, variables, columnas de datos) está incluida? Cómo está codificada la información? • Distribución: Quien posee los datos? En qué formatos están disponibles? Están disponibles en Internet? Cómo puedo contactar al dueño de los datos? Cuanto cuestan los datos?.

8. Importancia de los Metadatos • Facilitan el procesamiento, análisis y modelado de los datos. • Facilitan la determinación de la conveniencia de los datos para cumplir con un objetivo específico. • Permiten organizar y mantener el acervo del conjunto de datos de una organización. • Permiten ayudar a encontrar y utilizar los datos que apoyen las investigaciones y la toma de decisiones. • En consecuencia, la utilización y manejo de metadatos respaldado por estándares nacionales, guías y políticas, beneficia el crecimiento económico y los intereses sociales y ambientales de una nación.

9. Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

10. Estándares de Metadatos Qué son? Un sistema común de terminología y de definiciones para documentar datos. Para qué estándares? Los estándares permiten la localización rápida de cierto elemento. Si se utiliza un estándar, encontrar la información específica en un catálogo de metadatos será mucho más fácil que si no se utiliza ningún estándar.

11. Estándares para metadatos geoespaciales, biológicos y ambientales más usados • Los FGDC-CSDGM. Content Standard for Digital Geospatial Metadata.Federal Geographic Data Committe (1994): Datos geoespaciales. [http://www.fgdc.gov] • FGDC-NBII. Perfil Biológico de FGDC. Biología y ciencias naturales. [http://www.nbii.gov]. • Global Change Master Directory Interchange Format – DIF. (1993) Ciencias de la Tierra. [http://gcmd.gsfc.nasa.gov] • Darwin Core (DwC). Colecciones de Historia Natural. • Descriptores para Metadatos no-geoespaciales. NCEAS-LTER (1997) Datos ecológicos. Base del estándar EML [http://knb.ecoinformatics.org/software/eml/eml-2.0.1/index.html/].

12. Publisher's Cataloging In Publication Data (Prepared by Quality Books, Inc.) Bell, Patricia J. Roughing it elegantly: a practical guide to canoe camping / by Patricia J. Bell ;illustrated by Linda Oliver Isakson. -2nd ed. p. cm.Includes bibliographical references and index.LCCN: 93-74305ISBN 0-9618227-0-81. Camping-United States2. Camping-United States-Equipment and supplies3. Canoes and canoeing-United States I. Title GV790.B45 1994 796.54'0973 QBI96-86 Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Ficha bibliohemerográfica

13. Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Documentación de datos geoespaciales (estándar FGDC) http://cndg.clearinghouse.gub.uy Muestra datos NBIIhttp://www.nbii.gov/

14. Ejemplos de metadatos y de comunidades que usan metadatos ajustados a estándares Documentación de datos geoespaciales (Interfaz a Clearinghouse FGDC y GCMD Data Documenter)

15. Rol Perfil 1. Proveedorde Datos • Científico • Recolector 2. Gerentes locales de información • Científico • Técnico sistemas información • Encargado de colecciones de datos 3. Gerentes centrales de información (Proveedores de servicios) • Encargado de servicios de información asociados a colecciones de datos 4. Usuarios • Científicos (el que recolecto los datos u otro) • Estudiantes • Sistemas de información • Gobierno, etc. Roles en el manejo de los datos y metadatos

16. Roles en el manejo de los datos y metadatos Oficina central de manejo de información de la red Científicos o proveedores de datos sitio #1 Gerente de información local #1 Gerente de información central Científico o proveedor de datos sitio #2 Gerente de información local #2 Objetos de información / colecciones de datos ... ...

17. Roles en el manejo de los datos y metadatos 1. Proveedor de datos: Genera, crea o captura el recurso de información (datos). Por lo general, es un científico que trabaja en un proyecto de investigación que necesita capturar y analizar datos. También puede ser personal técnico que está encargado de los instrumentos de captura de los datos. Son las personas más adecuadas para documentar los datos.

18. Roles en el manejo de los datos y metadatos 2. Gerente local de información: Organiza todos los datos recolectados antes de su publicación o distribución. También ejerce una función principal en la documentación de los datos (generar los metadatos).

19. Roles en el manejo de los datos y metadatos 3. Gerente central de información Ofrece a los usuarios servicios relacionados con el uso de los recursos de información o metadatos. Cuando se trata de distribución de información en formato digital, el proveedor de servicios realiza variadas tareas que tienen que ver con ayudar al usuario a identificar los contenidos y fuentes de información relevantes, servicios de seguridad y autenticación de los datos, servicios de catalogación, etc.

20. Roles en el manejo de los datos y metadatos 4. Usuario Usa (o re-usa) los metadatos y datos. Puede ser el mismo científico que los capturó, o puede ser un usuario secundario que necesita que los datos estén bien documentados (posean metadatos) para que pueda ubicar los datos y luego usarlos en su investigación.

21. Manejo de colecciones de datos científicos: Algunas experiencias locales Red de Estaciones Bioclimáticas del Estado Mérida (redbc) Red de Estaciones Ecológicas de Venezuela (ECORED)

22. Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Justificación • Dificultades que existen en Venezuela para ubicar y usar colecciones de datos bio-climáticos. • Interés de organizaciones, instituciones y personas que tienen datos históricos los cuales desean preservar o compartir para su uso a largo plazo. • Necesidad de implementar un sistema de información que permita realizar análisis y descubrir correlaciones entre diferentes conjuntos de información, que ayuden a la toma de decisiones e investigación científica.

23. Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Objetivos principales • Manejo, identificación, y preservación en el tiempo, de recursos de información relacionados con la biología y el clima usando estándares internacionales de formato y contenidos. • Generación de un Sistema de Información a través del Web que permita el fácil acceso de investigadores, productores y organizaciones que necesiten la información producida por la red de estaciones.

24. Red de Estaciones Bio-climáticas del Estado Mérida (redbc) Objetivos secundarios • Mantener en el tiempo las colecciones de datos y desarrollar mecanismos de almacenamiento, catalogación y distribución de la información generada. • Realizar permanentemente labores de identificación de nuevas fuentes de información que puedan incorporarse a las colecciones existentes. • Concientizar a los científicos sobre la importancia de la preservación de los datos generados en sus investigaciones.

25. Funcionamiento de laredbc Sistema de Información Bioclimático basado en el web • Ubicación de características de colecciones de datos. • Utilización de tecnologías Internet-Web, que aceleran y facilitan grandemente el proceso de captura, actualización y difusión de la información bio-climática, permitiendo varios niveles de acceso y recuperación de dicha información. • Actualmente sólo se proveen datos sin procesar (archivos de datos provenientes de las estaciones meteorológicas) y sus respectivos metadatos. En el futuro se podrá acceder a información previamente procesada (gráficos, tablas, etc). • Libre acceso a colecciones de datos (datasets) producidos por miembros de la red y (en lo posible) por cualquier persona o institución que los necesite.

26. Miembros de la REDBCServidor (CECALCULA) Internet Funcionamiento de la redbc Sistema de manejo de datos Datos llegan por varias vías (enviados por gerentes locales de información): -E-mail -Web-CD-Entregas personales Gerente Central de información los procesan de ser necesario y los publican en Internet

27. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Es

28. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Formato de metadatos • html • xml • txt Enlace

29. Consultando las colecciones de datos Metadatos html(para visualización por Web) Ejemplo: Colección de datos Estación Chama Metadatos xml (para intercambio con otros sistemas y procesamiento automático)

30. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Presentación de datos • Datos originales (sin procesar) • Datos ordenados (Por año y por mes) Enlace

31. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos sin procesar Datos sin procesar, tal como vienen de los instrumentos o científicos que los capturan

32. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos ordenados Datos procesados Datos con algún tipo de procesamiento

33. Consultando las colecciones de datos Ejemplo: Colección de datos Estación Chama Datos enviados a KNB: http://knb.ecoinformatics.org

34. Formas de envío y publicación de metadatos y datos Afiliarse a la redbc • Contactar por e-mail o teléfono al Proveedor de metadatos Documentar los datos Llenar Planilla de documentación de datos proporcionada por el gerente central de información. Se pueden configurar planillas de diferentes tipos: Web, Word, txt, etc.

35. Dificultades en el desarrollo de proyectos de este tipo • Escaso conocimiento de la importancia de la preservación y posibilidades de uso secundario de los datos. • Poca disposición de los científicos para compartir los datos. • Poca receptividad para aportar metadatos que documenten las colecciones de datos. • Confusiones que tienen que ver con los derechos de propiedad y uso de los datos. • Información incorrecta sobre la calidad y cantidad de información que dicen poseer algunas instituciones (entorpece la investigación). • Bajo interés por parte de algunos gerentes de información local en publicar sus colecciones de datos (retardo en envío de datos-pérdida de información). • Algunos gerentes locales no disponen de conexión a internet. • Costos de los instrumentos de captura de datos. • No existe la figura de “gerente local de información”.

36. El Futuro Usos futuros: • Redes de manejo de conocimientos basadas en datos y metadatos (intención de KNB) • Acceso a herramientas analíticas "en-línea" para integrar varias herramientas como SAS, MATLAB, etc. con acceso a datos de red de científicos (LTER) • Herramientas para producir formas alternativas de metadatos que permitan a cualquier sitio participar fácilmente en otras bases de datos internacionales y Clearinghouses de datos (FGDC, GCMD, NBII, etc.)

37. www.cecalc.ula.ve/redbc/ Por su atención Muchas Gracias