Data Integration in a Bandwidth-Rich World Ian Foster and Robert L. Grossman

1. Data Integration in a Bandwidth-Rich World Ian Foster and Robert L. Grossman Universidade Federal Fluminense Doutorado em Computação – Engenharia de Redes Daniela Quitete de Campos Vianna

2. Introdução Avanços nas tecnologias de redes Sistemas computacionais cada vez mais velozes Crescimento do conhecimento Obtenção de grandes quantidades de dados Computação em Grid? E-Science?

3. Computação em Grid • Objetivo: tornar a computação de alto desempenho acessível a usuários que não possuem recursos disponíveis localmente. • Desafios: • Heterogeneidade; • Múltiplos domínios administrativos; • Escalabilidade; • Natureza dinâmica do ambiente; • Compartilhamento de dados e de recursos; • Transparência.

4. e-Science • Diversos tipos de pesquisa que envolvem aplicações científicas de grande escala . • Classes de Problemas: • modelagens e simulações sociais, climáticas e de oceanos; • bio-informática; • bio-medicina; • física de alta energia; • entre outros.

5. Integração de Dados • Paradigma Tradicional x Paradigma Atual • Foco • middlewares para permitir que organizações distribuídas acessem e compartilhem dados, redes e outros recursos de uma maneira controlada e segura.

6. Integração de Dados • Dados distribuídos possuem diferentes: • formatos; • qualidade; • mecanismos e políticas de acesso... • É preciso definir soluções e padrões para: • acesso e descoberta de dados; • exploração e análise de dados; • gerenciamento de recursos e segurança.

7. Acesso e Descoberta de Dados • Descoberta de dados: middlewares que examinem metadados; • web services; • XML e bancos de dados relacionais; • Serviços de acesso a dados e integração em Grids; • LDAP (Lightweight Directory Access Protocol). • Mecanismos de acesso • OPeNDAP (Open source project for a Network Data Access Protocol); • SRB (Storage Resource Broker); • DSTP (DataSpace Transfer Protocol); • GridFTP; • OGSA-DAI (OGSA-based Data Access and Integration).

8. Exploração e Análise de Dados • Necessidade de serviços que identifiquem a relevância dos dados obtidos; • estatística; • exploração visual dos dados... • Existência de ferramentas que gravam, organizam e obtêm novos dados a partir de dados já explorados.

9. Gerenciamento de Recursos e Segurança • Acesso seguro a dados distribuídos; • Controle no acesso aos recursos envolvidos na integração dos dados; • Técnicas de replicação e distribuição de dados através da rede; • Identificação da localização de dados mais próxima ao ponto de solicitação.

10. Exemplo 1 (iGrid 2002) • Integração (on the fly) de dados; • Taxas de transferência maiores que 2.4Gbps. • DataSpace Data Web: movimentação de dados através do Atânctico; • Versão paralela do SABUL: transporte de Dados; • DSTP: gerenciamento de chaves, metadados e dados.

11. Sloan Digital Sky Survey (SDSS) • Estudo de imagens digitais - até 2007 terá mapeado ¼ do espaço; • 250 milhões de objetos detectados • 10 TB de imagens • 2 TB catálogos

12. Sloan Digital Sky Survey (SDSS)

13. Gerenciamento de Dados no Globus • Componente que fornecem interfaces de acesso uniformes para vários tipos de dados • GridFTP; • OGSA-DAI; • Metadata Catalog Service (MCS).

14. Gerenciamento de Dados no Globus • Componentes para movimentação e transferência de dados • Globus-url-copy; • Reliable File Transfer (RFT) Service; • UberFTP: cliente GridFTP; • GSI-SCP/SFTP: ferramenta OpenSSH que suporta autenticação no Grid.

15. Gerenciamento de Dados no Globus • Componentes para otimização do acesso aos dados • Replica Location Service (RLS); • NeST; • DataCutter.

16. Conclusão • Avanços nas tecnologias de redes proporcionando o compartilhamento de recursos e dados; • Necessidade de middlewares para integração de dados.