1 / 31

Adaptive Joins in Federated Queries on Linked Data

This research explores adaptive join strategies for federated queries in Linked Data environments, addressing challenges like query performance, data volume, and lack of historical information. The proposed solution includes adaptive join algorithms, monitoring activities, and component architecture. Contributions include a user-friendly frontend, adaptive operator control, and integration framework. Results are tested on Life Science datasets and compared with other systems. The conclusion emphasizes dynamic query adaptation based on runtime statistics.

tassos
Download Presentation

Adaptive Joins in Federated Queries on Linked Data

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Junções Adaptativas em consultas Federadas sobre Linked Data Macedo Maia Vânia Vidal, José Maria Monteiro, Fabio Porto, Ana Maria e Regis Pires

  2. Sumário • Motivação; • Problema; • Contexto; • Solução Proposta; • Contribuições; • Cenário de Testes; • Conclusões.

  3. A Web como a conhecemos!

  4. Motivação • As práticas de Linked Data tem impulsionado a publicação de dados na Web; • Linked Data é um conjunto de boas práticas para publicar, consumir e integrar dados estruturados na Web de Dados; • No padrão Linked Data, cada fragmento de dado no formato de triplas RDF descreve a si mesmo e suas relações, com outros fragmentos de dados de forma descentralizada; • Para consultar dados de repositórios de triplas RDF, usa-se a linguagem SPARQL.

  5. Motivação

  6. Motivação

  7. Motivação

  8. Motivação

  9. Motivação

  10. Introdução –LOD Datasets 2007

  11. Introdução – LOD Datasets 2009

  12. Introdução – LOD Datasets 2011

  13. Problema • O processamento de consultas federadas em Linked Data envolve diversos desafios: • Desempenho das consultas; • Imprevisibilidade do ambiente; • Grande volume de dados; • Ausência de informações estatísticas e históricas. • Neste contexto, a realização de operações de junção, de maneira eficiente, configura-se em um problema relevante e em aberto;

  14. Contexto • Processamento de consultas em sistemas de integração linked-data; • Integração de fontes de dados em Linked Data; • Ex: DrugBank, Diseasome, DBpedia; • Sistemas de integração; • Ex: FedX, DARQ, Jena, Sesame,QEF

  15. Solução Proposta • Estratégias (algoritmos) de junções adaptativas para ambientes Linked Data; • Geração de estatísticas e históricos sobre as fontes; • Monitoramento de atividades: • Checar periodicamente a disponibilidade das fontes e às atividades realizadas durante a execução. • Tratar restrições nos tipos de consultas submetidas.

  16. Solução Proposta - Arquitetura

  17. Soluçao Proposta - Componentes • Translator • Traduz as consultas SPARQL para o QEP(Query Execution Plan) correspondente. • Executor • Executa o QEP e retorna os resultados. • Monitor • Monitora as atividades do ambiente federado durante a execução.

  18. Contribuições • Front-end que recebe a consulta do Usuário • O usuário escreve a consulta SPARQL de maneira intuitiva; • Depois de validada, a mesma é transformada em um QEP; • Depois de terminadas as consultas, envia o resultado da consulta para a interface.

  19. Contribuições • Operador de Controle: • Baseado no Eddies; • Re-ordena constantemente os operadores de um plano para se adaptar às variações que podem ocorrer nos dados durante a execução; • Realiza a leitura dos dados das fontes e determina um roteamento para cada tupla segundo as informações observadas (i.e. seletividade de cada operador);

  20. Contribuições • Arquitetura do Eddies: Project Eddy S T R S R T S

  21. Contribuições • Arquitetura do Eddies: BufferOut Buffer RS Buffer ST R S T

  22. Contribuições • Framework para integração de dados do PELD com o DBPedia • Dados PELD são triplificados a partir do modelo Relacional; • Parte dos dados são Materializados; • Permite ligações com o DBPedia através do predicado SameAs.

  23. Cenário de Testes • Testes e Resultados da análise das consultas: • Domínios: • Fontes de dados sobre Lifescience(PELD, Diseasome, Drugbank, Sider, DBPEDIA); • Comparação com outros ambientes: • QEF, Fedx,Jena, Darq;

  24. Cenário de Testes • Diagrama do PELD: Plankton Taxon & Region Catfish Fish DBPedia

  25. Cenário de Testes • Diagrama dos Datasets D&D: Dailymed DBPedia Drugbank Diseasome Sider

  26. Conclusão • Nóspropomosumasoluçãopara a implementação de junçõesadaptativasemconsultasfederadas; • O algoritmos de junçãoadaptativa se ajustarádinamicamenteem tempo de execução, seminterromper a transmissão dos dados do endpoint SPARQL para o ambiente de execução; • A adaptaçãodaconsulta é baseadaemestatísticasquesãocoletadasem tempo de execução.

  27. Referências • Avnur, R. and Hellerstein, J. M. (2000). Eddies: Continuously adaptive query processing. In SIGMOD Conference, pages 261–272. • Porto, F., Tajmouati, O., Da Silva, V. F. V., Schulze, B., and Ayres, F. V. M. (2007). Qef - supporting complex query applications. In Proceedings of the Seventh IEEE International Symposium on Cluster Computing and the Grid, CCGRID ’07, pages 846–851, Washington, DC, USA. IEEE Computer Society. • Pinheiro, J. C. (2011). Processamento de consulta de um framework baseado em mediador para integração de dados no padrão de Linked Data. PhD thesis, Universidade Federal do Ceará.

  28. Obrigado! Perguntas, comentáriosousugestões? Macedo Maia macedomaia@lia.ufc.br

More Related