Localisation des métadonnées

1. Localisation des métadonnées État d’avancement de la première année Contributions LIP6-INT

2. Plan • Choix architecturaux • Le Peer-to-Peer et «LeSelect» • Proposition • Optimisation du processus de localisation • Connaissance réseau • Système VENISE • Connaissance Communautaire • Liens intercommunautaires

3. Gestion des requêtes LeSelect (interrogation précise) Communication asynchrone Propagation requête Réponse P2P (propagation) médiateur Communication synchrone N0 N0 N3 N1 N2 N3 N1 N2 N6 N7 N4 N5 N6 N7 N4 N5 N10 N8 N9 N10 N8 N9 N13 N14 N11 N12 N13 N14 N11 N12 Connaissance de tous les nœuds Centralisation de l’interrogation Connaissance des nœuds voisins Décentralisation de l’interrogation

4. Les vues de LeSelect • Objectif: • Ramener le problème de localisation de MD, à un problème de localisation de vues. • Problèmes • Administration: qui va créer les vues ? • Robustesse: que se passe-t-il en cas de retrait ou de panne d’un nœud ? médiateur avec vue Communication synchrone N0 N3 N1 N2 N6 N7 N4 N5 N10 N8 N9 N13 N14 N11 N12

5. Utilisation du médiateur Classique ( accès aux ressources ) Locale ( accès aux métadonnées) Q Q Résultats de la localisation des MDs IP de Nk IP de Nl MD Sys-Loc MDs LeSelect Sys-Loc Q Ni MDs LeSelect LeSelect Q Sys-Loc RESSOURCES MDs LeSelect LeSelect Nk

6. Les différents modules • Communication • Échange de messages XML (Message d’Interrogation (MI) & Message de Résultat (MR)) • Traitement • Interrogation du médiateur (Écriture de requête de médiation) • Diffusion • Gestion des rebonds (Propagation aux voisins) • Visualisation • Affichage des MDs récupérées (pour collecte du feedback de l’utilisateur)

7. TRAITEMENT COMMUNICATION MI : ( IPinitial , ID, MD-requête ) Récepteur de messages d’Interrogation Transmetteur de messages résultats Module de traitement des requêtes Module de diffusion des requêtes MR : (ID, {MD1, MD2, … }) Table de voisinage IPvoisin_1 … IPvoisin_k Générateur de requête de médiation Générateur de messages de résultats Diffuseur de messages d’interrogation DIFFUSION MEDIATEUR MR : (ID, {MD1, MD2, … }) Récepteur de messages résultats Visualiseur Transmetteur de messages d’Interrogation Métadonnées MI : ( IPinitial , ID, MD-requête ) envoyé à chaque voisin VISUALISATION Proposition d’architecture

8. Plan • Choix architecturaux • Le Peer-to-Peer et «LeSelect» • Proposition • Optimisation du processus de localisation • Connaissance réseau • Système VENISE • Connaissance Communautaire • Liens intercommunautaires

9. Optimisation du processus de propagation des requêtes • Connaissance sur le contenu • Vecteur Thématique • Connaissance sur les utilisateurs • Communauté Illustration : http://gaya.lip6.fr:8080/venise

10. Optimisation du processus de propagation des requêtes (2) • Connaissance sur les requêtes • Catégories de requêtes • Requête Générale (RG) • interrogation du noyau des MDs • Requête Spécifique(RS) • interrogation du noyau + attributs métiers des MDs MD Noyau Spécialisation métier

11. Bilan des connaissances Catégorie Communauté MD-requête réseau Vecteur Thématique

12. ? VENISE serVice de sElection d’une eNtrée vIrtuelle pour l’inSertion dans le rEseau http://gaya.lip6.fr:8080/venise • Organisation thématique du réseau : Influer sur le choix du nœud d’entrée dans le réseau selon le contenu thématique du nouveau nœud • Entrée Thématique Virtuelle (ETV) Interface avec le réseau pour palier à l’absence de connaissance globale sur le réseau ETV1 Nœud à insérer Réseau ETV2 ETV3 COMMENT CHOISIR LA MEILLEURE ENTREE VIRTUELLE ?

13. ETV1 ETV3 ETV2 Intérêt des Entrées Virtuelles Thématiques • Objectif : Faire passer par la même Entrée Thématique Virtuelle, tous les nœuds au contenu thématique proche. Écologie Nœud à insérer Hydrologie, Océanologie Réseau Météorologie

14. Gestion des Entrées Thématiques Virtuelles • Contrainte: • Avoir un vecteur qui agrège l’ensemble des vecteurs thématiques des nœuds ayant été insérés par l’Entrée Thématique Virtuelle considérée • Avoir une notion de voisinage, selon des critères sémantiques • Représentation • A chaque ETV, nous associons un neurone • L ’ensemble des Entrées Thématiques Virtuelles est donc assimilable à un réseau de neurones CARTES AUTO-ORGANISATRICES de KOHONEN

15. 40 20 30 10 0 … Cartes auto-organisatrices de Kohonen • Objectif : • Trouver le neurone dont le vecteur de référence est le plus proche (au sens des moindres carrés) du vecteur thématiques du nœud à insérer. • Principe: • Comparer Vecteur Thématique du nœud à insérer et du Vecteur de référence de chaque neurone associé à chaque Entrée Thématique Virtuelle Nœud à insérer Σ = 100 Vecteur Thématique Neurone Vecteur de référence

16. 40 20 30 10 0 … Cartes auto-organisatrices: Principe Réseau de neurones Nœud à insérer

17. Sélection et Apprentissage Étape 1 : Sélection Calcul du neurone qui minimise la valeur des « moindres carrés » entre le vecteur thématique et les vecteurs de référence des neurones Étape 2 : Mise à jour Modification du vecteur de référence du neurone gagnant et de son voisinage selon la formule : Avec : Coefficient d’apprentissage Distance euclidienne entre le vecteur thématique (x) et les vecteur de références (w)

18. 2 Démos • Visualisation du réseau de neurones, avec phase d’apprentissage et sélection de l’Entrée Thématique Virtuelle selon le nœud courant. • Simulation de l’insertion de nœuds, avec sélection de l’entrée thématique virtuelle selon le contenu thématique des noeuds: http://gaya.lip6.fr:8080/venise

19. Connaissance communautaire • A flexible definition of community • Link model to filter neighbors where the query should be executed (relevant nodes known by the community) • Link model to filter neighbors having at least a similar community able to collaborate (to recommend relevant nodes) • A metric to compare communities defined on different nodes

20. U climatologists oceanographers paleoclimatologists Choosing a community of interest Community • Definition: local for each node • Attribution: Themes known by all the nodes oceanography oceanology hydrology meteorology hydrogeology oceanographers={oceanography, oceanology, hydrology} Communities defined on Nj

21. Relevance-based links • Interest: linking nodes containing relevant resources for a community • Representation : ( IP of relevant node , Community name, aggregated feedback ) Nj Nq Potential relevant resources for “climatologists” of the node Ni Hydrologists Climatologists … (132.227.205.161, “Climatologists” , 0.75 ) …

22. Inter-community links • Interest: linking nodes containing a community with similar fields of interest • Representation : ( Local community name, IP of distant node , Distant community name, freshness of the link ) Nj Nk Hydrologists Hydrology Team Climatologists Climatology team … (“Climatologists” , 132.227.205.249, “Climatology team” , 5 ) …

23. Inter-community link handling How to handle the mapping between communities ? • Metric of comparison • Def-similarity(creation) • Based on static definition of communities • Exp-similar(evolution) • Based on dynamic experiences of members belonging to the same community

24. Communities on node Nj oceanographers Communities on node Nk Climatology Team Oceanology Team Def-similarity: Creating inter-community links Themes (global resource shared by all) oceanography oceanology hydrology meteorology hydrogeology “Oceanographers” is def-similar to “Oceanology Team”

25. ω(“Oceanographers”, “Oceanology Team” ) 0,75 ω(“Oceanographers”, “climatology Team” ) 0,90 ω(“Oceanographers”, “Paleoclimatology Team” ) 0,30 Exp-similarity : Updating inter-community links On node Nk On node Nj Oceanology Team Correlation of Pearson : ω oceanographers Climatology Team Paleoclimatology Team “Oceanographers” is exp-similar to “Climatology Team”

26. 1st Step N1 Ni N2 N3 N4 N5 N6 2nd Step 3rd Step … … … … Query propagation U Query Q Climatologists Relevance-based link Inter-community link Node Q Q N10 N9 N7 N8 N11 Q Q Q

27. Vers une architecture adaptative… • Objectif: Exploiter la structure des MDs et la catégorie des requêtes • Principe: Un nœud peut déléguer le traitement de ses Requêtes Générales à un Super-Peer hybride qui contient la projection sur le noyau des métadonnées. Optimisation de la répartition de charge

28. Délégation du traitement des requêtes générales Propagation des RG A E F Propagation des RS B G Super-Peer Peer D C H Nœuds ayant D comme voisin Nœuds voisin de D

29. Bilan et perspectives • Bilan • Architecture adaptée à la propagation de requête propre aux architectures Peer-to-Peer • Intégration du médiateur dans cette architecture • Exploitation de la connaissance réseau, par rapprochement logique des nœuds thématiquement proches • Exploitation de la connaissance communautaire, par le partage de l’expérience des communautés distantes • Perspectives • Décentralisation du processus de sélection des Entrées Thématiques Virtuelles • Deuxième catégorie de critère de sélection des voisins (d’ordre géographique) • Cache personnalisé de requête • Répartition de charge: architecture dynamique basée sur des Super-Peers hybrides