slide1
Download
Skip this Video
Download Presentation
Mise en place d’un portail de veille avec ActiveWatch

Loading in 2 Seconds...

play fullscreen
1 / 122

Mise en place d’un portail de veille avec ActiveWatch - PowerPoint PPT Presentation


  • 78 Views
  • Uploaded on

Mise en place d’un portail de veille avec ActiveWatch. Première journée. Cédric Simard - février 2001. Objectifs de la formation. Acquérir une vision globale d’ActiveWatch™ Comprendre le rôle de chaque module dans le processus de traitement d’information

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Mise en place d’un portail de veille avec ActiveWatch' - cheng


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Mise en place d’un portail de veille avec ActiveWatch

Première journée

Cédric Simard - février 2001

slide2

Objectifs de la formation

  • Acquérir une vision globale d’ActiveWatch™
  • Comprendre le rôle de chaque module dans le processus de traitement d’information
  • Prendre la mesure de l’analyse sémantique selon Arisem
  • Identifier les facteurs clés de succès pour le lancement d’un premier arbre de veille
  • Prendre en main ActiveWatch™
slide4

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
slide5

Présentation générale

Présentation générale

  • Des informations diverses et variées dans et à l’extérieur de l’entreprise
  • Une couverture et une granularité différentes d’une même information pour une tâche donnée
  • Le besoin d’un référentiel commun
  • La solution : OpenPortal4U™
openportal

Présentation générale

OpenPortal

Valoriser votre système d’information en fournissant des contextes dans lesquels l’information existante présente un sens pour l’utilisateur.

slide7

Présentation générale

Verticalisations

OpenPortal4U

Web Edition

OpenPortal4U Enterprise Edition

ActiveWatch

CorporateMedia

Dynamic

Knowledge

e-commerce

Sites Web documentaires

Marketplaces e-catalogs

OpenPortal4U

activewatch

La solution ActiveWatch™ est dédiée à la veille.

Elle a quatre fonctions principales :

Elle est composée de 3 modules qui autorisent le paramétrage de la recherche, de l’analyse et du classement :

  • 2Crawl : recherche et surveillance sur Internet
  • - 2Class : classement automatique de documents
  • - 2MakeSense : paramétrage de l’analyse de l’information

Présentation générale

ActiveWatch
  • - recherche, collecte (orientée) et surveillance de l’information sur Internet
  • analyse et pré-qualification de cette information
  • classification des documents
  • publication de cette information (à venir)
slide11

2MakeSense

2Class

L4U

- module

- fonction

Présentation générale

Les modules fonctionnels d’AW :

2Crawl

  • Rechercher
  • Idées
  • Conserver
  • les documents
  • pertinents

Constituer

un corpus

Définir un

univers textuel

  • Relations entre
  • les idées
  • Expression des
  • idées dans le texte
  • Assurer
  • le suivi des
  • documents
  • dans le temps

Expliciter

une thématique

  • Décomposer la thématique
  • dans un arbre de classement
  • Classer

Publier

dans un portail

  • Mettre à la disposition l’information structurée
slide12

Elle permet de désambiguïser la polysémie d’une requête et/ou d’un document, en identifiant les concepts présents à l’intérieur d’un contexte.

fruit?

fruit

+

=

Concept « avocat fruit  »

Présentation générale

La sémantique selon Arisem

juriste?

Document (extrait) :

« Parmi les fruits les plus riches : avocat, banane, cassis, raisin noir… »

L’ information textuelle n’est pas une suite de caractères sans signification, mais l’expression d’idées et de concepts ayant une signification propre dans un contexte donné.

slide13

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
la d marche de veille avec aw en 4 tapes

1. Phase de réflexion et de formulation de la problématique

La démarche de veille avec AW en 4 étapes

La démarche de veille avec AW en 4 étapes

Définition des objectifs et de la problématique :

- quels sont les tenants et aboutissants de mon projet ?

- quels sont les acteurs de ce projet ?

- quel est le lexique utilisé par ces acteurs ?

- quels sont les éléments de réponse que j’attends ?

Préparation du travail à effectuer dans la base de connaissance :

- formaliser l’expertise à travers le passage par l’écriture ;

- lister le lexique professionnel relatif au projet ;

- mettre en évidence les concepts justes et justes nécessaires;

slide15

2. Traduire les fondamentaux dans la base de connaissance

2MakeSense

La démarche de veille avec AW en 4 étapes

Transfert de connaissances vers l’outil d’analyse :

- mise en évidence du niveau de connaissance de la base ;

- inscription des concepts fondamentaux pour le projet ;

- définition du projet par l’attribution de relations sémantiques ;

- rattachement à la « réalité » par l’établissement d’un lexique métier.

  • Rendre l’outil expert pour effectuer l’analyse automatiquement :
  • capitaliser les connaissances internes ;
  • compléter les thèmes métiers ;
  • - désambiguïser des termes spécialisés.
slide16

3. Constitution et surveillance d’un corpus issu du Web

Surveillance classique d’URLs ou de sites entiers

La démarche de veille avec AW en 4 étapes

L’heuristique de crawling :

- recherche de documents à l’intérieur d’un tunnel sémantique

- progression des agents sur l’architecture hypertexte

- accès au Web non indexé

- rapatriement des documents pertinents

La surveillance automatique des documents découverts :

- ré-accès programmé de l’ensemble du corpus

- signalisation des modifications

2Crawl

slide17

4. Élaboration d’un arbre de classement et diffusion de l’information

2Class

Prise en compte du Feed-back des utilisateurs

La démarche de veille avec AW en 4 étapes

Déterminer la vue logique, espace de représentation et d’organisation du corpus.

Quelle navigation dans le corpus ?

- objectif « documentaire » ou « de veille » ?

- vision partagée par l’entreprise ou personnelle ?

- degré de complexité du projet ?

Maturité du projet :

- arbre de classement évolutif ou figé ?

- public utilisateur de l’arbre de classement ?

slide18

Méthodologie de mise en oeuvre

Quelques questions incontournables :

  • pourquoi souhaitez-vous effectuer une veille sur ce thème ?
  • à qui sont destinées les informations de cette veille ?
  • quel est le thème générique sur lequel est axée votre veille ?
  • quels en sont les sous-domaines identifiés ?
  • quels sont les résultats attendus ?

Des éléments de réponses efficaces, pour définir :

  • la cohérence de l’arbre de classement (2Class)
  • la spécialisation et actualisation du langage d’analyse (2MS)
  • - la finesse et l’exhaustivité des WebSources (2Crawl)

Une parfaite maîtrise des objectifs et une problématique clairement définie ... pour une mise en œuvre technique rapidement opérationnelle et efficace

slide19

Méthodologie de mise en oeuvre

Quelques outils pour initier la démarche

  • Progress4U, un espace d’explicitation

- Un tableau d’explication et d’argumentation littéraire des principaux axes (notions, expressions) de la thématique (concepts clés et termes de la langue illustrant les divers enjeux du thème)

- Une décomposition progressive de chaque idée pour extraire les concepts principaux, le vocabulaire (pour confronter ce premier capital à l’existant de la base de connaissance en vue de son enrichissement.)

  • GoOn4U, un espace d’agencement

des items de couleurs, représentatifs des nœuds de différents niveaux d’un arbre de classement, à agencer, par copier/coller sur un espace de travail, et à intituler aux thèmes de la problématique générale traitée par l’arbre

slide20

BU

Animateurs

Administrateurs

Délimitation des rôles

Gestion et paramétrage

de la solution

Commercial

Marketing

Experts

Technologique

Juridique

Utilisation

de la solution

Méthodologie de mise en oeuvre

Mais aussi …

  • Collecte de l’existant :
    • Documents illustrant la thématique
    • (Thesaurus)
    • Sources spécialisées identifiées (documents, Urls, …)
  • Définition des rôles
slide21

Méthodologie de mise en oeuvre

Comment sera utilisé l’outil ?

Enrichir la base de connaissance

Mettre en oeuvre des WebSources de veille Internet

Construire des arbres de classement thématiques

L’animateur

L’administrateur

A pour

charge

Permet

de

Mise à jour de la base de connaissance

Alimentation des WebSources de veille

Repérage et intégration des sources internes

Mise en ligne des arbres de classement

Audit et maintenance de la solution

Explication des thèmes de veille

Expression des besoins en information

Production d ’information interne spécialisée

Surveillance qualité du fond informationnel

Commentaire du fond informationnel

ont pour

charge

Permet

de

Les experts

Accéder à l’information pertinente

Identifier les compétences internes

Rester au contact des évolutions

Etre informé de façon ponctuelle

Rendre compte de la diversité

slide22

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
slide23

OpenPortal4U

Web Édition

OpenPortal4U Entreprise Edition

ActiveWatch

CorporateMedia

Dynamic

Knowledge

Sites Web documentaires

Marketplaces e-catalogs

e-commerce

Composants fonctionnels

Modèle Objet

L4U

slide24

Présentation générale

Introduction à l’analyse sémantique

L’utilisation de la sémantique est au cœur des produits Arisem.

- L4U (« Language for you »), le moteur d’analyse sémantique

- 2MakeSense, l’éditeur de base de connaissance

Le moteur d’analyse sémantique fournit une représentation conceptuelle d’un document et le qualifie

Une base de connaissance multilingue (Français, Anglais, Allemand, Espagnol) permet d’identifier le contenu d’un document

slide25

Génération d’un méta-texte à partir d’un texte (document, requête)

Texte

Métatexte

L\'échec traumatisant du vol inaugural du 4 juin 1996 ? Assimilé, digéré. Les problèmes techniques du deuxième lancement ? Réglés. Les modifications apportées au moteur Vulcain de l\'étage principal cryotechnique ajoutées?

[&échec*échec #échec $Echouer µNom $Problème $ChoseAbstraite $Chose &du *du µArticle &tir *tir #tir &inaugural

Le Métatexte :une représentation désambiguïsée du contenu d’un texte

slide26

Extrait

pertinent

6 Édition

d’un abstract

Document

Question

Le rôle de L4U : l’analyseur sémantique

L4U élabore le Métatexte du document (D) et de la question (Q) et les compare

3- Comparaison

Métatextes

4- Évaluation

recouvrement

Note de pertinence

75/10

5 Calcul de

pertinence

2- Écriture

métatextes

L4U

1- Lectures

Q / D

slide27

La note de pertinence

Qualité

Densité

75/10

Une note en 2 indices

le degré de précision avec lequel le thème est exprimé dans le document

Qualité

Comment ?

le degré de présence du thème dans le document, par rapport à l’ensemble des autres thèmes ou sujets contenus dans le document

Densité

Combien ?

slide28

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
slide29

OpenPortal4U

Web Édition

OpenPortal4U Entreprise Edition

ActiveWatch

CorporateMedia

Dynamic

Knowledge

Sites Web documentaires

Marketplaces e-catalogs

e-commerce

Espaces personnels des Utilisateurs

Sécurité

Administration des agents

Composants fonctionnels

Modèle Objet

L4U

utilisateur et son espace personnel
Utilisateur et son espace personnel
  • Tout utilisateur est représenté par un agent dans le système
  • Chaque utilisateur a son environnement de travail
  • Il contrôle ses propres objets de travail :
      • Arbres de classement,
      • Sources d’information, listes d’Urls
les utilisateurs du syst me
Les utilisateurs du système

Espace personnel de l’utilisateur

Espace commun de tous les utilisateurs

objets des utilisateurs
Objets des utilisateurs
  • L’utilisateur a un espace privilégié pour déposer ses documents.
  • Il peut en plus créer ses objets de travail à base de ces documents (recherches sur le web, arbre de classement)…
slide33

Bookmark

BookmarkList

Un Bookmark

slide34

Une seule poubelle - 2 vues différentes :

  • une poubelle personnelle, contenant les seuls objets que l’utilisateur connecté aura détruit ;
  • une vue présentant la poubelle générale, contenant l’ensemble des objets détruits par tous.
  • Un objet mis à la poubelle n’est pas détruit de manière permanente, il peut être restauré depuis la poubelle.
  • 2 options sont proposées :
        • le restore
        • la destruction définitive
  • La poubelle est un Agent en soit (on peut gérer sa puissance, la mettre en tâche de fond, l’arrêter/redémarrer ).

Poubelle

Note :Si l’objet contenu dans la poubelle n’est pas détruit, le nouvel objet crée (au même emplacement) de même nom, s’incrémentera d’un (1), (2), (3), etc… selon le nombre d’objet existant de même nom.

slide35

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
les agents

Zoom sur les outils / Les agents

Les Agents
  • Un agent gère l’activité d’un process
  • Un objet du système peut avoir un agent
  • Un agent permet d’attribuer un comportement dynamique à un objet du système.
  • Puissance répartie travail en tâche de fond
les agents1

Zoom sur les outils / Les agents

Les agents
  • 2 types d’agents :
  • Agent simple : qui travaille (col bleu).
  • Exemple : un Feeder
  • Agent-manager : gère l’activité des autres agents (col blanc)
  • Exemple : l’Agent d’un User
agent 2

Zoom sur les outils / Les agents

Agent ? (2)

Un exemple avec les arbres de classement :

architecture des agents

Open

Portal

Zoom sur les outils / Les agents

Architecture des agents
  • Le système (openportal.exe) coordonne des différents Agents.

Classement

des documents

Recyclage

des documents

Alimentation des sources

hi rarchie des agents

Zoom sur les outils / Les agents

Hiérarchie des Agents
  • Les agents sont hiérarchisés
  • Un agent
    • est contrôlé par un Agentpère
    • contrôle un Agent fils
puissance des agents

Zoom sur les outils / Les agents

Puissance des Agents
  • Pour chaque Agent est définie une puissance (power)
  • Cette puissance dépend de son agent père et de ses frères
calcul de la puissance

Zoom sur les outils / Les agents

Calcul de la puissance

Universe

KMCommunity [10000] (90%)

11100

UrlAccess [1000] (9%)

KMUser [100] ( 0,9%)

Fred [5000] (45% de 0.9%)

Cat [6000] (55% de 0.9%)

questions

Zoom sur les outils / Les agents

Questions
  • Si le fils a une puissance supérieure au père que se passe-t-il ?
    • Question-piège. La puissance est relative (par rapport à celle du père considérée comme 100%)
  • Quelle est la puissance maximale possible ?
    • 10.000
slide46

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
2crawl

Résultats

Principe de fonctionnement

Zoom sur les outils / 2Crawl

2Crawl

2Crawl est le module d’exploration du web, qui découvre et surveille les documents provenant de l’Internet.

Il est piloté par l’Agent CrawlSequencer.

  • L’utilisateur établit des profils de recherche : les WebSources
  • - Ces WebSources sont composés :
  • De points de départ vers des sites/moteurs : les gateways
  • Une question sémantique (query) pour filtrer les résultats pertinents
  • des agents d’exploration du Web (Feeders), basés sur les URL

- Un ensemble de page valides et pertinentes, stockées en local, disponibles pour être ventilées dans un arbre de classement.

slide48

Particularités

doc.3

doc.

doc.

doc.n

www.int.

doc.2

doc.4

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

www.int.

doc. non

pertinent

Zoom sur les outils / 2Crawl

- La découverte de documents est optimisée par la capacité de crawling de l’outil

Le crawling consiste à suivre les liens hypertextes contenus dans les pages de résultat identifiées comme pertinentes

Le crawling

est interrompu

Simultanément

N documents

Le web non indexé par les moteurs de recherche est ainsi couvert et exploré de manière efficace (exploration pilotée par la pertinence)

param trage d une websource

WebSource

Feeder

Gateway

Zoom sur les outils / 2Crawl

Paramétrage d’une WebSource

s’appuie sur

s’appuie sur

  • Objet personnel actif
  • Est composé de :
  • query (requête)
  • keywords (mots-clés)
  • feeder
  • Objet personnel actif
  • Est composé de :
  • gateway
  • On peut suivre son activité

Objet standard passif

  • Est composé de :
  • URL (+ paramètres)
  • Types de gateway :
  • ParamURL (moteur)
  • One URL (URL simple)
  • serveur de mails (à venir)
  • serveur de news (à venir)
slide50

Zoom sur les outils / 2Crawl

La question sémantique pour filtrer les réponses renvoyées par les moteurs

Les pages réponses pour la WebSource triées par pertinence

Des Mots-clés pour obtenir des pages réponses

Une gateway à attaquer (moteur Altavista)

slide51

Zoom sur les outils / 2Crawl

2 questions sémantiques (query) différentes :

Query du feeder

  • pour crawler (suivre les liens)

Query de la WebSource

  • pour garder les documents

La query du feeder peut être moins exigeante.

slide52

Zoom sur les outils / 2Crawl

Paramétrage d’une WebSource (2)

Query & Keywords de la websource VS Query & Keyword des feeders :

  •  - Si rien n’est mis au niveau du feeder : pas de keywords et pas de query de crawling :
  •  reprise des keyword de la websource
  •  reprise de la query de la websource avec seuils divisés par deux.
  • - Si query au niveau du feeder mais pas de keyword :
  • query affectée comme keyword.
  • Attention : les keyword définis au niveau de la Websource ne sont pas repris au niveau du feeder, c’est la query du feeder qui fait office de keyword.
  • - Si des keywords spécifiques sont déclarés au niveau des Feeders et qu’il existe des keyword au niveau WebSource, les keywords déclarés au niveau du feeder sont bien pris en compte ( pas de cumul avec les keyword de la WebSource).
administration du crawling

Zoom sur les outils / 2Crawl

Administration du crawling

Pour lancer le crawling :

  • paramétrer la WebSource
  • allumer l’agent de la WebSource
  • allumer l’agent du feeder
  • allumer l’agent de votre User
  • allumer l’agent de Crawl Sequencer
  • vérifier qu’OP est allumé.
administration du crawling 2

Zoom sur les outils / 2Crawl

Administration du crawling (2)

Pour privilégier l’analyse à la recherche :

  • Si vous êtes seul à travailler sur le serveur :
  • Pour accélérer le traitement des Urls déjà téléchargées (downloaded) et freiner ou arrêter le recensement de candidates en attente (waiting) il faut arrêter le Crawl Sequencer.
  • Une fois que la pile des URL téléchargées (downloaded) aura été entièrement dépilée, il faut relancer le Sequencer pour réactiver le passage des downloading et dowloaded.

Note : le nombre de candidats en chargement (downloading) est limité à 100.

administration du crawling 3

Zoom sur les outils / 2Crawl

Administration du crawling (3)

Pour privilégier l’analyse à la recherche :

  • Si vous êtes plusieurs à travailler sur le même serveur :
  • Accélérer le traitement des URLs déjà téléchargées (downloaded)
  •  augmenter la puissance de la Websource (puissance maximale d’un worker 10 000)
  •  augmenter la puissance des Agents pères : User (ex : 5000) / KMUserFolder (ex : 10 000) (dépendances des agents : un agent père contrôle ses agents fils)
  • 2. Ralentir l’entrée de candidats (waiting/downloading)
  •  baisser la puissante de chaque feeder collecteur de candidats
cr er sa gateway
Créer sa gateway

Pour créer une gateway de type OneURL :

- La créer dans un bookmark (http)

  • Pour créer une gateway de type ParamURL :
  • La créer dans sa WebSource
  •  être positionné sur un Folder
cr er sa gateway 2
Créer sa gateway (2)
  • Pour créer une gateway de type ParamURL :
  • Faire plusieurs recherches sur le moteur en question
  • Noter les URL résultantes
  • Répérer la partie commune des URL
  • Remplacer le mot-clé par $keyword$.
global urlfilter to crawl

Zoom sur les outils / 2Crawl

Global URLFilter to crawl

Objectif : ne pas retenir les pages des sites « polluants ».

global urlfilter to keep

Zoom sur les outils / 2Crawl

Global URLFilter to keep

Objectif : ne pas retenir les pages de résultats des moteurs (mais les pages finales des sites dédiés à la thématique).

urlfilter

Zoom sur les outils / 2Crawl

URLFilter

Faire le choix :

3 niveaux :

  • WebSource URLFilter

Cela s’applique t-il seulement à ma websource ?

ex : voila/chaines/chat/…..

  • Feeder URLFilter

Cela peut-il s’appliquer au feeder en général ?

ex : voila/chaine/

Cela peut-il s’appliquer à plusieurs Websources (Global) ?

ex : moteur.voila.fr/S/….

  • Global URLFilter
r acc s no 404

Particularités

Mise à jour du

miroir du WEB

Zoom sur les outils / 2Crawl

Réaccès No 404

- La fraîcheur des URLs est contrôlée périodiquement grâce au ré-accès

WebSource

SITE

WEB

Changements

sémantiques

Ré-accès

périodique

r acc s no 404 2

Zoom sur les outils / 2Crawl

Réaccès No 404 (2)
  • L’activité de reaccess est piloté par l’Agent « No 404 »
  • Par défaut, toutes les Websources actives voient leurs URLS soumises au reaccess, si l’agent « No404 » est démarré.
  • Le reaccess s’applique à toutes les Websources.
  • L’ancienne version du document dans le Mirror est écrasée par la plus récente.
  • Le Span time (écart entre 2 reaccess sur un document = mise à jour dans X temps) est à fixer en secondespour chaque WebSource(onglet Reaccess de la WebSource).
  • Astuce : pour metre une WebSource en réaccès sans crawling :
  • démarrer l’agent de la WebSource,
  • démarrer l’agent « No404 »,
  • arrêter le feeder de la WebSource.
slide63

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
2class

Zoom sur les outils / 2Class

2Class
  • Représentation Arborescente : Arbre de Classement
    • Organisation par raffinement
    • Les nœuds ou catégories définissent le mode de sélection des documents
classification des documents

Zoom sur les outils / 2Class

Classification des documents
  • Le processus automatique de classification (percolation) :
    • Placer les documents dans une ou plusieurs catégories (au besoin)
    • Qualifier les documents classés
slide66

Principe de fonctionnement

Résultats

Zoom sur les outils / 2Class

2Class permet de construire un espace d’information qualifié, en proposant des arborescences d’accès « à la Yahoo » sur un fond d’information.

  • L’utilisateur construit son arbre d’information
  • Des sources d’information sont « branchées » sur l’arbre et alimentent en continu l’arbre de classement
  • Les documents sont répartis automatiquement et de manière non exclusive dans chaque partie et sous-partie de l’arbre en fonction des contraintes d’entrées/sorties définies au niveau de chaque nœud de l’arbre.
  • Ce classement est fait grâce à une analyse sémantique multilingue des textes.

- Les utilisateurs partagent et accèdent, depuis leur navigateur, à l’information utile sur le thème donné, selon une vision structurée

terminologie

Zoom sur les outils / 2Class

Terminologie

Nœud Fils :

Nœud de niveau inférieur

Nœud Père :

Nœud de niveau supérieur contenant un fils

Nœud Racine :

Nœud d’entrée de l’arbre de classement

Nœud Terminal :

Nœud collecteur de document qui ne contient pas de nœud fils

[Schéma] de percolation :

Ensemble des contraintes posées au niveau de chacun des nœuds de l’arbre de classement qui vont déterminer le routage et le classement final des documents

slide68

Animaux

Mammifères

Chiens

Chats

Zoom sur les outils / 2Class

Un arbre de classement est une succession arborescente logique de thèmes et sous-thèmes

Un thèmeest unnœuden soit.

Un thème générique par rapport à des sous-thèmes est ditnœud père, par rapport à desnœuds fils.

Ex : nœud père - Mammifère

nœuds fils - Chien; Chat

Cette appellation est relative : le nœud Mammifère est en même temps un nœud fils par rapport au nœud Animaux.

slide69

Animaux

Mammifères

Chiens

Chats

Zoom sur les outils / 2Class

Le classement automatique des documents se fait en fonction des contraintes posées au niveau de chaque nœud de l’arbre (configuration des nœuds)

  • Lescontraintessont de type :
  • sémantique(contenu)
  • * requête conceptuelle
  • « booléene » :
  • * langue du document
  • * date (à venir)
  • * autres … (champs)
param trage de l arbre

Zoom sur les outils / 2Class

Paramétrage de l’arbre

Wizard de création de nœuds

2 options : simple et avancée

Plusieurs étapes, la question sémantique est précisée explicitement, ainsi que la stratégie de percolation.

La description sert de mot-clé

Note : Il est conseillé au début de suivre le mode simple, le paramétrage pouvant être ajusté ensuite.

slide71

L’administrateur dispose de 3 possibilités :

  • Essayer de passer d’abord
  • Essayer de garder d’abord
  • Essayer de passer et de garder

Zoom sur les outils / 2Class

D’abord ? Ensuite …

  • La commande Fonctionnement pilote les 2 activités d’un nœud, composée d’un
  • Pour Garder
  • Pour Passer

Un nœud effectue toujours 2 traitements : Pour Garder / Pour Passer. L’un D’abord, l’autre Ensuite !

slide72

Zoom sur les outils / 2Class

1

2

3

Conservation des URL pertinentes pour le nœud

1

3

Les documents sont soumis au nœud

Ces pages sont ensuite analysées et filtrées à la lumière de la question sémantique du nœud

2

slide73

Exemple : Les nœuds de niveau Père peuvent servir à pré-filtrer les documents en fonction de leur contenu pour leurs Fils

Des items identiques au sein d’un même arbre

Des points de vue différents = des préfiltrages différents

Zoom sur les outils / 2Class

Pour chaque nœud de l’arbre, l’administrateur du système définit également les contraintes de circulation des documents entre les noeuds

Il décide du rapport de dépendance devant exister entre les différents nœuds de l’arbre

(ex : préfiltrage d’un fils par le père ; isoler les documents non classés)

Dans tous les cas il organise le système de percolation de manière à retenir des documents au niveau des nœuds spécifiques (dits nœuds fils)

slide74

Illustration de la percolation

Essayer de garder d’abord

Configuration courante d’un nœud terminal

slide75

Illustration de la percolation

Essayer de passer d’abord

Nœud Père

Nœud Fils

Les documents qui n’ont pu être classés au niveau dufils remontent pour être soumis au père

slide76

Illustration de la percolation

Essayer de passer et de garder

B

C

Distribution du document

A

Nœud Père

A

A

1

1

Nœud Fils

A

Les documents admis dans les nœuds fils sont également classés dans les nœuds pères

A

slide77

Illustration de la percolation

Parcours d’un document dans l’arbre

f

Les documents refusés ou conservés au niveau d’un nœud sont égalementsoumis aux autres nœuds de l’arbre…

A

… en percolant dans l’arbre selon les critères de circulation et de filtrage définis

… ce qui permet qu’un document soit classé dans plusieurs nœuds de l’arbre

A

test de la question s mantique

Zoom sur les outils / 2Class

Test de la question sémantique

Test directement à partir de l’interface de paramétrage de noeud

Note : il est conseillé de toujours tester sa question sémantique dans la base de connaissance

administration de percolation

Zoom sur les outils / 2Class

Administration de percolation

Pour lancer la percolation :

  • paramétrer l’arbre
  • allumer l’agent de l’arbre
  • allumer l’agent de votre User
  • allumer l’agent OPclass.exe
  • vérifier qu’OP est allumé.
treecross
TreeCross

2 arbres, les documents appartenant aux 2 catégories, 2 extraits pertinents, 2 notes de pertinence :

slide81

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
2makesense l diteur de base de connaissance

2MakeSense permet d’éditer et d’enrichir des bases de connaissance qui permettent au système d ’appréhender le sens d’un texte

Surcouche domaine

spécifique

base de connaissances

Zoom sur les outils / 2MS

2MakeSense : l’éditeur de base de connaissance

Une base évolutive propre à la culture de l’entreprise, ses projets, son environnements (concurrents, technologies,…)

Une représentation des objets de la langue encodée sous forme de concepts et de relations de sens entre ces concepts

KB [Knowledge Base] : la base de connaissance

slide83

Zoom sur les outils / 2MS

2MakeSense propose un modèle de représentation sémantique de la connaissance, autour de :

Concepts

Lexicalisés (les différentes formes d’expressions de l’idée dans un texte)

concept : voilier

lexicalisation : bateau à voile, voilier

Fléchis (singulier, pluriel, masculin, féminin, conjugaisons)

Relations entre les concepts

Hyperonymes (est une sorte de…) :

un chat est une sorte d’animal

Idée associée :

le miaulement est une idée associée au chat

slide84

Relations sémantiques

La liste des concepts

Le concept

Les lexicalisations

Zone de test d’analyse d’un texte

Zoom sur les outils / 2MS

slide85

2Class

L4U

Place de la KB dans ActiveWatch

2Crawl

2MakeSense

Constituer

un corpus

Définir un

univers textuel

Expliciter

une thématique

Publier

dans un portail

slide86

Prise en compte des mises à jour de la KB par 2Crawl

Il existe actuellement 2 modes :

  • 2Crawl fait appel à un fichier KB.k4u (AdressType = 0)

1. exporter la base de connaissance à chaque fois qu’elle a été modifiée

2. Arrêter / redémarrer OP

  • 2Crawl fait appel à la base SQL directement (AdressType = 1)

1. Bouton Refresh KB :

2. Arrêter / redémarrer OP

slide87

Prise en compte des mises à jour de la KB par 2Class

  • Pour que les modifications effectuées dans la KB soient prises en compte par 2Class, il est nécessaire :
  • d’exporter la base de connaissance à chaque fois qu’elle a été modifiée (à la fin de la journée, par exemple)
  • arrêter / redémarrer 2Class :
  • réinjecter les documents précédemment classés.
slide88

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
plan de la partie
Plan de la partie
  • Identification auprès du système
  • Sécurité
    • Présentation générale
    • La visibilité sur les objets
    • Les rôles
  • Création d’utilisateurs, de groupes
s curit
Sécurité
  • Ne se « log » pas qui veut
  • Droits d’accès différents en fonction des types d’utilisateurs
  • Gestion par rôles
    • Si un acteur du système ne rentre pas dans un rôle précis, il ne peut effectuer certaines tâches dans OpenPortal4U™
la s curit
La sécurité

Utilisateur

Groupes

Visibilité

Rôle

Visibilité

Objet

la visibilit
La visibilité

System

Dev

Admin

EndUser

Anonymous

la visibilit 2
La visibilité (2)

Visibilité de l’utilisateur

Visibilité d’un objet

les r les
Les rôles
  • Les utilisateurs peuvent réaliser certaines actions sur les objets du système.
  • Ces actions sont matérialisées par des rôles.
  • Pour chaque Objet il y a 3 rôles
    • Viewer (consulter)
    • Destructor (détruire)
    • Editor (modifier)
  • Un utilisateur ne pourra réaliser une action sur un objet que s’il est enregistré dans un rôle de cet objet.

Exemple : pour donner droit à M.X de voir votre arbre, il faut aller sur cet arbre.

cr ation d utilisateurs
Création d’utilisateurs
  • Création d’un compte utilisateur
cr ation d utilisateurs 2
Création d’utilisateurs (2)
  • Paramétrage du compte utilisateur
les groupes
Les groupes
  • Les utilisateurs appartiennent à des groupes
    • Des rôles particuliers sont associés à un groupe donné
  • Les groupes sont hiérarchisés
slide101

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
slide102

Traitement d’un cas concret

Réalisation d’un portail de veille sur le Commerce Electronique

Chronologie des différentes étapes de réalisation

Travail préliminaire

  • Définition du Thème (aspects à aborder, documents attendus)
  • Définition des différents sous-thèmes (structuration et vocabulaire)
  • Construction d’un arbre de classement à partir du travail de définition

1

2

3

Utilisation des outils

4

Évaluation de l’existant et 1er niveau de renseignement de la base de connaissance

Repérage et collecte d’information (paramétrage d’une WebSource)

Paramétrage du classement automatique des documents

Évaluation des résultats

Affinage, optimisation

5

6

7

8

slide103

Définition & problématique

Commerce électronique :

Quels sont les secteurs du marché en ligne ? Les modalités ? Quels sont les

acteurs en France et à l’étranger ? Les services annexes ? Où en est la réglementation ?

Traitement d’un cas concret

1

Un travail de définition/délimitation du thème de recherche, de l’objectif du portail, des documents attendus

Objectif de ce travail : cerner clairement la problématique, isoler les idées clés, définir des sous-thèmes

Un travail utile POUR :

1- définir la structure globale de l’arbre de classement

(cohérence et adéquation aux besoins)

2- orienter les WebSources (finesse et exhaustivité : mots-clés, sources)

3- évaluer et affiner les résultats selon l’axe attendu

slide104

Résultante de ce travail de définition

Quatre grandes idées clés = Quatre grands thèmes dans l’arbre de classement

1 - Produits

2 - Modalités

3 - Réglementation

4 – Net-compagnies

Traitement d’un cas concret

2

Quatre grandes idées clés

  • Secteurs concernés (grande consommation, finances, immobilier, services à domicile…)
  • Modalités : Enchères en ligne / Achats groupés / payement sécurisé…
  • Législation (confidentialité, protection du consommateur…)
  • Acteurs (net-compagnies)
slide105

Traitement d’un cas concret

2

Un travail de redéfinition de idées clés du plan (grands thèmes)

Objectif de ce travail : lister le lexique professionnel relatif au projet

Définition des différents sous-thèmes / Mots-clés retenus

Secteurs / Modalités / Législation :

  • Grande consommation
  • Modalités
  • Réglementation
  • Net-compagnies

Alimentation, Hi-Fi, voyages…

Payement électronique, achats groupés…

Ministère d’économie, CEE…

net-compagnie…

Un travail utile POUR :

  • tester l’existant dans la base de connaissance et identifier les nouveaux concepts clés à introduire
  • définir les mots-clés pour la WebSource

OCE – observatoire du commerce électronique ; ATI – accord sur les technologies de l’information

slide106

Traitement d’un cas concret

3

Construction d’une arborescence structurée à partir du travail de définition de la recherche (thème, sous-thèmes)

Le travail de définition permet de définir l’ossature de l’arbre de classement

Celui-ci peut être entièrement pré-défini dans sa structure fine (ensemble des sous-thèmes précis) ET/OU déroulé en fonction du corpus

L’important étant de valider cette structure auprès des utilisateurs finaux afin de couvrir correctement leurs besoins

Définition de l’arbre puis mise en œuvre avec 2Class

slide107

Traitement d’un cas concret

4

Le thème de la recherche est-il déjà défini dans la base de connaissance ?

slide108

Traitement d’un cas concret

4

Concepts associés au Commerce électronique

slide109

Mieux vaut compléter la base de connaissance progressivement, de manière pragmatique, plutôt que de vouloir d’emblée décrire l’ensemble du domaine (du projet)

Les résultats permettront de préciser de manière pragmatique sur quels points la base de connaissance nécessite d’être enrichie.

Traitement d’un cas concret

4

Dans cet exemple le 1er niveau de connaissance est assuré. Il n’est pour l’instant pas nécessaire d’affiner plus avant.

La base sera complétée en fonction des résultats produits par le système.

Note : Si cela n’avait pas été le cas, il aurait été nécessaire d’expliciter et désambiguïser à un premier niveau la notion de commerce électronique (convoquer ou créer les idées de net-compagnie, de marketing Online, etc …)

slide110

Créer sa WebSource

1

Collecte dans une WebSource

2

Analyse du document suivant les critères sémantiques

3

Conservation des URL pertinentes pour la WebSource

Traitement d’un cas concret

5

3

2

1

slide111

Un travail utile POUR :

- consulter efficacement les résultats et affiner (kb, structure de l’arbre, spécialisation des WebSources)

Configuration du fonctionnement de chaque nœud pour orienter la circulation des documents dans l’arbre

- « essayer de garder d’abord »

- « essayer de passer d’abord »

- « essayer de passer et de garder»

Traitement d’un cas concret

6

Un travail de paramétrage de l’arbre de classement pour exploiter le corpus de documents

Objectif de ce travail : obtenir une première grille de consultation des documents (documents de la WebSource ventilés dans un arbre)

slide112

Traitement d’un cas concret

6

Paramétrage de chaque nœud de l’arbre

Organiser le système de percolation pour retenir en priorité les documents au niveau des noeuds «spécialisés », dits nœuds fils.

La plupart du temps il s’agit des nœuds du fond de l’arbre de classement.

m thodologie de param trage de percolation
Méthodologie de paramétrage de percolation

« pour garder »

  • Nœud terminal (garder les documents au dernier niveau)
  • Nœud intermédiaire (donner l’accès aux documents à partir du niveau 2-3)
  • Nœud racine (temporairement, nœud-piège pour identifier de nouvelles catégories)

« pour passer »

« Tout passer » – noeud structurant, pas de filtre :

Pays

Europe - pas de filtre, tout passer

France

Allemagne…

« Passer en filtrant » - affiner le tri, pré-filtrage par le nœud-père.

slide114

Les résultats peuvent être affinés en intervenant sur :

L’évaluation des résultats permet :

- identifier des sources spécialisées

- le focus de la WebSource(sources spécialisées, nouveaux mots-clés)

2Crawl

Collecte

- évaluer les besoins d’enrichissement de la base de connaissance (ajouts)

- ajouts de lexicalisations, de concepts, de liens, …

2MS

Analyse

- ajuster la requête sémantique / nettoyer manuellement

  • enrichir et ajuster la requête sémantique (OR, AND, NEAR)
  • rejets manuels

Analyse

2Class

- envisager des sous-thèmes intéressants à développer /affiner

- ajouts de nœuds, réorganisation partielle, création de nœuds pièges

Classification

- réajuster les seuils & les niveaux de filtrage (pré-filtrage inutile par le père direct)

- régler le volume de résultats

Classification

« l ’affinage des réglages boucle sur les trois outils : Class4U, IM4U et MoreSense4U

peaufinage du classement
Peaufinage du classement
  • Trop de documents dans un nœud :
  • Query trop large => affiner
  • Seuils trop bas => augmenter
  • Définition dans la KB trop large (réseau) => corriger
  • Pas de filtre au niveau du père => mettre un filtre
slide116

0 ou pas assez de documents dans un nœud :

  • vérifier que le nœud-père n’est pas paramétré en « Ne rien passer »
  • La thématique du nœud n’est pas couverte pas les sources => créer une Source spécialisée
  • Query trop restrictive => élargir
  • seuils trop hauts => baisser la densité
  • rien dans la KB ne correspond à la Query => renseigner la KB
slide117

Plan de la formation

  • Présentation générale (OP4U, ActiveWatch™, sémantique, modules)
  • La démarche de veille avec AW en 4 étapes
  • Le mécanisme d’analyse de contenu
  • Présentation des outils mis en oeuvre (fonctions, terminologie)
    • Espace personnel utilisateurs : Arbres, WebSources, Bookmark
    • Administration des Agents
    • 2Crawl : gestion des WebSources
    • 2Class : Arbres de classement
    • Présentation de la Base de la Connaissances, son rôle dans ActiveWatch™
    • Gestion de sécurité : visibilité, rôles
  • Traitement d’un cas concret : le commerce électronique
  • Best practices
slide118

1- Définir clairement la problématique

Définition, décomposition du thème (Progress4U)

Se munir de documents types illustrant la thématique

Rassembler les sources spécialisées déjà identifiées

Best Practices

Définition du thème de recherche(idées clés, thèmes, sous-thème, vocabulaire)

slide119

3- Évaluation de l’existant et enrichissement

2- Définir la structure de l’arbre de classement

Préparation de l’arbre « sur écran Excel »

Valider la structure de l’arbre avec les utilisateurs finaux

Test du thème de la recherche dans 2MS + notions principales

Évaluation du réseau sémantique et des lexicalisations (multilingue)

Enrichissement de 1er niveau seulement (pour désambiguïsation) si nécessaire

Best Practices

slide120

4-Collecte de documents

Best Practices

Définir une WebSource

Les Mots-clés

  • concernent le thème associé
  • pas trop restrictifs
  • - tester sur quelques moteurs

La question sémantique (query)

  • générique, représentative du thème
  • vérifier la validité de la question dans la KB (copier/coller)

Sources

- Choisir des sources appropriées en rapport avec les thèmes du projet ou le type d’informations attendues (sources spécialisées, sources sur les entreprises, news éco, news techniques,…)

Note : une recherche sur des moteurs généralistes peut s’avérer suffisante ou complémentaire (découverte de sources spécialisées)

slide121

5- Paramétrage du classement

Configurer le nœud racine en Garder en Filtrant (sans requête sémantique) pour isoler tous les documents non classés

Configurer les nœuds père en Essayer de Passer d’abord + Garder en Filtrant pour identifier les documents «génériques » d’un sous-thème non classés dans les Fils (plus spécialisés)

Note : Ces nœuds pourront ensuite passés en Ne Rien Garder, une fois les informations nécessaires identifiées

Toujours vérifier la validité de la question sémantique dans la base de connaissance

Best Practices

slide122

Fin de la partie théorique

Administration d’ActiveWatch

Pour les travaux pratiques :

réfléchir à la thématique de votre portail !

Vous avez des questions ?

ad