Les syst mes de question r ponse
This presentation is the property of its rightful owner.
Sponsored Links
1 / 47

Les systèmes de Question-Réponse PowerPoint PPT Presentation


  • 75 Views
  • Uploaded on
  • Presentation posted in: General

Les systèmes de Question-Réponse. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT. 1. Le TALN et le Question-Réponse 2. Question-Réponse et B to C 3. Question-Réponse et B to B 4. Quelques perspectives. Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT.

Download Presentation

Les systèmes de Question-Réponse

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Les syst mes de question r ponse

Les systèmes deQuestion-Réponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

1. Le TALN et le Question-Réponse

2. Question-Réponse et B to C

3. Question-Réponse et B to B

4. Quelques perspectives

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1. Le TALN et le Question-Réponse

  • Qu’est-ce qu’un système de Question-Réponse ?

  • Un système capable d’extraire une ou des réponses à une question posée sur un corpus en langage normal (« Comment s'appelle le ministre des finances polonais ? », « Où se situe Kitchinev ? », « Qu'est-ce que l'OMC ? »)

  • Problématique du type de question,

  • Une réponse ou des réponses, éventuellement une liste, à partir d’un document ou de plusieurs, une réponse du type oui/non…,

  • En une seule langue, en plusieurs…

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.1. Question-Réponse et Traitement du Langage

  • Un système de Question-Réponse semble une application TAL par excellence,

  • Pourtant certains systèmes sont uniquement basés sur du pattern matching (cf Soubotine & Soubotine),

  • Mais ces systèmes semblent avoir atteint leurs limites, en dehors de contextes ad hoc, du type CV, etc.

  • Les questions complexes sont hors de leur portée,

  • Les systèmes les meilleurs à TREC et CLEF sont des systèmes basés sur le TAL.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.2. Synapse Développement et le traitement du langage

  • Société crée en janvier 1994, à partir d’une autre société ayant une expérience du traitement de texte,

  • Développement d’un analyseur syntaxique et d’un correcteur orthographique et grammatical,

  • Développement en parallèle de riches ressources linguistiques, constamment mises à jour,

  • Commercialisation en B2C de logiciels de correction et d’analyse de la langue, en B2B de composants linguistiques.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Quelques données sur la société :

  • CA moyen : 500 k euros,

  • Employés : 7 dont 3 ingénieurs en développement et 2 linguistes,

  • Références :

    • Outils de traitement de la langue pour le français intégrés aux logiciels Microsoft,

    • Intégration de composants dans l’Encyclopédie Universalis, pour l’AFP, les Pages Jaunes, etc.

    • Plus de 50 000 clients en B to C.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.3. Nos outils de traitement de la langue

  • Analyseur syntaxique

  • Basé sur des méthodes essentiellement statistiques et des jeux de règles : règles d’accord et règles d’habitude (un verbe a au plus un COD, etc.),

  • Conçu pour la correction, donc n’obéissant pas à une grammaire formelle rigide, laquelle rendrait impossible la correction,

  • Très optimisé pour autoriser la correction en temps réel (12 000 mots/seconde sur Pentium 3 GHz)

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Désambiguïseur sémantique

  • Egalement basé sur des compilations statistiques,

  • Utilise les données linguistiques, ontologiques et sémantiques et, surtout, le contexte de voisinage,

  • Segmentation des sens moins restrictive que dans les dictionnaires papier car :

    • Ne concerne que les mots courants

    • Comment distinguer les sens trop voisins ?

  • Taux de bonne désambiguïsation : 87% en moyenne.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Taxinomie sur 4 niveaux

  • Taxinomie globale couvrant une part importante du vocabulaire (150 000 lemmes et expressions),

  • Taxinomie à quatre niveaux, 256 feuilles au 3e niveau et 3781 feuilles au 4e niveau,

  • Taxinomie parallèle, actuellement complète pour le français, l’anglais, l’espagnol et le portugais, en cours pour l’allemand et l’italien,

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Gestionnaire de synonymes

  • Plus de 37 000 entrées lemmatisées, plus de 250 000 synonymes lemmatisés, soit 4 500 000 synonymes,

  • Distinction des synonymes par sens pour les mots-vedettes et pour les synonymes,

  • Coefficient de proximité synonymique, calculé par similitude de contexte,

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Correction orthographique et grammaticale

  • La correction est un domaine en soi,

  • Mais elle peut s’appliquer dans la plupart des composants car chacun fait des fautes,

  • Taux de correction grammaticale d’environ 85% avec une fausse erreur environ pour 800 mots,

  • Très dépendant de l’utilisateur et du domaine, mais les vocabulaires très riches s’appliquent même à des spécialités « pointues ».

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.4. Nos ressources linguistiques

  • Dictionnaire « orthographique »

  • Plus de 200 000 lemmes (soit plus de 3 fois les dictionnaires courants et 2 fois le Grand Robert ou le Tlf),

  • Plus de 40 000 noms propres avec informations sémantiques,

  • Données sur le domaine et sur la fréquence, calculée à partir d’un corpus de fond de plus d’un milliard de mots,

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Dictionnaire « grammatical »

  • Plus de 70 000 lemmes, dont :

    • environ 45 000 lemmes monosémiques,

    • environ 25 000 sens pour environ 9 000 mots polysémiques,

  • Plus de 50 000 expressions (=> 120 000 fin 2006)

  • Données grammaticales et sémantiques, références croisées aux autres dictionnaires,

  • Cf. programme de gestion des bases grammaticales.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Dictionnaires de traduction

  • Dictionnaires de traduction pour tous les couples de langues : français – anglais – allemand – espagnol – portugais - italien,

  • Plus de 180 000 lemmes et expressions traduites, avec distinction des sens, pour le français, l’anglais, l’espagnol et le portugais, 80 000 pour l’allemand et l’italien (en cours de mise à niveau),

  • Ajout prochain d’environ 50 000 expressions pour le couple français-anglais,

  • Dictionnaire de traductions de noms propres (6 000)

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.5. Système de Question-Réponse

  • Développé dans le cadre d’un projet ANVAR entre 1999 et 2001,

  • Puis dans le cadre d’un projet européen TRUST entre fin 2001 et fin 2003,

  • Actuellement dans le cadre du projet européen M-CAST, sur 2005 et 2006,

  • Caractéristiques principales : vise le B2B et le B2C, multilingue, utilisant intensivement le TAL.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Une architecture modulaire

Module

Linguistique

français

Module

Linguistique

italien

Module

Linguistique

portugais

Module

Linguistique

polonais

Module

Linguistique

anglais

Moteur d’indexation

Moteur d’extraction de

blocs de texte

Documents

Visualisation

Des résultats

Index

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Question

Réponse(s)

Documents

Indexation

Traitement Question

Extraction réponse

Découpage des blocs

Correction orthographe

Extraction réponse(s)

Correction orthographe

Analyse syntaxique

Ontologie

générale

Cohérence, justification

Analyse syntaxique

Analyse conceptuelle

Tri des phrases

Analyse conceptuelle

Extraction mots-clés

Sélection phrase(s)

Résolution anaphores

Type de la question

Dico des

formes

dérivées

Détection des métaphores

Index entités nommées

Traduction si multilingue

Résolution des anaphores

Index têtes dérivation

Recherche dans Index

Mots-clés du bloc

Index des concepts

Synonymes + converses

Type de la réponse

Ontologie

des types

questions

Index des domaines

Sélection des blocs

Analyse conceptuelle

Index mots-clés blocs

Ordonnancement blocs

Analyse syntaxique

Index des types de

questions-réponses

Extraction des blocs

Correction orthographe

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.6. Technologies TAL spécifiques au QR

  • Certaines technologies décrites plus haut ont été appliquées au QR de manière innovante (cf. correction),

  • Mais des techniques plus spécifiques ont dû être développées :

    • Pour l’indexation

    • Pour l’analyse de la question

    • Pour l’extraction de la/les réponse(s)

  • Ces techniques sont décrites rapidement maintenant.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Dictionnaire de dérivations

  • Dérivations plutôt que stemming,

  • 66 780 dérivations renvoyées vers 24 307 têtes de dérivations ou équivalents,

  • Plus de 10 000 équivalents ou synonymes vrais (type cancérologie – carcinologie – oncologie),

  • Têtes de dérivations et dérivations distinguées par sens, selon classification exposée plus haut,

  • Réduction de l’index d’environ 40%,

  • Cf. visu dictionnaire de dérivés.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Résolution des anaphores

  • Anaphores pronominales prises en compte (65% des anaphores) + adjectifs possessifs (30%),

  • Mais dispositif parallèle pour les noms propres,

  • Taux de bonne résolution de 83% pour les pronoms et 69% pour les adjectifs possessifs (moyenne : 79%),

  • Très difficile pour « en » (50%), « y » (55%),

  • Mais 94% pour les démonstratifs,

  • Statistiques effectuées sur un corpus de 1906 anaphores.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Détection des métaphores

  • Métaphores ou polysémie (cf. requin),

  • Bruit causé par les métaphores,

  • Problématique plus large du système dit intelligent,

  • Taux de rappel : 78 %. Taux de précision : 93 %.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Typologie des Questions et Réponses

  • Clé essentielle des systèmes de Question-Réponse,

  • Typologies existantes conçues pour les évaluations du type TREC,

  • 86 types de questions et réponses retenus,

  • Détection du type de la question par jeu de règles,

  • Détection de la réponse par délimitation d’entités nommées (en général) et vérification de cohérence,

  • Cf. typologie des questions-réponses.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 1.7. Evaluation de notre système de Q-R

  • Pour notre système de QR, nous avons participé aux campagnes d’évaluation EQueR (en 2004) et CLEF (2005 et 2006),

  • Les évaluations sont lourdes pour une petite société mais elles aident à se faire connaître.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Campagne d’évaluation EQueR

  • Organisée par les ministères de l’Industrie, de la Recherche et de la Culture,

  • Dans le cadre de Technolangue (www.technolangue.net),

  • Campagne portant sur un corpus général (1,5 Go) et un corpus spécialisé médical (150 Mo),

  • Six participants effectifs, dont 2 industriels (Sinequa et Synapse Développement.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Métrique des résultats

  • La métrique utilisée pour noter les résultats était le MRR (Mean Reciprocal Rank), c’est-à-dire 1 pour une réponse exacte en première position, ½ pour une réponse exacte en seconde position, 1/3 pour une réponse exacte en troisième position, etc. Seules 5 réponses étaient prises en compte, sauf pour les questions binaires ou une seule réponse justifiée était acceptée,

  • Pour les questions dont la réponse était une liste, la métrique utilisée était le NIAP (Non Interpolated Average Precision).

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Le moteur de Questions-Réponses de Synapse Développement évalué pour EQUER était une préversion de notre logiciel grand public QRISTAL,

  • Le système testé ne disposait pas encore de l’ensemble des fonctionnalités d’extraction de réponse exacte,

  • Avec EQUER, Synapse Développement participait à sa première campagne d’évaluation de moteurs de questions-réponses,

  • Plusieurs autres participants avaient déjà été évalués dans TREC-QA ou CLEF-QA, pour le moteur en langue anglaise ou en langue française.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Quelques données techniques

  • L’ensemble des 500 questions du corpus général est examiné par le moteur en 23 minutes et 17 secondes, soit un peu moins de 3 secondes par question,

  • La vitesse d’analyse linguistique des blocs est d’environ 400 Mo/heure à l ’indexation, soit 18 000 mots/seconde. La vitesse d ’analyse et d’extraction de réponse est d ’environ 230 Mo/heure, soit 10 000 mots/seconde,

  • Sur 500 questions, le type correct a été déterminé dans 98% des cas,

  • Ces tests de vitesse ont été effectués sur Pentium 3 GHz avec 1 Go de mémoire vive.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Evaluation CLEF 2005

  • Nous avons participé à la campagne d’évaluation CLEF en 2005 (et nous participons en 2006) en monolingue (français) et en multilingue (anglais -> français, portugais -> français, italien -> français),

  • Le corpus est un sous-ensemble d’EQueR (0,5 Go),

  • Une seule réponse « exacte » est prise en compte,

  • Les questions sont quasi toutes factuelles ou définitoires,

  • 200 questions par langue (contre 500 dans EQueR).

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Résultats de l’évaluation CLEF 2005

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

Résultats par type de question

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 2. Question-Réponse et B to C

  • Dès novembre 2001, sous le nom de « Chercheur », nous avons commercialisé un système de Question-Réponse, alors uniquement monolingue,

  • Depuis novembre 2004, nous commercialisons ce système sous le nom de Qristal (acronyme de « Questions-Réponses Intégrant un Système de Traitement Automatique des Langues »),

  • Ce logiciel grand public est le premier du genre,

  • Comme souvent les précurseurs, il a dû mal à se faire une place !

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Conception de Qristal

  • Orienté corpus fermé et Web, via un métamoteur,

  • Conçu à partir de tests utilisateurs et des réactions au précédent logiciel « Chercheur »,

  • Tient compte de la limite de tolérance d’attente observée: environ 3 secondes,

  • Sous-estimation du temps passé à rechercher une réponse dans les moteurs classiques,

  • Questions en langage naturel ou en booléen.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Leçons tirées de la commercialisation

  • Difficile de vendre un logiciel de Question-Réponse quand les moteurs sont « gratuits »,

  • Ne pas sous-estimer le côté jeu dans la dérive de page en page,

  • Difficile d’imposer un logiciel d’un nouveau type (cf. certaines questions posées par des utilisateurs de Qristal),

  • Inégalité des résultats selon les langues (français et anglais quasi seules utilisées).

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Système de QR et moteurs de recherche

  • Distinction entre recherche sur corpus et recherche sur le Web,

  • Temps de réponse et temps pour extraire la réponse,

  • Habitude de questions en deux ou trois mots,

  • Test comparatif Google Desktop – Qristal (papier EACL, avril 2006)

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 3. Question-Réponse et B to B

  • Notre approche du B to B est directement liée aux projets européens auxquels nous participons, spécialement le plus récent, M-CAST (bibliothèques, ouvrages numérisés),

  • Les problématiques d’entreprise diffèrent beaucoup du B to C (ontologies spécifiques, types de questions peu fréquents en B to C comme des demandes de bibliographie, etc.)

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Projet M-CAST

  • Testé sur la bibliothèque nationale Tchèque et la bibliothèque de Torun,

  • Traite plusieurs millions de documents numérisés,

  • Prend en compte les méta-données et la classification CDU,

  • Accepte les questions et fournit les réponses en anglais, français, italien, portugais, polonais et tchèque,

  • Sera implanté sur les portails des deux bibliothèques tests.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • 4. Quelques perspectives

  • Les systèmes de Question-Réponse sont encore au stade de la chrysalide,

  • Qristal est le seul système commercialisé en B to C,

  • Les implantations opérationnelles en B to B sont très réduites,

  • Les résultats des évaluations montrent que le factuel est bien traité par les meilleurs systèmes,

  • Ces résultats montrent aussi que les questions du type « pourquoi » ou « comment » sont encore mal traitées.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Dans quelques années tous les moteurs traiteront les questions en langage naturel,

  • Les applications mobiles ne peuvent traiter que ce type d’interrogation (imaginer « ouvrez les guillemets »…),

  • Nos contacts commerciaux indiquent que le marché mûrit et que les entreprises prennent conscience du potentiel des systèmes de QR (cf. EADS),

  • Quaero devrait permettre d’imposer le Question-Réponse en B to B comme en B to C, sur les 5 ans à venir.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

  • Conclusions

  • Le développement d’un système de QR est coûteux (plus de 20 années-homme avec des ressources préexistantes importantes),

  • La typologie de questions-réponses est capitale,

  • Le développement d’un vrai moteur d’inférence pourrait permettre d’améliorer les résultats pour les questions « complexes »,

  • Les contraintes de temps de réponse imposent des outils de base très performants et des contraintes lourdes pour le développement.

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


Les syst mes de question r ponse

FIN

J’attends vos questions !

Merci !

Séminaire DGA/CEP, 27 juin 2006, Synapse Développement, D. LAURENT


  • Login