200 likes | 345 Views
Un environnement de développement pour le TALN 15/12/2OO1. Christine Chardenon, FTR&D DMI/GRI. Plan. Critères de développement Architecture : applicatifs Architecture : le Cœur TALN Données linguistiques Livrables Conclusion. Critères de développement.
E N D
Un environnement de développement pour le TALN15/12/2OO1 Christine Chardenon, FTR&D DMI/GRI
Plan • Critères de développement • Architecture : applicatifs • Architecture : le Cœur TALN • Données linguistiques • Livrables • Conclusion
Critères de développement • Indépendance par rapport aux données linguistiques • Robustesse • Souplesse d’utilisation • Sorties multiples • Tracabilité de chaque module • Portabilité (C,C++ sous Solaris UNIX, LINUX, … WINDOWS) • Modules paramétrables • Stockage des résultats dans un graphe d’analyse
Abrégeur TALN topo Analyse thématique QA Architecture : applicatifs Serveur
Segmentation Analyse Minimale Chunking Analyse En Dépendance Graphe sémantique Architecture : le coeur
Le 15/12/2001, à 11h30, ellemange une peche avec son couto . Fr Segmentation Segmentation (Le MOT)(15/12/2001 DATE)(, SEP) (à MOT)(11H30 HEURE)(, SEP) (ellemange MOT)(une MOT)(peche MOT)(avec MOT)(son MOT) (couto MOT)
Méthodes correctives Analyse Minimale Traduction de Traits Interprétation de segments Analyse Lexicale Création d’unité lexicale Exact Utilisateur Correctif Analyse morphologique Analyse minimale
une peche Correction par réaccentuation Correction phonétique couto Analyse lexicale Une, DET-SING-FEMN une, PRN-SING-FEMN Accès exact Pêche,NOM-FEMN-SING Pèche,VERB-1PRS-SING Pêché,VERB, PART-PAS … Couteau,NOM-MASC-SING couteaux,NOM-MASC-PL
Elle, PRN-SUJ-3PRS-FEMN Elle, PRN-OBJI-3PRS-FEMN Mange, VERB-3PRS Mangé, VERB-PART-PASS éclatement ellemange Analyse morphologique • Analyse morphologique • Affixation : indéscotchable, lyaktubu • Compositionnelle : SchneeBrettGefahr • éclatement
Analyse minimale : profil • [[Corrections] • ListeDesCorrections = "RéAccentuation","STOP", "CorrectionPhonétique" ,"CorrectionParConcaténation","STOP", "CorrectionMorpho", "CorrectionTypographique", "STOP","CorrectionMorphoPrédictive", "STOP" • ListeDesCorrectionsFormesCapitalisées = "RéAccentuation " • FichierPourLaCorrectionMorphoPre = morphoPredFCorrection.ini • PasDAnalyseTypoPourUnMotAyantUnNombreDeCaracteresStrictementInferieurA = 5 • FichierPourLaCorrectionMorpho = morphoFCorrection.ini • [NomsPropres] • CatégoriesDesMotsPouvantÊtreDesNomsPropresEnDébutDePhrase = "NOM" • NomPropreAjoutésAuxAutresAnalyses = oui
… ellemange une peche avec son couto … Chunking Analyse morpho-syntaxique Elle/elle/P mange/manger/V une/un/D pêche/pêche/N avec/avec/S son/mon/P couteau/couteau/N
… ellemange une peche avec son couto … Chunking Chunking Analyse en dépendance Analyse syntaxique … ellemange une peche avec son couto … Elle/elle/P/1/SUJ(2) mange/manger/V/2 une/un/D/3/DET(4) pêche/pêche/N/4/OBJD(2) avec/avec/S/5/P(8) son/mon/PP/6/PP(7) couteau/couteau/N/7/GPN(2)
Arbre de dépendance • GS1 GV-PT, ID3(31), ( NOMBRE/SINGULIER GENRE/FEMININ PERSONNE/3PRS SUJ TRANSITIF/OUI OBJD ) Terminaux mange [ manger , ( PERSONNE/1PRS/3PRS CATEP/GV-PT TRANSITIF/OUI NOMBRE/SINGULIER ), ( us_eat) ] • Fonction: SUJ (3) ,PRN-S, ID1(24), ( NOMBRE/SINGULIER GENRE/FEMININ PERSONNE/3PRS ) Terminaux elle [ je , ( PERSONNE/3PRS CATEP/PRN-S GENRE/FEMININ NOMBRE/SINGULIER ) , ( ) ] • Fonction: OBJD (3), GN-NC, ID10(32), ( NOMBRE/SINGULIER GENRE/FEMININ DETER ) Terminaux pêche [ pêche , ( CATEP/GN-NC GENRE/FEMININ NOMBRE/SINGULIER COR/REACC ) , ( us_peach ) ] Fonction: DET(10),DET ID6(14), ( NOMBRE/SINGULIER GENRE/FEMININ ) Terminaux une [ un, (CATEP/DETGENRE/FEMININ NOMBRE/SINGULIER ) , ( ) ]
Analyse en dépendance : profil • [Dépendance_Fr] • EnService = vrai • FichierRègles = grammaireDep.txt • NombreMaximumDeReglesAAppliquer = 300 • ModeExtraction = faux • CatégoriesPourLExtraction = "GN-NP" • AnalyseAPartirDeTousLesGS1 = vrai • SolutionsMultiplesàX% = 100
eat peach Graphe sémantique • Construction d’un graphe à partir • De l’arbre en dépendance syntaxique • De données sémantiques décrivant prédicats et arguments us_eat(eating, objd=patient:food, suj=agent:animate, arg0=situation:action) Anap3s agent patient entité entité Eat(agent=a,patient=b)&Anap3s(entité=a)&peach(entité=b)
Livrables • Exécutables (+ options d’appels) • Librairie dynamique • Mode client serveur • Choix des sorties • ASCII • XML
Conclusion Evolution de l’architecture Exploitation de modèles de langage probabiliste Génération Lexicale Génération syntaxique Génération Sémantique
Format Données Lexique eau, [o], N23, -PREPGOUV/DEF-NOM_SEM/NOM_CONC, eau_23, , , , eaux, [o], N20P, -NOM_SEM/NOM_CONC, eau_22, , , ,