Ressources lexicales et grammaticales pour le russe

1. Dictionnaires et grammaires pour le russe pour le logiciel Nooj de Max Silberztein Ressources lexicales et grammaticales pour le russe Semaine NOOJ Inalco 22 janvier 2013 Vincent BÉNET CREE Centre de Recherches Europes-Eurasie Recherche assistée par ordinateur

2. Conception et réalisation de dictionnaire et grammaire pour le russe pour le logiciel Nooj de Max Silberztein • Etat des lieux sur les ressources pour le russe • Principes de conception du dictionnaire • Descriptif de la réalisation • Principes de conception des grammaires

3. Historique des ressources existantes en russe La bibliothèque de Moshkov http://lib.ru Le fonds informatisé de la langue russehttp://cfrl.ru Le corpus national de la langue russe http://www.ruscorpora.ru Le corpus national de la langue littéraire* russe http://www.narusco.ru CORPUS RUSSES ACTUELS AVEC RECHERCHE D’OCCURRENCES 2000-2013

4. Corpus de textes russes • 1600 oeuvres littéraires (romans, poésies, théâtre du XIX et XX, environ 100 auteurs) • Corpus de textes de journaux (années 1991-2000) • Dictionnaires • avec logiciel intégré de recherche d’occurrences Le fonds informatisé de la langue russehttp://cfrl.ru

5. Computer Fund of Russian languagehttp://cfrl.ru

6. Corpus national russehttp://www.ruscorpora.ru Échantillon « représentatif » de la langue russe 50 000 textes 150 000 000 mots Corpus de 5 000 000 formes étiquetées et désambiguïsées avec recherche d’occurences

7. National corpus of russian languagehttp://www.ruscorpora.ru • Recherche dans le corpus : par sous-corpus • Recherche par morphosyntaxe ou sémantique

8. Corpus national russehttp://www.ruscorpora.ru

9. Corpus national de la langue ‘littéraire’ russehttp://www.narusco.ru • Textes de la langue russe écrite et orale depuis 1950

10. Corpus de textes russes La Bibliothèque de Moshkov http://lib.ru

11. Historique des ressources existantes en russe UNITEX avec un corpus d’environ 100 pages ( Le joueur de Dostoevski) et un dictionnaire de 9000 mots correspondant au vocabulaire russe du texte LOGICIELS DE TRAITEMENT DE CORPUS pour la langue russe 1980-2000

12. Historique des ressources existantes en russe dictionnaire grammatical de ZALIZNIAK 96 000 entrées avec codage morphosyntaxique ------ Version en ligne :conjugueur-déclineur de STARLING http://starling.rinet.ru/cgi-bin/morphque.cgi?flags=endnnnn DICTIONNAIRE ELECTRONIQUE pour la langue russe

13. conjugueur-déclineur de STARLING http://starling.rinet.ru/cgi-bin/morphque.cgi?flags=endnnnn Historique des ressources existantes en russe

14. Ressources russes :dictionnaire de Zaliznjak Version papier du dictionnaire: Ordre alphabétique inverse Notation grammaticale: Étiquette + modèle flexionnel+ particularité(s)

15. Ressources russes :dictionnaire de Zaliznjak ( version électronique)

16. Constituer des ressources en russe pour Nooj  IMPOSSIBILITE DE RECUPERER LES LEMMATISEURS EXISTANTS Utiliser le dictionnaire ZALIZNIAK : 96 000 entrées Problème du codage utilisé полный п 1*а/б // 1*a/c basé sur l’accent de mot complété d’annotations inutilisables  Nettoyage et « rationalisation »

17. Dictionnaire russe pour Nooj • constituer un dictionnaire ( pb accent et pb ë) 2. créer un jeu d’étiquettes   « lisibles » 3. recoder le dictionnaire avec ces étiquettes 4. établir la liste des modèles types , écrire les paradigmes et affecter les modèles aux mots du dictionnaire 5. vérifier le paradigme,tester avec des textes etcorriger les erreurs

18. Dictionnaire russe pour Nooj 1. constituer un dictionnaire 4 dictionnaires compilés en un seul « ru_morph » ru_a # adjectifs ru_n # substantifs ru_v # verbes ru_o # o comprend les prépositions, les particules, les pronoms, les mots-outils, les numéraux Deux dictionnaires additionnels: ru_p (noms propres) ru_as (adjectifs substantivés) .dic = liste de mots et .nof = pararadigmes

19. Dictionnaire russe pour Nooj problème du ë / e (non résolu à ce jour par l’Académie de Russie) сестра  сёстры / sestra  sëstry (sestry) сестры : notation imprimerielivres et journaux се: стры : notation du dictionnaire problème de l’accent(jamais noté): Гóрод  городá gorod  goroda Г<ород  город<а : notation du dictionnaire

20. Dictionnaire russe pour Nooj 2. créer un jeu d’étiquettes   « lisibles » properties.def A_Forme = fc | fl | adv; A_Genre = m | f | n ; A_SGenr = an | inan ; A_Nombre = s | p; A_Cas = Im | Vi | Ro | Da | Tv | Pr | Zv; A_Deg = Comp | Sup ; ADV_Deg = Comp; ADV_Sem = Tps | Loc | Modal; N_Genre = m | f | n ; N_SGenr = an | inan ; N_Nombre = s | p; N_Cas = Im | Vi | Ro | R2 | Da | Tv | Pr | P2 | Zv ; V_Pers = 1 | 2 | 3 ; V_Asp = Ipf | Pf ; V_Type = Mvt ; V_Morph = Pvb | Simp | Sufx | PvbSufx ; V_SsAsp = Det | Indet ; V_Temps = Pre | Pa | Fu ; V_Mode = Inf | Ind | Imp | Cond | Ger | Prtp ; V_Voix = Act | Pss ; V_Genre = m | f | n ; V_Nombre = s | p ; V_Constr = intr | tr | sja ; V_Cas = Im | Vi | Ro | Da | Tv | Pr ;

21. Dictionnaire russe pour Nooj 3.recoder le dictionnaire avec ces étiquettes

22. Dictionnaire russe pour Nooj 3.recoder le dictionnaire avec ces étiquettes абиссинец,N+m+an+FLX=украинец абитуриент,N+m+an+FLX=артист аблятив,N+m+inan+FLX=завод абляут,N+m+inan+FLX=завод аболиционизм,N+m+inan+FLX=завод аболиционист,N+m+an+FLX=артист абонемент,N+m+inan+FLX=завод абонент,N+m+an+FLX=артист abažur,N+m+inan+FLX=zavod abazinec,N+m+an+FLX=ukrainec abazin,N+m+an+FLX=artist abaz,N+m+inan+FLX=zavod abak,N+m+inan+FLX=čajnik abbat,N+m+an+FLX=artist

23. Dictionnaire russe pour Nooj 4. établir la liste des modèles types #j1a=karta #jo1a=korova #j2a=nedelja #jo2a=boginja #j3a=kniga #jo3a=sobaka #j4a=tuča #jo4a=kassirša #j5a=ulica #jo5a=volčica #j6a=statuja #jo6a=feja #j7a=linija #jo7a=furija écrire les paradigmes карта = <E>/Im+s + <B>у/Vi+s + <B>ы/Ro+s + <B>е/Da+s + <B>ой/Tv+s + <B>е/Pr+s + <B>ы/Im+p + <B>ы/Vi+p + <B>/Ro+p + <B>ам/Da+p + <B>ами/Tv+p + <B>ах/Pr+p ;

24. Dictionnaire russe pour Nooj Exemple de paradigme verbal ( tronqué) читать = <E>/Inf | <B2>ю/1+s+Pre | <B2>ешь/2+s+Pre | <B2>ет/3+s+Pre | <B2>ем/1+p+Pre | <B2>ете/2+p+Pre | <B2>ют/3+p+Pre | <B2>л/m+s+Pa | <B2>ла/f+s+Pa | <B2>ло/n+s+Pa | <B2>ли/p+Pa | <B2>й/2+s+Imp | <B2>йте/2+p+Imp | <B2>я/Ger | <B2>ющий/Prtp+Pre+Act+m+s+Im | <B2>ющий/Prtp+Pre+Act+m+s+Vi | <B2>ющего/Prtp+Pre+Act+m+an+s+Vi | … <B2>вший/Prtp+Pa+Act+m+s+Im | <B2>вший/Prtp+Pa+Act+m+s+Vi | <B2>вшего/Prtp+Pa+Act+m+an+s+Vi | <B2>вшего/Prtp+Pa+Act+m+s+Ro | … <B2>емый/Prtp+Pre+Pss+m+s+Im | <B2>емый/Prtp+Pre+Pss+m+s+Vi | … | <B2>ем/Prtp+Pre+Pss+m+fc | <B2>ема/Prtp+Pre+Pss+f+fc | … прочитать = <E>/Inf | <B2>ю/1+s+Pre+Fu | <B2>ешь/2+s+Pre+Fu | <B2>ет/3+s+Pre+Fu | <B2>ем/1+p+Pre+Fu | <B2>ете/2+p+Pre+Fu | <B2>ют/3+p+Pre+Fu | <B2>л/m+s+Pa | <B2>ла/f+s+Pa | <B2>ло/n+s+Pa | <B2>ли/p+Pa | <B2>й/2+s+Imp | <B2>йте/2+p+Imp | <B2>в/Ger | <B2>вши/Ger | <B2>вший/Prtp+Pa+Act+m+s+Im | <B2>вший/Prtp+Pa+Act+m+s+Vi | <B2>вшего/Prtp+Pa+Act+m+an+s+Vi | … <B2>нный/Prtp+Pa+Pss+m+s+Im | <B2>нный/Prtp+Pa+Pss+m+s+Vi | … | <B2>но/Prtp+Pa+Pss+n+s+fc | <B2>ны/Prtp+Pa+Pss+p+fc;

25. Dictionnaire russe pour Nooj 5. vérifier le paradigme, corriger les erreurs • Lab • Morphology • Look up a word • Inflect

26. Morphologie du russe pour Nooj 5. corriger les erreurs : • -coquilles (mélange latin/cyrillique) • A B E KиM H O P C T т У X ATOM MOCKBA •  Mots inconnus • erreurs dans l’écriture paradigmes <B><L> •  formes erronées • mauvaise affectation des mots à leur type flexionnel • formes erronées ou génération de formes incongrues • - mots inutiles dans le dictionnaire source d’ambiguïtés supplémentaires • les noms des lettres a, б, в, и, к, о, с, у, я • les mots vieillis etc..

27. Dictionnaire Morphologique du russe pour Nooj Bilan statistique : Un dictionnaire compilé : russe_morph.nod = 12 Mo 524 paradigmes verbaux  27274 verbes 421 paradigmes nominaux  44564 substantifs 55 paradigmes adjectivaux  20120 adjectifs 48 paradigmes numéraux, pronoms etc.  2126 « mots-outils » Deux dictionnaires annexes 56 paradigmes  3264 noms propres ( toponymes, noms de famille prénoms…)  755 adjectifs substantivés

28. Dictionnaire Morphologique du russe pour Nooj Bilan statistique comparé avec le dictionnaire de EFREMOVA : Nooj : 95000 mots + noms propres135000 mots Statistiques du dictionnaire d’ EFREMOVA http://www.efremova.info/ substantifs 61000 (85000 unités sémantiques) adjectifs 25000 (51000 unités sémantiques) verbes 25000 (63000 unités sémantiques) pronoms 150 (300 unités sémantiques) numéraux 100 (150 unités sémantiques) adverbes 8500 (10000 unités sémantiques) adverbes prédicatifs 1200 (1500 unités sémantiques) prépositions 350 (400 unités sémantiques) conjonctions 400 (500 unités sémantiques) particules 450 (650 unités sémantiques) interjections 430 (500 unités sémantiques) •  44564 substantifs • 20120 adjectifs  755 adjectifs substantivés •  27274 verbes •  2126 « mots-outils »  3264 noms propres

29. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurrences et des grammaires de désambiguisation • - régime des prépositions • régime des verbes courants • accords adjectifs / substantifs • rection des numéraux • expression des dates / heures etc. • reconnaissance des toponymes, des prénoms, des diminutifs etc.

30. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurrences et des grammaires de désambiguisation

31. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurence NAME

32. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurences POSS

33. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurences POSS (2)

34. Grammaires russes pour Nooj concevoir des grammaires de recherche d’occurences : VB MVT

35. Grammaires russes pour Nooj concevoir des grammaires de désambiguisation NADO - NADO

36. Grammaires russes pour Nooj utiliser la grammaire de désambiguisation NADO - NADO Avant l’analyse syntaxique Après l’analyse Syntaxique avec La grammaire

37. Grammaires russes pour Nooj utiliser la grammaire de désambiguisation NADO - NADO

38. Se constituer des textes-tests Pour vérifier et écrire les grammaires: Écrire un texte comportant « toutes » les structures que l’on souhaite trouver et désambiguiser . Trouver une structure : Text / Locate / Nooj Grammar

39. Se constituer des textes-tests Grammaire « Name »: Repère toutes les occurrences de la tournure « je m’appelle » . Text / Locate / Nooj Grammar / Name.nog

40. Se constituer des textes-tests Désambiguiser une structure : Info / Preference / Grammar  Choisir la grammaire  Relancer Syntactic analysis

41. Constituer un corpus de textes vérifiés • Dostoievki : le joueur • Gogol : le nez • Tchekhov : la dame au petit chien • Tolstoï : le prisonnier du caucase • Kharms : récits

42. Améliorer les ressources pour le russe pour Nooj BANQUE DE TEXTES/ AUGMENTER LE NOMBRE DE TEXTES avec des DICTIONNAIRES SPECIFIQUES / TEXTES CODAGE SÉMANTIQUE dans le dictionnaire: ANIMAL, PLANTE, METIER, LIEU, TEMPS , SENTIMENT etc.  constitution de ressources parallèles et alignées harmonisation des étiquettes entre langues (slaves)