extraction automatique des diagnostics partir des comptes rendus m dicaux textuels n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels PowerPoint Presentation
Download Presentation
Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels

Loading in 2 Seconds...

play fullscreen
1 / 98

Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels - PowerPoint PPT Presentation


  • 87 Views
  • Uploaded on

Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels. Didier Nakache 26 Septembre 2007. Laboratoire CEDRIC – équipe ISID – CNAM de Paris. Plan. Présentation du projet Etat de l’art des classifications de données textuelles Algorithmes EDA et CLO3

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels' - federico-jara


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
extraction automatique des diagnostics partir des comptes rendus m dicaux textuels

Extraction automatique des diagnostics à partir des comptes rendus médicaux textuels

Didier Nakache

26 Septembre 2007

Laboratoire CEDRIC – équipe ISID – CNAM de Paris

slide2
Plan
  • Présentation du projet
  • Etat de l’art des classifications de données textuelles
  • Algorithmes EDA et CLO3
  • L’évaluation
  • Le projet Rhéa
  • Conclusions

Didier Nakache - Soutenance de thèse

1 pr sentation du projet
1. Présentation du projet

Didier Nakache - Soutenance de thèse

pr sentation g n rale
Présentation générale
  • Rhea est un outil décisionnel destiné aux services de réanimation, structuré autour de 2 axes :
  • Rhea : Entrepôt de données (datawarehouse),
  • Cirea : Fouille de textes pour l’aide au codage.
  • Rhéa est orienté autour de la thématique des infections nosocomiales.
  • Le sous projet CIREA ne représente qu’une charge faible du projet Rhéa.

Didier Nakache - Soutenance de thèse

le sous projet cirea
Le sous projet CIREA
  • L’objectif de CIREA est de permettre de retrouver les codes diagnostics ayant motivé le séjour parmi les 52 000 de la CIM10 (Classification Internationale des Maladies), à partir des comptes rendus hospitaliers rédigés en langage naturel.

Didier Nakache - Soutenance de thèse

classification cim10
Classification CIM10

Le code CIM10 est un code hiérarchique sur 5 niveaux possibles. Il existe 52000 codes. Exemple :

Didier Nakache - Soutenance de thèse

vue g n rale
Vue Générale

Statistiques

Mots clés

Règles et

systèmes

experts

Induction par apprentissage

(machine learning)

Traitement du langage naturel

… 1970 1980 1990 2000 Aujourd’hui

Didier Nakache - Soutenance de thèse

tableaux lexicaux
Tableaux lexicaux

Le modèle vectoriel introduit par Salton (1975) représente chaque document, ainsi que le document à classifier, par un vecteur (sac de mots).

On utilise souvent une notation binaire (absence / présence) en classification automatique de documents plutôt que l’effectif.

Didier Nakache - Soutenance de thèse

algorithmes majeurs
Algorithmes majeurs
  • Naïve Bayes,
  • Les arbres de décision,
  • TF/IDF,
  • SVM (Support Vector Machine) (Vapnik 95).

Didier Nakache - Soutenance de thèse

autres m thodes
Autres méthodes

De nombreuses autres méthodes ont été utilisées pour la classification automatique de documents :

  • les réseaux de neurones, LLFS (Linear Least Squares Fit), KNN, Chaines de Markov, … etc.

Didier Nakache - Soutenance de thèse

les mesures
Les mesures

Didier Nakache - Soutenance de thèse

mesures de distances
Mesures de distances
  • Il existe de nombreuses formules pour mesurer la distance entre deux vecteurs. La plus utilisée est la fonction Cosine :

Didier Nakache - Soutenance de thèse

autres mesures
Autres mesures
  • Il existe de nombreuses autres mesures (distance de Kullback-Leibler, mesure de Jacquard, …)
  • D’autres approches fonctionnent sur le calcul des dissimilarités (distance de SMART)
  • L’information mutuelle (concepts proches):
  • Le coefficient de Dice :
  • Le gain d’information :
  • La mesure de Salton :

Didier Nakache - Soutenance de thèse

evaluation quels corpus et quelles mesures
Evaluation : quels corpus et quelles mesures ?

Didier Nakache - Soutenance de thèse

les corpus
Les corpus
  • On trouve principalement des comparaisons sur la base Reuters, qui est une classification de dépêches de presse.
  • Dans le domaine médical, on se réfère également à la base OHSUMED.

Didier Nakache - Soutenance de thèse

evaluation des algorithmes
Evaluation des algorithmes

Les algorithmes sont généralement évalués par la F-mesure, basée sur la précision et le rappel

précision=a/(a+b), rappel=a/(a+c)

F-Mesure = ((1+ß²)*Précision*Rappel) / ((ß²*Précision)+Rappel), avec ß²=1

Didier Nakache - Soutenance de thèse

exemple de f mesure
Exemple de F mesure
  • Considérons que les diagnostics corrects à trouver soient : a,b,c,d
  • Le programme propose a,b,e
  • La précision est de 2/3=0.67
  • Le rappel est de 2/4=0.5
  • La F mesure vaut 2*p*r/(p+r)=0.57

Didier Nakache - Soutenance de thèse

micro et macro moyenne
Micro et macro moyenne

Didier Nakache - Soutenance de thèse

comparaison des algorithmes
Comparaison des algorithmes

Didier Nakache - Soutenance de thèse

slide21

[Dumais et al. 1998] proposent également une série de comparaisons en mettant en compétition une variante de l'algorithme de Rocchio (appelée find similar), des arbres de décision, des réseaux bayésiens et des machines à vecteurs supports :

Didier Nakache - Soutenance de thèse

comparaison des m thodes
Comparaison des méthodes

[Yang et Liu 1999] comparent ainsi les machines à vecteurs supports, les plus proches voisins, les réseaux de neurones, une combinaison linéaire, et des réseaux Bayesiens. Le résultat de leur comparaison est le suivant :

Didier Nakache - Soutenance de thèse

comparer les m thodes
Comparer les méthodes ?

Indicateurs utilisés : BEP, macro F mesure, micro F mesure, …

Didier Nakache - Soutenance de thèse

r e u t e r s
REUTERS

Didier Nakache - Soutenance de thèse

r sultats sur ohsumed
Résultats sur OHSUMED

Didier Nakache - Soutenance de thèse

3 le travail r alis
3. Le travail réalisé

Didier Nakache - Soutenance de thèse

analyse du probl me donn es g n rales
Analyse du problème : données générales

Didier Nakache - Soutenance de thèse

constitution du corpus et des bases de donn es
Constitution du corpus et des bases de données
  • Nous avons recueilli environ 33 000 comptes rendus médicaux exploitables provenant de nombreux établissements hospitaliers en France.
  • Nous avons constitué une base de données de 543 418 mots, 100 882 concepts médicaux, 957 acronymes médicaux fréquents, 224 mots stop (antidictionnaire), 1445 préfixes et suffixes médicaux.

Didier Nakache - Soutenance de thèse

nombre de diagnostics par crh
Nombre de diagnostics par CRH
  • Chaque compte rendu compte en moyenne 4.34 codes diagnostics par patient et par séjour. La variabilité est très importante puisque l'on dénombre de 1 à 32 diagnostics par patient avec une forte concentration entre 1 et 6 :

Didier Nakache - Soutenance de thèse

sp cificit du probl me
Spécificité du problème

La distribution des codes CIM montre une forte concentration sur quelques codes usuels. Ainsi, un algorithme qui présenterait une liste fixe basée uniquement sur les codes les plus fréquents obtiendrait de bons résultats, mais pour quelle utilité ?

10% des diagnostics rencontrés sont présents dans 80% des comptes rendus

Didier Nakache - Soutenance de thèse

eda un algorithme de d suffixation
EDA : un algorithme de désuffixation

Didier Nakache - Soutenance de thèse

contexte
Contexte

EDA est né d’une double observation :

  • Il existe de nombreuses formes orthographiques, fléchies,… qui rendent différent (pour l’ordinateur) ce qui est identique,
  • le langage médical repose sur une structure sémantique très forte,

Nous avons voulu optimiser nos algorithmes en exploitant ces deux constats.

EDA fonctionne en deux phases successives et indépendantes

Didier Nakache - Soutenance de thèse

eda tape 1
EDA : étape 1
  • transformation en minuscules,
  • séparation des caractères ligaturés ('cœur' devient 'coeur') et des traits d'unions,
  • suppression des signes diacritiques (exemple : accents 'dégénéré' devient 'degenere'),
  • suppression des doubles lettres,
  • remplacer 'ck', 'cqu', 'qu', et 'c' par 'k', et 'y' par 'i'.

Didier Nakache - Soutenance de thèse

eda tape 1 bis
EDA : étape 1 bis
  • Enfin, nous appliquons, le cas échéant, un ensemble de 37 règles séquentielles, sauf si le concept restant devait avoir moins de 5 caractères.

Didier Nakache - Soutenance de thèse

exemple eda tape 1 bis
Exemple EDA étape 1 bis

Didier Nakache - Soutenance de thèse

eda tape 2
EDA : étape 2
  • Constatant la structure sémantique très forte du langage naturel et la structure hiérarchique de la CIM10 par organes, nous avons choisi d’enrichir le compte rendu en fonction des préfixes, suffixes et affixes.

Didier Nakache - Soutenance de thèse

eda etape 2 exemples
EDA Etape 2 : exemples

Didier Nakache - Soutenance de thèse

r sultats
Résultats

Didier Nakache - Soutenance de thèse

algorithme clo3
Algorithme CLO3

Didier Nakache - Soutenance de thèse

slide40
CLO3 est un algorithme de classification multilabels avec ajout d’une dimension en environnement incertain

Didier Nakache - Soutenance de thèse

approche textmining cirea
Approche textmining CIREA

Concept 1

Concept 2

Concept i

Document 1

Document 2

….

Document j

Classe 1

Classe 2

….

Classe k

Modèle Cirea :

Un document = plusieurs classes et plusieurs concepts.

L’enjeu devient de trouver un lien direct entre concepts et classes

Didier Nakache - Soutenance de thèse

un environnement incertain
Un environnement incertain

Didier Nakache - Soutenance de thèse

origine de clo3
Origine de CLO3
  • CLO3 s’inspire à la fois de TF/IDF et de Naïve Bayes
  • Il se base sur le principe que les termes ou concepts utilisés sont en rapport direct avec les codes diagnostics.

Didier Nakache - Soutenance de thèse

calcul du poids brut
Calcul du poids brut
  • Nous allons donc calculer pour chaque terme une première variable appelée 'Poids Brut', définie comme suit :
  • Poids brut = Variance de la fréquence du concept / moyenne de fréquence du concept
  • Il s'agit donc d'un coefficient de variation qui va nous permettre de quantifier la concentration de chaque terme.

Didier Nakache - Soutenance de thèse

calcul du poids net
Calcul du poids net
  • Mais étant donné le nombre de diagnostics associés, il fallait trouver une méthode qui permette de supprimer les mots trop rares (pour ne pas leur donner un poids injustement trop fort). La seconde étape de l'algorithme consiste à calculer un second poids, appelé poids net qui permette de quantifier la relation entre un terme et un diagnostic (que nous appelons couple) :
  • Poids net = Poids brut * fréquence(couple)*effectif(couple)
  • Nous multiplions par la fréquence et l'effectif pour faire apparaître en priorité les occurrences fréquemment rencontrées. Ainsi, les diagnostics associés seront supprimés automatiquement.

Didier Nakache - Soutenance de thèse

slide46
Supposons en effet qu'un patient souffre d'un diabète et d'une crise cardiaque. Dans le compte rendu, nous trouverons par exemple le mot diabète et le mot cardiaque. Nous allons donc avoir les quatre relations suivantes :

Mais sur l'ensemble des comptes rendus, la fréquence d'apparition des couples 'terme cardiaque – diagnostic diabète' et 'terme diabète – diagnostic crise cardiaque' sera faible. Donc en multipliant par cette fréquence, on supprime ces relations non désirées. En multipliant par l'effectif, on amplifie la même fonctionnalité.

Didier Nakache - Soutenance de thèse

troisi me tape poids a
Troisième étape : Poids A
  • La troisième étape consiste à standardiser les valeurs calculées pour les poids nets, en calculant le poids final, appelé 'PoidsA'. Pour cela, nous divisons le poids de chaque couple par la moyenne du poids de chaque classe de diagnostic. Ce poids sera élevé à la puissance n pour amplifier le résultat.

Didier Nakache - Soutenance de thèse

calcul du poids b
Calcul du poids B
  • La quatrième étape consiste à créer un second indicateur baptisé 'PoidsB' inspiré des probabilités simples et Naive Bayes mais en extrapolant ce raisonnement. Pour chaque couple 'terme - diagnostic', nous calculons :
  • PoidsB = Nombre de fois ou le concept est présent dans la classe / Effectif total du concept

Didier Nakache - Soutenance de thèse

calcul du poids clo3
Calcul du poids CLO3
  • A partir de ces deux termes, nous obtenons une fonction qui optimise le résultat de la classification en se basant sur la fonction suivante :
  • Poids CLO3 = PoidsA2 * PoidsB5

Didier Nakache - Soutenance de thèse

utilisation du poids clo3
Utilisation du poids CLO3
  • Pour classifier un nouveau document, nous additions les poids CLO3 des concepts extrait. Les meilleurs scores sont proposés. Nous filtrons en ne retenant que ceux dont le seuil est supérieur à 5E-4

Didier Nakache - Soutenance de thèse

comparaison des r sultats
Comparaison des résultats

Didier Nakache - Soutenance de thèse

position des bons codes
Position des bons codes

Didier Nakache - Soutenance de thèse

comparaison sur ohsumed
Comparaison sur OHSUMED

Didier Nakache - Soutenance de thèse

4 l valuation
4. L’évaluation

Didier Nakache - Soutenance de thèse

etat de l art mesures de base
Etat de l’art : mesures de base

Didier Nakache - Soutenance de thèse

mesures de base
Mesures de base

La communauté TALN utilise ce tableau de contingence pour calculer plusieurs mesures de base :

  • précision=a/(a+b), rappel=a/(a+c), pertinence=(a+d)/(a+b+c+d), erreur=(b+c)/(a+b+c+d), taux de chute=b/(b+d), silence=c/(a+c), spécificité=d/(b+d), bruit=b/(a+b), overlap=a/(a+b+c), et la généralité=a/N

Didier Nakache - Soutenance de thèse

indicateurs de synth se
Indicateurs de synthèse
  • Finalement, 4 mesures (a, b, c, d) génèrent 10 indicateurs de base. Ces indicateurs sont eux-mêmes combinés pour donner d’autres mesures, en général en utilisant la précision et le rappel.
  • L’indicateur le plus utilisé est la F-Mesure [Van Rijsbergen 79]

Didier Nakache - Soutenance de thèse

la f mesure
La F-mesure

((1+ß²)*Précision*Rappel) / ((ß²*Précision)+Rappel)

  • Le paramètre ß² permet de donner un poids plus important à la précision ou au rappel, mais on positionne généralement le paramètre ß² à 1. La mesure devient :

Mesure F1 = (2*Précision*Rappel) / (Précision+Rappel)

  • L’avantage de ce choix est que lorsque la précision est égale au rappel, on obtient :

Précision = Rappel = F-mesure.

Didier Nakache - Soutenance de thèse

analyse de la f mesure
Analyse de la F-mesure

Didier Nakache - Soutenance de thèse

f mesure moyenne harmonique
F-mesure = moyenne harmonique

La F-mesure est la moyenne harmonique de la précision (P) et du rappel (R) :

donc

soit

et finalement :

Didier Nakache - Soutenance de thèse

propri t s de la f mesure
Propriétés de la F-mesure

Pourquoi la moyenne harmonique ? Car elle possède des propriétés intéressantes : elle se détériore quand l’une des deux composantes diminue et augmente quand la différence diminue.

Démonstration :

Posons S=P+R, et D=P-R, avec P=précision R=Rappel

Didier Nakache - Soutenance de thèse

comparaison des moyennes
Comparaison des moyennes

Didier Nakache - Soutenance de thèse

propri t s de la f mesure1
Propriétés de la F-mesure

Nous pouvons observer cette propriété sur les graphiques suivants, où l’on compare la moyenne harmonique avec la moyenne géométrique et arithmétique.

En abcisse et en ordonnée, sont indiquées les valeurs de précision et de rappel, la couleur indique la zone du résultat (ex : vert pour une mesure comprise entre 0.6 et 0.8)

Didier Nakache - Soutenance de thèse

conclusions sur la f mesure
Conclusions sur la F-mesure

La F-mesure est un indicateur qui permet d’évaluer un algorithme de classification en calculant la moyenne harmonique de la précision et du rappel, mais :

  • elle fonctionne en binaire (une solution est soit bonne soit fausse),
  • elle ne permet pas de poser de niveau d’exigence

Par contre :

  • elle se dégrade un peu quand l’une des composantes diminue fortement,
  • elle permet de privilégier le rappel ou la précision,
  • c’est aujourd’hui un jalon de référence

Didier Nakache - Soutenance de thèse

vers une nouvelle approche
Vers une nouvelle approche

Didier Nakache - Soutenance de thèse

introduction de la k mesure
Introduction de la K-mesure
  • La F-mesure vaut :

(1+ß²)*(Précision*Rappel) / ((ß²*Précision)+Rappel)

sachant que :

0 <= (précision * rappel) <=1

Il faut trouver une fonction Θ (précision*rappel) qui permette de faire évoluer le résultat comme nous le désirons en fonction de seuils et dont le résultat appartienne à l’intervalle [0,1].

La fonction puissance répond parfaitement à ce besoin.

Didier Nakache - Soutenance de thèse

la fonction puissance
La fonction puissance
  • Nous observons que pour un couple (précision, rappel), nous pouvons maîtriser le résultat obtenu par l’utilisation de la fonction puissance (Précision*Rappel) α: plus α grandit, plus le résultat augmente tardivement

Didier Nakache - Soutenance de thèse

la k mesure
La K-mesure

En transformant la F-mesure comme suit :

(1+ß²)*(Précision*Rappel)α / ((ß²*Précision)+Rappel)

nous obtenons la K-mesure.

Didier Nakache - Soutenance de thèse

sur ensemble de la f mesure
Sur ensemble de la F-mesure
  • Nous constatons que la K-mesure est égale à la F-mesure pour α =1, c’est donc un sur ensemble de la F-mesure. Nous pourrons ainsi conserver les jalons.

Didier Nakache - Soutenance de thèse

possibilit pour le juge
Possibilité pour le juge
  • En augmentant la valeur de α, nous augmentons le niveau d’exigence puisque plus α est grand, plus il faut que le produit (précision * rappel) soit élevé pour que la mesure soit bonne.

Didier Nakache - Soutenance de thèse

exemples de r sultats
Exemples de résultats

Didier Nakache - Soutenance de thèse

variations de
Variations de α
  • Voici les K-mesures résultantes pour α=1, α=1.4, et α=2

Didier Nakache - Soutenance de thèse

possibilit pour le juge1
Possibilité pour le juge
  • En faisant varier le paramètre β², (ici α = 1.4 et β² vaut 0.2, 1 et 4) nous pouvons privilégier le rappel ou la précision

Didier Nakache - Soutenance de thèse

conclusion k mesure
Conclusion K-Mesure
  • En conclusion, la K-mesure conserve toutes les qualités de la F-mesure, mais permet de positionner un niveau d’exigence minimale.

Didier Nakache - Soutenance de thèse

slide75
La D-mesure pour évaluer les performances des algorithmes en recherche d’informations (IR)

Didier Nakache - Soutenance de thèse

valuation de l ir
Évaluation de l’IR
  • Pour établir un indicateur, nous sommes partis de la formule de score donnée par [Voohrees 2003] , utilisée pour les conférences TREC
  • où n représente le nombre de réponses exactes au rang i, et Q le nombre de questions.

Didier Nakache - Soutenance de thèse

formule de voohrees
Formule de Voohrees
  • Cette formule se représente ainsi :

Contribution au score de chaque réponse si N=20

Didier Nakache - Soutenance de thèse

recherche des poids
Recherche des poids
  • Soit la réponse i, son poids est :
  • avec k et l, deux paramètres (par défaut k=15, l=0.7), N représente l'effectif total, i le rang de la réponse évaluée.

Didier Nakache - Soutenance de thèse

graphe sigmo dal
Graphe sigmoïdal

Observons les propriétés de cette équation en faisant varier les deux paramètres k et l (pour cette illustration, nous avons pris N=273, k=15, l=0.7)

Nous remarquons que si la réponse attendue n'apparaît pas dans les 50 premières réponses proposées, le score est fortement minoré, voire quasi nul au delà de 150

Didier Nakache - Soutenance de thèse

variations de la mesure
Variations de la mesure
  • Le paramètre k modifie la pente
  • Le paramètre l déplace le point d'inflexion :

Didier Nakache - Soutenance de thèse

indicateur la d mesure
Indicateur : la D-mesure
  • La D-mesure, indice global d'évaluation devient alors :

Didier Nakache - Soutenance de thèse

exemple de d mesure
Exemple de D Mesure

Didier Nakache - Soutenance de thèse

5 rhea
5. RHEA

Didier Nakache - Soutenance de thèse

les enjeux quelques chiffres
Les enjeux : quelques chiffres

Selon l'ANAES, les infections nosocomiales représentent :

  • 1 million de personnes atteintes chaque année en France,
  • 5 à 10.000 décès par an selon la méthodologie retenue
  • Sur le plan économique, on estime leur coût à environ 1 milliard d'euros.

Didier Nakache - Soutenance de thèse

slide85

Architecture générale de Rhéa

Grenoble

Hôpital 1

Saisie/

Data Mining

Assis-

tance

ETL

BD

locale

Entrepôt

global

Codage

PMSI

Reporting global

Reporting local

Didier Nakache - Soutenance de thèse

analyses
Analyses

Probabilité de décès = Exp(X) / (1 + Exp(X)) ,

avec X = -7.7631 + (0.0737*SAPSII) + 0.9971 * (Log(SAPSII+1) / Log(2.718282))

Didier Nakache - Soutenance de thèse

principales fonctions
Principales fonctions
  • 150 points de contrôle,
  • calculs automatique de scores : SAPS II, LOD, Trio, Omega, glasgow, Sofa,
  • graphiques avec courbes de tendances,
  • génération du compte rendu en langage naturel à partir des faits importants
  • génération des codes CCAM,
  • génération du tableau de bord,
  • conversion de la biologie,
  • requêteur
  • gestion des métadonnées
  • mise à jour automatisée,
  • comparaison de toutes les mesures avec les autres centres,
  • etc …

Didier Nakache - Soutenance de thèse

rh a copie cran
Rhéa : copie écran

Didier Nakache - Soutenance de thèse

rh a exemple de ccam
Rhéa : exemple de CCAM

Didier Nakache - Soutenance de thèse

copie d cran courbes avec rh a
Copie d’écran courbes avec Rhéa

Didier Nakache - Soutenance de thèse

copie cran cirea
Copie écran CIREA

Didier Nakache - Soutenance de thèse

slide93
Conclusions

Didier Nakache - Soutenance de thèse

conclusions
Conclusions
  • Nous disposons d’un ensemble de bases de données de termes médicaux, de terme du langage, d’acronymes, de mots stops, etc…
  • Les résultats obtenus satisfont les utilisateurs et les perspectives d’optimisation sont possibles,
  • Le projet est en phase pré-industrielle,
  • Nous avons développé 2 algorithmes (désuffixation et classification) et 2 indicateurs (D-mesure et K-mesure).

Didier Nakache - Soutenance de thèse

bilan
Bilan
  • CIREA est implémenté dans le projet Rhéa et opérationnel,
  • Le projet Rhéa représente 300 000 lignes de code et est implémenté dans 14 hôpitaux,
  • Plusieurs centres brésiliens et un hollandais doivent commencer dès cette année,
  • La base de données multicentrique comporte actuellement 80 000 journées et plus de 7800 séjours,

Didier Nakache - Soutenance de thèse

18 articles publi s partir de la base dont un repris dans un rapport destin au s nat
18 articles publiés à partir de la base (dont un repris dans un rapport destiné au sénat).

Didier Nakache - Soutenance de thèse

merci
Merci

Didier Nakache - Soutenance de thèse