Plan

1. Analyses de sensibilité globales de modèles complexes, quelques applications dans le nucléaire B. Iooss CEA CadaracheDirection de l’Énergie NucléaireDépartement d’Études des RéacteursLaboratoire de Conduite et Fiabilité des Réacteurs2006

2. Plan • Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) • Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) • Conclusions

3. Une méthode qualitative : Morris • Méthode de « screening » (criblage) • un modèle comportant beaucoup de facteurs est difficile à explorer …… mais souvent, seulement quelques facteurs sont influents • objectif qualitatif : identifier rapidement ces facteurs • La méthode de Morris (1991) permet de classer les facteurs en trois groupes selon leurs effets : • effets négligeables • effets linéaires et sans interaction • effets non linéaires et/ou avec interactions • Pas d’hypothèses sur le modèle… • … mais mieux vaut une certaine régularité…

4. Méthode de Morris : plan d’expériences • Nécessite p+1 expériences • OAT (One-at-A-Time) P1 P2 P3 • Permet de calculer un effet élémentaire pour chaque facteur X2 • Discrétisation de l’espace X1

5. Méthode de Morris : plan d’expériences (suite) 1 5 4 3 2 X2 • Le plan d’expériences est répété R fois (au total : R*(p+1) expériences) • Ceci donne R-échantillons pour chaque effet élémentaire • Mesures de sensibilité X1

6. Méthode de Morris : mesures de sensibilité • est une mesure de la sensibilité : • valeur importante  effets importants (en moyenne) •  modèle sensible aux variations du facteur • est une mesure des interactions • et des effets non linéaires : • valeur importante  effets différents les uns des autres  effets qui dépendent de la valeur : • soit du facteur lui-même : effet non linéaire • soit des autres facteurs : interaction • (la méthode ne permet pas de distinguer les 2 cas)

7. Méthode de Morris : exemple 3 • On distingue les 3 groupes: • Effets négligeables • Effets linéaires • Effets non linéaires et/ou avec interactions 1 2 20 facteurs 210 simulations  Graphe (mu*, sigma) Cas test : fontion non monotone de Morris (source Saltelli)

8. Exemple : code combustible HTR • Code de calcul ATLAS : simulation du comportement • du combustible à particules sous irradiation • Noyau de matière fissile • Carbone pyrolytique poreux • Carbone pyrolytique dense • Carbure de Silicium • Sources de contamination : rupture de particules • Etudes de fiabilité : thèse C. Cannamela (CEA Cadarache/DEC) • Aide au développement du modèle numérique : • Etude des incertitudes liées à l’utilisation d’ATLAS • Analyse de sensibilité (stage G. Pujol) < 1mm  Nombre de particules dans un réacteur : de 109 à 1010 !

9. 3 sources d’incertitudes en entrée • 10 paramètres de fabrication des particules (épaisseurs, …) • Spécifications de fabrication lois normales tronquées

10. 3 sources d’incertitudes en entrée • 10 paramètres de fabrication des particules (épaisseurs, …) • Spécifications de fabrication lois normales tronquées • 5 paramètres d’irradiation (température, …) • Intervalle [min,max] lois uniformes

11. 3 sources d’incertitudes en entrée • 10 paramètres de fabrication des particules (épaisseurs, …) • Spécifications de fabrication lois normales tronquées • 5 paramètres d’irradiation (température, …) • Intervalle [min,max] lois uniformes • 28 lois de comportement (fonctions des température, flux, …) • Avis d’expert constantes multiplicatives (de loi U[0.95,1.05]) Exemple : loi de densification du PyC

12. Réponses La rupture d’une particules peut être provoquée par la rupture des couches denses externes (IPyC, SiC, OPyC) Les réponses sont choisies pour être représentatives du phénomène de rupture : contraintes orthoradiales maximales dans les couches externes t

13. Morris Grande sensibilité à ces paramètres (épaisseurs, température d’irradiation) Interactions faibles Les lois sur le fluage et la densification du PyC sont les lois auxquelles le code est le plus sensible (résultats G. Pujol)

14. Morris Grande sensibilité à ces paramètres (épaisseurs, température d’irradiation) Interactions faibles Les lois sur le fluage et la densification du PyC sont les lois auxquelles le code est le plus sensible (résultats G. Pujol) Conclusion : L’analyse de sensibilité qualitative donne une idée de la manière dont peut répondre la sortie en fonction de variations potentielles des entrées… très utile pour identifier les paramètres potentiellement influents

15. Plan • Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) • Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) • Conclusions

16. Site du Stockage Temporaire des Déchets Radioactifs Collaboration Institut Kurchatov/CEA • Site (2 ha) situé aujourd’hui en banlieue de Moscou • De 1943 à 1974 : stockage de déchets radioactifs solides • Reconnaissance du site vers 1990 : réseau de 20 piézomètres • Contamination nappe supérieure 90Sr • Les radionucléides sont mesurés dans le sol et l’eau souterraine Estimation de l’impact de la contamination sur l’environnement (degré de contamination de la nappe) Faut-il réhabiliter le site ? (excavation des déchets et traitement des sols)

17. Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) • Modélisation : • développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) • Identification des paramètres de transport de ce modèle

18. Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) • Modélisation : • développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) • Identification des paramètres de transport de ce modèle • Analyse de sensibilité du modèle : paramètres qui influent le plus sur l’incertitude des concentrations calculéesparamètres à préciser et à identifier en priorité Les paramètres d’entrée sont des variables physiques scalaires, donc bien adaptées à une analyse de sensibilité quantitative.

19. Phases de l’étude E. Volkova (Institut Kurchatov), F. Van Dorpe et B. Iooss (CEA Cadarache) • Modélisation : • développement d’un scénario d’écoulement et de transport du 90Sr sur le site entre 2002 et 2010, avec le logiciel MARTHE (BRGM) • Identification des paramètres de transport de ce modèle • Analyse de sensibilité du modèle : paramètres qui influent le plus sur l’incertitude des concentrations calculéesparamètres à préciser et à identifier en priorité Les paramètres d’entrée sont des variables physiques scalaires, donc bien adaptées à une analyse de sensibilité quantitative. • De plus, besoin d’une analyse d’incertitudes : • validation du modèle :comparaison entre concentrations calculées/mesurées (2002-2004) • Estimation de l’incertitude sur la prédiction du modèle en 2010

20. Modèle basé sur le logiciel MARTHE (BRGM) Modélisation d’Aquifère par un maillage Rectangulaire en régime Transitoire pour le calcul Hydrodynamique des Ecoulements 250m  350m, 3 couches (aquifère supérieur), 200 pas de temps Ecoulement transitoire 3D ; convection-dispersion ; sorption linéaire ; décroissance radioactive Pas de terme source ; Concentration initiale : interpolation des données

21. August 2002 December 2010 Cartes de concentrations Modèle basé sur le logiciel MARTHE (BRGM) Modélisation d’Aquifère par un maillage Rectangulaire en régime Transitoire pour le calcul Hydrodynamique des Ecoulements 250m  350m, 3 couches (aquifère supérieur), 200 pas de temps Ecoulement transitoire 3D ; convection-dispersion ; sorption linéaire ; décroissance radioactive Pas de terme source ; Concentration initiale : interpolation des données Exemple d’un calcul Variables de sortie intéressantes : concentrations aux 20 piézomètres

22. zone 3 d’infiltration – zone 2 d’infiltration – zone 1 d’infiltration – tout le reste – zone d’absence de sable à gros grains dans la deuxième couche Plan d’expériences numériques • 20 paramètres d’entrée : Perméabilité des 3 couches et des 4 zones Coefficient de partage des 3 couches Intensité d’infiltration des 3 zones Porosité Dispersivités longitudinale et transversale des 3 couches • Choix des distributions statistiques des entrées sur la base de mesures, de revues bibliographiques, de jugements d’expert, de spéculations, … • 300 calculs (échantillonnage par LHS) : - une centaine de calculs, - résultats pas assez précis, on relance une centaine de calculs, …

23. Méthodologie d’analyse de sensibilité globale • Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes

24. Méthodologie d’analyse de sensibilité globale • Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes • Analyse de sensibilité entre les sorties (18) et les entrées (20) • ? Relation linéaire (R²) Oui • Coefficient de corrélation • (Pearson) • Coefficient de régression standard Indices de sensibilité

25. Méthodologie d’analyse de sensibilité globale • Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes • Analyse de sensibilité entre les sorties (18) et les entrées (20) • ? Relation linéaire (R²) ? Relation monotone Non Oui (R²*) • Coefficient de corrélation • (Pearson) • Coefficient de régression standard Oui • Coefficient de corrélation des rangs • (Spearman) • Coefficient de régression basés sur les rangs Indices de sensibilité

26. Méthodologie d’analyse de sensibilité globale • Analyse d’incertitudes 2 réponses ne sont pas jugées intéressantes • Analyse de sensibilité entre les sorties (18) et les entrées (20) • ? Relation linéaire (R²) ? Relation monotone Non Oui (R²*) • Coefficient de corrélation • (Pearson) • Coefficient de régression standard Oui Non Indices de Sobol (nécessitent des milliers de calculs) • Coefficient de corrélation des rangs • (Spearman) • Coefficient de régression basés sur les rangs Indices de sensibilité Code trop coûteux Métamodèle

27. Métamodèle (surface de réponse) • Fonction mathématique ou numérique qui peut remplacer le code de calcul dans le domaine de variation des paramètres influents. • Exemples : polynômes, splines, réseaux de neurones, krigeage, … • Qualités attendues d’une surface de réponse : • représentative du code étudié, i.e. une bonne approximation, • ayant de bonnes capacités de prédiction (critères statistiques estimés sur une base de test, par validation croisée, bootstrap) • temps de calcul négligeable (<< 1 sec.). • Utilités d’un métamodèle : • Prédicteur rapide et facile à implémenter ; • Propagation d’incertitudes, estimation de quantiles ; • Analyse de sensibilité globale quantitative ; • Optimisation/calibration de paramètres (très coûteux) ;

28. Analyse de sensibilité globale sur MARTHE • Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71)

29. Analyse de sensibilité globale sur MARTHE • Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71) • Relations entrées/sortie monotones : • p4-76 (R2* = 0,95) ; p102K (R2* = 0,90) • p104 (R2* = 0,91) ; p23 (R2* = 0,90) ; p29K (R2* = 0,83)

30. Analyse de sensibilité globale sur MARTHE • Relations entrées/sortie linéaires : p23 (R2 = 0,78) ; p4-76 (R2 = 0,71) • Relations entrées/sortie monotones : • p4-76 (R2* = 0,95) ; p102K (R2* = 0,90) • p104 (R2* = 0,91) ; p23 (R2* = 0,90) ; p29K (R2* = 0,83) • Relations non monotones Constructions de métamodèles par boosting d’arbres de régression • R²~ 0.6 pour 5 autres variables de sortie • Calcul des indices de Sobol sur les métamodèles Répétitions des estimations des indices de Sobol Meilleure estimation (moyenne) et intervalle de confiance • Pour 8 réponses, les métamodèles ne son pas corrects ; les résultats ne sont donc pas validés.

31. - groupe 1 - groupe 3 - groupe 2 Résultats de l’analyse de sensibilité globale • Groupe 1 : kd1 (coef. de partage de la couche 1) • Groupe 2 : kd2 (coef. de partage de la couche 2) • Groupe 3 : i3 (intensité d’infiltration) • Pas d’interaction entre les paramètres d’entrée (Si ~ STi)

32. Conclusions • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres.

33. Conclusions • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. • La forme de la deuxième couche semble très influente, il faudra trouver un moyen pour quantifier cette influence. • On propose de la faire varier par simulation géostatistique. • Analyse de sensibilité de modèle ayant des champs aléatoires en entrée (travail en cours).

34. Conclusions • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. • La forme de la deuxième couche semble très influente, à suivre … • Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains

35. Conclusions • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. • La forme de la deuxième couche semble très influente, à suivre … • Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains • La précision des paramètres les plus influents permet de : • - diminuer l’incertitude de la prédiction du modèle ; • revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise.

36. Conclusions de l’étude • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. • La forme de la deuxième couche semble très influente, à suivre … • Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains • La précision des paramètres les plus influents permet de : • - diminuer l’incertitude de la prédiction du modèle ; • revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise. • Perspectives : • Meilleurs métamodèles avec le krigeage et un algorithme de sélection de variables efficace (stage d’A. Marrel)

37. Conclusions de l’étude • Les coefficients de partage sont les paramètres les plus influents et interagissent peu avec les autres paramètres. • La forme de la deuxième couche semble très influente, à suivre … • Les comparaisons calculs/mesures sont mauvaises pour les piézomètres situés dans la zone où il y a du sable à gros grains • La précision des paramètres les plus influents permet de : • - diminuer l’incertitude de la prédiction du modèle ; • revenir sur la modélisation des incertitudes des paramètres les plus influents là où la comparaison calculs/mesures est mauvaise. • Perspectives : • Meilleurs métamodèles avec le krigeage et un algorithme de sélection de variables bien chiadé (thèse d’A. Marrel) • Prise en compte de l’aspect spatial et temporel des variables de sortie par le modèle de krigeage (thèse A. Marrel)

38. Plan • Analyse de sensibilité (qualitative) d’un code de calcul combustible (en collaboration avec le Département d’Études des Combustibles du CEA Cadarache) • Analyse de sensibilité (quantitative) d’un modèle hydrogéologique (en collaboration avec l’Institut Kurchatov et le Département de Technologie Nucléaire du CEA Cadarache) • Conclusions

39. Méthodes globales : complexité modèle/nb de simulations nécessaires (p = nombre de paramètres d’entrée) Non monotone Construction métamodèle Morris FAST SOBOL MC PEX fact. fract. (polynôme) Monotone + interactions Monotone sans interaction Bifurcations séquentielles Corrélations des rangs OAT Min-Max Corrélations linéaires Linéaire p/2 p 2p 10p 100p 1000p 10000p

40. De quoi dépend le choix des méthodes utilisées 2 types de méthodes : • Screening : méthode qualitative, pas de lois de proba sur les entrées • Méthodes quantitatives : modélisation probabiliste des entrées • Objectif recherchée Ex : analyse de code (qualitative Morris, quantitative Sobol) informations dans un domaine de la réponse, proba faibles, … calibration et validation de modèles, … • Nombre de paramètres d’entrée incertains Ex : plusieurs centaines de paramètres bifurcations séquentielles • Complexité du modèle • Temps de calcul et maniabilité du code Ex : code non automatisable PEX fact. fract, plan optimal • Nombre de variables de sortie d’intérêt, …

41. Quelques besoins en R&D pour nos applications • Métamodèles • Modèles pour réponses temporelles, spatiales • Modèles à entrées temporelles, spatiales • Développer des plans adaptés au métamodèle et à l’objectif visé lors de son utilisation • Métamodèles adaptés à l’évaluation de quantiles • Analyse de sensibilité • Impact des incertitudes de modèle • Caractères spatial et temporel des entrées/sorties • Développement d’indices basés sur d’autres mesures que la variance (e.g. l’entropie)

42. Merci et bon week-end ! • Merci à Gilles Pujol et au département d’Etude des Combustibles (CEA Cadarache) pour leur exemple sur Morris • Merci à Elena Volkova (Institut Kurchatov) pour son exemple sur MARTHE • Merci à Nicolas Devictor de m’avoir laissé parler • Merci aux organisateurs de ces journées !