Optimisation de l ’ Evolution des Syst è mes (Décisions dans l’incertain) Eric Sanlaville

1. Optimisation de l’Evolution des Systèmes (Décisions dans l’incertain) Eric Sanlaville Professeur université du Havre Eric.sanlaville@isima.fr Wwwmaths.univ-bpclermont.fr/sanlavil~ ISIMA 3 F3 et Master 2 SIAD Novembre 2008

2. Organisation • 3 x 4 heures de Cours / TD • 4 heures de TP • Plan • Décisions sous incertitudes • Programmation stochastique • Modèles markoviens pour l’évolution de systèmes • Processus de décision markoviens finis et infinis • Evaluation : • compte rendu de TP

3. Références • Hillier Lieberman Introduction to OR • Martel techniques et applications de la RO • Heche, Liebling, De Werra (PUR) • RoseauxExercices et problèmesrésolus de RO, T3 • Allen Statistics and queueing theory • Bouyssou Roy (multicritères) • FuderbergTirole(game theory) • EhrgottGandibleux (multicritères) • Kouvelis Yu (robust optimisation) • White (markovdecision processes)

4. Partie 1 Décisions sous incertitudes : modèles, méthodes, évaluations des décisions

5. Prise en compte des incertitudes : pourquoi? • Logistique : des trains toujours à l’heure • Production : des machines jamais en panne, des opérateurs toujours disponibles • Marketing : des clients toujours prévisibles • Chaîne logistique : des fournisseurs toujours fiables • Equipements publics : des politiques stables, des populations stables Nos décisions s’appliquent-elles à un monde parfait?

6. Importance de la dimension temporelle • Une décision s’applique : • Immédiatement. Mais il nous manque des données. • Dans le futur. Nos données resteront-elles pertinentes? • On pilote un système qui évolue : • suite de décisions • Étalées dans le temps (notion d’horizon de décision) En général la connaissance des données utiles (les paramètres du système) augmente avec le temps Mais on ne peut pas toujours reporter la prise de décision !

7. Différents types d’incertitudes • Nos décisions visent au pilotage d’un système. Elles dépendent des valeurs des paramètres de ce système (qui peuvent à leur tour dépendre de ces décisions : variables!). • Logistique : nombre et type de camions, produits à transporter, lieux d’approvisionnement et de dépôts,… • Production : machines, robots de transport, quantités à produire,… • Marketing : nombre de clients potentiels, coût d’une campagne de pub,..

8. Différents types d’incertitudes (2) • Incertitudes sur les données discrètes : nombre de camions disponibles, nombre de machines en pannes, nombre de commandes • Incertitudes sur les données continues : durée d’un trajet, durée d’une opération sur un poste de travail, quantitéà produire,… • Incertitude structurelle : certaines données ne sont pas disponibles ! • Appel d’offre d’un concurrent (secret) • Décisions à un niveau supérieur (secret aussi ?) • Taille d’un marché (étude de marché incomplète) • Marge d’erreur d’une étude

9. Comment juger en présence d’incertitudes ? • Intuition : il nous faut être capables de classer différentes alternatives (ou décisions, ou solutions). • Problème : suivant les conditions réelles, l’ordre relatif des alternatives peut changer! • Exemple : le produit X ne fera des bénéfices que si le nombre de clients dépasse un certain seuil, qui dépend du prix de vente (la décision à prendre) mais ne peut être entièrement déterminéà l’avance • La meilleure alternative est donc déterminée a postériori? Inacceptable!! Il faut être capable de choisir entre deux alternatives, Même si aucune n’est toujours meilleure que l’autre

10. Comment juger en présence d’incertitudes (2) • Hypothèse : il existe un critère« objectif » permettant de choisir entre deux alternatives A et B pour des données fixées D. • Ce critère peut être absolu : ZD(A). • Exemple : bénéfice obtenu si le prix de vente est de A, et le nombre de clients est de D. • Ce critère peut être relatif : A <D B • exemple : un expert décide entre 2 alternatives, sans pouvoir quantifier son choix. Il nous faut donc pouvoir « agréger les préférences » : Etant donné l’ensemble de tous les scénarios possibles, quelle alternative/décision/solution choisir?

11. Les différents modèles pour la prise de décision en présence d’incertitudes se distinguent donc suivant la façon dont ils réalisent cette agrégation des préférences pour ne retenir qu’une alternative AVANT la levée des incertitudes

12. Approches • Modèles Déterministes (analyse de la valeur moyenne, échantillonnage) • Théorie des jeux • Décisions multi-critères • Optimisation robuste (min max regret) • Optimisation robuste (espérance) • Optimisation stochastique • Processus de décision markoviens Etc, etc,… Et la simulation là dedans?

13. Modèle déterministe 1 :Analyse de la valeur moyenne • Domaine d’application : • incertitude sur les durées et les quantités. • Horizon de temps : quelconque • Chaque paramètre variable est remplacé par sa valeur moyenne (estimation) • Recherche d’une bonne solution pour ces valeurs de paramètres.

14. Analyse de la valeur moyenne :inconvénients • La solution n’est pas toujours réalisable • Elle est « bonne » (optimale) sur un domaine étroit : analyse de sensibilité. • Elle peut être très mauvaise sur un grand nombre de scénarios du problème

15. Modèle déterministe 2 :échantillonnage et optimisation • Domaine d’application : incertitude sur les durées et les quantités • N scénarios sont sélectionnés par échantillonnage • Une meilleure solution est calculée pour chacune. • L’ensemble de ces solutions est considéré : celle qui est globalement « la meilleure » est choisie.

16. Echantillonnage et optimisation :inconvénients • Méthode coûteuse : N optimisations • On a réduit le nombre d’instance et le nombre de solutions considérées. Mais le choix de la solution finale ? Voir les autres méthodes • A t’on conservé toutes les solutions intéressantes? • La solution retenue est’elle toujours réalisable ?

17. Max Z = 3A + 2B + C A  a B  1-a A+B+C  1 Solution robuste : (0,0,1) Exemple (Wallace 00) : production sans stockage 3 produits A, B, C. production =1 demandes pour A et B : a et b inconnues, mais leur somme vaut 1 C : substitution Interdit : produire plus que la demande a connue après la décision Solution optimale pour a fixée : (a,1-a,0) Infaisable ! Les solutions optimales ont une structure indésirable : A,B >0, C =0

18. Théorie des Jeux • Plusieurs acteurs en concurrence (joueurs) • Chaque joueur a le choix entre plusieurs décisions (stratégies) • Une fois que chaque joueur a choisi sa stratégie, le gain de chacun est connu • Horizon de temps : quelconque Incertitudes ? La stratégie des autres joueurs !

19. Théorie des Jeux • Cadre : • économie • Tarification : telecom, aérien • Fonctionnement d’un marché libre • Situations de conflit • Hypothèse : comportement rationnel et individualiste des joueurs (??)

20. -3 0 -4 6 5 0 Théorie des jeux : exemple 1 Chaque joueur tente de maximiser son gain, mais doit tenir compte de la stratégie de l’autre Joueur 2 Existence d’un point d’équilibre : Aucun joueur n’a intérêt à changer de stratégie Joueur 1

21. -2 -3 -4 2 5 4 Théorie des jeux : exemple 2 Chaque joueur tente de maximiser son gain, mais doit tenir compte de la stratégie de l’autre Joueur 2 L’équilibre est instable: Alternatives ? Stratégies mixtes probabilistes Joueur 1

22. Théorie des Jeux, extensions • Plus de 2 joueurs • Jeux simples, jeux répétés • Objectif : recherche des équilibres • Résolution : programmation linéaire, programmation mathématique,…

23. Décisions multicritères :approche qualitative N critères, P alternatives Chaque critère (votant) trie l’ensemble des alternatives (fixées) Exemple : 100 votants, 5 alternatives CONDORCET : A > B > C >A Méthode Electre : Prudence !! Seuil à 55 %: restent A et B

24. Décisions multicritères :approche quantitative • N critères (N petit). Un grand nombre de solutions. • Conserver les solutions non dominées : X solution de Pareto (min) : pour tout Y, Yi < Xi implique : il existe j, Yj > Xi C1 - + - - - - X + + - - - + + C2

25. Décisions multicritères :approche quantitative (2) • Problème : les optima de Pareto peuvent être nombreux (courbe de Pareto) • Trouver un optimum de Pareto peut être bien plus dur que optimiser un seul critère!

26. Optimisation robuste 1 :min max regret • Constat : on ne peut pas trouver une solution optimale pour tous les scénarios. • Hypothèse : Ce qui compte, c’est l’écart à la meilleure solution pour chaque scénario. • le regret : ce que l’on aurait dû faire si on avait su! • La meilleure solution : celle pour laquelle le plus grand regret est minimum

27. Optimisation robuste 1 :min max regret Trouver X / maxs ( fs (X) – f*s ) est minimum fs (X) : valeur de la solution X pour le scénario s f*s : valeur optimale pour le scénario s C’est une approche « pire cas » Résoudre le problème d’optimisation est en général Très difficile.

28. Exemple (Mahjoub 04) • Ligne de production (petite série, flow shop). • Une des machines (la dernière) est en panne. ( Il en manque une partie, qui arrivera le lendemain ) • 7 pièces doivent passer par la ligne, il faut déterminer tout de suite leur ordre de passage pour qu’elles soient disponibles à l’arrivée de la machine : ordre figé. • A chaque pièce est associée une durée d’exécution sur la machine en panne, et une date de livraison impérative • Le service commercial souhaite minimiser le nombre de retards de livraisons (une pénalité est prévue) PB : la date d’arrivée de la partie manquante n’est pas connue

29. Exemple (indisponibilité,suite) 1/ / SUj : Ordonnancement sur une machine, minimiser le nombre de pièces en retard. Indisponibilité possible de la machine au démarrage Cas de deux scénarios. La pièce est livrée par camion : soit à 8h, soit à11 h ( indispo sur [0,3]) Ordre initial: 1 2 3 4 5 6 7

30. OK [0,3] Max (f - f*) d3 = 3 d4 =6 d7=9 0 7 4 1 2 3 4 5 6 7 S1 4 5 6 7 3 3 3 S2 1 2 3 5 6 7 S3 1 4 1 Exemple (indisponibilité,suite)

31. Optimisation robuste 2 • Objectif : minimiser le critère f sur l’ensemble des scénarios • Hypothèses : • On a une modélisation du problème déterministe initial (PL, PLNE, quadratique) • On fait « bouger » une contrainte ou plusieurs • La fonction objectif ne change pas • On transforme le problème en un nouveau problème d’optimisation (en général plus complexe). La solution cherchée est réalisable pour tous les scénarios retenus.

32. Optimisation robuste 2 exemples Programmation linéaire • Exemple 1: les coefts de la contrainte varient sur un intervalle : [ai-a,ai+a] • Exemple 2 : l’ensemble de la contrainte devient une ellipsoïde • Dans le 2ème cas, on est ramenéà un programme quadratique particulier, polynômial! Remarque : ces modèles reviennent souvent àéliminer les scénarios extrèmes, très improbables

33. Exemple d’application :incertitudes sur la qualité des matières premières

34. Approches stochasssstiques Jusqu’ici : aucune hypothèse probabiliste explicite sur les données incertaines Quel est l’apport des modèles stochastiques?

35. Modélisation stochastique • Chaque donnée incertaine est modélisée par une variable aléatoire. • L’objectif devient lui-même une variable aléatoire. • On cherche à minimiser son espérance, plus rarement : minimiser la probabilité qu’il dépasse un certain seuil : résultat très utile, mais difficile à obtenir !!

36. Exemple indisponibilité de la machine revisité • On suppose maintenant que la durée d’indisponibilité de la machine est une variable aléatoire discrète. Elle est de 3 heures avec proba p, et de zero sinon.

37. Exemple indisponibilité de la machine : exercice • Quelle est alors l’espérance du nombre de retards pour chacune des 3 solutions suivant p ? • Tracez les courbes associées • Concluez • Vous êtes le chef d’atelier. Que faites vous?

38. OK [0,3] Max (f - f*) d3 = 3 d4 =6 d7=9 0 7 4 1 2 3 4 5 6 7 S1 4 5 6 7 3 3 3 S2 1 2 3 5 6 7 S3 1 4 1

39. Programmation stochastique • Hypothèses : l’incertitude influence la valeur des solutions plus que leur structure. Chaque scénario induit donc une fonction différente à optimiser. Il est possible d’associer une probabilitéà chaque scénario. • méthode : considérer l’espérance de la valeur des solutions comme une fonction unique, pour se ramener à un seul problème d’optimisation

40. Programmation stochastique : exemple classique du vendeur de journaux • Un vendeur de journaux achète un journal au prix unitaire a. Il le vend au prix p. Il peut ramener les invendus, dans ce cas il obtient r < a par journal. • La demande est modélisée par une variable aléatoire d. Quelle quantité de journaux doit-il acheter ??

41. Processus de décision markoviens • On travaille sur un horizon de temps long. • Les décisions influent sur l’évolution du système considéré. Cette évolution est probabiliste. • Le coût total dépend des décisions et des états successifs • Hypothèse markovienne : évolution sans mémoire du système • Objectif : minimiser l’espérance du coût total sur N périodes (ou le coût par période en horizon infini)

42. Processus de décision markoviens • Marketing • Systèmes de production • Gestion de stocks … • Tout système qui se laisse « conduire »

43. La Simulation • Simulation monte carlo : tirage aléatoire répété pour obtenir un échantillon d’une variable aléatoire. • Exemple : échantillonner une donnée incertaine • Simulation de l’évolution d’un système : • Simu àévénements discrèts :un tirage aléatoire permet de calculer la date d’un événement. • Exemple : système de production, fin d’une opération. • Cas particulier : simulation d’un réseau de files d’attente quand les méthodes analytiques sont inapplicables

44. Simulation versus Optimisation ? • La simulation : un outil pour analyser le comportement d’un système complexe • Pour nous : permet d’évaluer la performance d’une solution d’un problème de décision • Ne permet pas de calculer une « bonne » solution !!

45. Couplage Simulation/Optimisation !! • Quand calculer la valeur d’une solution est trop coûteux par une méthode analytique, la simulation permet d’évaluer cette valeur • En répétant une simulation, on évalue la performance moyenne d’une solution S, et on approche E(f(S)) • Exemple : système de production, modèle RFA • Utilisation : on peut incorporer la simulation dans les méthodes classiques d’optimisation : heuristiques de voisinage, algos évolutionnaires, Branch and Bound, …

46. Conclusions • Prise en compte des incertitudes : de nombreux modèles. • Ils ne s’appliquent pas aux mêmes problèmes, ils n’ont pas les même outils pour le choix. • Seul le contexte permet de choisir. • En dernier ressort, ces outils restent des AIDES à la DECISION