Uncertainty and Sensitivity Analysis in Risk Assessment and Management

1. Uncertainty and Sensitivity Analysis in Risk Assessment and Management Emanuele Borgonovo, Ph.D. (MIT) Istituto di Metodi Quantitativi Bocconi University emanuele.borgonovo@unibocconi.it

2. Il Problema • Siete manager di un’azienda che gestisce parcheggi e dovete decidere se e come costruire un nuovo parcheggio. • Siete manager evoluti dal punto di vista quantitativo, ovvero avete seguito il corso del Prof. Rocca.

3. Input (Paramteri) Modello a Supporto delle decisioni Analisi di Sensibilità Yes/No Criterio di Valutazione Il Processo di Decisione Ipotesi Clemen (1997, Ch.1)

4. Modelli • Un modello è uno strumento matematico-logico che l’analista, il manager, lo scienziato, l’ingegnere sviluppa per: • Predire il comportamento della realtà • Predire l’andamento di un mercato • Prendere una decisione relativa ad un investimento • Elementi comuni ai modelli: • Incertezza iniziale • Una serie di ipotesi • Una serie di input • Eventi • Risultato (output) del modello

5. Attenzione!! • Forecasting is easy … …. for the past by (Niels Bohr, Nobel Prize for Physics)

6. Costruzione del modello • Costruire un modello richiede una conoscenza approfondita di: • Problema • Eventi rilevanti rispetto al problema • Fattori che influenzano il comportamento delle quantità di interesse • Raccolta dei dati e delle informazioni • Statement e calcolo delle incertezze • Occorre la verifica della coerenza del modello mediante analisi empirica, se possibile, e analisi di sensibilità

7. Esempio: la legge di gravità • Vogliamo descrivere la caduta verticale di un corpo sulla superficie della terra. Adottiamo il modello: F=mg per la caduta dei corpi • Ipotesi (?): • Corpo puntiforme (niente rotazioni) • Niente attrito • Niente correnti atmosferiche • Funziona per la caduta di un corpo posto a grande distanza dalla superficie terrestre?

8. Output Parametri: sono I fattori Che influenzano l’output Forma Funzionale non Necessariamente Nota Il modello in generale • Modello:

9. Esempio • Torniamo alla forza di gravità: • Vediamo il modello in generale:

10. Un primo uso dell’analisi di sensibilità • Cosa succede se m passa dal suo valore di riferimento al suo doppio, da m0 a 2m0? • Dettagliamo meglio la domanda: • F aumenta o diminuisce? • Stessa domanda ma più in generale: • L’output (Y) risponde con segno positivo o negativo alla variazione di uno o più parametri? • Samuelson (1947, Nobel prize per l’Economia): “the response of our system to changes in certain parameters”

11. Y x ? Output Input Attenzione… • Le cose si complicano nella vita reale, perchè i modelli diventano complessi e non sono di solito trattabili analiticamente • D’ora in poi, quindi assumiamo di non conoscere più la forma funzionale: ovvero, I metodi che discutiamo si applicano ad ogni modello

12. Cos’è la Sensitivity Analysis E’ un insieme di metodi matematici che permettono, tramite la risposta a domande: “What if….?” di aprire la scatola nera

13. Black Box • “Sensitivity analysis: would You go to an orthopaedist that does not use X-Ray?” • By A.Saltelli, Joint Research Center EC

14. Cosa “esce” dalla Black-Box Misure di Importanza Analisi di Rischio Analisi di Incertezza Verifica della Correttezza

15. Importanza dei fattori in gioco • E’ possibile stabilire l’importanza di ciascun fattore? • Quale ipotesi influenza l’output del modello e quindi la decisione di più? • E’ possibile quantiticare l’importanza di gruppi di ipotesi? • L’applicazione dell’Analisi di Sensibilità permette di rispondere a queste domande

16. Analisi di Incertezza E’ possibile avere una misura del livello di confidenza nei risultati del modello? E’ possibile ripartire l’incertezza nei vari fattori? Dove ci si dovrebbe focalizzare per ridurre il più possibile l’incertezza nei risultati? L’applicazione di tecniche dell’Analisi di Sensibilità (globale) permette di rispondere a queste domande

17. Informazioni nell’analisi del rischio • Come si distribuisce il rischio tra i fattori? Quale ipotesi tenere sotto osservazione per ridurre il rischio? E’ possibile trarre indicazioni dall’analisi di sensibilità in relazione all’analisi del rischio (anzi, l’origine è proprio quella…!)

18. Requisiti dei metodi di SA • La tecnica utilizzata dovrebbe essere: • Quantitativa e indipendente dal modello • Capace di evidenziare interazioni, ovvero l’effetto di più variabili • Evitare di escludere parametri rilevanti

19. Metodi di SA

20. Categorie di Metodi di SA • Tecniche di SA locali • [Cheok et al (1998), Borgonovo and Apostolakis (2001), Borgonovo et al (2003)] • Screening Methods • Morris (1991) and Kleijnen (2005)] • Non-Parametric Techniques • [Saltelli and Marivoet (1990)] • Variance Based Techniques • [Saltelli et al (1999), Sobol’ (1993), (2001), (2003)] • Moment Independent Global SA techniques • [Park and Ahn (1994), Chun et al (2000), Borgonovo (2005) and (2006)] Uncertainty Numerical Convenience

21. Y=f(X1,X2) Y0 x10 X1 x20 X2 Analisi di Sensibilità Locale

22. Il Rationale delle tecniche di sensibilità locale

23. La misura di importanza differenziale • Sia f(x) differenziabile in x0 . Allora, si definisce importanza differenziale del parametro xi la quantità [Borgonovo and Apostolakis, 2001; Borgonovo and Peccati, 2004, and 2006]: • Di è la frazione del differenziale di f(x0) associate con xi.

24. H1: Uniform Changes H2: Proportional Changes Proprietà 1) Additività: 2) Somma ad 1: 3) Generalizza Derivate Parziali ed Elasticità

25. Probabilistic Risk Assessment Investment Project Evaluation Food Safety Inventory Models Influence Diagrams Misura di Importanza Differenziale Applicazioni

26. Applicazione all’analisi di investimento Investire in un parcheggio

27. Price Market Risk SPC Project Contractual Structure Shareholder Agreement Insurance Contracts Loan Agreement Merchant Sale Engineering Procurement Construction Contract Operation & Mantenance Contract

28. Sponsor’s Side: or Lender’s Side or Large Projects Valuation: Criteria

29. Model Structure Auxiliary Calculations Inputs Finstats Results

30. Stima dei flussi di cassa • Proiezione della vita economica del progetto • Livello di dettaglio molto elevato per progetti di ampio respiro

31. Determinazione dei Key-Drivers • “Complex Non-linear models” (Van Groenendaal (1998), Kleijnen and Van Groenendaal (1997), (2002)). • L’elevato numero di parametri in genere produce: • Assenza della conoscenza di f(x) • Problemi di computo (i.e., alti costi e tempi di calcolo [Kleijnen and Van Groenendaal (2002)] ) • Problemi nella comunicazione dei risultati • SA gioca ruolo cruciale nello svelare la dipendenza del Modello dai parametri • SA è quindi essenziale nello sfruttare l’informazione del modello

32. Metodologia • Numero di parametri: 428 • Categorie: • Entrate • Costi di Costruzione • Fiscali • Finanziari • Macroeconomici • Spese Operative • Valuation Criteria: NPV e <DSCR> • Tre livelli di raggruppamento • Level 3: parametri (428) • Level 2: 17 grouppi • Level 1: 6 grouppi • Confronto attraverso i Savage Score corr. Coeff.

33. Algoritmo di calcolo • Definizione Operativa: • Allora la successione: tende a D per ogni successione xjtendente a 0. • Per i=1,…,n, definendo: Si usa il criterio di Cauchy per fermare l’algoritmo. • Test: • Notate che si ottiene una risposta automatica ad una serie di “what if” questions

34. Local Risk • Risk: “… potential variability of financial outcomes …” (White, Sondhi and Fried,1997) (=dV). • Thus, locally, the parameter that is associated with the highest Ds is the one that causes the highest change in the valuation criterion (Borgonovo and Peccati (2006a).

35. Equity NPV, dalla parte degli investitori

36. Parameter ranking (Level 3)

37. NPV: Level 1

38. NPV: Level 2, 17 categories

39. Riassunto sui risultati per l’NPV • I parametri relativi alle entrate sono i più importanti • ke gioca un ruolo importante • La leva finanziaria non è tra i 20 fattori più importanti • 60 Parametri non influenti

40. Debt Service Coverage Ratio: dalla parte della Banca

41. DSCR: Level 3

42. DSCR: Level 1

43. DSCR: Level 3

44. Riassunto sui risultati per l’NPV • Parametri delle entrate sono i più importanti • Il costo del debito gioca un ruolo importante (simmetrico a kd) • La leva è significativa (8th) • Equity relevant parameters ke and retention ratio are non influential • Tasse impattano di più NPV che DSCR

45. Confronto incrociato

46. Parametri singoli

47. Analisi del Ranking • 30 parametri invariati di posizione • 338 shifts. • Max Shift: -352 (ke) • Media: +9 positions. Rank Correlation: 0.88 Savage Score Correlation: 0.93 • C’è un sostanziale accordo • Key drivers tendono a coincidere • Differenze rilevanti: • ke e kd che si invertono • leva

48. Financial Structuring Level 3

49. NPV vs DSCR, Level 2

50. Conclusioni • Introduzione alla SA (Misura di Importanza differenziale, Applicazione a modello Complesso) • Analisi di SA consente di sfruttare appieno lo sforzo (ed il costo) della costruzione del modello