Σύγχρονα συστήματα προβλέψεων και μοντελοποίησης

1. Σύγχρονα συστήματα προβλέψεων και μοντελοποίησης Δημήτρης Λέκκας Τμήμα Στατιστικής και Αναλογιστικών Χρηματοοικονομικών Μαθηματικών

2. Περιγραφή • Πρόγνωση • Μέθοδοι • Πρόγνωση με Συναρτήσεις Μεταφοράς • Πρόγνωση με Τεχνητά Νευρωνικά δίκτυα(ΤΝΔ) • Artificial Neural Networks (ANN) • Διόρθωση πρόγνωσης

3. Pattern or Noise? Δεδομένα επιβατών αεροπορικής εταιρίας Εποχικότητα, Τάση Πολλαπλασιαστική επίδραση της εποχικότητας Ή προσθετική επίδραση της εποχικότητας Πωλήσεις νωπών προϊόντων σε supermarket Εποχικότητα, Παλμοί, Θόρυβος Άγνωστο μοντέλο Γιατί να κάνουμε πρόγνωση με ΤΝΔ?

4. Pattern or Noise? TAR(p) Threshold Autoregressive model Random Walk model Γιατί να κάνουμε πρόγνωση με ΤΝΔ?

5. Γιατί Τεχνητά Νευρωνικά Δίκτυα? – μη γραμμικότητα • Διαθέσιμα δεδομένα – άγνωστες διεργασίες • Πολλές εξαρτημένες σχέσεις στο χώρο των επιχειρήσεων και της αγοράς είναι μη-γραμμικές • ΤΝΔ μπορούν να προσεγγίσουν οποιαδήποτε γραμμική και μη-γραμμική σχέση με ακρίβεια • Μπορούν να μάθουν (learn) • Μπορούν να προεκτείνουν (extrapolate)  generalisation (ικανότητα γενίκευσης) • Μπορούν να εξάγουν πληροφορία από τα δεδομένα • Ευέλικτα εργαλεία για προσομοίωση και πρόγνωση

6. “An ANN is a nonlinear mathematical structure which is capable of representing arbitrary complex nonlinear processes that relate the inputs and the outputs of any system” (Hsu et al., 1995). Ανήκουν στην ομάδα των data-driven μεθόδων όπως τα μοντέλα Συνάρτησης Μεταφοράς, σε αντίθεση με τις μεθόδους που βασίζονται στην περιγραφή των διεργασιών / σχέσεων (process-driven). Ένα ΤΝΔμπορεί να παράγει μελλοντικές τιμές μιας χρονοσειράς με πολλές μεταβλητές που πιθανόν περιέχει θόρυβο, βασισμένο σε παλιότερες παρατηρήσεις.

7. Γιατί Τεχνητά Νευρωνικά Δίκτυα? – ευέλικτη μοντελοποίηση • Άγνωστες διεργασίες που περιγράφονται από τα δεδομένα – απαιτούν την δημιουργία υποψήφιων μοντέλων • Ευελιξία στις μεταβλητές εισόδου – κωδικοποίησης • Δυαδικό - Binary scale [0;1], [-1;1] • Δεκαδικό - Nominal/ordinal scale (0,1,2,…,10) • Μετρικό - Metric scale (0,235 7,75 10220303,0 …) • Ευελιξία στις μεταβλητές εξόδου • Αριθμός μεταβλητών εισόδου • Αριθμός μεταβλητών εξόδου

8. Γιατί Τεχνητά Νευρωνικά Δίκτυα? – ευέλικτη μοντελοποίηση • Μια αρχιτεκτονική δικτύου  πολλές εφαρμογές

9. Εφαρμογή των ΤΝΔ σε διαφορετικά πεδία έρευνας και εφαρμογής 2500+ επιστημονικές δημοσιεύσεις σε πρόγνωση με ΤΝΔ • Νευροφυσιολογία – προσομοίωση και ανάλυση λειτουργίας εγκεφάλου • Πληροφορική • email & URL filtering • VirusScan (Symmantec Norton Antivirus) • Speech recognition & Optical Character Recognition • Μηχανική • Έλεγχος και διαχείριση συστημάτων • Αυτόματη αναγνώριση στόχου • Ανίχνευση εκρηκτικών σε αεροδρόμια • Εκκίνηση και προσγείωση αεροπλάνων και πυραύλων (NASA) • Κλήμα και καιρικά φαινόμενα • Πρόγνωση βροχόπτωσης • Επιδράσεις φαινομένων όπως ElNino

10. Εφαρμογή των ΤΝΔ σε διαφορετικά πεδία έρευνας και εφαρμογής • Επιχειρήσεις • Έλεγχος και ανίχνευση απάτης με πιστωτικές κάρτες • Μέθοδοι προσομοίωσης και πρόγνωσης • Παραγωγή ηλεκτρικής ενέργειας / ζήτηση • Πωλήσεις • Οικονομικός τομέας • Προγνώσεις μετοχών, δεικτών κλπ.

11. Τι είναι τα Τεχνητά Νευρωνικά Δίκτυα? • Τεχνητά Νευρωνικά Δίκτυα • Μια μηχανή που έχει σχεδιαστεί για να προσομοιώσει τον τρόπο που λειτουργεί το ανθρώπινο μυαλό - το δίκτυο ‘περιγράφεται’ σε κώδικα για να λειτουργεί σε Η/Υ. • Μια τάξη στατιστικών μεθόδων για την διαχείριση πληροφορίας που αποτελείται από έναν αριθμό (μεγάλο?) απλών δομών (νευρώνια - neurons)που ανταλλάσσουν πληροφορίες μέσω οργανωμένων συνδέσεων. Έξοδος Είσοδος Διεργασία Black Box • Παρατηρήσεις χρονοσειρών • Μεταβλητές • Δεδομένα εικόνας (pixel/bits) • Δακτυλικά αποτυπώματα • Χημικές αναλύσεις • ... • Πρόγνωση χρονοσειρών • Εξαρτημένες μεταβλητές • Ομαδοποίηση • Πιθανότητες • Κύριο συστατικό • ...

12. Παράδειγμα

13. Τεχνητά Νευρωνικά Δίκτυα (Τ.Ν.Δ.) • Υπολογιστικό σύστημα που εκτελεί ορισμένες χαρακτηριστικές λειτουργίες. • Τι είναι τα Τ.Ν.Δ. • Δομή • Εκπαίδευση Τ.Ν.Δ. • Εφαρμογές Τ.Ν.Δ. • Νευρώνες / Στρώματα / Σύνδεση • Ενδυνάμωση / αποδυνάμωση βαρών μέχρι να λάβουν κατάλληλες τιμές • Στρατηγική ασφαλίσεων • Τραπεζικό σύστημα και οικονομία • Πρόβλεψη Οικονομικών Μεγεθών • Εκμετάλλευση πετρελαίου και παραγώγων του

14. Δομή Τεχνητών Νευρωνικών Δικτύων • ΤΕΧΝΗΤΟΣ ΝΕΥΡΩΝΑΣ • Βάρη • Αθροιστής • Συναρτήσεις μεταφοράς • ΔΟΜΗ ΔΙΚΤΥΟΥ • Αριθμός Στρωμάτων • Συναρτήσεις μεταφοράς • Πλήθος Νευρώνων • Είδος σύνδεσης Σ Σχηματική Αναπαράσταση ενός Τεχνητού Νευρώνα Παράδειγμα δομής ενός Τεχνητού Νευρωνικού Δικτύου

15. Νευρώνια - Απλές δομές Κάθε νευρώνιο δέχεται ένα άθροισμα από εισόδους (με διαφορετικά βάρη) – έξοδος από νευρώνια της προηγούμενης στοιβάδας (layer). Το εισερχόμενο σήμα προωθείται (propagates) μέσω μια μη-γραμμικής συνάρτησης ενεργοποίησης (activation function) στα νευρώνια της επόμενης στοιβάδας. • Το κάθε νευρώνιο έχει διπλό ρόλο: • Α) ενοποίηση της πληροφορίας που προέρχεται από εξωτερικές πηγές ή νευρώνια (συνήθως μέσω μιας γραμμικής συνάρτησης) • Β) παραγωγή του σήματος εξόδου βάση μιας προκαθορισμένης συνάρτησης ενεργοποίησης (sigmoid, linear, the cubic polynomial κλπ) Η μετατροπή αυτή των εισόδων σε εξόδους σε ένα νευρώνιο είναι σχετικά απλή, η πολυπλοκότητα και η ισχύς των ΤΝΔ επιτυγχάνεται με την αλληλεπίδραση ενός αριθμού νευρωνίων.

16. Αρχικές ιδέες, κίνητρο και εφαρμογή ΤΝΔ

17. Επεξεργασία πληροφορίας σε βιολογικά νευρώνια • Προσομοίωση βιολογικών λειτουργιών σε νευρώνια • 10-100 δις Νευρώνια με 10000 συνδέσεις στον εγκέφαλο • Είσοδος (αισθήσεις), Επεξεργασία (εσωτερικά) & Έξοδος (κινητική) Γενική ιδέα: η επεξεργασία των πληροφοριών γίνεται στα νευρώνια!

18. Επεξεργασία της πληροφορίας στα νευρώνια ΤΝΔ

19. Συναρτήσεις • Εισόδου – γραμμική (άθροισμα) • Εξόδου – γραμμικές, μη-γραμμικές

20. Επεξεργασία της πληροφορίας σε νευρώνιο • Νευρώνιο  δυαδικό κατώφλι

22. Γραφική παρουσίαση Απλή γραμμική παλινδρόμηση... Με τη μορφή εξίσωσης Απλή γραμμική παλινδρόμηση... Με τη μορφή σχήματος

23. Απλή εξίσωση ΤΝΔ χωρίς ανατροφοδότηση (feedback) Επίσης  Απλοποίηση για πολύπλοκα μοντέλα

24. Απλή διεργασία σε κάθε νευρώνιο • Συνδυασμός απλών νευρωνίων • δημιουργεί σύνθετη συμπεριφορά • ... Συνδυασμός νευρωνίων

25. Αρχιτεκτονική δικτύων - στοιβάδες (layers) • Όλα τα ΤΝΔ είναι οργανωμένα σε στοιβάδες. • Τρεις τύποι - διαφορετικές λειτουργίες: • Στοιβάδα εισόδου (input layer) • Κρυφές στοιβάδες (hidden layers) • Στοιβάδα εξόδου (output layer) Κάθε στοιβάδα αποτελείται από ένα αριθμό νευρωνίων και οι στοιβάδες συνδέονται μεταξύ τους με κάποια βάρη (correlation weights).

26. Αρχιτεκτονική ΤΝΔ πολλαπλών στοιβάδων • Νευρώνια unοργανωμένα σε στοιβάδες • Συνδέσεις μεταξύ στοιβάδων με βάρη wi,j • Δεδομένα εισόδου xi • Δεδομένα εξόδου ok

27. Ορολογία

28. Αρχιτεκτονική ΤΝΔ • Ο τρόπος σύνδεσης των στοιβάδων, ο αριθμός των κρυφών στοιβάδων και ο αριθμός των νευρωνίων σε κάθε στοιβάδα – η αρχιτεκτονική του δικτύου – καθορίζει τον τρόπο που θα γίνει ο υπολογισμός • Σε μερικές περιπτώσεις η αρχιτεκτονική μπορεί να καθοριστεί κατά τη διαδικασία εκπαίδευσης του δικτύου (cascade correlation (Imrie et al., 2000) & Linear Least Square Simplex (Hsu et al., 1995). • Η αρχιτεκτονική ή ο τύπος του δικτύου καθορίζεται από την εφαρμογή.

29. Τύποι δικτύων • fully connected - , όλα τα νευρώνια είναι συνδεδεμένα μεταξύ τους με διάφορους τύπους συνδεσμολογίας (forward, backward or no-connection (zero weight) • layered, δεν υπάρχουν συνδέσεις από ανώτερες στοιβάδες σε κατώτερες στοιβάδες • acyclic, δεν υπάρχουν συνδέσεις μεταξύ νευρωνίων ίδιας στοιβάδας. Δίκτυα που δεν είναι acyclic αναφέρονται ως recurrent. • Feed forwardδίκτυαανήκουν στα acyclic networks. • modular networks - η αρχιτεκτονική τους αποτελείται από ξεχωριστά στοιχεία που όταν συνδεθούν δημιουργούν ένα δίκτυο

30. Τύποι δικτύων • Μulti-layered feed forward neural networks (FFNN) (Rumelhart et al., 1986), • self-organising feature maps (Kohonen, 1982) • Hopfield networks (Hopfield, 1987). • Από αυτούς τους τύπους τα FFNN έχει παρατηρηθεί να έχουν την καλύτερη απόδοση για την περιγραφή σχέσεις όπου υπάρχουν δεδομένα εισόδου και εξόδου.

31. Τύποι δικτύων - εκπαίδευση • Πριν από την εφαρμογή ενός ΤΝΔ πρέπει να ορισθούν • Ο αριθμός των στοιβάδων • Ο αριθμός των νευρωνίων και οι συνδέσεις μεταξύ τους • Οι τιμές των παράμετροι (weights and biases) • Η διαδικασία προσδιορισμού των παραμέτρων (weights and biases) αναφέρεται ωςεκπαίδευση ή εκμάθηση(learning or training).

32. Δεδομένα εκπαίδευσης και ελέγχου

33. Παράδειγμα

34. Τύποι εκπαίδευσης • Η διαδικασία προσδιορισμού των παραμέτρων (learning)μπορεί να χωριστεί σε δυο κατηγορίες supervisedκαιunsupervised. • supervised: μια ομάδα δεδομένων(calibration ή training set) που περιέχει παρατηρήσεις από τις μεταβλητές του συστήματος, είναι διαθέσιμα για να προσδιοριστεί η απόδοση του συστήματος • unsupervised: δεν υπάρχουν διαθέσιμα δεδομένα (calibration ή training set) για να υποδείξουν τα σφάλματα του συστήματος και να βοηθήσουν στον προσδιορισμό των παραμέτρων. Η διαδικασία βασίζεται στην αναγνώριση διαφορών στα δεδομένα ή στο περιβάλλον με κανόνες. • πχ supervised learning  classification unsupervised learning clustering

35. Η ισχύς του ΤΝΔ & ακρίβια πρόγνωσης επηρεάζονται από • Επιλογή συνάρτησης ενεργοποίησης • ΤΝΔ με γραμμικές παραμέτρους  ευκολότερος προσδιορισμός παραμέτρων • Περίοδος και μέθοδος εκπαίδευσης • Ποσότητα διαθέσιμων δεδομένων – επιλογή μεθόδου • Περιορισμοί λόγω προβλημάτων στην πρόγνωση μεγάλων τιμών. • Υπάρχουν μέθοδοι για την κατασκευή ΤΝΔ που να μπορούν να κάνουν πρόγνωση τιμών που να είναι μεγαλύτερες από τις τιμές στα δεδομένα εκμάθησης.

36. Εκπαίδευση Τ.Ν.Δ. Τ.Ν.Δ. X1 T1 X2 T2 Xn-2 Tn-2 Xn-1 Tn-1 Xn Tn • Διαδικασία (1 εποχή) • Είσοδος • Έξοδος • Σύγκριση με στόχο • Τροποποίηση βαρών • Υπερεκπαίδευση • Γενίκευση - Υ1 Υ2 ● ● ● ● ● Υn-1 Υn Υ1 - Υ2 - Υn-2 - Υn-1 • Αυτοματοποίηση: • Δεδομένα εκπαίδευσης • Αλγόριθμος εκπαίδευσης • Τερματισμόςεκπαίδευσης - Υn

37. Αποτελέσματα Τιμή Στιγμιαίου Ναύλου μεταφοράς Σιδήρου (Βραζιλία-ΒΔ. Ευρώπη / 120.000dwt)

38. Αποτελέσματα Τιμή Στιγμιαίου Ναύλου μεταφοράς Σιδήρου (Βραζιλία-ΒΔ. Ευρώπη / 120.000dwt) ANN+1 ANN+3 ANN+6 ANN+9 ANN+12

39. Αποτελέσματα Worldscale VLCC Ras Tanura-Rotterdam ΤΝΔ+3

40. Αποτελέσματα Worldscale VLCC Ras Tanura-Rotterdam ΤΝΔ+9

41. Αποτελέσματα

42. Αποτελέσματα

43. Υστέρηση στα δεδομένα • Εισαγωγή υστέρησης στα δεδομένα πριν την προώθηση στις κρυφές στοιβάδες. • Χρήση - tapped delay line (TDL) • Η έξοδος είναι έναςπίνακας η-διαστάσεων που αποτελείται από τα δεδομένα εισόδου σε προηγούμενες χρονικές περιόδους. Κάθε στοιχείο του πίνακα μπορεί να έχει διαφορετική παράμετρο ενώ προωθείται στην επόμενη κρυφή στοιβάδα. • Λειτουργεί ως μνήμη που αποθηκεύει παλαιότερες τιμές των δεδομένων εισόδου

44. Feed-forward neural networks (FFNN) • Τα FFNN είναι δομημένα σε στοιβάδες χωρίς συνδέσεις μεταξύ νευρωνίων της ίδιας στοιβάδας. Μεταξύ της στοιβάδας εισόδου και εξόδου υπάρχουν μια ή περισσότερες κρυφές στοιβάδες. • Κάθε μονάδα επεξεργασίας πληροφορίας (νευρώνιο) είναι συνδεδεμένο με όλα νευρώνια της επόμενης στοιβάδας με βάρη (παραμέτρους) που πρέπει να προσδιοριστού. • Η πληροφορία που παρουσιάζεται στην στοιβάδα εισόδου (i)προωθείται προς τα μπρος μέσα στο δίκτυο και τις κρυφές(h) στοιβάδες στην στοιβάδα εξόδου(o).

45. Οι δείκτες στα βάρη είναι με αντίστροφη σειρά • π.χ. wh,iαντιστοιχεί στη σύνδεση μιας εισόδου σε ένα νευρώνιο στη κρυφή στοιβάδα. • Η είσοδος σε κάθε νευρώνιο στη κρυφή στοιβάδα n: είναι ο αριθμός των νευρωνίων στην προηγούμενη στοιβάδα, b: το βάρος μιας σταθερής εισόδου ίσης με τη μονάδα

46. g(h)είναι η έξοδος ενός νευρωνίου στη κρυφή στοιβάδα, fh είναι η συνάρτηση ενεργοποίησης στη κρυφή στοιβάδα. Αντίστοιχα η έξοδος ενός νευρωνίου στη στοιβάδα εξόδου g(t)μπορεί να προσδιοριστεί από:

47. Συναρτήσεις • Γραμμική • Σιγμοειδής • Υπερβολική εφαπτομένη

48. Ένα FFNN πολλαπλών στοιβάδων είναι ένα αρκετά ισχυρό μοντέλο προσομοίωσης • Πχ ένα δυο-στοιβάδων δίκτυο (1 input – 1 hidden – 1 output) με σιγμοειδή συνάρτηση στην κρυφή στοιβάδα και γραμμική στην εξωτερική μπορεί να εκπαιδευτεί και να προσομοιώνει σχεδόν κάθε συνάρτηση (με πεπερασμένο αριθμό ασυνεχειών) • Όπως παρουσιάζεται από τους Hsu et al. (1995) ένα δυο-στοιβάδων δίκτυομε πεπερασμένο αριθμό νευρωνίων στην κρυφή στοιβάδα ικανοποιεί τις απαιτήσεις ώστε να θεωρηθεί universal function, ικανό να προσεγγίζει κάθε λειτουργία με περισσότερες από μια μεταβλητές. Το γεγονός αυτό αναφέρεται και σαν “Kolmogorov’s mapping neural network existence theorem” (Hsu et al., 1995).

49. Recurrent Networks • Ενδιαφέρον λόγω της χρήσης προηγούμενων τιμών για την πρόγνωση. • Elman recurrent network (Elman, 1988) • δυο-στοιβάδων δίκτυο (1 input – 1 hidden – 1 output) • Ανατροφοδότηση. Επιπλέον σύνδεση από την έξοδο της κρυφής στοιβάδας στην είσοδο. • Δίνει τη δυνατότητα να μάθει, να αναγνωρίσει, να γενικεύσει και να προσομοιώσει χρονικά μεταβαλλόμενα συστήματα.

50. Το Elman ΤΝΔ έχει Υπερβολική εφαπτομένησυνάρτηση ενεργοποίησης στην κρυφή στοιβάδα (recurrent) και γραμμική συνάρτηση στην στοιβάδα εξόδου. • Περισσότερα νευρώνια στην κρυφή στοιβάδα από FFNN. • Ανάλογα την εφαρμογή τα recurrent ΤΝΔ υπερτερούν των FFNN ακόμα και σε περιπτώσεις με δεδομένα με θόρυβο. • Δεν αναπαράγουν τα ίδια αποτελέσματα με ίδια δεδομένα εισόδου. • Μπορεί να γίνουν ασταθή (moving target problem)