ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ

1. ΠΕΡΙΒΑΛΛΟΝΤΙΚΗ ΠΡΟΒΛΕΨΗ ΜΕ ΜΕΘΟΔΟΥΣ ΜΗΧΑΝΙΚΗΣ ΜΑΘΗΣΗΣ ΗΛΙΑΣ Θ. ΚΑΛΑΠΑΝΙΔΑΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ 2003

2. Η διάρθρωση της παρουσίασης • Μηχανική Μάθηση • Περιβαλλοντική Πληροφορική • Προ-επεξεργασία • Μείωση των διαστάσεων • Εφαρμογή των αλγορίθμων • Κατανεμημένη υλοποίηση • Προς ένα ολοκληρωμένο σύστημα • Συμπεράσματα

3. 1.Μηχανική Μάθηση 1. ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ • Ορισμός • Μορφοποίηση συνόλου δεδομένων • Εφαρμογές • Αλγόριθμοι

4. 1.Μηχανική Μάθηση ΜΗΧΑΝΙΚΗ ΜΑΘΗΣΗ Ορισμός: «Η αναζήτηση σε ένα χώρο πιθανών υποθέσεων εκείνης της υπόθεσης που ταιριάζει καλύτερα στα υπό εξέταση δεδομένα και στην πιθανώς προϋπάρχουσα γνώση»

5. 1.Μηχανική Μάθηση Ένα παράδειγμα • Αναγνώριση του λουλουδιού της ίριδας • Πιθανές κλάσεις που αυτό ανήκει: • Iris Setosa • Iris Virginica • Iris Versicolour • 4 ιδιότητες • Μήκος πετάλου • Πλάτος πετάλου • Μήκος σεπάλου • Πλάτος σεπάλου

6. 1.Μηχανική Μάθηση Μορφοποιημένο σύνολο δεδομένων Μήκος πετάλου Πλάτος πετάλου Πλάτος σεπάλου Ιδιότητες Μεταβλητή κλάσης Μήκος σεπάλου Παράδειγμα

7. 1.Μηχανική Μάθηση Εκπαίδευση του αλγόριθμου Σύνολο εκπαίδευσης Αλγόριθμος Υ’ = f(X) + ε Εκπαιδευμένο μοντέλο αλγορίθμου

8. Μέτρα Απόδοσης Εκπαιδευμένου Μοντέλου 1.Μηχανική Μάθηση Αξιολόγηση του αλγόριθμου Σύνολο αξιολόγησης Αλγόριθμος Υ’ = f(X) + ε

9. 1.Μηχανική Μάθηση Εφαρμογή του αλγόριθμου Νέο παράδειγμα Αλγόριθμος Υ’ = f(X) + ε Πρόβλεψη

10. 1.Μηχανική Μάθηση Εφαρμογές • Χρηματιστήριο • Βιομηχανία • Περιβάλλον • Βιοτεχνολογία/ Γενετική • Τραπεζικός/ Ασφαλιστικός τομέας

11. 1.Μηχανική Μάθηση Αλγόριθμοι • Είδη Μηχ.Μάθησης • Υπό επίβλεψη • Χωρίς επίβλεψη • Τύποι προβλημάτων υπό επίβλεψη • Παλινδρόμησης • Ταξινόμησης

12. 1.Μηχανική Μάθηση Αλγόριθμοι • K-κοντινότεροι γείτονες • Παλινδρόμηση • Τεχνητά Νευρωνικά Δίκτυα • Περιπτωσιακός Λογισμός • Δέντρα Απόφασης • Δίκτυα Bayes • Γενετικοί Αλγόριθμοι

13. R 1.Μηχανική Μάθηση Κ-κοντινότεροι γείτονες ?

14. 1.Μηχανική Μάθηση Κ-κοντινότεροι γείτονες • Πλεονεκτήματα: • Απλή υλοποίηση • Αποδεκτά αποτελέσματα σε μεγάλο πεδίο εφαρμογών • Πολύχρονη εμπειρία χρήσης • Μειονεκτήματα: • Χρονοβόρος σε μεγάλα σύνολα δεδομένων

15. 1.Μηχανική Μάθηση Παλινδρόμηση

16. Είσοδος 2 Είσοδος 4 Είσοδος 8 Είσοδος 10 Είσοδος 6 Είσοδος 1 Είσοδος 3 Είσοδος 5 Είσοδος 7 Είσοδος 9 Πρώτη κρυμμένη ζώνη Δεύτερη κρυμμένη ζώνη 1.Μηχανική Μάθηση Τεχνητά Νευρωνικά Δίκτυα Έξοδος

17. 1.Μηχανική Μάθηση Τεχνητά Νευρωνικά Δίκτυα • Πλεονεκτήματα • Ανοχή στον θόρυβο • Ικανότητα γενίκευσης • Μειονεκτήματα • Δυσνόητο μοντέλο (μαύρο κουτί) • Δυσανάλογος χρόνος εκπαίδευσης

18. Παλαιά περίπτωση Παλαιά περίπτωση Νέα περίπτωση Παλαιά περίπτωση Γενική Γνώση Παλαιά περίπτωση Παλαιές περιπτώσεις 1.Μηχανική Μάθηση Περιπτωσιακός Λογισμός Πρόβλημα Νέα περίπτωση Ανάκληση περιπτώσεων Διδαχθείσα περίπτωση Αιτιολόγηση λύσης Επαναχρησιμοποίηση παλιών λύσεων Δοκιμασμένη/ διορθωμένη λύση Λυμένη περίπτωση Προσαρμογή λύσης Εγκεκριμένη λύση Προτεινόμενη λύση

19. 1.Μηχανική Μάθηση Δέντρα Απόφασης

20. 1.Μηχανική Μάθηση Δίκτυα Bayes Χ1 Χ2 Χ3 Υ Χ4 Χ5 P(X1, X2, X3, X4, X5, Y) = P(X1)·P(X2)·P(X3|X1, X2)·P(Y|X1, X2, X3)·P(X4|Y)· P(X5|X4, Y)

21. Γέννηση νέου πληθυσμού 1.Μηχανική Μάθηση Γενετικοί Αλγόριθμοι Επιτεύχθηκαν τα κριτήρια βελτιστοποίησης; Αξιολόγηση συνάρτησης προσαρμογής Ναι Εξαγωγή λύσης Αρχικός πληθυσμός Όχι Επιλογή Διασταύρωση Μετάλλαξη

22. 2.Περιβαλλοντική Πληροφορική Περιβαλλοντική Πληροφορική • Θέματα: • Ολοκληρωμένες πλατφόρμες αξιολόγησης και μελέτες περιπτώσεων • Ανάλυση περιβαλλοντικών συστημάτων • Πρόβλεψη περιβαλλοντικών αλλαγών • Παρακολούθηση του περιβάλλοντος σε πραγματικό χρόνο • Πιστοποίηση ποιότητας περιβαλλοντικών μοντέλων • Εφαρμογές μοντελοποίησης με agents και εξομοίωσης σε περιβαλλοντικά συστήματα

23. 2.Περιβαλλοντική Πληροφορική Περιβαλλοντική Πληροφορική • Πεδία Εφαρμογής: • Ποιότητα Αέρα • Ποιότητα Εδάφους • Ποιότητα Υδάτων • Διαχείριση Αποβλήτων

24. 2.Περιβαλλοντική Πληροφορική Αέρια Ρύπανση • Παρακολούθηση και πρόβλεψη των επιβλαβών ρύπων: • Ο3 • ΝΟx • PM10 Σωματίδια • Καπνός

25. 2.Περιβαλλοντική Πληροφορική Τα προβλήματα του ΠΕΡΠΑ • Πρόβλεψη της μέγιστης συγκέντρωσης για τους ρύπους: • ΝΟ2 • Ο3 • Για τις χρονικές περιόδους: • Ίδια ημέρα μετά τις 10 π.μ. • Επόμενη ημέρα

26. 2.Περιβαλλοντική Πληροφορική Π1/Π2 Πρόβλεψη την ίδια ημέρα O3 max NO2 max Συλλογή δεδομένων Πρόβλεψη

27. 2.Περιβαλλοντική Πληροφορική Π3/Π4 Πρόβλεψη για την επόμενη ημέρα O3 max NO2 max Συλλογή δεδομένων Πρόβλεψη

28. 3.Προ-επεξεργασία Προ-επεξεργασία των δεδομένων • Αντιμετώπιση θορύβου • Αντικατάσταση ελλιπών τιμών

29. 3.Προ-επεξεργασία Μελέτη θορύβου • 2 μοντέλα θορύβου: • Ύπαρξη θορύβου μόνο στις ιδιότητες • Ύπαρξη θορύβου και στις ιδιότητες και στην εξαρτημένη μεταβλητή • Εκτίμηση απόκλισης τιμής ιδιότητας λόγω θορύβου:

30. 3.Προ-επεξεργασία Αποτελέσματα μελέτης θορύβου- 1ο μοντέλο

31. 3.Προ-επεξεργασία Αποτελέσματα μελέτης θορύβου- 2ο μοντέλο

32. 3.Προ-επεξεργασία Μελέτη μεθόδων αντικατάστασης ελλιπών τιμών • Ελλιπής τιμή στο παράδειγμα p στην ιδιότητα Χiπου ανήκει στην κλάση Υj • Αντικατάσταση με τη μέση τιμή της ιδιότητας • Αντικατάσταση με τη μέση τιμή της ιδιότητας ανάμεσα στα παραδείγματα που ανήκουν στην κλάση Υj • Δημιουργία k συνόλων δεδομένων από το αρχικό σύνολο, όπου οι ελλιπείς τιμές έχουν αντικατασταθεί από κατάλληλα υπολογισμένες τιμές με τη μέθοδο της μεγιστοποίησης της προσδοκίας (Expecation Maximization –EM) • Εφαρμογή επίμονου προβλέπτη, δηλαδή αντικατάσταση με την τιμή Xi|p-1

33. 3.Προ-επεξεργασία Αποτελέσματα ελλιπών τιμών-RMSE

34. 3.Προ-επεξεργασία Αποτελέσματα ελλιπών τιμών–Χρόνος ανάπτυξης μοντέλου

35. 4.Μείωση των Διαστάσεων Μείωση των διαστάσεων • Ορισμός, γιατί και πως • Μέθοδοι επιλογής ιδιοτήτων • Περιτύλιξη με γενετικό αλγόριθμο • Λεπτομέρειες της υλοποίησης • Ρύθμιση των παραμέτρων • Αποτελέσματα • Σύγκριση με άλλη μέθοδο επιλογής ιδιοτήτων

36. 4.Μείωση των Διαστάσεων Επιλογή των ιδιοτήτων • 2ν πιθανοί συνδυασμοί • ν!/μ!(ν-μ)! πιθανοί συνδυασμοί από μ ιδιότητες

37. 4.Μείωση των Διαστάσεων Πως ορίζεται η ιδιότητα • Ορισμός ιδιότητας: • Η συγκέντρωση του ρύπου P, στο σταθμό μέτρησης S, την ώρα H, Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O) • Ή • Η συγκεντρωτική συνάρτηση F της συγκέντρωσης του ρύπου P, στο σταθμό μέτρησης S, από την ώρα H1 έως H2, Ο ημέρες πριν την ημέρα της πρόβλεψης D (D-O)

38. 4.Μείωση των Διαστάσεων Λόγοι επιλογής ιδιοτήτων • Πάρα πολλές ιδιότητες από τις οποίες μπορεί να κατασκευαστεί ένα σύνολο δεδομένων • Μερικές ιδιότητες είναι περιττές ή μη σχετιζόμενες με την εξαρτημένη μεταβλητή • Απλοποίηση του μοντέλου πολλές φορές βελτιώνει την ικανότητα γενίκευσης (κανόνας του Occam) • Η ανεύρεση των σημαντικών ιδιοτήτων συμβάλει στην κατανόηση του προβλήματος

39. 4.Μείωση των Διαστάσεων Μέθοδοι Αντιμετώπισης • Μέθοδοι • Φιλτραρίσματος • Περιτύλιξης

40. Επιλογή υποσυνόλου ιδιοτήτων Επιλογή νέου υποσυνόλου ιδιοτήτων 4.Μείωση των Διαστάσεων Μέθοδος φιλτραρίσματος Αποθήκη ιδιοτήτων Υποσύνολο ιδιοτήτων υπό αξιολόγηση Μέθοδος φιλτραρίσματος Υπολογισμός μέτρων ποιότητας των ιδιοτήτων Επαύξηση ή μείωση των ιδιοτήτων Είναι αποδεκτό το αξιολογημένο υποσύνολο; Επιλεγμένο υποσύνολο ιδιοτήτων Ναι Όχι

41. Γενετικός Αλγόριθμος Επιλογή υποσυνόλου ιδιοτήτων Επιλογή νέου υποσυνόλου ιδιοτήτων Κατασκευή συνόλου δεδομένων Εκπαίδευση Αλγορίθμου Αξιολόγηση Αλγορίθμου 4.Μείωση των Διαστάσεων Μέθοδος περιτύλιξης Αποθήκη ιδιοτήτων Υποσύνολο ιδιοτήτων υπό αξιολόγηση Σύνολο δεδομένων Κ-κοντινότεροι γείτονες Εκπαιδευμένο Μοντέλο Αξιολογημένο Μοντέλο Είναι αποδεκτό το αξιολογημένο μοντέλο; Επιλεγμένο υποσύνολο ιδιοτήτων Ναι Όχι

42. 4.Μείωση των Διαστάσεων Περιτύλιξη με Γενετικό Αλγόριθμο • Δημιουργία πληθυσμού από υποσύνολα ιδιοτήτων • Συνάρτηση προσαρμογής δύο κριτηρίων: • Απόδοση συνόλου δεδομένων του υποσυνόλου ιδιοτήτων στον αλγόριθμο κ-κοντινότερων γειτόνων • Μέγεθος υποσυνόλου ιδιοτήτων • Εξέλιξη πληθυσμού ανά γενιά εφαρμόζοντας γενετικούς τελεστές

43. 4.Μείωση των Διαστάσεων Η Κωδικοποίηση του γενότυπου F = αδιάφορο H2 = αδιάφορο Σημαία Συγκεντρωτικής ιδιότητας = 0 O = 0 P = ΝΟ2 S = 104 H1 = 1700  Επέλεξε τη συγκέντρωση του ΝΟ2 στο σταθμό μέτρησης με κωδικό 104 (Γεωπονική) στις 5 μ.μ. 000 0011 000 10000 00010 00000 0 0 1 2 3 4 B1 B2 B3 B4 B5 Δυναμικός πίνακας των συμβολοσειρών των ιδιοτήτων Επέλεξε τη μέση συγκέντρωση του  SΟ2 στο σταθμό μέτρησης με κωδικό 108 (Περιστέρι) από τις 4 π.μ. μέχρι τις 9 μ.μ. 100 0111 000 00011 10100 00010 1 P = ΝΟ2 S = 108 H1 = 400 O = -2 Σημαία Συγκεντρωτικής ιδιότητας = 1 F = Μέση τιμή-Avg H2 = 2100

44. 4.Μείωση των Διαστάσεων Η συνάρτηση προσαρμογής • Πολυαντικειμενική (δύο στόχοι): • Ελαχιστοποίηση σφάλματος πρόβλεψης του αλγόριθμου κ-κοντινότερων γειτόνων • Ελαχιστοποίηση αριθμού ιδιοτήτων στο υποσύνολο ιδιοτήτων της λύσης , a <= 1, b <= 1, a + b = 1

45. 4.Μείωση των Διαστάσεων Οι παράμετροι της συνάρτησης προσαρμογής {a, b}

46. 4.Μείωση των Διαστάσεων Το τροποποιημένο μέτρο αξιολόγησης μοντέλων WSE • et = Xt– Ft • Xt είναι η πραγματική τιμή της εξαρτημένης μεταβλητής • Ftείναι η εκτίμηση της Xt από τον αλγόριθμο

47. 4.Μείωση των Διαστάσεων Ρύθμιση του μεγέθους πληθυσμού

48. 4.Μείωση των Διαστάσεων Ρύθμιση συντελεστών {a, b}

49. 4.Μείωση των Διαστάσεων Ρύθμιση του ρυθμού μετάλλαξης

50. 4.Μείωση των Διαστάσεων Ρύθμιση αριθμού ελίτ μελών