1 / 73

Réseaux de neurones artificiels « programmation par l’exemple »

Réseaux de neurones artificiels « programmation par l’exemple ». S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu. Plan de Route. études de cas nez électronique capteur logiciel prévision de charge entrante

rafal
Download Presentation

Réseaux de neurones artificiels « programmation par l’exemple »

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Réseaux de neurones artificiels« programmation par l’exemple » S. Canu, laboratoire PSI, INSA de Rouen équipe « systèmes d’information pour l’environnement » asi.insa-rouen.fr/~scanu

  2. Plan de Route • études de cas • nez électronique • capteur logiciel • prévision de charge entrante • modélisation de l’écrouissage • Conclusion : programmation à base d’exemples • l’apprentissage simple • une affaire de noyaux ! • qui se ressemble s’assemble • Réseaux de neurones • perceptrons multicouches • fonctions de bases radiales

  3. Système d’information pour l’environnement

  4. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares

  5. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.

  6. Système d’information pour l’environnement • Nature des phénomènes • beaucoup de données disponibles • dépendances complexes : non linéaires, bruités • les événements intéressants sont rares • Solution • programmation à base d’exemple • précision de la prévision • domaine de validité • Problèmes à résoudre • validation de données • prévision à court terme • évaluation de la situation • décision.

  7. Quelques exemples

  8. Nez électronique • Objectifs • remplacer un capteur coûteux par 6 capteurs « bon marché » • détecter certaines situation critiques • Données disponibles • 280 points de mesures • 12 variables mesurées (pentes et conductance des capteurs) • a priori • phénomènes « réguliers » • coût « absolu » • méthode • S.V.M. (un genre de réseau de neurones) • sélection des variables pertinentes par analyse discriminante • définition des zones d’ambiguïté • définition d’un domaine de validité du domaine • Résultats

  9. Nez électronique Classe 1 Classe 3 Ambigus Classe 2 inconnus Régle de décision dans le plan de l’AFD

  10. Capteur logiciel • Objectifs • valider les données d’un capteur physique de NH4 • remplacer ce capteur pour la détection • Données disponibles • 4 années, toutes les heures • 24 variables mesurées (pH, température, conductance, turbidité,…) • beaucoup de données manquantes • a priori • phénomènes « réguliers » • coût quadratique • méthode • réseau de neurones • sélection des variables pertinentes • prévision de l’erreur de prédiction par un autre réseau de neurones • définition d’un domaine de validité du domaine • Résultats

  11. Capteur logiciel

  12. R.P.S. : Consommation journalière en 1988 Consommation en m3 Mois

  13. Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain

  14. RNA y = W f ( W f (W X) ) 2 1 1 3 2

  15. Spécifications fonctionnelles Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Algorithme de prévision La consommation du lendemain

  16. Modèle de type “boite noire” Informations sociales - jour de la semaine - vacances scolaires - jour ferié, ... Informations météorologiques : - pluie, - température - neige, ... consommations passées Situation : X Information non observable  Y yp = r(x) Algorithme de prévision La consommation du lendemain

  17. Prévision de la classe de qualité du bois • But : Minimiser les erreurs de classement • Données : • 550 points de mesures • Entrées : mesures physique sur les planches • Sorties : point de rupture Classe • Informations a priori • nature des classes

  18. Prévision de la charge entrante • Objectifs • prévoir quand et quelle quantité de polluant va arriver à . la station d’épuration • Données disponibles • 12 années, toutes les heures • 24 variables mesurées : pluie, charge entrante, température • a priori • phénomènes « réguliers » • coût quadratique • méthode • prévision de la pluie par un réseau de neurones • prévision de la charge par un second réseau de neurones • structurer les réseaux de neurones à priori • définition d’un domaine de validité du domaine

  19. Optimisation de la qualité du verre (Saint Gobain) • But : Optimiser la fabrication • Données : • 127 points de mesures (plan d’expérience) • Entrées : quantités de “sables” • Sorties : mesures physiques • Informations a priori • pas de variations brusques (monotonie)

  20. Qualité du verre

  21. Qualité du verre

  22. Qualité du verre

  23. Écrouissage • Objectif • prévoir le comportement de l’alliage en fonction des forces • Données disponibles • simulations logiciel dans un premier temps • données réelles ensuite • a priori • phénomènes temporels à mémoire • coût quadratique • méthode • réseau de neurones récurrents (bouclés) • approche incrémentale • Résultats

  24. Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps

  25. Écrouissage Déformations - plastiques - élastiques Écrouissage - isotrope - cinématique Pour une même valeur du couple (F,D) le futur est imprédictible Il faut connaître le passé du système f(t) : la force appliquée au cours du temps e(t) : l’allongement constaté au cours du temps

  26. Écrouissage : le modèle « statistique » e(t) = e(t-1) + D (f(t)-f(t-1)) z-1 Plastique/Elastique sp a-b e sm a+b 1 -a f(t) +1 x 1 -1 Monte/Descend f(t-1) 1 On cherche à « écrire » un programme, qui à partir d’une suite de « forces » calcule la réponse de la pièce

  27. Écrouissage

  28. Écrouissage : résultats mesure modèle

  29. Écrouissage : résultats

  30. Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification

  31. Programmation à base d’exemples • Apprendre : des entrées : X, et des sorties : Y • But : trouver une dépendance : r(X) • Utilisation : pour un X donné : prévoir Y • Connaissance : données : (Xi,Yi), i=1,n cout : C(x,r(x),y) a priori sur la structure du modèle • Difficultés : Généralisation données limitées remplir les trous • Tâches génériques : Discrimination, Régression, Prévision à un pas de temps, Identification Modules logiciels

  32. Que peut on faire ?

  33. Que peut on faire ? • résumer • classer • prévoir

  34. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1 Les données

  35. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1

  36. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn X1

  37. Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe (décider) • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn ? + X1

  38. + + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1

  39. + + + + + + Les Trois problèmes • Regrouper des informations et les quantifier : • faire des classes • nuées dynamiques, • EM • Cartes auto-organisatrices de Kohonen • Classer une nouvelle donnée : • affecter à une classe • discrimination linéaire : le neurone formel • les méthodes à base de noyaux • SVM • Prévoir le comportement d’une variable : • avec ou sans le temps • régression linéaire • RBF • PCM Xn x x x x x x + x x x + x x x + + x + x + X1

  40. Modèle « boite noire » Prévision ^ y = r(X) X Entrées Observables erreur CRITERE Système Réel  Entrées Non Observables Y = F(X, )

  41. Les différentes étapes d’une application • Recueil des données brutes • génération de caractéristiques • sélection des caractéristiques pertinentes • étiquetage des classes • conception du classifieur • évaluation du système

  42. notations espace des sources J coût d ’une règle de décision (erreur de prédiction)

  43. Conclusion • C’est un outil dont il ne faut pas se priver • Les méthodes statistiques peuvent dans certains cas • apporter des solution originales à des problèmes « difficiles » • il faut disposer de données • on fait de la programmation à partir de données • la notion de « coût » est fondamentale • il faut disposer d’une bonne méthodologie • il était une fois un concours de prévision...

  44. Modèle “Boite Noire”... Innovation Y = r(x) + (x)  • fontion de prévision : r(x) • fonction de précision : (x) X { Système Réel Y = F(X, )  ...Minimise l’erreur de prédiction

  45. Variance non constantedistribution non gaussienne P(Y/X=x) r(x) x

  46. Variance non constantedistribution non gaussiènne P(Y/X=x) r(x) x

  47. Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x

  48. Cas multi modal (Bishop (94)) P(x,y) E(Y/X) P(Y/X=x) x

  49. Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme

  50. Programmation à base d’exemples Exemples : (formes x, étiquettes y, confiance) Algorithme programme • Pas de modèle : • si on veut pourvoir tout apprendre, il faut contrôler la complexité • Représentation des incertitudes : • fusion d’informations incertaines • Méthodologie et applications : • domaine de validité, intervalle de confiance, heuristiques

More Related