Concepts avancés en mathématiques et informatique appliquées

1. Concepts avancés en mathématiques et informatique appliquées MAP-6014

2. Approches non-paramétriques et non-supervisées • Technique de classification Self Organized Map • Introduction • Formation de la SOM • Algorithme d’entraînement • Classification • Sources: • http://en.wikipedia.org/wiki/Self-organizing_map

3. Technique de classification SOM (Introduction) • Une Self-Organizing Map (SOM) est un mode de représentation de données d dimensions présentée de manière 2-D ou 3-D, pour que les données similaires soient regroupées. • Cette approche est non-supervisée et génère les regroupements automatiquement. • Une fois que la SOM a convergée, elle ne peut ensuite que classifier des données inconnues. Au contraire des réseaux de neuronnes traditionnels, SOM n’est pas en apprentissage continue. • SOMs fonctionne en deux phases: • Phase d’entraînement: La map est construite, le réseau (la grille) s’organise par un processus compétitif, la SOM est entraînée en utilisant un nombre importants de données d’entraînement (ou les mêmes vecteurs d’entrées peuvent être réintroduits plusieurs fois). • Phase de Mapping (classification): De nouveaux vecteurs d’entrées sont associés à une position dans la SOM correspondant à la classe d’appartenance.

4. Technique de classification SOM (Formation de la SOM) • Chaque noeud dans la SOM est connecté aux entrées et aucun noeud n’est relié.

5. Technique de classification SOM (Formation de la SOM) • Le nuage bleu sont les données d’entraînement, le point blanc est une observation dans les données d’entraînement. • Le nœud le plus proche dans la SOM (jaune) est selectionné et est positionné proche des données ressemblantes des données d’entraînement (les nœuds voisins se rapprochent aussi) • Après plusieurs itérations la grille tend à approximer la distribution.

6. Technique de classification SOM (Algorithme d’entraînement) • Initialisation des poids de chaque noeud de la SOM. • Choix d’un vecteur venant des données d’entraînement et présenté ce vecteur à la SOM. • Chaque node est visité pour trouver le Best Matching Unit (BMU). • Un rayon autour du BMU est calculé. La dimension du voisinage diminue avec les itérations. • Chaque noeud au voisinage du BMU a ses poids ajustés de façon à ressembler plus au BMU. • Repéter les étapes 2 à 6 pour atteindre la convergence.

7. Technique de classification SOM (Algorithme d’entraînement: Localisation du BMU) • La distance Euclidienne entre un noeud avec les poids (vecteurs de référence) (W1, W2, … , Wn) et un vecteur de données de l’ensemble d’entraînement (V1, V2, … , Vn) est calculée.

8. Technique de classification SOM (Algorithme d’entraînement: Voisinage du BMU) • Dimension du voisinage: Une fonction exponentielle avec une décroissance plus rapide avec les itérations • Positionnement et pondération dans le voisinage: Le voisinage est définie par une forme gaussienne.

9. Technique de classification SOM (Algorithme d’entraînement: Voisinage du BMU)

10. Technique de classification SOM (Algorithme d’entraînement: Voisinage du BMU) • Calcul des poids des noeuds BMU et au voisinage. • Le taux d’apprentissage, L, est aussi une exponentielle (ce qui assure la convergence de la SOM). •  représente une constante de temps, et t l’indice de temps ou de l’itération

11. Technique de classification SOM (Exemple 1) SOM 10X10 • Données d’entraînement • Poids initiaux • Poids Finaux • Voir: http://www.ai-junkie.com/files/SOMDemo.zip