Une théorie générale des réseaux connexionnistes

1. Une théorie générale des réseaux connexionnistes Denis Cousineau Université de Montréal Denis.Cousineau@UMontreal.CA

2. Sommaire • Survol des produits matriciels • Inner vs. Outer • Lien avec les réseaux connexionnistes? • Conjecture • Vecteurs d’entrées • N. B. Université de Ottawa, Novembre 2009

3. Survol des produits matriciels

4. Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Survol des produits matriciels Université de Ottawa, Novembre 2009

5. Il y a deux produits impliquant les vecteurs Le produit matriciel Le produit scalaire Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

6. Le produit de matrice est possible si et seulement si: Les deux termes sont des matrices (ayant deux dimensions) ou des tenseurs (ayant deux dimensions ou plus) La taille de la dernière dimension du premier terme est identique à la taille de la première dimensions du second terme, i.e. Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

7. ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit la dimensionnalité  inner product . Ces deux opérations se comprennent mieux avec leur généralisation, le produit de matrices (aka dot product): Survol des produits matriciels Université de Ottawa, Novembre 2009

8. ... mais se comprennent aussi en terme de leur impact sur la dimensionnalité: Le premier augmente la dimensionnalité  outer product Le second réduit de un la dimensionnalité  inner product . par exemple Survol des produits matriciels Université de Ottawa, Novembre 2009

9. Inner vs. Outer

10. Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Que fait un inner? Université de Ottawa, Novembre 2009

11. Calcule la somme pondérée: La dimension j est «collapsée», est «aggregated»; les entrées sont superposées. Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009

12. Dans Mathematica: Dans ce inner, l’opérateur de sommation permet de superposer les entrées l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un inner? Université de Ottawa, Novembre 2009

13. Calcule toutes les combinaisons possibles des paires d’entrées: ??? Que fait un outer? Université de Ottawa, Novembre 2009

14. Calcule toutes les combinaisons possibles des paires d’entrées: ??? Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009

15. Dans Mathematica: Dans ce outer, l’opérateur de multiplication permet de joindre les pairs d’entrées. De façon explicite: Que fait un outer? Université de Ottawa, Novembre 2009

16. Lien avec les réseaux connexionnistes?

17. Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q Université de Ottawa, Novembre 2009

18. Imaginons un perceptron... • Ce perceptron a comme architecture: • taille des inputs p • taille des outputs q • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009

19. Imaginons un perceptron... • La règle d’apprentissage: • Le changement de poids de la connexion i, j est proportionnel à la force de l’input et à la force de l’erreur • Avec un autre formalisme: • ou encore dans Mathematica: • La règle de transmission: • La réponse d’une unité d’output j est proportionnelle à la force des inputs pondérée par les poids de connections • Avec un autre formalisme: • ou encore dans Mathematica: Université de Ottawa, Novembre 2009

20. Imaginons un perceptron... • Pris ensemble: • La règle de transmission: • La règle d’apprentissage: • définissent un réseau appelé dans le jargon • un réseau Sigma-pi Université de Ottawa, Novembre 2009

21. Conjecture

22. Toute règle de transmission est réalisée par un Inner • Toute règle d’apprentissage est réalisée par un Outer Université de Ottawa, Novembre 2009

23. Des exemples? • Un perceptron (McClelland et al., 1986) • Un réseau de course (Cousineau, 2004a et b, 2005) • Un réseau FEBAM-SOM (Chartier et Giguère, 2009) • Un réseau de Kohonen (SOM; 1982) Université de Ottawa, Novembre 2009

24. Vecteurs d’entrées

25. Pourquoi s’en tenir à un vecteur d’entrée et à un vecteur de sortie? La sortie peut être une surface (i.e. une matrice) L’entrée peut aussi être une matrice (e.g. une image rétinienne) L’entrée peut être – pourquoi pas – un cube (i.e. un tenseur) Université de Ottawa, Novembre 2009

26. Pour y arriver, supposant un input I de dimensions p q un output O de dimensions s t On utilise ou dans Mathematica: • Supposant • un input I de dimensions p q r • un output O de dimensions s t • On utilise • ou dans Mathematica: Université de Ottawa, Novembre 2009

27. N. B.

28. Pour la règle de transmission: ← signifie aussi selon le cas appliquer une fonction de seuil effectuer un élagage (kWTA) effectuer un lissage (chapeau allemand ou chapeau mexicain) Pour la règle d’apprentissage: ← signifie aussi introduire une constante d’apprentissage • Tout au long, j’ai utilisé un raccourci, le signe ← • Ce signe a plusieurs significations Université de Ottawa, Novembre 2009

29. Merci Cette présentation sera disponible un jour à mapageweb.umontreal.ca/cousined