Support Vectors

1. Support Vectors Présentation générale SSS Maintaining Algorithm

6. Problème quadratique sous contraintes On considère l’échantillon: La fonction de classification: Le problème est de trouver (w, b) minimisant w.w, sous contraintes :

7. Transformation lagrangienne • Le problème devient :Minimiser : • Sous contraintes :

8. Espaces déployés Exemple :

10. Ensembles non linéairement séparables • Introduction de variables permettant d’enfreindre les contraintes : • Minimiser : • Sous contraintes : • Equivalent à :

15. Théorie de la généralisation • Lorsqu’on arrive à séparer un ensemble de points (provenant d’une distribution à support fini K) par une séparation linéaire avec une marge g, alors, on peut borner la probabilité que l’erreur en généralisation soit supérieure à e, indépendamment de la dimension de l’espace.

16. Remarques • Pas d’algorithme qui calcule directement la support vector machine (approximations successives de type gradient) • La minimisation est faite dans un espace de dimension souvent très grande (la taille de l’échantillon), avec un grand nombre de contraintes

17. Interprétation géométrique • recherche du point d’un polyèdre convexe, le plus proche de l’axe des b. axe b Contraintes Espace (w, b)

18. Mmcs(V) • On considère l’intersection de sous-ensembles de contraintes (facette du polyèdre), et on calcule directement le point le plus proche de l’axe b. • Pour cela, nécessaire de faire une projection orthogonale de l’axe b sur la facette. Pour ce faire, on utilise une base orthogonale définie à partir des normales aux contraintes. • On appelle mmcs(V) (max. marg. Classifier supported by V) la fonction de classification obtenue

19. Self Supporting Set • Equivalence entre : pas de contrainte inutile, et « self supporting set » (SSS)

20. Caractérisation d’un SSS • Si on enlève l’un des points, alors le mmcs associé au nouvel ensemble donne une marge inférieure à 1 pour le point enlevé • Nécessité de maintenir autant de bases orthogonales qu’il y a de contraintes dans l’ensemble.

27. Extension à un espace déployé • Il faut exprimer les vecteurs de base à partir des vecteurs initiaux (et non de la base déployée) • Cela permet de traiter le cas non séparable avec une norme 2 pour les variables de dépassement.

28. Conclusion • Très efficace lorsque le nombre de support vectors est petit. Dès qu’on atteint une centaine, beaucoup de temps de calcul et de place mémoire (en degré 4) du nombre de sv. • Pistes possibles pour éviter de maintenir l’ensemble des bases (élimination systématique de la moitié des vecteurs considérés).