Contriubtions du CRIL dans le cadre de l’ACI Daddi Mars 2006

1. Contriubtions du CRIL dans le cadre de l’ACI Daddi Mars 2006 Présenté par: Zied Elouedi zied.elouedi@gmx.fr

2. Introduction Traitement du problème de détection d’intrusions comme un problème de classification.

3. Choix de la technique Phase de construction (apprentissage) Phase de classification (inférence) Modèle de classification Ensemble d’apprentissage Classifieur Certain Incertain Certain Incertain

4. Cadre stanadrd

5. Nature des connexions Ensemble d’apprentissage certain (détection d’intrusions) …

6. Techniques utilisées • Arbres de décision • Une technique de classification. • Expression simplede la connaissance. • Compréhensionetinterprétation faciledes résultats. • Réseaux Bayésiens naïfs • Un nœud racine (classe). • Plusieurs nœuds enfants (attributs). • Forte hypothèse (naïve) d'indépendance entre les enfants. dans le contexte de leur parent.

7. udp Private SF C=? Arbres de décision flag SF RSTO REJ service protocole D http udp tcp private domain-u N P N D service http private domain-u P N P Nouvelle connexion

8. udp Private RSTO C=? Réseaux Bayésiens naïfs Classe P(Classe) Flag Protocole Service P(Protocole | Classe) P(Service | Classe) P(Flag | Classe) Nouvelle connexion E Max P(Classes | E)

9. Méta-classifieur AD Méta-classifieur AD+RBN Type de la connexion Connexion RBN

10. Cadre incertain: Arbre de décision crédibiliste (BDT)

11. Ensemble d’apprentissage incertain

12. Exemple • = {A, H, M};A: Avion; H: Hélicoptère; M: Missile 2 = {, {A}, {H}, {M}, {A, H}, {A, M}, {H, M},{A, H, M}} m({A}) = 0.6; m({A, H}) = 0.2; m() = 0.2 Théorie des fonctions de croyance Fonction de masse de croyance élémentaire (bba) m(A) Partie de croyance attribuée exactement à A m: 2 [0,1]

13. Idée • Utilisation de la théorie des fonctions de croyance qui permet: • L'expression des croyances partielles. • La possibilité d'exprimer l'ignorance partielle ou totale. • Le traitement des jugements subjectifs et personnels. • La représentation des informations mathématiques et épistémiques. • La combinaison de l’évidence survenue de plusieurs sources d’information. • L’adaptation aux systèmes de raisonnement (système expert, système d’aide à la décision, IDS,…).

14. Combinaison • Règle conjonctive:Construire une bba quand toutes les pièces d’évidence sont acceptées. • Règle disjonctive: Construire une bba quand au moins une pièce d’évidence est acceptée mais on ne connaît pas laquelle. Exemple m1({A}) = 0.6; m1({A, H}) = 0.2; m1() = 0.2; m2({H}) = 0.4; m2({A, H}) = 0.3; m2() = 0.3; Règle conjonctive: (m1m2)() = 0.24; (m1m2)({A}) = 0.36; (m1m2)({H})=0.16; (m1m2)({A, H}) = 0.18; (m1m2)() = 0.06; Règle disjonctive: (m1 m2)({A, H}) = 0.56; (m1 m2)() = 0.44; Théorie des fonctions de croyance

15. Exemple m({H}) = 0.4; m({A, H}) = 0.3; m() = 0.3 betP({A}) = 0.25; betP({H}) = 0.65; betP({M}) = 0.1; Théorie des fonctions de croyance Prise de décision Niveau pignistique Niveau de croyance Transformation pignistique

16. Exemple

17. m{I1}(N) = 1 P  D m{I2}(P  D) = 1 tcp auth SF N(70%),D(30%) tcp tcp tcp tcp tcp http auth http http http REJ SF REJ SF SF m{I1} m{I2} N m{I3} m{I3}(N) = 0.7; m{I3}(D) = 0.3 Connexions d’apprentissage N : Normal; D: DOS; U: U2R; R: R2L; P: Probing

18. m{I4}(D) = 0.6; m{I4}(U  R) = 0.4 N(80%),? ? udp tcp domain-u auth SF SO m{I5}(N) = 0.8; m{I5}() = 0.2  = {N, D, P, U, R} D(60%),U  R(40%) udp private SF udp udp tcp auth private domain-u SF SO SF m{I5} m{I6} m{I4} m{I6}() = 1 Connexions d’apprentissage

19. Traiter l’incertitude au niveau de la détection d’intrusions Arbres de décision crédibilistes (BDT) Arbres de décision + Théorie des fonctions de croyance (TBM) Arbre de décision crédibiliste

20. flag SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u m2 m4 m3 Arbres de décision crédibilistes (BDT) Comment construire un classifieur (BDT) avec des classes de connexions d’apprentissages incertaines ?

21. Le principe: Mesure de sélection d’attributs Stratégie de partitionnement Critères d’arrêt Structure des feuilles

22. Approche par moyenne Adaptation du ratio de gain au conexte incertain Extension de l’algorithme de Quinlan (C4.5). Approche conjunctive Basée sur les concepts de base du TBM Utilisation de distance entre les objets. Mesure de sélection d’attributs

23. I1 I2 I3 I4 Choisir l’attribut qui offre le plus de ratio de gain (le plus discriminant) Approche par moyenne Ensemble d’apprentissage T m{I1} m{I2} m{I3} m{I4} . . • L’entropie de la distribution des classes dans T. • L’entropie de la distribution des classes dans les sous • ensembles d’apprentissage (suite au partitionnement). • Calculer la ratio de gain de chaque attribut.

24. I1 I2 I3 I4 Approche conjunctive Ensemble d’apprentissage T m{I1} m{I2} m{I3} m{I4} . . • Développer une distance entre bba’s Tous les objets d’une feuiles doivent être proches les uns des autres • Minimiser la distance intra-groupe. • Maximiser la distance inter-group.

25. Stratégie de pratitionnement Attributs symboliques Création d’une branche pour chaque valeur d’attributs. Attributs continus Découper en sous-ensembles ordonnés

26. Critèresd’arrêt • Le nœuds contient une seule connexion (objet). • Le nœud contient des connexions ayant la même bba. • Il n’ y a plus d’attributs à tester. • La valeur de la mesure de sélection sur les attributs restants est inférieure ou égale à zéro.

27. feuille bba sur les classes Un seul objet appartenant à la feuille bba de la feuille = bba de l’objet Plusieurs objets appartenant à la feuille bba de la feuille = bba jointe Structure d’une feuille

28. flag SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u m2 m4 m3 Arbres de décision crédibilistes (BDT) Comment utiliser le BDT pour trouver les classes des connexions ?

29. Valeurs d’attributs disponibles flag flag: RSTO service: http Protocol-type: udp SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u Normal: 0.1 Dos: 0.1 U2R: 0.1 R2L: 0.1 Probing: 0.6 m2 m4 m3 m6(Probing) =0.5; m6() = 0.5 Classification off-line

30. Classification off-line/on-line Qu’en est-il de la classification on-line/anticipée ? Est-ce qu’on peut arrêter une connexion (douteuse) avant sa terminaison ?

31. valeurs d’attributs disjonctives flag flag: RSTO service: http  domain-u Protocol-type: udp SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u m2 m4 m3 Cas disjonctif Règle disjonctive: m6  m7 Normal: 0.05; Dos: 0.05; U2R: 0.05 R2L: 0.05: Probing: 0.8

32. valeurs d’attributs manquantes flag flag: SF service: http protocol-type: ? SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u m2 m4 m3 Cas des valeurs manquantes Règle disjonctive: m1  m2 Normal: 0;Dos: 0.8; U2R: 0 R2L: 0;Probing: 0.2

33. flag: m(RSTO) = 1 service: m(http  domain-u) = 0.8; m(private) = 0.2 protocol-type: m(udp) = 0.6; m(udp  tcp) = 0.4 Cas général: attributs incertains bba pour chaque attribut Incertitude dans les valeurs de certains attributs flag SF RSTO REJ m5 service protocol-type http udp tcp private domain-u m1 m6 m8 service m7 http private domain-u Tenir compte de toutes les bba’s m2 m4 m3

34. Cadre incertain: Arbre de décision possibiliste (Approche qualitative)

35. count flag wrong_fragment service SF3 REJ 4 RSTO 1 http 1 domain-u 3 private 1 <12 >=1, <=461>46 2 >01 <=0 3 Exemple

36. Théorie des possibilités • Distribution de possibilités :  :   [0,1] • Possible / Impossible :  ()=1 /  ()=0, • Ignorance :  , () = 1 • Normalisation :   /  ()=1 OrdinaleNumérique A(a1) > A(a2) : A= a1 est plus plausible que A= a2 complètement possible (()=1) quelque peu possible totalement impossible (()=0) Minimum Produit

37. Arbres de décision possibilistes Arbres de décision + Théorie des possibilités Différentes façons pour classer des connexions avec des attributs incertains/manquants en utilisant la théorie des possibilités.

38. Travail effectué • Plusieurs propositions: • Méthode basée sur les opérateurs Min/max ou Min/leximax • Méthode basée sur les opérateurs Min/leximax • Méthode basée sur les opérateurs Leximin/leximax

39. Méthode basée sur le Leximin/leximax • Établir un pré-ordre total de tous les chemins utilisant l’opérateur leximin • Sélectionner un premier ensemble des classes candidates correspondant aux classes libellant les meilleurs chemins dans le pré-ordre total. • Si cet ensemble contient plus qu’une classe, il faut le raffiner en sélectionnant les classes leximax préférées en utilisant l’ordre leximin-leximax.

40. count flag wrong_fragment service SF3 REJ 4 RSTO 1 http 1 domain-u 3 private 1 <12 >=1, <=461>46 2 >01 <=0 3 Exemple service private http domain-u 1 1 3 count flag P (P4) >46 <=46 SF RSTO REJ 2 1 3 3 4 1 count N (P1) Wrong_fragment Wrong_fragment P (P9) >=1 <1 >0 <=0 >0 <=0 3 1 2 1 2 3 1 1 D (P5) N (P6) P (P7) N (P8) N (P2) D (P3) 3 3 4 4 1 3 • P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7

41. P=(P9, P4, P7) >leximin-leximax D=(P3, P5) • C={ P, D} service Exemple private http domain-u 1 1 3 count flag P (P4) >46 <=46 SF RSTO REJ 2 1 3 3 4 1 count N (P1) Wrong_fragment Wrong_fragment P (P9) >=1 <1 >0 <=0 >0 <=0 3 1 2 1 2 3 1 1 D (P5) N (P6) P (P7) N (P8) N (P2) D (P3) 3 3 4 4 1 3 • P3 =leximinP9 >leximinP1>leximinP2 =leximinP4=leximin P6 >leximinP5 >leximinP8 >leximinP7 Donc la classe candidate est P

42. Autre options • Arbres de décision possibiliste (incertitude au niveau de l’apprentissage). • Arbres de décision qualitatifs (possibilistes) avec options • Evaluation des classifieurs

43. Travaux en cours • Réseaux naïfs crédibilistes • Réseaux naïfs possibilistes • Expérimentations

44. Publications "Qualitative classification with possibilistic decision trees" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, Chapitre of The Tenth International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems IPMU 2006. "Réseaux Bayésiens naïfs et arbres de décision dans les systèmes dedétection d'intrusions" Nahla Ben Amor, Salem Benferhat, Zied Elouedi, A paraître dans le journal Technique et Science Informatiques (TSI), 2006. "Qualitative inference in possibilistic option decision trees“ Ilyes Jenhani, Zied Elouedi, Nahla Ben Amor, Khaled. Mellouli, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 944-955, 6-8 Juillet 2005. "Towards a definition of evaluation criteria for probabilistic classifiers“ Nahla Ben Amor, Salem Benferhat, Zied Elouedi, The Eighth European Conference of Symbolic and Quantitative Approaches to Reasoning with Uncertainty ECSQARU-2005, Barcelone, Espagne, 921-931,6-8 Juillet 2005. “On the combination of Naïve Bayes and decision trees for intusion detection“ Salem Benferhat, Karim Tabia, The International Conference of Intelligence, Control and Automation, CIMCA 2005.