Chapitre 8
This presentation is the property of its rightful owner.
Sponsored Links
1 / 87

Chapitre 8 PowerPoint PPT Presentation


  • 160 Views
  • Uploaded on
  • Presentation posted in: General

Chapitre 8. Les réseaux de neurones compétitifs. Les réseaux de neurones compétitifs. Réseaux de Neurones Application en Reconnaissance de Formes. d’après B. Solaiman Dépt. Image & Traitement de l'Information Ecole Nationale Supérieure des Télécommunications de Bretagne. Plan.

Download Presentation

Chapitre 8

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Chapitre 8

Chapitre 8

Les réseaux de neurones compétitifs


R seaux de neurones application en reconnaissance de formes

Les réseaux de neurones compétitifs

Réseaux de Neurones Application en Reconnaissance de Formes

d’après B. Solaiman

Dépt. Image & Traitement de l'Information

Ecole Nationale Supérieure des Télécommunications de Bretagne


Chapitre 8

Plan

1. Introduction, définition

  • 2. Réseaux compétitifs

    • - Règles et réseaux de base

    • - Règles de Oja et Sanger

3. Réseaux de quantification vectorielle

4. Cartes topologiques de Kohonen


D couverte

Découverte

  • T. Kohonen, Self-Organizing Maps, 2e Edition, Springer, 1997.

    • Approche pédagogique

    • Haute teneur et formalisme mathématique

    • Approche vectorielle / matricielle

    • Modèles : SOM, famille LVQ

    • Chapitre complet d’exemples


Chapitre 8

1

Introduction, définition

Classification des réseaux de neurones

En fonction du mode d’apprentissage

supervisé / non supervisé

1

En fonction de la fonction réalisée

Extraction primitives /Décision /Extraction-Décision

2

En fonction du champs d’action en mise à jour

Mise à jour globale /Mise à jour sélective

3

4

En fonction de l’architecture/mode de connexion, etc.


Chapitre 8

Problématique de

Reconnaissance de Formes

2

Extraction

Système

X

des

Y

de

D

primitives

décision

Espace

d'entrée

Espace

des primitives

Espace

des décisions


Chapitre 8

Développement d’une solution neuronale

Réseau d’extraction de primitives / classifieurs

Système

de

décision

Extraction des primitives

Espace d’objets

Espace des

décisions

Espace des primitives (d’observations)

3

Les réseaux de neurones

extracteurs de primitives/Classifieurs

3


Laboratoire 2 caract ristiques d une image

Laboratoire 2: Caractéristiques d’une image

Extraction des caractéristiques

Sous-image pour l ’apprentissage


Exemple r cent classification de lots de canneberges

Canneberges sèches

Éclairage ambiant

Fond bleu

Segmentation

Élimination du fond par division

Filtre median 5x5

Seuillage sur la couleur

Segmentation sur courbure

Érosion

Exemple récent: classification de lots de canneberges

Pré-traitement


Chapitre 8

  • Primitives visuelles

    • Entrées: RVB moyen d’une canneberge

    • Apprentissage: 100 échantillons

    • Test: 60 échantillons


R sultats fruits secs

Résultats - fruits secs


Chapitre 8

Développement d’une solution neuronale

Réseau de neurones d’extraction de primitives

3

Les réseaux de neurones

extracteurs de primitives

2

Système de décision

Espace des

primitives

Espace d’objets

Espace des

décisions


Chapitre 8

Introduction

1

Les réseaux de neurones compétitifs

L'ajustement des poids synaptiques, suite à

la présentation d'une forme, n'est pas automatiquement

réalisé pour tous les neurones constituant le réseau.

Neurones pour

lesquels les poids

synaptiques seront modifiés

X

Neurones pour

lesquels les poids

synaptiques ne seront pas

modifiés


Chapitre 8

Introduction

1

Déroulement de l’apprentissage

Présentation d’une forme X

1

Une compétition est organisée.

L’objectif est de déterminer les neurones

gagnants.

2

Mise à jours sélectives des poids synaptiques

des neurones gagnants.

3

Les réseaux compétitifs

Extraction des primitives

Apprentissage supervisé ou non supervisé


Chapitre 8

  • Phase de compétition

    • Elle peut être logicielle

      • Une fonction est appliquée au vecteur de sortie du réseau pour identifier le ou les neurone(s) gagnant(s).

      • Exemple fréquent : ym* = Max (ym)

    • Elle peut être neuronale

      • Maxnet  le gagant emporte tout

        • Un seul neurone, le plus activé, demeure actif

      • Chapeau mexicain

        • Le neurone le plus activé et son entourage demeurent actifs


Chapitre 8

1

1

A1

A4

A2

A3

1

1

Fonction d’activation :

Le réseau Maxnet

Étape 0 : Initialiser les activations et les poids

-e

-e

  • Étape 1 (tant que 4 vrai faire 2-4) :

    • Étape 2 : Mise à jour des activations

    • Étape 3 : Sauvegarder activations

    • Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

-e

-e

-e

-e


Chapitre 8

1

1

A1

A4

A2

A3

1

1

Le réseau Maxnet : Exemple

A = [0,2 0,4 0,6 0,8]

Étape 0 : Initialiser les activations et les poids

-e

-e

  • Étape 1 (tant que 4 vrai faire 2-4) :

    • Étape 2 : Mise à jour des activations

    • Étape 3 : Sauvegarder activations

    • Étape 4 : Si plus d’une activation 0 continuer, sinon arrêt

-e

-e

-e

-e


Chapitre 8

w0

w2

w2

Xi-3

Xi-2

Xi-1

Xi

Xi+1

Xi+2

XI+3

w1

w1

w3

w3

si

Le chapeau mexicain :

R1

R2

wk est positif dans 0  k  R1 et négatif dans R1 k R2

x est le vecteur d’activations

x_vieux est le vecteurs d’activations à t-1

t_max est le nombre maximal d’itérations

s est un signal externe


Chapitre 8

C2

C1

Le chapeau mexicain :

0.6

-0.4

-0.4

Xi-3

Xi-2

Xi-1

Xi

Xi+1

Xi+2

XI+3

0.6

0.6

si

R1

R2

  • Étape 0 : Initialiser t_max, R1, R2 et les poids C1 et C2

  • Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieuxi = xi)

  • Étape 2 : Tant que t < t_max faire 3-7

    • Étape 3 : Calculer la valeur Net


Chapitre 8

C2

C1

Le chapeau mexicain :

0.6

-0.4

-0.4

Xi-3

Xi-2

Xi-1

Xi

Xi+1

Xi+2

XI+3

0.6

0.6

si

R1

R2

  • Étape 4 : Appliquer la fonction d’activation rampe de 0 à x_max

    • xi = min (x_max, max(0, xi)

  • Étape 5 : Sauvegarder les activations xi courantes dans x_vieux

  • Étape 6 : Incrémenter le compteur d’itérations (t = t + 1)

  • Étape 7 : Tester la condition d’arrêt

    • Si t < t_max continuer, autrement arrêt


  • Chapitre 8

    0.6

    -0.4

    -0.4

    Xi-3

    Xi-2

    Xi-1

    Xi

    Xi+1

    Xi+2

    XI+3

    0.6

    0.6

    Le chapeau mexicain : Exemple

    x = ( 0.0 0.5 0.8 1.0 0.8 0.5 0.0)

    • Étape 1 : Présenter s (x = s) et sauvegarder activations dans x_vieux (x_vieuxi = xi)

      • x = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0)

      • x_vieux = ( 0.0, 0.5, 0.8, 1.0, 0.8, 0.5, 0.0)

  • Étape 2 : Tant que t < t_max faire 3-7

    • Étape 3 : Calculer la valeur Net

  • x1 = 0.6 * (0.0) + 0.6 * (0.5) – 0.4 * (0.8) = -0.2

    x2 = 0.6 * (0.0) + 0.6 * (0.5) + 0.6 * (0.8) – 0.4 * (1.0) = 0.38

    x3 = -0.4 * (0.0) + 0.6 * (0.5) + 0.6 * (0.8) + 0.6 * (1.0) – 0.4 * (0.8) = 1.06

    x4 = -0.4 * (0.5) + 0.6 * (0.8) + 0.6 * (1.0) + 0.6 * (0.8) – 0.4 * (0.5) = 1.16

    ……


    Chapitre 8

    0.6

    -0.4

    -0.4

    Xi-3

    Xi-2

    Xi-1

    Xi

    Xi+1

    Xi+2

    XI+3

    0.6

    0.6

    Le chapeau mexicain : Exemple (suite)

    x = ( 0.0 0.5 0.8 1.0 0.8 0.5 0.0)

    • Étape 4 : Appliquer la fonction d’activation

    x = (0.0, 0.38, 1.06, 1.16 …… )

    Continuez … (à partir de l’étape 3 précédente)


    Chapitre 8

    Réseaux Compétitifs

    Linéaires

    2

    Architecture :

    deux couches

    yj=X . mT

    yM

    y1

    Couche de sortie

    m

    wmN

    wm1

    wmn

    Couche d’entrée

    x1

    xn

    xN


    Chapitre 8

    Réseaux Compétitifs Linéaires

    Projection maximale  Distance euclidienne minimale?

    dist(X,Wm)=||X-Wm||2 = ||X||2 + || Wm ||2 - 2 X . WmT

    Equivalence lorsque X et Wj sont normalisés

    2

    Neurone m* est le neurone gagnant ym* = yj

    Un seul neurone gagnant

    La compétition est à base de projection

    maximale.

    Attention


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Règle d’apprentissage de Hebb

    Donald HEBB : "The Organization of Behavior », 1949

    Si deux neurones connectés entre eux sont activés au même

    moment, alors la connexion qui les relie doit être renforcée

    (i.e. principe de la récompense). Dans le cas contraire, la valeur

    de la connexion n'est pas modifiée (i.e. principe de la punition).

    Zones d ’activités fonctionnelles

    (circuits neuronals)


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Implémentation mathématiques

    {Xk, k = 1, 2, …, K} une base d’apprentissage

    1

    Initialisation aléatoire des poids synaptiques

    2

    Apprentissage

    a

    Présentation de la forme Xk à la couche d’entrée

    Calcul de l’activation des neurones de la couche de sortie

    ym(k), m = 1, 2, ..

    b

    Détermination du neurone gagnant m* 

    c

    Ajustement des poids synaptiques du neurone gagnant :

    d

    pour n = 1, …, N


    Chapitre 8

    Réseaux Compétitifs Linéaires

    Neurone gagnant

    Wm*

    D Wm*

    W2

    Xk

    W2

    Xk

    WM

    WM

    W1

    W1

    vecteur des poids

    synaptiques du neurone gagnant

    2

    Explication graphique

    Nouveau vecteur des

    poids synaptiques

    Compétition

    Adaptation


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Théorème

    Le réseau compétitif linéaire associé avec la règle d'apprentissage de Hebb n'a aucun point d'équilibre stable.

    Explication mathématiqueE {D Wj*}  0

    Explication physique

    Incrémentation sans limite

    Point d’équilibre


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Règle d’apprentissage d’Oja

    {Xk, k = 1, 2, …, K} une base d’apprentissage

    1

    Initialisation aléatoire des poids synaptiques

    2

    Apprentissage

    a

    Présentation de la forme Xk à la couche d’entrée

    Calcul de l’activation des neurones de la couche de sortie

    ym(k), m = 1, 2, ..

    b

    Détermination du neurone gagnant m* 

    c

    Ajustement des poids synaptiques du neurone gagnant :

    d

    pour n = 1, …, N


    Chapitre 8

    Réseaux Compétitifs Linéaires

    ym*(k)

    ym*(k)

    m*

    m*

    Wm*1

    Wm*N

    Wm*n

    Wm*1

    Wm*n

    x1(k)

    xn(k)

    xN(k)

    x1(k)

    xn(k)

    xN(k)

    2

    Explication

    Principe de rétropropagation dans

    la règle d’Oja


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Théorème

    L'algorithme d'apprentissage d'Oja appliqué à un réseau compétitif linéaire, converge en moyenne statistique vers un vecteur * ayant les propriétés suivantes :

    || *|| = 1.

    * a la direction du vecteur propre maximal de la matrice de corrélation C.

     * permet la maximisation de la variance de la sortie.


    Chapitre 8

    Problématique de reconnaissance de formes

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    2

    Les primitives :

    1

    Les vecteurs propres

    y

    z

    z

    v

    y1

    u

    V2

    j

    j

    V1

    x

    x

    x1

    i

    i

    z = x1 + y1

    z = u + v

    V2

    i

    V1

    j


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Règle d’apprentissage de Sanger

    

    X = [x1, ….., xN]

    X = x1i1 + x2i2 + …+ xNiN

    V1 : 1ère composante principale

    Vn : nème composante principale, n=2, 3, …, N

    

    X = u1V1 + u2V2 + …+ uNVN

    Décomposition sur les composantes principales

    X  Y = X - u1V1

    

    V2 : 1ère composante principale du vecteur Y


    Chapitre 8

    Réseaux Compétitifs Linéaires

    2

    Règle de Sanger

    {Xk, k = 1, 2, …, K} une base d’apprentissage

    Application de la règle d’Oja  V1

    1

    2

    Transformation de la base d’apprentissage :

    - Calculer la projection de Xksur V1 (i.e. calcul de u1)

    - transformation XkYk= Xk- u1V1, k=1,…, K

    Application de la règle d’Oja  V2

    3

    Répétition …...

    4


    Chapitre 8

    X=[x1, .., xN]

    Réseaux de Quantification

    Vectorielle

    3

    Fondements :réduction des bases de données

    CP

    QV

    P=[p1, .., pN]

    X=[u1,u2]


    Chapitre 8

    .

    .

    .

    .

    .

    .

    .

    Problématique de reconnaissance de formes

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    P3

    P3

    .

    .

    .

    .

    .

    .

    P1

    P1

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    d3

    d1

    y

    .

    .

    .

    z

    .

    .

    .

    .

    z

    .

    d2

    .

    .

    .

    .

    .

    .

    .

    .

    P2

    P2

    .

    .

    .

    .

    .

    .

    x

    2

    3

    Les vecteurs prototypes

    z

    z

    (d1,d2,d3)

    (x,y)


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    Réseau de Kohonen-VQ non supervisé, 1983

    ym=X . WmT

    y1

    yM

    Couche

    compétitive

    m

    wm1

    wmn

    wmN

    Couche d’entrée

    x1

    xn

    xN

    LVQ :

    pour n = 1, …, N


    Chapitre 8

    Réseaux de quantification vectorielle

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    .

    3

    Quantification vectorielle non supervisée

    Quantification vectorielle supervisée


    Chapitre 8

    Réseaux de quantification vectorielle

    Neurone gagnant

    Wm*

    W2

    Xk

    WM

    W1

    vecteur des poids

    synaptiques du neurone gagnant

    3

    Explication graphique

    D Wm*

    W2

    Xk

    WM

    W1

    Nouveau vecteur des

    poids synaptiques

    Compétition

    Adaptation


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    Il s’agit d ’un apprentissage non supervisé

    Adaptation des poids plus sévère que celle de Hebb

    Règle de Hebb

    Algorithme LVQ

    Convergence non garantie


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    Réseaux de Kohonen-VQ supervisés

    1

    B = {(Xk,Dk), k=1, 2, .., K},base étiquetée

    Architecture : réseaux compétitif linéaire

    2

    3

    Les neurones de la couche de sortie sont étiquetés


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    L’algorithme d’apprentissage LVQ1

    Retour au principe de Récompense/Punition

    D Wm*

    D Wm*

    Xk

    Xk

    WM

    WM

    Wm*

    Wm*

    W2

    W2

    W1

    W1

    Punition

    Classe(Xk)  Classe (Wm*)

    Récompense

    Classe(Xk) = Classe (Wm*)

    Dw(j*) = + h(t) [Xk - Wm*] Si Classe(Xk) = Classe (Wm*)

    Dw(j*) = - h(t) [Xk - Wm*] Si Classe(Xk)  Classe (Wm*)


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    L’algorithme d’apprentissage LVQ2

    La course aux performances ……...

    Maintenir le principe de Récompense/Punition

    La compétition fournit deux neurones gagnants :

    le premier m1 et le second m2 gagnants.

    L’esprit de l’algorithme de Kohonen :

    L'adaptation des vecteurs de référence correspondants

    Wm1 et Wm2 est réalisée si et seulement si les trois conditions

    suivantes sont vérifiées :


    Chapitre 8

    Réseaux de quantification vectorielle

    3

    1

    Classe(Xk)  Classe(Wm1)

    erreur de classification du neurone gagnant

    2

    Classe(Xk) = Classe(Wm2)

    bonne classification du second neurone gagnant

    3

    distance(Xk,Wm2)  distance(Xk,Wm1)

    le vecteur Xk est très proche de la surface de

    séparation entre les classes m1 et m2

    Adaptation

    D Wm1 = - h(t) [Xk - Wm1] Punition

    D Wm2 = + h(t) [Xk - Wm2] Récompense


    Chapitre 8

    Réseaux de quantification vectorielle

    Pas de modification

    3

    Surface de

    séparation

    Zone de

    modification

    Récompense / Punition


    Chapitre 8

    4

    Cartes topologiques de

    Kohonen

    1ère constatation

    L’organisation linéaire n’a pour intérêt que

    l’aspect pédagogique.

    2ème constatation

    Les réseaux compétitifs linéaires

    s’éloignent de la réalité Neurobiologique

    « les zones d’activité ».


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Architecture proposée :

    une couche linéaire mono ou multi dimensionnel.

    Voisins ordonnés

    du neurone m

    1

    2

    3

    i

    1

    2

    m

    3

    j

    Un neurone est caractérisé par ses poids synaptiques

    et par sa position ( notion de voisinage topologique)


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Formes de voisinage (2D)


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Algorithme d’apprentissage non supervisé

    Etant donnée la base d’apprentissage B, on " choisit "

    1.la taille de la carte

    2.une fonction monotone décroissante

    0<h(t)<1 : fonction d’influence temporelle

    (les modifications diminuent en fonction du

    temps, Question d’âge !!!)

    3.un voisinage topologique V(t) décroissant


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Parcours de la base d'apprentissage

    Présentation d’une forme d’entrée X

    1

    2

    Détermination du neurone gagnant

    3

    Adaptation des poids synaptiques des vecteurs de

    référence se trouvant dans le voisinage topologique

    V(t) du neurone gagnant :

    DWm = - a(m,m*) h(t) [Xk - Wm]

    m Vm*(t), a(m,m*)interaction latérale


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Instant : t0

    Exemple :

    Vecteur d’entrée : X

    Neurone gagnant

    Neurone m Vm*(t0)

    h(t)

    1

    h(t0)

    t

    t0

    a(m,m*) = 1,  m Vm*(t) : Interaction latérale uniforme

    a(m,m*) gaussien


    Chapitre 8

    Cartes topologiques de Kohonen

    4

    Caractéristique essentielle des cartes de Kohonen,

    La préservation topologique :

    Deux vecteurs « similaires » dans l’espace des objets, vont

    activer deux neurones « topologiquement proches » sur la

    carte de Kohonen.

    « distance »

    « similaire »

    « similaire »

    « similaire »

    « distance »


    Chapitre 8

    5

    Applications

    Compression d’images / codage conjoint

    Source-Canal

    Reconnaissance Optique des Caractères (O.C.R)


    Chapitre 8

    Applications - Compression d’images

    5

    Compression d’images / codage conjoint

    Source-Canal

    Méthodes decompression

    Réversible

    application médicale

    taux de compression peu élevé

    Irréversible

    taux élevé

    distorsion introduite

    Générique

    transformation + élimination

    des hautes fréquences

    Textures mal restituées

    Spécifique

    adaptée à l’application

    connaissances a priori sur le contenu


    Chapitre 8

    Applications - Compression d’images

    5

    Quantification Vectorielle (QV)

    indices

    bloc

    . . .

    Le plusproche voisin

    . . .

    Restitution

    du bloc

    Image

    originale

    Image

    reconstruite

    W0

    W0

    W

    W1

    Dictionnaire

    des mots de

    code

    W2

    W2

    Dictionnaire

    ...

    ...

    Wn-1

    Wn-1

    Codeur

    Décodeur


    Chapitre 8

    Applications - Compression d’images

    Effet de blocs

    5

    Avantages / problèmes

    . . .

    Restitution

    Le plusproche voisin

    . . .

    ...

    ...

    Adaptation à l’image

    Création des motsde code ?

    Transmission bruitée

    Archivage : taux élevé ?

    Indexation ?


    Chapitre 8

    Applications - Compression d’images

    5

    Création du dictionnaire

    Activations

    des neurones

    Poids synaptiques Wi

    (mots de code)

    Base

    d’apprentissage

    x

    X =


    Chapitre 8

    Applications - Compression d’images

    5

    Création du dictionnaire

    x

    Représentation graphique

    du dictionnaire


    Chapitre 8

    Applications - Compression d’images

    5

    Dictionnaire obtenu

    Dictionnaire SOFM

    Dictionnaire LBG

    (algorithme classique des

    K-means)


    Chapitre 8

    Applications - Compression d’images

    5

    Exemples d’apprentissage

    Image d’apprentissage

    Image de test


    Chapitre 8

    Applications - Compression d’images

    5

    Exemples d’apprentissage

    Dictionnaire

    Image testée

    Image de test


    Chapitre 8

    Applications - Compression d’images

    5

    Exemples d’apprentissage

    Dictionnaire

    Image testée

    Image de test


    Chapitre 8

    Applications - Compression d’images

    5

    Exemples d’images comprimées

    Image originale

    Image codée

    • Taux de compression =16

    • (i.e. taille imagette = 4 x 4, SOFM = 16 x 16 );

    • PSNR = 29,2 dB;


    Chapitre 8

    Applications - Compression d’images

    5

    Cartes topologiques de dimensions supérieures

    SOFM, 3D

    (exemple, 8 x 8 x 8)

    SOFM, 2D

    (exemple, 16 x 16)

    SOFM, 4D (exemple, 4 x 4 x 4 x 4 ) …….


    Chapitre 8

    Applications - Compression d’images

    5

    SOFM, 3D, 8 x 8 x 8

    SOFM, 4D, 4 x 4 x 4 x 4


    Chapitre 8

    Applications - Compression d’images

    5

    Codage Conjoint Source/Canal

    Transmission d’images fixes sur un canal bruité

    Le dictionnaire

    bidimensionnel

    Points de la constellation

    de la MAQ-64


    Chapitre 8

    Applications - Compression d’images

    5

    Exemple de mapping optimal entre une MAQ-64 et

    un dictionnaire bidimensionnel


    Chapitre 8

    Applications - Compression d’images

    5

    • Mapping optimal

    • MAQ-64 sur un canal Gaussien

    • PSNR = 27,6 dB; TES = 10%

    • Mapping non optimisé

    • MAQ-64 sur un canal Gaussien

    • PSNR = 19,9 dB; TES = 10%


    Chapitre 8

    Applications - Compression d’images

    5

    Images échoendoscopiques reconstruites :

    (taux de compression = 16, taux d’erreur = 50%)

    Dictionnaire non-ordonné

    (k-means) PSNR = 17.31 dB

    Dictionnaire Kohonen

    PSNR = 24.48 dB


    Chapitre 8

    Applications - Compression d’images

    5

    Réduction de l’effet de bloc par un réseau multicouches

    Effet de bloc

    Image comprimée

    Image étendue

    Méthode de post-traitement


    Chapitre 8

    Applications - Compression d’images

    x1

    y1

    x2

    ym

    xn

    5

    Image comprimée,

    taux=16, PSNR=28.79 dB

    Image comprimée

    et post-traitée, PSNR=29.70 dB


    Chapitre 8

    5

    5

    5

    5

    Applications - OCR

    5

    Reconnaissance Optique des Caractères (O.C.R)

    SOFM

    (Self Organizing Feature Map)

    , Chiffre « 5 »

    Vecteurs

    prototypes


    Chapitre 8

    Applications - OCR

    5

    Entrée du réseau :

    16

    X =

    16

    Niveau de gris  [0, 25]

    Normalisation à [0, 1]


    Chapitre 8

    Applications - OCR

    5

    Architecture du réseau :

    10

    j

    10

    i

    Imagette des poids

    synaptiques du neurone

    (i,j)

    X


    Chapitre 8

    Applications - OCR

    5

    Base d’apprentissage : S.R.T.P (France)

    5000 Chiffres

    Poids synaptiques

    à la convergence :

    Préservation topologique

    Transitions « douces »


    Chapitre 8

    Base d’apprentissage

    (5000 chiffres)

    Base de test

    (5000 chiffres)

    75 %

    65 %

    SOFM*

    Réseau

    multicouches

    96 %

    93 %

    Applications - OCR

    5

    Exploitation des résultats

    Classification

    * Les neurones de la carte de Kohonen sont étiquetés


    Chapitre 8

    Applications - OCR

    5

    Solution :

    Hybrid Learning Vector Quantization

    Objectif :

    Couplage de la préservation topologique et les

    performance de l’apprentissage supervisé.

    Architecture : Carte topologique de Kohonen

    Réseau

    HLVQ

    Kohonen non supervisé

    Apprentissage : Hybride

    Focalisation d’attention


    Chapitre 8

    Applications - OCR

    5

    Algorithme d’apprentissage du réseau HLVQ

    1

    Initialisation aléatoire des poids synaptiques

    2

    Étiquetage initial des neurones de la carte

    3

    Parcours de la base d’apprentissage :

    Présentation d’une forme X à l ’entrée du réseau

    Détermination des deux neurones gagnants sur la carte

    Application de l’algorithme d’apprentissage non supervisé de Kohonen

    Apprentissage supervisé : Focalisation d ’attention

    4

    Test fin d’apprentissage


    Chapitre 8

    Applications - OCR

    5

    Cas 1 : Focalisation d’attention = Algorithme LVQ2

    a=10

    a=20

    Convergence

    a=50

    a : Nombre d’itérations d’apprentissage


    Chapitre 8

    Applications - OCR

    5

    Cas 2 :

    Focalisation d’attention = Algorithme LVQ2 modifié

    Modification de l'algorithme LVQ2:Exploiter la relation

    topologique reliant les différents neurones de la carte en

    recherchant dans le voisinage des neurones gagnants ceux qui

    sont susceptibles d'apporter une meilleure réponse en termes

    d'activation et de reconnaissance.


    Chapitre 8

    Applications - OCR

    5

    Les poids synaptiques du réseau HLVQ


    Chapitre 8

    Applications - OCR

    5

    Classification

    Base d’apprentissage

    (5000 chiffres)

    Base de test

    (5000 chiffres)

    75 %

    65 %

    SOFM

    Réseau

    multicouches

    96 %

    93 %

    97 %

    90 %

    HLVQ-LVQ2

    96.8 %

    89.8 %

    HLVQ-LVQ

    modifié


    Chapitre 8

    Applications - Réseau GAL

    5

    Le réseau GAL (Grow And Learn)

    est destiné à l’extraction de primitives de types formes

    prototype tout en ayant une architecture multicouches.

    x1

    C1

    x2

    Winner

    take all

    we,n

    Ae

    Ee

    tm,e

    xn

    Cm

    xN

    CM

    Couche cachée (couche des formes)

    Couche d’entrée

    Couche de sortie (couche des classes)


    Chapitre 8

    Applications - Réseau GAL

    5

    Couche des formes mémorisées :

    wn,e est le poids synaptique reliant l'entrée "n" à la cellule "e"

    Le vecteurwemémorise la forme « Xe »

    Ee = 1 si Ae = ( Ai )

    = 0 sinon

    tem = 1 si le neurone "e" est étiqueté de la classe m,

    = 0sinon


    Chapitre 8

    Applications - Réseau GAL

    5

    L'algorithme d'apprentissage du réseau GAL

    1

    Une forme X correspondant à la classe m est présentée

    2

    Vérification de l'existence de la classe :

    si cette classe n'existe pas :

    un neurone "m" est créé

    un neurone "e" est créé

    si cette classe “m” existe déjà

    la forme X est présentée à l'entrée du réseau

    si la décision prise par le réseau est bonne, alors pas de modification

    si la décision prise par le réseau est mauvaise, alors

    un neurone « e » est créé, ses poids seront :

    We = X et tm’e= 1 si m' = m

    = 0sinon


    Chapitre 8

    Applications - Réseau GAL

    m1

    m2

    m1

    m2

    e1(m2)

    e1(m2)

    e2(m1)

    e1(m1)

    e1(m1)

    5

    Exemple de la création séquentielle de neurones de formes

    Apprentissage incrémental …..


  • Login