C.

Réseau à connexion complète

Les connexions entre les neurones qui composent le réseau décrivent la topologie
du modèle. Elle peut être quelconque, mais le plus souvent il est possible de
distinguer une certaine régularité

r
A. Réseau monocouche

C'est la structure d'interconnexion la plus générale. Chaque neurone est connecté à tous
les neurones du réseau et à lui-même. Entrée w Sortie

Les neurones en entrée sont entièrement connectés

à d'autres neurones organisés en sortie par une
couche modifiable de poids.
3

Exercice : Déterminer la fonction réaliser par ce réseau B. Réseau multicouche

net1

,,,��
oel2 ,"���

'X2 ù}<>l�� 1
�t11of.
EnJrée roucbe cacbt!e Sonie

X y s
" Les neurones sont arrangés par couche et l'information se propage de couche en couche.
E1 0 0 0 Il n'y a pas de connexion entre neurones d'une même couche, et les connexions ne se font
E2 0 1 -1 qu'avec les neurones de couches avales.
E3 1 ' 0 If " On appelle couche d'entrée l'ensemble des neurones d'entrée, couche de sortie
E4 1 1 0 l'ensemble des neurones de sortie. Les couches intermédiaires n'ayant aucun contact avec
l'extérieur sont appelées couches cachées.
4

J
Apprentissage supervisé Exercice : Déterminer la fonction réaliser par ce réseau

Il s'agit d'un mode d'apprentissage qui est guidé. Pour chaque entrée, on fournit
au réseau une sortie désirée, qui permet de mesurer l'erreur commise en sortie,
afin de modifier le comportement du réseau pour diminuer cette erreur.

0 1-.:, 1 x2

(J)--+r----+i superviseur sortie désirée X y s

w_ E1 0 0 0
o::-
�- erreur E2 0 1 .Il
E3 1 0 ,1
W--+'----i sortieobtenue 0
E4 1 1

Apprentissage non supervisé Définition:

L'apprentissage est qualifié de non supervisé lorsque seules les valeurs d'entrée L'apprentissage est une phase du développement d'un réseau de neurones durant
sont disponibles. Dans ce cas, les exemples présentés à l'entrée provoquent une laquelle le comportement du réseau est modifié jusqu'à l'obtention du comportement
auto-adaptation du réseau afin de produire des valeurs de sortie qui soient désiré.

�=L
proches en réponse à des valeurs d'entrée similaires (de même nature). Durant la phase d'apprentissage, le réseau adapte sa structure (le plus souvent,
les poids des connexions) afin de fournir sur ses neurones de sortie les valeurs
désirées. L' apprentissage nécessite des échantillons d'apprentissage ainsi qu'un

�=
algorithme d'apprentissage.

Après initialisation des poids du réseau (en général des valeurs aléatoires), il y a
0::- présentation des exemples au réseau et calcul des sorties correspondantes. Une
valeur d'erreur ou de correction est calculée et une correction des poids est
appliquée.
[�-rés_ _;_a_u�rr-1�-s _o
rt_ieo
_ _b e _ _ _e�
_tnu
Au niveau des algorithmes d'apprentissage, il existe deux grandes classes selon
que l'apprentissage est dit supervisé ou non supervisé.

B 6

J
Projet 1: Le tableau ci-dessous représente des données provenant d'un
microphone, représentant les valeurs sonores d'une voix d'une personne. Exemple d'algorithme d'apprentissage supe rvisé d'un neuroneformel:
On essaie alors de reconnaître les sons représentant effectivement la voie de la
personne(+1) de celle d'une autre(-1). 1/ Initialisation des poids W et du seuil S à des valeurs(petites) choisies au
hasard.
61 62 d 1. Initialisation: w"' [w1, w2 , wi] = [0.75, 0.5, -0.6], µ=(+0.2). 2/ Présentation d'une entrée E1 = (e1, ... en) de la base d'apprentissage.
1.0 1.0 1 2.X1::=sign(0.75x1 + 0.5x1 - 0.6x1)::sign(.65)::1; 3/ Calcul de la sortie obtenue x pour cette entrée : a = L (wi . ei) - S
9.4 6.4 -1 l!.w::: 0.2(1-1)X= O; donc w est inchangé.
x = signe (a)( si a> 0 alors x = +1 sinon a-,:; 0 alors x = -1 )
2.5 2.1 1
7.7
4/ Si la sortie x du Perceptron est différente de la sortie désirée d1 pour cet
8.0 -1 500. w= [-1.3, -1.1, +10.9]. exemple d'entrée
0.5 2.2 1
Équation de la ligne séparant les données: -1.3x 1 + -1.1x2+10.9 = O.
7.9 8.4 -1
E1 alors modification des poids :
7.0 7.0 -1 wi(t+1) = wi(t) + µ. ((d1 - x).ei), avec(µ le pas de modification)
2.8 0.8 1 (d1 - x) est une estimation de l'erreur.
1.2 3.0 1
5/ Tant que tous les exemples de la base d'apprentissage ne sont pas traités
7.8 6.1 -1 correctement, retour à l'étape 2.

Algorithme de rétro-propagation du gradient Application : Déterminer l'ensemble des poids Qui réalise la classification suivante :

Base d'apprentissage
e1 e;, d
1 (1) { l;d)
-

-1 -1 (2)
-1 -1 -] (3)
-1 -1 (4)

(-1.-l)
Avec les conditions initiales
w1= (-0.2), w2=(+0.1), S=(+0.2), µ:::(+0.1).

12 10
Exercice:
Soit un réseau multicouche (3 2 3), avec 3 neurones dans la couche d'entrée, 2
neurones dans la couche cachée et 3 neurones dans la couche de sortie.
Pour une entrée X1 = 0.9, X2 = 0.1 et X3 = 0.9, doivent correspondre les sorties
Y1 = 0.1, Y2 = 0.9 etY3 = 0.9.
Les poids sont initialisés de manière aléatoire comme le montre la figure ci­
dessous:

X1

X2

Remarques:
./ Les poids du réseau doivent être initialisés à de petites valeurs aléatoires.

./ La valeur du taux d'apprentissage µ a un effet significatif sur les performances du

réseau, si ce taux est petit l'algorithme converge lentement, par contre s'il est grand
l'algorithme risque de générer des oscillations .

./ Généralement, µ doit être compris entre O et 1 pour assurer la convergence de

l'algorithme vers une solution optimale.

./ Il n'existe pas de règles permettant de déterminer le nombre de couches cachées

dans un réseau donné ni le nombre de neurones dans chacune d'elles.

./ Théoriquement, l'algorithme ne doit se terminer dès que le minimum de l'erreur

commise par le réseau sera atteint, correspondant à un gradient nul, ce qui n'est
Jamais rencontré en pratique. C'est pourquoi un seuil est fixé à priori afin d'arrêter
l'apprentissage.

14