Réseaux de Neurones et Applications as

Examen 2003/2004
Architecture des Systèmes d’Information

Ph. Leray 4eme année

– Durée : 3h
– Calculatrice autorisée
– Documents autorisés :
– supports de cours et notes personnelles
– votre voisin n’est pas un document
– Barême indicatif sur 30 points

1 Réseaux de neurones (15 points)

X0

X1 H1

Xi Hj O

Xn Hh

Considérons un réseau feed-forward (d’une seule couche cachée) avec n entrées (indicées par i et un biais X 0 = 1), h
neurones cachés (indicés par j) et une sortie. Les fonctions de transfert sont les suivantes :

1 −2 X
n
Aj = σj (wji − Xi )2
2 i=0
Hj = e−Aj
X
h
O = α j Hj
j=1

1. (2 points) Expliquer le sens des paramètres {[wji ], σj−2 } associés à chaque neurone caché Hj

2. (6 points) En utilisant le principe de la rétropropagation, proposer des règles de mise à jour des paramètres α j ,
wji et σj−2 visant à minimiser la fonction de coût quadratique classique (où Y correspond à la sortie désirée) :

1 X 1
J = (Y − O)2
Nexemples 2
exemples

NB : Pour simplifier les calculs, considérez bien σj−2 comme paramètre et non σj .

3. (3 points) On rajoute un terme à la fonction de coût :

1 X 1 Xh
J = (Y − O)2 + λ σj−2
Nexemples 2 j=1
exemples

(a) Quelle est l’utilité de ce terme supplémentaire ?

(b) Quelles sont les répercussions sur le gradient (faites le calcul) ?

4. (4 points) Proposer une méthode simple permettant de supprimer les neurones cachés inutiles dans ce réseau.
NB : Faites le lien entre l’opération faite par la dernière couche et une méthode que vous connaissez déjà...

p.1/2
ASI4 Examen RNA 2003/2004

2 Réseaux bayésiens (15 pts) (1-2) et 3 sont indépendants

Deux astronomes travaillant dans des observatoires différents essaient d’estimer

le nombre d’étoiles N dans une petite portion du ciel. Ils arrivent respectivement
aux résultats M1 et M2 à l’aide de leur télescope respectif. En théorie, chaque
astronome peut se tromper dans son décompte d’une étoile (on supposera qu’il
compte la bonne valeur dans 95% des cas). Chaque telescope peut aussi avoir (avec
une probabilité de 10%) un problème de focus (noté respectivement F 1 et F2 ) qui
mène alors l’astronome à sous-évaluer son estimation d’une unité.
1. Choix de la structure et des paramètres

(a) (2 points) Lequel des réseaux ci-dessous correspond le mieux à la situation ? Pourquoi ?

F1 F2 M1 M2

M1 M2 F1 N F2 N

N M1 M2 F1 F2
(a) (b) (c)
(b) (1 point) Proposez des tables de probabilités pour le réseau choisi. On supposera que N prend les valeurs 1 à
3, que Mi prend les valeurs 0 à 4, et que les distributions a priori non indiquées dans l’énoncé sont uniformes.

2. Inférence (à la main)
(a) (3 points) Le premier astronome a mesuré M1 = 1. Quelle est la probabilité que son telescope soit déréglé ?
Quelle est la distribution de probabilité de la variable N ? La valeur la plus probable ?
(b) (2 points) Oublions maintenant le résultat du premier astronome. On apprend que son collègue a obtenu
M2 = 3. Quelle est la distribution de probabilité de la variable N ? La valeur la plus probable ?
(c) (3 points) Supposons maintenant que nous disposons des deux informations à la fois. En utilisant les éven-
tuelles relations d’indépendance conditionnelles entre les variables, montrer que P (N |M 1 = 1, M2 = 3)
peut se calculer simplement, à partir des résultats précédents. Quelle est maintenant la distribution de proba-
bilité de la variable N ? La valeur la plus probable ?

3. Inférence (suite)
Considérons maintenant le graphe suivant :
1 2

3 4 5

6 7

(a) (2 points) Peut-on appliquer l’algorithme de Pearl à ce réseau ? pourquoi ?

(b) (2 points) Tracer l’arbre de jonction correspondant

p.2/2