Rseaux Baysiens

Exemples 1
M. Smith attend larrive de M. Holmz et Dr Watson. Ils sont en retard et M. Smith a un autre rendez-vous important juste aprs. Etant donn quil fait froid, M. Smith suppose alors que les routes sont geles, il conclut alors quils ont probablement eu un accident (ses deux visiteurs sont de mauvais conducteurs). Sa secrtaire entre et linforme que Dr Watson a eu un accident, il annonce sa secrtaire quil compte aller son rendez-vous car tant donn que les routes sont geles, il est fort probable que M. Holms a eu un accident lui aussi. Sa secrtaire linforme quil se trompe et que les routes ne sont pas geles. Tenant compte de cette nouvelle information, il dcide dattendre M. Holms encore dix minutes. Soient les 3 variables alatoires binaires : G : routes Geles W : Dr Watson a eu un accident H : M. Holms a eu un accident

G H

Information sur W (accident de M Watson)

H
G est la cause de H et W

Information de la secrtaire : Routes non geles

Linformation sur G rend H et W indpendants

Exemple 2
Ce matin-l, alors que le temps est clair et sec, M. Holms sort de sa maison. Il saperoit que la pelouse de son jardin est humide. Il se demande alors sil a plu pendant la nuit, ou sil a simplement oubli de dbrancher son arroseur automatique. Il jette alors un coup dil la pelouse de son voisin, et saperoit quelle est galement humide. Il en dduit alors quil a probablement plu, et il dcide de partir au travail sans vrifier son arroseur automatique. Soient les variables alatoires suivantes : A : M. Holms a oubli son arroseur automatique P : Il a plu pendant la nuit J : Lherbe de mon jardin est humide V : Lherbe du jardin du voisin est humide A P

Rseaux causaux
Graphe sans circuits Sommets : Un ensemble de variables alatoires ayant chacune un ensemble dtats fini. Arcs : entre les variables (traduisant une certaine causalit).

A
Parents de C

Fils de A et de B

Rception dinformation lmentaire

E : information lmentaire sur un nud A
! Dterministe si A prend une valeur bien dtermine ai, elle sera dite instancie . ! Imprcise si larrive de linformation E modifie notre croyance sur A.
Exemple dune information lmentaire : A ne peut prendre que deux valeurs ai et aj.

Prob(A) : probabilit de A avant larrive de E. Prob(A/E) : probabilit de A aprs larrive de linformation E. En gnral Prob(A/E) Prob(A)

d-sparation
- Connexion en srie :
A C B

Linformation circule de A B uniquement lorsque C nest pas instancie.

- Connexion divergente :
A

C B

Linformation circule de A B uniquement lorsque C nest pas instancie.

- Connexion convergente :

A C

Linformation circule de A B lorsque soit C ou soit lun de ses descendants a reu une information lmentaire.

d-sparation
2 noeuds A et B, dans un rseau causal, sont dites d-spars si sur toute chane entre A et B il existe un nud intermdiaire V telle que lune des deux conditions suivantes soit ralise : -! La connexion, en V, est en srie ou divergente et V est instanci. -! La connexion, en V, est convergente et lon ne dispose pas dinformations lmentaires ni sur V ni sur de ses descendants.
A Exemple : Graphe causal avec B et M instancis. On a : A et G sont d-spars D H K M i B i C E I L F G J

d-sparation : Autres exemples

i C E G i H A D F i B C, D, G, H , F sont instancies. E est d-spars de B et A i B E i A C F D i B, C, D sont instancies. A est d-spars de E, F et G

Markov Blanket (Couverture de Markov) dune variable A est forme par les parents de A, des fils de A et des nuds partageant un fils avec A.
A

Rsultat Si tous les nuds de la couverture de Markov de A sont instancis alors A est d-spar du reste des nuds du graphe

Probabilits
A, B et C sont 3 variables alatoires ayant pour ensembles dtats respectifs : {a1,a2}, {b1 , b2} et {c1, c2, c3}. On donne ci-dessous leur table de probabilit jointe P(A,B,C).
p(a2,b1,c2)
a1 b1 c1 c2 c3 P(A,B) 0,01 0,004 0,006 0,02 b2 0,04 0,03 0,01 0,08 b1 0,1 0,108 0,062 0,27 a2 b2 0,278 0,152 0,2 0,63 P(C) 0,428 0,294 0,278

Table de la loi marginale du couple (A,B)

Table de la loi marginale de la variable C

Lois marginales (suite)

a1 P(B) 0,29

a2 0,71 P(A)

b1 0,1

b2 0,9

Lois conditionnelles
a1 b1 c1 c2 c3 0,023 0,014 0,022

P(A,B/C) a2 b2 0,093 0,102 0,036 b1 0,234 0,367 0,223 b2 1 0,65 1 0,517 1 0,719

Indpendance conditionnelle
Etant donn 3 variables alatoires A,B et C (discrtes). A et C seront dites indpendantes sachant B si : p(A=ai/B=bj,C=ck)= p(A=ai/B=bj) Remarque, cette dfinition entrane aussi : p(C=ck /B=bj, A=ai)= p(C=ck/B=bj) ! Rsultat : A et C sont indpendantes sachant B, si et seulement si : p(A=ai ,C=ck/B=bj) = p(A=ai/B=bj) p(C=ck/B=bj)

Rseau Baysien (RB)

! ! ! ! ! Un ensemble de n variables U, Chaque variable admet un nombre fini dtats, Un ensemble darcs entre les variables, Le graphe obtenu est sans circuit, chaque variable X ayant pa(X) comme ensemble de parents, on suppose connu la table de probabilits conditionnelles p(X / pa(X)), ! Si X na pas de parents, on suppose connu P(X) (probabilit priori). Thorme Soit R un rseau baysien sur U ={A1,.,An} (lensemble des variables alatoires). La probabilit jointe P(U) est dfinie par :

O pa(Ai) reprsente lensemble des parents de Ai (lensemble p(Ai) est parfois vide)

Exemple dun RB

A AA

On se donne : Les probabilits priori P(A), P(B) Les probabilits conditionnelles P(C/A), P(D/B), P(E/C), P(F/C,D)

Rseaux Baysiens et d-sparation

Rsultat : R un rseau Baysien, e est une information sur des variables de U. Si linformation e rend les deux variables A et B (de U) dspares dans le graphe causal, alors elles sont indpendantes sachant linformation e : p(A/B,e ) = p(A/e ). Remarque : Ce rsultat est facilement vrifiable pour les connexions en sries et divergentes avec e une instanciation de B.
B A C

Exemple 3
Langage L sur une alphabet {a,b}. Lors de la transmission, les mots sont spars par le symbole c . Dautre part, certains caractres peuvent tre affects par la transmission et tre confondus avec dautres. Un mot de 5 caractres est transmis, construire un modle qui permet de calculer la probabilit du mot transmis t=t1t2t3t4t5 sachant le mot observ est o=o1o2o3o4o5. Un rseau Baysien (Modle simple)
T1 O1 T2 O2 T3 O3 T4 O4 T5 O5

Ce modle suppose que : p(T1,T2,T3,T4,T5,O1,O2,O3,O4,O5)= p(T1)p(O1/T1)p(T2/T1)p(O2/T2)p(T3/T2)p(O3/T3)p(T4/T3)p(O4/T4)p(T5/T4)p(O5/T5) NB Si les deux tables p(Oi/Ti) et p(Ti+1/Ti) sont constantes (indpendantes de i) ce modle gnre une squence de 5 mots suivant un modle dune chane de Markov cache..

Exercices Rseaux Baysiens

I - Modliser par un rseau baysien et suivre le raisonnement de lhistoire suivante : M. Holmes reoit un coup de tlphone de son ami Dr Watson linformant que la sonnerie dalarme sest dclanche sa maison de campagne. Il est alors convaincu quun voleur sest introduit dans sa maison, il prend alors sa voiture et se dirige vers sa maison de campagne. Au cours de son chemin, il entend les informations la radio qui annoncent quun petit tremblement de terre a eu lieu dans cette rgion. Or un tremblement de terre peut provoquer le dclenchement de la sonnerie dalarme, M. Holmes dcide alors retourner son bureau . II- On considre la table de la probabilit jointe des 3 variables alatoires A, B et C :

b1 a1 a2 (0.006,0.054) (0.014,0.126)

b2 (0.048,0.432) (0.032,0.288)

-! Calculer P(B,C) et P(B) -! A et C sont elles indpendantes sachant B ?

III- La table suivante reprsente un teste T pour un vnement A : P(T/A) T=oui T=non A=oui 0.99 0.01 A=non 0.001 0.999

Ce teste sera appliqu dans 2 contextes diffrents : Contexte 1 : Lvnement A se ralise avec une probabilit de 0.2. Contexte 2 : Lvnement A se ralise avec une frquence de 0.001. Calculer dans les deux cas la probabilit : P(A=oui/T=oui)

Solution de I

Solution de II
Loi marginal E
b1 P(A,B,C) a1 a2 c1 0,006 0,014 b1 P(B,C) c1 0,02 c2 0,18 c2 0,054 0,126 b2 c1 0,048 0,032 b2 c1 0,08 b2 a2 0,14 a1 0,48 a2 0,32 P(A/B) a1 0,3 c2 0,72 P(C/B) c1 0,1 b1 a2 0,7 c2 0,432 0,288 b1 b2 p(B) 0,2 0,8 b1 c2 0,9 b2 a1 0,6 a2 0,4 b2 c1 0,1 c2 0,9

Probabilit E conditionnelle

Loi marginal
P(A,B) a1

b1 0,06

Loi marginal E

Probabilit E conditionnelle

10

Calculer P(A,C/B) et de p(A/B)P(C/B)

b1 P(A,C/B) a1 a2 c1 0,03 0,07 c2 0,27 0,63

b2 c1 0,06 0,04 c2 0,54 0,36

b1
P(A/B)P(C/B)

b2 c2 0,27 0,63 c1 0,06 0,04 c2 0,54 0,36

c1 0,03 0,07

a1 a2

Ainsi A et C sont indpendantes sachant B

Solution de III

Contexte

P(A,T)=P(T/A)P(A)

1 : p(A)

0,2

0,8

p(A,T) T=oui T=non

A=oui 0,198 0,002

A=non 0,0008 0,7992

p(T) 0,1988 0,8012

P(A=o/T=o)

= 0,996

P(A=oui/T=oui)= P(A=oui,T=oui)/P(T=oui)

Dans ce cas le teste est trs bon

11

Solution de III (suite)

P(A,T)=P(T/A)P(A P(A,T)=P(T/A)P(A)

Contexte
2 : p(A) 0,001 0,999 p(A,T) T=oui T=non P(A=o/T=o) = 0,553

2
A=oui 0,00099 0,00001 A=non 0,0008 0,998001 p(T) 0,00179 0,998011

P(A=oui/T=oui)= P(A=oui,T=oui)/P(T=oui)

Dans ce cas le teste est mauvais, car cette probabilit est proche de 0,5

Dtermination des probabilits conditionnelles

Problme : Si A admet n modalits et si chaque variable Ai de p(A) admet ni modalits alors la table P(A/p(A)) contient lments. ! Utilisation de la fonction sigmode logistique Si les variables Ai sont binaires et codes en {0,1}, on associe la variable Ai un paramtre wi et on dfinit :

Dans ce cas il suffit de dterminer les n+1 paramtres wi.

12

! Naf Bayes Dans le cas dun problme de diagnostic, on a des symptmes et des causes. Une cause C dpend des symptmes A1, ,Ap, il sagit de dterminer la probabilit de la cause C connaissant ses symptmes : P(C/ A1=a1, ,Ap=ap). Si on fait lhypothse que les symptmes sont indpendants connaissant la cause C :
A1 C Ap

Tenant compte de cette relation on tire que :

O k regroupe les termes indpendants de c et constitue un terme de normalisation

Ou logique
On suppose que C et tous les Ai sont des variable binaires. On considre la variable A=(A1,Ap). La table du ou logique est dfinie par : Pou (C=1/ A1=A2==Ap=0)=0 et Pou(C=1/ A
(0,0,,0))=1.

Ou bien : Pou (C=0/ A1=A2==Ap=0)=1 et Pou(C=0/ A

(0,0,,0))=0.

Ou Bruit
On considre en plus la variable A=(A1,Ap), o les variables Ai sont binaires et 2 2 indpendants, et le rseau baysien suivant :
A1 A1 C Ap Ap

On suppose dfini les probabilits : Pb (Ai / Ai) Et Pb(C/A)=Pou(C/A)

13

Ou bruit (suite 1)
Dfinition dun rseau baysien

La probabilit jointe : Pb(A, A,C) = Pour A=(a1, , aj, ..., ap)=a On en dduit :

Si pour tout j , on pose : Pb(Aj=0/Aj=1) = qj et Pb(Aj=0/Aj=0) = 1 On a alors : (Rel 1)

Ou bruit (suite 2)
Interprtation : Si Aj = 1 alors C=1 sauf si un vnement !j se ralise et qui entrane C=0. Lvnement !j se ralise avec la probabilit qj. On suppose en plus que les vnements qj sont indpendants. Exemple : Le mal de gorge du matin peut tre caus par le froid, une
angine ou autres causes. Ce qui correspond au graphe suivant :
1 Froid (Fr) 2 Angine (An) 3 Autres (Au)
A3=1 A1 =1 A1=0 1-q1q2q3= 0,99 1-q2q3 =0,97

Mal de Gorge (MG)

On pose : q1=0,4 , q2=0,3 et q3=0,1

Table de Pou(C=1/A1,A2,A3)
A2 =1 A3=0 1-q1q2= 0,88 1-q2 = 0,7 A3=1 1-q1q3= 0,96 1-q3 = 0,90 A2 =0 A3=0 1-q1=0,6 0

14

Suite exemple 3 : Frquences

3 dernires lettres 2 premires lettres

des mots et des transitions observs

aaa 0,017 0,033

aab 0,021 0,04

aba 0,019 0,037

abb 0,019 0,038

baa 0,045 0,011

bab 0,068 0,016

bba 0,045 0,01

bbb 0,068 0,015 0,302 0,2

aa ab

ba

0,011

0,014

0,01

0,01

0,031

0,046

0,031

0,045

0,198

bb

0,05 0,111

0,06 0,135

0,056 0,122

0,057 0,124

0,016 0,103

0,023 0,153

0,015 0,101

0,023 0,151

0,3

P(O/T)
T=a O=a O=b O=c 0,80 0,10 0,10 T=b 0,15 0,80 0,05 a b a 0,6 0,4
P(T2

p(Ti / T1-1) b 0,4 0,6

/T1)

a 0,24 0,76 P(T3

b 0,74 0,26 /T2)

Si on retient le modle prcdent et on recalcule les probabilits des mots en utilisant la formule : p(T1,T2,T3,T4,T5)= p(T1)p(T2/T1)p(T3/T2)p(T4/T3)p(T5/T4) On obtient la probabilit jointe suivante :

3 dernires lettres 2 premires lettres

aaa 0,016 0,030 0,010 0,044

aab 0,023 0,044 0,016 0,067

aba 0,018 0,033 0,012 0,057

abb 0,021 0,041 0,014 0,061

baa 0,044 0,011 0,029 0,016

bab 0,067 0,015 0,045 0,023

bba 0,050 0,012 0,033 0,017

bbb 0,061 0,014 0,041 0,021

aa ab ba bb

15

Suite Exemple 3 : Apprentissage de la structure

Modle Max
T1 T2 T4 T5

T3

Probabilit Jointe

Rduire ce graphe : consiste choisir un graphe sans circuit parmi 210 possibilits.

Distance entre deux lois de probabilits : P tant la vraie probabilit et P* celle dduite dun modle graphique. On peur dfinir 2 mesures de distance : Euclidienne Kullback-leibler

Reproduire au mieux P avec la structure du graphe la plus simple

16

Taille du graphe : U tant lensemble des variables alatoires. Pour tout modle de graphe M choisi, on dfini : Taille(M )=

P* tant la probabilit dfinie par le rseaux baysien du modle M. On dfini la fonction cot suivante : Taille(M)+KDistE(P,P*) K qui ralise le compromis entre les 2 termes.

Si on prend K=10.000, le modle M qui ralise le minimum de la fonction cot est dfini par le graphe suivant :
T1 T2 T3 T5 T4

La table des probabilits P* correspondante :

3 dernires lettres 2 premires lettres

aaa 0,017 0,034 0,011 0,051

aab 0,021 0,04 0,014 0,062

aba 0,019 0,037 0,01 0,057

abb 0,019 0,038 0,01 0,057

baa 0,045 0,010 0,031 0,015

bab 0,068 0,015 0,045 0,023

bba 0,045 0,01 0,030 0,015

bbb 0,068 0,015 0,045 0,023

aa ab ba bb

17

Modle Chane de Markov Cache (de taille T)

Etats Caches

"#
B

X1

A B

X2

A B

X3

XT-1

A B

XT

B
YT-1

Observations

Y1

Y2

Y3

YT

Factorial Hidden Markov Model

3 chanes de Markov caches

Observations

Exemples
Le lait dune vache peut tre infect. Pour dtecter si le lait est infect, on dispose d'un test. Ce test peut donner soit un rsultat positif soit un rsultat ngatif. Le test n'est pas parfait, il peut donner un rsultat positif sur un lait non infect ainsi quun rsultat ngatif sur un lait infect. Nous avons deux variables alatoires : Infect : ayant deux valeurs oui ou non Test : ayant deux valeurs positif ou ngatif
Rseau Baysien Infect Test

Modlisation de 5 jours avec la proprit 1-jour de mmoire de la variable infect

Inf1 Test1 Inf2 Test2 Inf3 Test3 Inf4 Test4 Inf5 Test5

18

Exemple (suite)
Modlisation de 5 jours avec la proprit 2-jours de mmoire de la variable infect
Inf1 Test1 Inf2 Test2 Inf3 Test3 Inf4 Test4 Inf5 Test5

Modlisation de 5 jours avec la proprit 2-jours de mmoire de la variable infect et 1-jour de mmoire de la variable Test
Inf1 Test1 Inf1 Test2 Inf1 Test3 Inf1 Test4 Inf1 Test5

19