Laboratorul 8: Ret, ele Bayesiene

Creierul uman are o capacitate remarcabilă de a lua decizii ı̂n prezent, a in-
format, iilor incerte sau incomplete. Facem predict, ii, uneori incons, tient, despre
evenimente din viitor sau pe care nu le putem observa direct s, i asta ne ajută să
interact, ionăm atât de eficient cu lumea din jur.
Este necesar, deci, atunci când discutăm despre inteligent, ă artificială să ne
punem problema reprezentării incertitudinii unor evenimente, fie că aceasta pro-
vine din absent, a unor observat, ii, fie că este consecint, a unor procese aleatoare,
nedeterministe (e.g. aruncarea unui zar). Cadrul matematic care oferă concep-
tele utile acestei discut, ii ı̂l reprezintă teoria probabilităt, ilor. În cele ce urmează
sunt reluate câteva not, iuni elementare necesare.

1 Teoria probabilităt, ilor

1.1 Probabilitatea unui eveniment
Fie X o variabilă aleatoare care poate lua valoarea 0 sau 1 (X este o variabilă
aleatoare discretă binară). Definim probabilitatea producerii evenimentului X =
1 ca fiind raportul dintre numărul de dăt, i ı̂n care variabila X ia valoarea 1 s, i
numărul total de experimente. Vom nota această probabilitate astfel: p (X = 1).
Prin definit, ie orice probabilitate este un număr ı̂ntre 0 s, i 1.
Pentru simplificare vom nota ı̂n continuare cu p (X) probabilitatea unui eve-
niment oarecare X.
Dacă p (X) = 1 atunci X este un eveniment sigur (e.g. X = 0 ∨ X = 1).
Dacă p (X) = 0 atunci X este un eveniment imposibil.
Vom nota cu ¬X evenimentul contrar (sau complementar) evenimentului X.

p (X) = 1 − p (¬X) (1)

1.2 Evenimente independente. Probabilităt, i condit, ionate

Evenimente independente
Două evenimente X s, i Y se numesc independente dacă probabilitatea evenimen-
tului combinat X ∩ Y este produsul probabilităt, ilor individuale de producere a
celor două evenimente (vezi Formula 2). Vom nota fapul că două evenimente
sunt independente astfel: X ⊥ Y . O observat, ie importantă este aceea că dacă

1
N evenimente sunt independente două câte două, acestea nu sunt necesar inde-
pendente ı̂n ansamblu.

p (X ∩ Y ) = p (X) · p (Y ) (2)
Două evenimente X s, i Y se numesc incompatibile dacă acestea nu se pot
produce simultan: p (X ∩ Y ) = 0.

Probabilităt, i condit, ionate

Fie X s, i Y două evenimente s, i p (Y ) 6= 0. Probabilitatea lui X condit, ionat de
Y este dată de raportul dintre probabilitatea evenimentului combinat s, i proba-
bilitatea evenimentului Y (vezi Formula 3). Intuitiv, aceasta descrie s, ansele de
a se produce evenimentul X atunci când evenimentul Y s-a realizat.

p (X ∩ Y )
p (X|Y ) = (3)
p (Y )
Formula 3 poate fi aplicată succesiv pentru a desfăs, ura probabilitatea unui
eveniment combinat din N evenimente (vezi Formula 4).

p (X1 ∩ X2 ∩ . . . ∩ XN ) = p (X1 ) p (X2 ∩ . . . ∩ XN |X1 )

= p (X1 ) p (X2 |X1 ) p (X3 ∩ . . . ∩ XN |X1 ∩ X2 )
···
= p (X1 ) p (X2 |X1 ) . . . p (XN |X1 ∩ X2 ∩ . . . ∩ XN −1 )
(4)

Dacă un eveniment sigur Y se poate descompune ı̂n N evenimente incompati-

bile Y1 , Y2 , . . . , YN , atunci pentru orice eveniment X este adevărată identitatea 5
(forumla probabilităt, ii totale).
N
X N
X
p (X) = p (X|Yn ) p (Yn ) = p (X ∩ Yn ) (5)
n=1 n=1

O aplicat, ie uzuală a acestei reguli este descompunerea evenimentului sigur

ı̂n Y s, i ¬Y (Formula 6).

p (X) = p (X|Y ) p (Y ) + p (X|¬Y ) p (¬Y ) (6)

Exemplu Să presupunem că un agent vrea să ı̂s, i evalueze s, ansele de a câs, tiga
un joc cu zar. Fie C evenimentul ı̂n care agentul câs, tigă jocul. Presupunând
că agentul cunoas, te probabilitatea ca zarul să pice pe fiecare dintre cele s, ase
fet, e ale sale p (Z = i) , ∀i ∈ {1, . . . , 6}, acesta trebuie să evalueze apoi care sunt
s, ansele de a câs, tiga ı̂n fiecare dintre acele cazuri p (C|Z = i). Atunci, s, ansele ca
agentul să câs, tige jocul sunt date de cantitea următoare (Formula 7):

2
 6
X
p (C) = p (C|Z = i) · p (Z = i) (7)
i=1

1.3 Teorema lui Bayes

Pentru două evenimente X s, i Y , aplicând Formula 5 s, i t, inând cont de simetria
p (X ∩ Y ) = p (Y ∩ X) se obt, ine Teorema lui Bayes:

p (Y |X) p (X)
p (X|Y ) = (8)
p (Y )
Teorema lui Bayes paote fi interpretată ca o condit, ionare cauzală. Frumuse-
t, ea acestei formule vine din faptul că exprimă probabilitatea unei cauze pe baza
unei observat, ii făcute, ı̂ntorcând direct, ia de condit, ionare. Probabilitatea pos-
terioară p (X|Y ) este exprimată ca produsul dintre verosimilitatea observat, iei
făcute dată fiind cauza X, p (Y |X), s, i probabilitatea apriorică a cauzei p (X)
ı̂mpărt, it la probabilitatea totală a evenimentului Y .
O aplicat, ie uzuală a Teoremei lui Bayes este aplicarea ı̂n cazul evenimentelor
complementare precum ı̂n Formula 9.

p (Y |X) p (X)
p (X|Y ) = (9)
p (Y |X) p (X) + p (Y |¬X) p (¬X)

Exemplu
Se consideră o anume formă de gripa ce afectează un procent cunoscut din
populat, ie (1%) s, i un test ce semnalează cu o anumită certitudine prezent, a acestei
boli. Mai precis, se cunosc următoarele probabilităt, i:

• p (Gripa) = 0.01 - incident, a acestei forme de gripa ete 1%;

• p (+|Gripa) = 0.9 - probabilitatea ca testul să indice corect prezent, a gripei

ı̂n cazul unui pacient bolnav;
• p (+|¬Gripa) = 0.2 - probabilitatea ca testul să indice gres, it prezent, a
gripei ı̂n cazul unui pacient sănătos.

Să notăm s, i probabilităt, ile evenimentelor complementare:

• p (¬Gripa) = 0.99 - probabilitatea evenimentului complementar (indivizii
sănătos, i din rândul populat, iei);

• p (−|Gripa) = 0.1 - probabilitatea ca testul să NU indice prezent, a gripei

ı̂n cazul unui pacient bolnav (negativ fals);
• p (−|¬Gripa) = 0.8 - probabilitatea ca testul să iasă negativ ı̂n cazul unui
individ sănătos.

3
 Aplicând teorema lui Bayes putem afla care este probabilitatea ca un individ
să fie bolnav dacă testul a ies, it pozitiv:

p (+|Gripa) p (Gripa)
p (Gripa|+) =
p (+)
p (+|Gripa) p (Gripa)
= (10)
p (+|Gripa) p (Gripa) + p (+|¬Gripa) p (¬Gripa)
0.9 · 0.01
= ≈ 0.04348
0.9 + 0.01 + 0.2 · 0.99

Artificiu de calcul Uneori, ı̂n teorema lui Bayes numitorul este greu de cal-
culat. Se poate evita acest calcul direct folosindu-se evenimentul complementar.

p (Y |X) p (X) not. P 1

p (X|Y ) = = (11)
p (Y ) γ
p (Y |¬X) p (¬X) not. P 2
p (¬X|Y ) = = (12)
p (Y ) γ

Calculându-se doar numărătorii din Ecuat, iile 11 s, i 12, se rezolvă apoi următorul
sistem de ecuat, ii:

γP 1 + γP 2 = 1 (13)
p (X|Y ) = γP 1 (14)

2 Ret, ele Bayesiene

Ret, elele Bayesiene sunt modele grafice utilizate pentru reprezentarea eficientă a
unor distribut, ii comune peste un spat, iu mai mare de variabile aleatoare. Ret, elele
Bayesiene sunt grafuri orientate aciclice ı̂n care nodurile reprezintă variabile
aleatoare, iar arcele reprezintă relat, ii cauzale directe ı̂ntre acestea.
Ret, ele Bayesiene pot lucra s, i cu variabile continue, dar ı̂n cadrul acestei
expuneri ne vom referi doar la ret, ele ce descriu probabilităt, i pentru variabile
discrete.
Figura 1 reprezintă o ret, ea bayesiană cu două variabile binare: A s, i B. Pentru
a simplifica notat, iile vom considera evenimentele A ≡ A = 1 s, i ¬A ≡ A = 0
notând, deci, p (A) = p (A = 1) s, i probabilitatea evenimentului complementar
p (¬A) = p (A = 0). Convent, ia este folosită pentru toate variabilele binare B, C,
D, etc. ce vor apărea mai jos.

4
 A p (A) ···

p (B|A) ···
B
p (B|¬A) ···

Figura 1: Ret, ea Bayesiană simplă

Fiecare nod dintr-o ret, ea bayesiană este ı̂nsot, it de o tabelă de probabilităt, i

condit, ionate care descriu s, ansele ca variabila respectivă să ia o valoare atunci
când variabilele părinte (cauzele) au fost observate. Pentru o variabilă care nu
are părint, i (cauze), probabilităt, ile de realizare ale acesteia nu vor fi condit, ionate.
Mai precis, pentru ret, eaua bayesiană din Figura 1 trebuie precizate p (A),
p (B|A) s, i p (B|¬A).
În cazul general, ı̂n care fiecare variabilă X poate lua valori dintr-o mult, ime
de valori D(X), numărul
Q de valori ce trebuie specificate pentru un nod oarecare
este (|D (X)| − 1) Y∈P ar(X) |D (Y)|, unde |M | este cardinalul mult, imii M , iar
P ar(X) reprezintă mult, imea părint, ilor (cauzelor) variabilei X.

Întrebarea 1 Fie mult, imea de variabile aleatoare binare {A, B, C, D, E, F, G}.

Câte valori ar trebui specificate (sau ı̂nvăt, ate ı̂ntr-un proces de antrenare) pen-
tru a descrie probabilitatea comună p (A, B, C, D, E, F, G)? Câte valori trebuie spe-
cificate pentru a descrie ret, eaua bayesiană din Figura 2? Răspundet, i la aceleas, i
două ı̂ntrebări considerând că variabilele sunt ternare (pot lua trei valori).

5
 A B C

D E

F G

Figura 2: Ret, ea Bayesiană pentru ı̂ntrebarea 1

2.1 Independent, ă condit, ională

Unul dintre conceptele cheie din teoria probabilităt, ilor care face ca lucrul cu
ret, elele bayesiane să fie eficient este independent, a condit, ională. Dacă observarea
unei variabile Y face ca variabila X să nu depindă de o a treia variabilă Z atunci
spunem că X este condit, ional independentă de Z dată fiind Y. Intuitiv, această
relat, ie indică faptul că atunci când rezultatul lui Y este cunoscut, observarea
lui Z nu ar aduce nicio informat, ie suplimentară despre X (sau, echivalent, nu
ar modifica (in)certitudinea asupra variabilei X). Una dintre notat, iile uzuale
pentru independent, a condit, ională este cea din Formula 15.

X ⊥ Z|Y ⇐⇒ p (X|Y, Z) = p (X|Y) (15)

Relat, ia de independent, ă condit, ională se generalizează s, i la mult, imi de vari-
abile. În Formula 16, X, Y s, i Z reprezintă mult, imi de variabile aleatoare.

X ⊥ Z|Y ⇐⇒ p (X|Y, Z) = p (X|Y) (16)

Pentru a putea investiga aplicat, iile independent, ei condit, ionale ı̂n ret, ele ba-
yesiene, mai jos sunt descrise trei posibile relat, ii ı̂n care se pot găsi trei variabile
aleatoare.

Lant, de cauzalitate Fie ret, eaua bayesiană din Figura 3 cu trei variabile A,
B s, i C. Să presupunem că aceasta modelează următoarea situat, ie: variabila A
reprezintă faptul că este iarnă, variabila B starea de a ninge afară, iar variabila
C faptul că Ionut, se dă cu sania. În primul caz să presupunem că nu s, tim
dacă afară ninge sau nu. Informat, ia despre anotimpul curent (dacă este iarnă
sau nu, adică observarea variabilei A) modifică ceea ce credem despre faptul că
Ionut, se dă cu sania. Mai precis, ı̂ntr-un alt anotimp decât iarna, acest lucru ar
părea improbabil, deoarce este foarte put, in probabil să ningă. Iarna, ı̂n schimb,
putem crede că sunt s, anse mari să ningă, drept urmare sunt s, anse mai mari ca

6
Ionut, să se dea cu sania. Dar, odată ce aflăm dacă ninge sau nu, informat, ia
despre anotimpul curent nu mai poate influent, a s, ansele pe care le acordăm
evenimentului Ionut, se dă cu sania. În acest caz, deci, A ⊥ C|B s, i A 6⊥ C.

A B C A B C

(a) A 6⊥ C (b) A ⊥ C|B

Figura 3: Variabilele A s, i B devin condit, ional independente atunci când variabila

C este observată (imaginea b).

Cauză comună Fie ret, eaua bayesiană din Figura 4. În acest caz variabila B
condit, ionează atât variabila A, cât s, i variabila C. Să asociem trei evenimente
concrete celor trei variabile: evenimentul plouă este descris de variabila binară
B, variabila A reprezintă faptul că oras, ul Bucures, ti este aglomerat, iar variabila
C faptul că Ionut, poartă o umbrelă. Exact ca ı̂n cazul precedent, să presupunem
ı̂ntâi că nu s, tim dacă afară plouă. Faptul că ı̂l vedem pe Ionut, cu o umbrelă
ne poate face mai ı̂ncrezători ı̂n faptul că traficul este aglomerat deoarece este
foarte probabil să plouă. Totus, i, observând dacă afară plouă sau nu, umbrela
lui Ionut, nu ne mai aduce nicio informat, ie despre traficul din Bucures, ti. Deci,
ı̂n acest caz A ⊥ C|B s, i A 6⊥ C.

B B

A C A C

(a) A 6⊥ C (b) A ⊥ C|B

Figura 4: Variabilele A s, i B devin condit, ional independente atunci când variabila

C este observată (imaginea b).

7
 A C
A C A C

B B

(a) A ⊥ C (b) A 6⊥ C|B

(c) A 6⊥ C|B

Figura 5: Variabilele A s, i B sunt condit, ional independente atunci când variabila

C nu este observată (imaginea a), dar depind una de cealaltă după observarea
unui copil comun (imaginea b) sau a unui descendent al acestuia (imaginea c).

Explaining away Fie ret, eaua bayesiană din Figura 5. În acest caz: A 6⊥ C|B
s, i A ⊥ C. Să ı̂ncercăm să suprapunem un exemplu. Ionut, este microbist s, i echipa
lui preferată este Barcelona care are un meci important cu rivala din Madrid.
De asemenea, Ionut, este programator s, i as, teaptă verdictul unui interviu pe care
l-a avut de curând. Să zicem că variabila A corespunde evenimentului Barcelona
a câs, tigat meciul cu Real Madrid, iar variabila C reprezintă evenimentul Ionut,
a luat interviul. Fără nicio informat, ie suplimentară cele două evenimente nu au
nicio legătură s, i informat, ii despre unul dintre ele nu ne pot schimba probabili-
tatea pe care o asociem celuilalt. Dacă, ı̂n schimb, observăm variabila B s, i aflăm
că Ionut, este fericit, atunci apare nevoia unei explicat, ii. De ce este Ionut, fericit?
În cazul acesta, dacă aflăm că rezultatul meciului a fost negativ, din nevoia de
oferi o explicat, ie pentru bucuria lui Ionut, , vom avea o certitudine ridicată că
acesta a luat interviul. Variabilele de care depinde B devin dependente deoarece
se activează un rat, ionament intercauzal ı̂n căutarea unei explicat, ii.

2.2 D-Separabilitate
Not, iunea de D-separabilitate foloses, te o analiză a grafului care descrie ret, eaua
bayesiană pentru a determina dacă două mult, imi de variabile sunt independente
condit, ional sau nu.
O cale neorientată ı̂ntre o mult, ime de noduri X s, i o mult, ime de noduri Z
este orice secvent, ă de arce (indiferent de orientarea lor) care pleacă de la un
membru al mult, imii X s, i ajunge la un membru al mult, imii Z.

8
 Dându-se o mult, ime de noduri O observate, o cale p este blocată dacă una
dintre următoarele trei condit, ii este adevărată:

1. există un nod Y ∈ O care reprezintă destinat, ia unui arc din p s, i sursa unui
alt arc din p (ı̂nlănt, uire cauzală);
2. există un nod Y ∈ O care reprezintă sursa a două arce diferite din p (cauză
comună);

3. niciun nod Y care reprezintă destinat, ia a două arce din p nu se află ı̂n O
s, i nici vreun descendent de-ai lui nu se află ı̂n O.

O mult, ime de noduri O d-separă două mult, imi X s, i Z dacă orice cală neo-
rientată ı̂ntre X s, i Z este blocată prin observarea variabilelor din O.

3 Exemplu s, i probleme

A B C

D E

F G

Figura 6: Ret, ea bayesiană ı̂ntrebarea 2.

Fie ret, eaua bayesiană din Figura 6.

Întrebarea 2. De cât, i parametri este nevoie pentru a descrie complet ret, eaua
bayesiană din Figura 6? De cât, i ar fi fost nevoie ı̂ntr-o reprezentare tabulară
completă a p (A, B, C, D, E, F, G)?

Întrebarea 3. Precizat, i care dintre următoarele relat, ii de independent, ă condit, ională

sunt adevărate ı̂n ret, eaua din Figura 6. Analizat, i folosind definit, ia pentru d-
separabilitate.

a) A ⊥ G|D
b) A ⊥ B|F

c) A ⊥ C

9
 d) A ⊥ C|E
e) F ⊥ G|A
f) B ⊥ C|G
g) F ⊥ C|G

A B C A B C

D E D E

F G F G

(a) Întrebarea 3.a. (b) Întrebarea 3.b.

Figura 7: În imaginea a variabilele A s, i G sunt condit, ional independente prin

observarea variabilei D deoarece singura cale dintre acestea este blocată. În ima-
ginea b variabilele A s, i B sunt dependente deoarece observarea unui descendent
al variabilei D activează calea A − D − B.

Întrebarea 4. Considerând doar variabilele D, F, G, precum ı̂n Figura 8,

calculat, i următoarele probabilităt, i:

a) p (D|F ∩ G)
b) p (F |G)

p (D) 0.7
D

p (F |D) 0.8 p (G|D) 0.25

p (F |¬D) 0.5 F G p (G|¬D) 0.65

Figura 8: Ret, ea bayesiană pentru ı̂ntrebarea 4.

10
Întrebarea 5. Considerând doar variabilele D, E, G, precum ı̂n Figura 9,
calculat, i următoarele probabilităt, i :
a) p (D|E)
b) p (D|G ∩ E)

p (D) 0.7 p (E) 0.25

D E

p (G|D ∩ E) 0.9
p (G|D ∩ ¬E) 0.8
G p (G|¬D ∩ E) 0.6
p (G|¬D ∩ ¬E) 0.2

Figura 9: Ret, ea bayesiană pentru ı̂ntrebarea 5.

Indiciu pentru ı̂ntrebarea 5.b Putem descompune p (X, Y, Z) folosind For-

mula 4 ı̂n două moduri:

p (X, Y, Z) = p (X) p (Y|X) p (Z|Y ∩ X) (17)

p (X, Y, Z) = p (X) p (Z|X) p (Y|Z ∩ X) (18)

Din Formulele 17 s, i 18 se obt, ine următoarea egalitate (o expresie similară

Formulei lui Bayes ı̂n care toate probabilităt, ile sunt condit, ionate de o altă va-
riabilă):

p (Y|X) p (Z|Y ∩ X) = p (Z|X) p (Y|Z ∩ X) (19)

Întrebarea 6. Urmărind ret, eaua bayesiană din Figura 10, calculat, i următoarele
probabilităt, i:

a) p (B|F )

b) p (A|¬F ∩ ¬G)
c) p (B|¬C)

11
 p (B) 0.8

p (C) 0.1
p (A) 0.6 A B C

p (D|A ∩ B) 0.9
p (D|A ∩ ¬B) 0.6 p (E|C) 0.7
D E
p (D|¬A ∩ B) 0.6 p (E|¬C) 0.2
p (D|¬A ∩ ¬B) 0.05

p (G|D ∩ E) 0.9
p (F |D) 0.8 p (G|D ∩ ¬E) 0.8
F G
p (F |¬D) 0.5 p (G|¬D ∩ E) 0.6
p (G|¬D ∩ ¬E) 0.2
Figura 10: Ret, ea bayesiană cu 7 noduri pentru ı̂ntrebarea 6.

12