Inteligenta Artificiala: Rationament Probabilistic

Inteligență artificială
10. Raționament probabilistic
Florin Leon
Universitatea Tehnică „Gheorghe Asachi” din Iași

Facultatea de Automatică și Calculatoare
http://florinleon.byethost24.com/curs_ia.htm
Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm
Raționament probabilistic
1. Rețele bayesiene
2. Inferențe cu rețele bayesiene
3. Teoria evidențelor
4. Concluzii
Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 2

1.1. Teorema lui Bayes
1.2. Independență și independență condiționată
1.3. Algoritmul Bayes-Ball
4. Concluzii

Probabilități
 P(A) – fracțiunea de lumi posibile în care A este adevărată
 Interpretarea frecventistă (număr de experimente)

 Interpretarea fizică (proprietăți ale obiectelor)
 Interpretarea subiectivistă (caracterizarea convingerilor)

Probabilități
 Lumea macroscopică
 Probabilitățile sunt doar o măsură a incapacității
de a prezice evoluția unor procese complexe?
 Lumea cuantică
 Procese impredictibile: descompunerea radioactivă
 Double-slit experiment, quantum pigeonholes
 Amplitudini de probabilitate
 Calcul cuantic: qubiți

Lumea cuantică

Paradoxuri
 Problema “Monty Hall”

Paradoxuri

Paradoxuri
 Eroarea jucătorului de ruletă
 Dacă a ieșit roșu, data următoare sunt mai multe
șanse să iasă negru
 1913, Monte Carlo – negrul a ieșit de 26 de ori la rând

Paradoxuri
 Eroarea procurorului
 Grupa de sânge găsită la fața locului este o grupă rară, AB cu Rh
negativ, care are 1% frecvență în populație
 S-au mai găsit urme de păr blond, persoanele blonde constituind
tot 1% din populație
 Suspectul are grupa de sânge respectivă și este blond, prezența
împreună a acestor trăsături având împreună probabilitatea de
0,01% ⇒ vinovat cu o probabilitate de 99,99%
 Orașul în care s-a petrecut crima are o populație de 100.000 de
locuitori, deci alți 10 oameni au aceleași trăsături
⇒ vinovat cu o probabilitate de 10%
 Două camere video identifică suspectul cu o probabilitate de 70%,
deci suspectul este nevinovat cu o probabilitate de 0,9 ∙ 0,3 ∙ 0,3
⇒ vinovat cu o probabilitate de 91,9%
Probabilități condiționate
 P(A|B) este fracțiunea de lumi posibile în care
B este adevărată și atunci și A este adevărată
 Probabilitatea lui A, dat fiind B
 D = durere de cap, P(D) = 1/10

 G = gripă, P(G) = 1/40
 P(D|G) = 1/2
 Dacă cineva are gripă,
probabilitatea de a avea și dureri
de cap este de 50%
 P(D|G) = P(D⋂G) / P(G)

Teorema lui Bayes
 P(A|B) = P(A⋂B) / P(B)
 P(A⋂B) = P(A|B) · P(B)
 P(A⋂B) = P(B|A) · P(A)
 ⇒ P(B|A) = P(A|B) · P(B) / P(A)

Teorema lui Bayes
 P(B|A) = P(A|B) · P(B) / P(A)
 Thomas Bayes (1763). An essay

towards solving a problem in the
doctrine of chances. Philosophical
Transactions of the Royal Society
of London, vol. 53, pp. 370-418

Diagnoză
 Probabilități cunoscute
 Meningită: P(M) = 0,002%
 Gât înțepenit: P(G) = 5%
 Meningita cauzează gât înțepenit în jumătate din
cazuri: P(G|M) = 50%
 Dacă un pacient are gâtul înțepenit, care este
probabilitatea să aibă meningită?
 P(M|G) = P(G|M) · P(M) / P(G) = 0,02%

Diagnoză
 Greșeală întâlnită uneori: P(A|B) = P(B|A)
 Diagnostice pentru boli rare
 Trebuie avută în vedere probabilitatea testului de
a returna rezultate fals pozitive
B – boală
T – test

Independență și
independență condiționată
 Exemplul 1. Ion și Maria dau cu banul de 100
de ori. Fiecare are un ban diferit
 Evenimente independente
 Rezultatul unui experiment nu influențează
rezultatul celuilalt experiment

Independență și
 Exemplul 2. Ion și Maria dau cu același ban
 Dacă banul nu este corect, evenimentul A (Ion)
poate aduce informații asupra evenimentului
B (Maria)
 Evenimentele nu sunt independente
 Rezultatul unui experiment poate influența
cunoștințele despre rezultatul celuilalt

Independență și
 Exemplul 2 (cont.). Fie C variabila „banul este
influențat în favoarea pajurei”
 Dacă știm C, experimentul A nu mai aduce
informații noi asupra lui B
 P(B|A,C) = P(B|C)
 A și B sunt independente condițional dat fiind C
 Situație numită „cauză comună”

Independență și
 Exemplul 3. Ion și Maria locuiesc în zone diferite ale
orașului și vin la serviciu cu tramvaiul, respectiv
mașina
 „Ion a întârziat” și „Maria a întârziat” pot fi considerate
independente
 Dacă vatmanii sunt în grevă, atunci și traficul rutier crește.
Evenimentele sunt independente condițional
 Există multe situații în viața reală în care evenimente

considerate independente sunt de fapt independente
condițional

Independență și
 Exemplul 4. Atât răceala cât și alergia îl pot
determina pe Ion să strănute
 Dacă nu știm că Ion a strănutat, răceala și alergia sunt
independente
 Dacă știm că Ion a strănutat, răceala și alergia nu mai sunt
independente
 Dacă mai știm că Ion este răcit, probabil că răceala
determină strănutul, iar probabilitatea alergiei scade
 Situație numită revocare prin explicare (explaining away)

Distribuție comună de
probabilitate
 3 variabile binare: 23 – 1 = 7 parametri independenți
1 – suma celorlalți

Reprezentarea cunoștințelor
incerte
 O situație cu 5 variabile binare (exemplul următor)
 Specifică o distribuție comună de probabilitate
cu 25 – 1 = 31 parametri
 Fezabil
 Un sistem expert cu 37 de variabile binare
pentru monitorizarea pacienților de la terapie
intensivă
 237 – 1 ≈ 1011 parametri
 Nefezabil

Reprezentarea distribuției
comune de probabilitate
Regula de înmulțire
a probabilităților
(chain rule)
Este adevărată doar dacă fiecare
nod este independent condițional
de predecesorii din șirul ordonat al
nodurilor, dați fiind părinții nodului
Dacă efectele sunt considerate

independente ⇒ Naïve Bayes
Rețea bayesiană
 S-a instalat un nou sistem
de alarmă, care sună în
cazul unei spargeri dar și în
cazul unui cutremur
 Vecinii John și Mary îl sună
pe proprietar la serviciu
dacă aud alarma
 10 parametri independenți
față de 31
Rețea bayesiană (Pearl, 1985)
Comparație
 Sistem expert pentru
monitorizarea
pacienților de la
terapie intensivă
 37 variabile
 509 parametri
în loc de 1011
(100.000.000.000)

Interogări simple
 Care este probabilitatea ca
alarma să se declanșeze fără
să fi fost nicio spargere și
niciun cutremur iar John și
Mary să sune?

Validitatea unei rețele bayesiene
 O rețea bayesiană este un graf orientat aciclic
 Arcele pot forma bucle, dar nu pot forma cicluri

Algoritmul Bayes-Ball
 Reprezintă o modalitate simplă de a determina
relațiile de independență și independență
condiționată într-o rețea bayesiană
 Se presupune că o minge este trimisă dintr-un nod
în rețea
 Mingea trece în moduri diferite, în funcție de cine o
trimite (fiu sau părinte) și starea nodului care o
primește (observat/evidență sau neobservat)
 Nodurile la care mingea nu ajunge sunt independente
(condițional) de nodul de start

Reguli de trimitere a mingii
noduri evidență (gri) noduri neobservate (albe)

Exemple
nicio cale activă o cale activă

Ordonarea nodurilor
 Rețelele din dreapta sunt create prin introducerea succesivă a noilor noduri,
de sus în jos
 Ambele sunt echivalente cu distribuția comună de probabilitate
 Nu sunt optime din punct de vedere al compactității
 Necesită mai mulți parametri
 Rețeaua (b) necesită 31 de parametri, la fel ca distribuția comună

2.1. Inferența probabilităților marginale
2.2. Inferența prin enumerare
2.3. Eliminarea variabilelor
4. Concluzii

Inferența probabilităților
marginale

Nodul Febră
FD = (Febră = Da)
FN = (Febră = Nu)

Nodul Oboseală
OD = (Oboseală = Da)
ON = (Oboseală = Nu)

Nodul Anorexie
XD = (Anorexie = Da)
XN = (Anorexie = Nu)

Probabilitățile marginale ale
nodurilor

Inferența prin enumerare
 Interogare: Care este probabilitatea ca o
persoană să aibă gripă, dacă prezintă
simptome de oboseală și anorexie?

Rezolvare
Coeficient de normalizare
Variabila interogată
Evidența observată Variabilele neobservate
Sumă după toate valorile posibile ale lui y,

de exemplu afirmat și negat

Rezolvare
 Vom calcula independent 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 și 𝑃 𝐺𝑁 |𝑂𝐷 , 𝑋𝐷
 Pentru 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 , variabilele rămase sunt Abcesul și
Febra
 Vom suma probabilitățile corespunzătoare tuturor valorilor
acestor variabile: 𝑎 ∈ {𝐴𝐷 , 𝐴𝑁 } și 𝑓 ∈ {𝐹𝐷 , 𝐹𝑁 }
 Pentru a crește eficiența calculelor, se recomandă ca
variabilele rămase să fie mai întâi sortate topologic, astfel
încât părinții să apară înaintea copiilor
 În acest caz, se vor putea descompune mai ușor sumele,
scoțând în față factorii care nu depind de o anumită variabilă

Observație
 Toate variabilele care nu sunt predecesori ai
unei variabile de interogare sau de evidență
sunt irelevante și pot fi ignorate în calcule

Rezolvare
42
Rezolvare
43
Rezultat
 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 + 𝑃 𝐺𝑁 |𝑂𝐷 , 𝑋𝐷 = 1
 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 = 𝛼 ∙ 0,02174
 𝑃 𝐺𝑁 |𝑂𝐷 , 𝑋𝐷 = 𝛼 ∙ 0,03312
 ⇒ 𝛼 = 18,23
 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 = 0,39628 ≈ 40%

 𝑃 𝐺𝑁 |𝑂𝐷 , 𝑋𝐷 = 0,60372 ≈ 60%

Pseudocod

Structura de rezolvare
 Se repetă unele calcule:

Eliminarea variabilelor
 Se fac sumări de la dreapta la stânga, stocând
rezultatele intermediare (factori) pentru evitarea
recalculărilor

Operații de bază
 Produs punct cu punct (pointwise product)

Operații de bază
 Eliminarea prin sumare (sum out) a unei
variabile dintr-un produs de factori: mutarea
tuturor factorilor constanți în afara sumării,
presupunând că fi nu depind de X

Factorul OX

Factorul FOX

Eliminarea prin sumare

Factorul AFOX

Factorul GAFOX
Aceleași valori ca la exemplul

de la inferența prin enumerare

Pseudocod
CPT = Conditional Probability Table

Aplicații
 Sisteme pentru diagnostic medical, de exemplu
diagnosticarea bolilor ficatului
 Predicția defectelor și a fiabilității produselor
software, de exemplu AgenaRisk, utilizat de Motorola,
Philips și Siemens
 TrueSkill (Microsoft Research): sistem de ierarhizare
a jucătorilor pe baza rezultatelor finale obținute de
echipă

3.1. Regula Dempster-Shafer
3.2. Regula Yager
4. Concluzii

Teoria evidențelor
 Probabilitățile evaluează o situație folosind un singur număr
 Teoria evidențelor acordă propozițiilor intervale pentru gradele
de încredere [Bel, Pl ]
 Bel = convingerea (belief)
 Pl = plauzibilitatea: Pl(A) = 1 – Bel(A)
 Se calculează independent pentru A și A
 Dacă nu avem informații nici despre A nici despre A, intervalul
de încredere este [0, 1]
 În loc de probabilitatea 0.5
 Pe măsură ce se acumulează informații, intervalul se micșorează
 Bel(A) ≤ P(A) ≤ Pl(A)

Aruncarea unui ban
 Dacă nu avem nicio informație despre ban, dacă este corect
sau nu, atunci:
 Bel(cap) = 0 și Bel(cap) = 0
 Pl(cap) = 1 – Bel(cap) = 1
 Intervalul de încredere pentru cap este [0, 1]
 Dacă un expert este 90% sigur că banul este corect, adică
P(cap) = 0.5, atunci:
 Bel(cap) = 0.9 · 0.5 = 0.45
 Bel(cap) = 0.9 · 0.5 = 0.45
 Pl(cap) = 1 – Bel(cap) = 0.55
 Intervalul de încredere pentru cap este [0.45, 0.55]

Formalizare
 Θ este cadrul de discernământ (se mai notează cu
H și se mai numește universul ipotezelor mutual
exclusive)
 m este o funcție de masă (sau atribuire de
convingeri de bază, Basic Belief Assignement, BBA)
 m : (Θ) → [0, 1], unde (Θ) este mulțimea părților lui Θ
 m() = 0
 ∑A(Θ) m(A) = 1

Combinarea evidențelor
 Regula Dempster-Shafer ne permite să
combinăm convingerile m care apar din
surse multiple de evidențe

Exemplul 1
 Două site-uri de știri relatează despre o
demonstrație
 Primul site are nivelul de încredere de 80%
iar al doilea are nivelul de încredere de 60%
 Ambele afirmă că demonstrația a fost una
mare, cu peste 10.000 de participanți

Rezolvare
Nu există evidențe împotriva faptului că demonstrația a fost mare

Exemplul 2
 Primul site afirmă că demonstrația a fost mare, iar al doilea
afirmă contrariul
 Ar fi incorect să considerăm m2({Mare}) = 0,4, deoarece

al doilea site a spus doar că demonstrația a fost mică,
nu a spus nimic despre o demonstrație mare
 Valoarea asociată mulțimii vide este 0,48 și deci numitorul
fracției va fi: 1 – 0,48 = 0,52
Rezolvare

Exemplul 3
 Un pacient poate avea răceală (Cold), gripă
(Flu), Meningită sau Nimic (e sănătos)
 Mulțimea de ipoteze H = { C, F, M, N }
 Din studii anterioare:
 Febra susține ipoteza { C, F } la nivelul 0.5 și
{ M } la nivelul 0.2
 Grețurile susțin ipoteza { C, F, N } la nivelul 0.7

Combinarea evidențelor
Avem un pacient cu febră și grețuri (m1 și m2)
Singura combinație care produce mulțimea vidă are produsul 0.14,

deci numitorul va fi 1 – 0.14 = 0.86

Noua BBA
suma tuturor
0.825 = 0.581 + 0.244
submulțimilor
Posibilitatea de răceală sau gripă: [0.581, 0.93]

Posibilitatea de meningită: [0.07, 0.175]

Altă evidență
 Dacă se face un test de laborator și acesta
iese pozitiv, indicând ipoteza { M } la nivelul
0.8, cum se schimbă convingerile?

Evidențe conflictuale
 Exemplu de rezultat neplauzibil (Zadeh):
 Un pacient este examinat de doi medici, care
stabilesc că ar putea avea meningită (M),
o contuzie (C) sau o tumoare pe creier (T)
 Ambii medici consideră că tumoarea este
improbabilă, dar nu se pun de acord asupra
diagnosticului cel mai probabil

Evidențe conflictuale
 Valoarea corespunzătoare mulțimii vide este în acest caz

0,9801 + 0,0099 + 0,0099 = 0,9999 și deci numărătorul fracției
va fi 0,0001
 Funcția de masă m3 va fi doar: m3({T }) = 0,0001 / 0,0001 = 1

Discuție
 O convingere puternică atribuită mulțimii vide
indică evidențe conflictuale în mulțimea de
convingeri
 Când avem mulțimi mari de ipoteze și mulțimi
complexe de evidențe, calculele devin
laborioase

Regula Yager
 Regula Yager nu normalizează conflictul, ci îl adaugă la
mulțimea Θ
 Regula generală:
 Pentru două evidențe:

Exemplul lui Zadeh
 Funcțiile de masă:
 m1{(M)} = 0.99, m1({T}) = 0.01
 m2{(C)} = 0.99, m2({T}) = 0.01
 Cu regula lui Yager:

Exemplul cu demonstrația,
evidențe convergente
Același rezultat ca la
regula Dempster-Shafer
Exemplul cu demonstrația,
evidențe conflictuale

Aplicații
 Sisteme expert
 Sisteme de diagnoză
 Combinarea informațiilor provenite de la mai mulți
senzori (sensor fusion)

Concluzii
 Rețelele bayesiene asigură un mod concis de a
reprezenta relațiile de independență condițională
într-un domeniu și de a face inferențe
 Teoria evidențelor permite combinarea informațiilor
oferite de surse de evidențe posibil contradictorii. Se
face o distincție între probabilitatea unei propoziții
dată fiind o evidență incertă și probabilitatea unei
propoziții în lipsa oricărei evidențe

Inteligenta Artificiala: Rationament Probabilistic

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Inteligenta Artificiala: Rationament Probabilistic

Încărcat de

Drepturi de autor:

Formate disponibile

Inteligență artificială

10. Raționament probabilistic

Universitatea Tehnică „Gheorghe Asachi” din Iași

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 2

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 3

 Interpretarea frecventistă (număr de experimente)

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 4

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 5

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 6

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 7

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 8

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 9

 D = durere de cap, P(D) = 1/10

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 11

 ⇒ P(B|A) = P(A|B) · P(B) / P(A)

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 12

 Thomas Bayes (1763). An essay

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 13

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 14

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 15

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 16

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 17

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 18

 Există multe situații în viața reală în care evenimente

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 19

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 20

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 21

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 22

Dacă efectele sunt considerate

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 25

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 26

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 27

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 28

noduri evidență (gri) noduri neobservate (albe)

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 29

nicio cale activă o cale activă

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 30

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 31

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 32

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 33

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 34

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 35

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 36

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 37

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 38

Evidența observată Variabilele neobservate

Sumă după toate valorile posibile ale lui y,

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 39

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 40

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 41

 𝑃 𝐺𝐷 |𝑂𝐷 , 𝑋𝐷 = 0,39628 ≈ 40%

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 44

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 45

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 46

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 47

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 48

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 49

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 50

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 51

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 52

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 53

Aceleași valori ca la exemplul

Florin Leon, Inteligenta artificiala, http://florinleon.byethost24.com/curs_ia.htm 54