Regula de decizie Bayes

Riscul de aparatie a unei erori de clasificare este cu atat mai mic cu cat probabilitatea a-posteriori
a clasei de apartenență care este atribuită modelului este mai mare.

Presupunem următoarea problema de clasificare: două clase de apartență: C1 și C2 și o

caracteristică/ trăsătură ce descrie modelul. Eroarea de clasificare ( definită sub forma unei
probabilități de repartiție in clasa greșită) este cu atît mai mare cu cât modelul se află cît mai
aproape de regiunea de separarea. In procesul de clasificare, modelele sunt caracterizate de un
număr mare de trăsături iar pragul de decizie se stabilește astfel încât eroarea globală de
clasificare sa fie minimă.

O interpretare geometrică a afirmației de mai sus este ilustrată in fig. 1.

C1 C2

Fig.1. Interpretarea geometrică a regulii de decizie Bayes; regiunea de intersectie a celor două
gaussiene, marcată cu gri reprezintă probabilitatea de repartiție in clasa greșită pentru regula
Bayes; regiunea hașurată ilustrează creșterea erorii globale de clasificare pentru un alt prag de
decizie ales

Ecuațiile ce caracterizează cele două distribuții sunt următoarele :

Pr(C1 |x)px (x)= Pr(C1 )px (C1 |x) (1) Pr(C2 |x)px (x)= Pr(C2 )px (C2 |x) (2)

Clasificatorul Bayes cuprinde formula Bayes și regula de decizie Bayes și atinge performanțe
maxime pentru probabilități a-priori și likelihoods cunoscute.

Clasificare și regresie

1. Problema existenței a două clase de apartenență

 Se consideră o problemă în care există două clase de apartenență, C1 și C2 și o variabilă
aleatoare asociată, Γ, care este funcția vectorului de caracteristici x; această variabilă
aleatoare, Γ, poate lua două valori : 1 → când modelul aparține clasei C1
0 → când modelul aparține clasei C2

Se demonstrează că funcția de regresie a variabilei aleatoare repezintă probabilitatea a-

posteriori a clasei C1 .

Funcția de regresie, y(x), a variabilei aleatoare Γ reprezintă valoarea preconizată a

variabilei Γ pentru x cunoscut :
E ( Γ |x ) =Pr (Γ =1 | x) x 1 + Pr (Γ =0 | x) x 0 = Pr (Pr (Γ =1 | x) (3)

Rețelele neuronale reprezintă unelte importante în estimarea funcțiilor de regresie pe baza

exemplelor.

2. Problema existenței a C clase de apartenență

Pentru o generalizarea a problemei la C clase de apartenență, pot fi implementate doua

strategii :

 Găsirea unei soluții globale pentru problema în cauză prin estimarea simultană a
probabilităților a-posteriori pentru toate clasele de apartenență
 Impărțirea problemei în mai multe subprobleme de tipul două clase de
apartenență, crearea unui set de clasificatori care să rezolve subproblemele
individual și să combine ulterior rezultatele intr-o singură probabilitate a-
posteriori per clasă de apartenență.

Strategia globală: