Clasificadores Bayesianos

En aquellos casos en los cuales los patrones de algunas

clases presenten, ya sea una cercana notable o una
dispersin significativa con respecto a su media, en
conveniente abandonar la hiptesis determinstica a
cambio de una ms de tipo estadstico.
El primer caso se puede deber, entre otras cosas, al
parecido entre patrones o el tipo de rasgos usados para
describir dichos patrones.
El Segundo caso puede deberse no solo al parecido entre
patrones o el tipo de rasgos usados, sino a su alta variacin

El teorema de Bayes
El famoso teorema deBayes se puede expresar de
varias maneras. Una de ellas es la siguiente.
Si:
Representa la probabilidad de que un patrn x pertenezca a la
clase

Representa la probabilidad de que dada la clase , el valor de la variable

aleatoria sea precisamente x.

Es la probabilidad a priori de que se manifieste un elemento de la clase

Es la probabilidad a priori de que se manifieste un patrn x.


Ntese que el elemento p(x) es el mismo para todas las
clases, por lo tanto puede eliminarse
Para determinar la clase en la cual debe clasificarse un patrn
dado x, se puede usar el trmino a la izquierda de la ecuacin
anterior, o el trmino a la derecha. En el primer caso, dado un
patrn x, su clase se puede determinar como sigue:
En otras palabras, el patrn x es asignado a la clase en el
caso que su probabilidad a posteriori sea mxima

 En
el segundo caso, dado un patrn x, su clase se
puede determinar como:
En otras palabras, el patrn x es asignado a la
clase para la cual su probabilidad a priori sea la
mxima.

El clasificador Bayesiano con distribucin

tipo Gaussiana :
En
la mayora de los casos practicos, para el caso de
vectores con n rasgos, las distribuciones de probabilidad
de cada una de las N clases de patrones, presentan un
comportamiento normal o Gaussioano, esto es:
Las funciones de discriminacin toman pues la forma:
Al tomar los logaritmos neperianos sobre esta expresin
se obtiene:

 Sin
prdida de generalidad y para simplificar la discusin, supondremos
que las N clases son equivocadas a priori. La expresin da cada funcin
de discriminacin , despus de eliminar los trminos redundantes
queda como:
Enseguida se discuten dos casos que se pueden presentar:
Caso 1: Las matrices de covarianza de las N clases son todas
diferentes, y en general, sin elementos nulos.
En este caso las funciones discriminantes son no literales. Todas las
combinaciones cuadrticas posibles de los elementos del vector de
rasgos se hacen manifiestas

2: Las matrices de covarianza de las N clases

Caso

son todas iguales:, y en general, sin elementos nulos.

Este caso es el que ms se presenta en la realidad.
Se parte del supuesto que el vector de rasgos
presenta un comportamiento estadstico, similar para
todas las clases de objetos. EN este caso se pueden
eliminar todos los trminos no lineales de la ecuacin
anterior, quedando la siguiente funcin discriminante
para cada clase.

Estimacin de los parmetros de

la matriz de covarianza:
El principal problema en el diseo de
clasificadores a priori es la estimacin de las
funciones de densidad de probabilidad , a partir
de un conjunto de muestras o realizaciones, uno
por clase. P ara una clase dada , y suponiendo
que se dispone de M muestras o realizaciones,
primero se estima la esperanza matemtica de la
clase a travs del clculo del vector promedio:

 La
matriz de covarianza de la clase puede
estimarse como:

Ejemplo:
Supngase el siguiente universo de patrones y
sus clases:

Entrenamiento
De
acuerdo a lo discutido en el entrenamiento del
clasificador a priori de Bayes es necesario calcular los
vectores de medias y de las matrices de covarianzas de
cada clase.

De igual manera:


Note como las matrices de covarianza de las dos
clases son iguales. Luego entonces, de acuerdo a
lo discutido, las funciones de discriminacin
pueden ser calculadas en

2: Las matrices de covarianza de las N clases

Caso

son todas iguales:, y en general, sin elementos nulos.

Este caso es el que ms se presenta en la realidad.
Se parte del supuesto que el vector de rasgos
presenta un comportamiento estadstico, similar para
todas las clases de objetos. EN este caso se pueden
eliminar todos los trminos no lineales de la ecuacin
anterior, quedando la siguiente funcin discriminante
para cada clase.

 Si se supone que la probabilidad de aparicin de

un elemento de cualquiera de las dos clases y es
la misma, esto es si == 0.5, entonces un vector x
ser clasificado como:
, si y solo si , esto es si
Y
, si y solo si , esto es si

Prueba del clasificador

Supngase
el vector . De acuerdo a lo visto sustituya los

valores de x en ,
Para cada clase:

Debido a que < entonces el patrn x es clasificado en la clase