Universidad de la Caada

Materia: Inteligencia artificial

Semestre: 9

Grupo: 901

3er parcial
Alumno: Rigoberto Balderas Negrellos

Rigoberto Balderas Negrellos

I.A.

TEOREMA BAYES
En el aprendizaje mquina a menudo estamos interesados en determinar la mejor hiptesis de un espacio H,
dada la formacin de datos observados D. Una forma de especificar lo que queremos decir con la mejor de las
hiptesis es que exigimos la hiptesis ms probable, dados los datos D ms cualquier conocimiento inicial
acerca de las probabilidades a priori de las diversas hiptesis en H. El Teorema de Bayes proporciona un
mtodo directo para el clculo de dichas probabilidades. Ms precisamente, el teorema de Bayes proporciona
una manera de calcular la probabilidad de una hiptesis sobre la base de su probabilidad a priori, las
probabilidades de la observacin de diversos datos dada la hiptesis, y los datos en s observaron.
Para definir precisamente el teorema de Bayes, primero vamos a introducir un poco de notacin. Vamos a
escribir P (h) que denota la probabilidad inicial que tiene la hiptesis h. P (h) es a menudo llamado la
probabilidad a priori de h y puede reflejar cualquier conocimiento de fondo que tenemos acerca de la
posibilidad de que h es una hiptesis correcta. Si no tenemos ese conocimiento previo, entonces podramos
simplemente asignar la misma probabilidad previa a cada hiptesis candidato. Del mismo modo, escribiremos
P (D) a denotar la probabilidad antes de que los datos de entrenamiento D sea observado.
P (h / D) se llama la probabilidad posterior de h, ya que refleja nuestra confianza en que h tiene despus
hemos visto los datos de entrenamiento D. Aviso de la posterior probabilidad P (h / D) refleja la influencia de la
formacin datos D, en contraste con la probabilidad a priori P (h), que es independiente de D.

En muchos escenarios de aprendizaje, el alumno considera un conjunto candidato de hiptesis H y est

interesado en la bsqueda de la ms hiptesis probable h H dado los datos de entrenamiento observada D,
cualquier hiptesis mximo probable se llama mxima a posteriori (MAP) hiptesis. Podemos determinar las
hiptesis de MAP usando el teorema de Bayes para calcular la probabilidad posterior de cada hiptesis
candidato. Ms precisamente, vamos a decir que es una hiptesis MAP proporcional.

En algunos casos, vamos a suponer que cada hiptesis en H es igual de probable a priori (P (hi) = P (hi) para
todos HI y hi en H). En este caso podemos avanzar simplificar la ecuacin anterior y slo es necesario
considerar el trmino P (D|h) para encontrar la hiptesis ms probable. P (D|H) a menudo se llama la
probabilidad de la D de datos dada h ,y cualquier hiptesis de que maximiza P (D|H) se llama una mxima
verosimilitud (ML) hiptesis, HML.

Rigoberto Balderas Negrellos

I.A.

Naive Bayes
Uno de los mtodos de aprendizaje bayesiano ms prctica para el alumno es el de naive Bayes, a menudo
llamado el clasificador de naive Bayes. En algunos dominios se ha demostrado su desempeo ser comparable
a la de la red neuronal y el aprendizaje rbol de decisin
El clasificador de naive Bayes se aplica a las tareas de aprendizaje, donde cada instancia x es descrito por un
conjunto de valores de atributos y donde la funcin objetivo f (x) puede tomar cualquier valor de algn
conjunto finito V. Un conjunto de ejemplos de entrenamiento de la funcin objetivo es proporcionada, y se
presenta una nueva instancia, descrito por la tupla de valores de atributos (a1,a2, ..an).
El enfoque bayesiano para clasificar la nueva instancia es asignar ms valor objetivo probable, VMAP, dados los
valores de atributo (a1,a2.an) que describen la instancia.

Podemos utilizar el teorema de Bayes para volver a escribir esta expresin como

Ahora podramos tratar de estimar los dos trminos de la ecuacin sobre la base de los datos de
entrenamiento. Es fcil de estimar cada uno de los P (vj) simplemente contando la frecuencia con la que se
produce cada vj valor objetivo en los datos de entrenamiento. Sin embargo, la estimacin de los diferentes P
(a1, a2 ... an lvj) trminos en esta moda no es factible a menos que tengamos un conjunto muy grande de datos
de entrenamiento. El problema es que el nmero de estos trminos es igual al nmero de posibles casos
posibles de los valores objetivo.

El clasificador de naive Bayes se basa en la suposicin simplificadora de que la valores de atributos son
condicionalmente independientes dado el valor objetivo. Es decir, el supuesto es que les da el valor objetivo
de la instancia, la probabilidad de observar la conjuncin a1, a2 .. .an, es slo el producto de las probabilidades.

Una diferencia interesante entre naive Bayes y el mtodo de aprendizaje y otros mtodos de aprendizaje que
hemos considerado es que no hay una bsqueda explcita a travs del espacio de hiptesis posibles (en este
caso, el espacio de posibles hiptesis es el espacio de posibles valores que se pueden asignar a los distintos
P (vj) y P (ailvj) trminos). En lugar de ello, la hiptesis se forma sin tener que buscar, simplemente contando la
frecuencia de varias combinaciones de datos dentro de los ejemplos de entrenamiento.
2

Rigoberto Balderas Negrellos

I.A.

Ejercicio:
Programar con el teorema de naive Bayes la siguiente informacin:

Rigoberto Balderas Negrellos

I.A.

Naive Bayes- Cdigo

Rigoberto Balderas Negrellos

I.A.

Naive Bayes- Resultado

Prolog- Resultado

Rigoberto Balderas Negrellos

I.A.

Prolog- Errores en PC.