Razonamiento Automatico

Curso 20002001

Tema 10: Introduccin a al o Aprendizaje Automtico a

Jos A. Alonso Jimnez e e Miguel A. Gutirrez Naranjo e

Dpto. de Ciencias de la Computacin e Inteligencia Articial o

Universidad de Sevilla

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.1

Qu es el Aprendizaje Automtico? e a
x

Any change in a system that allows it to perform better the second time on repetition of the same task or on another task drawn from the same population (Simon, 1983). El Aprendizaje Automtico estudia cmo construir programas que a o mejoren automticamente con la experiencia. a Por qu estudiar Aprendizaje Automtico? e a
u u u u

Recientes avances en la teor y los algoritmos. a Crecimiento desbordante de datos en l nea (on line). Se dispone de mquinas sucientemente potentes. a Inters por parte de la industria. e

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.2

Algunos ejemplos (I)

x

Miner de datos (Data mining): Uso de datos histricos para mejora a o de decisiones: Datos mdicos Decisiones mdicas e e

Conduccin autnoma de veh o o culos: Aprenden a conducirse en autopistas en funcin de la informacin visual que reciben. o o Reconocimiento del habla. Juegos

x x

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.3

Algunos ejemplos (II)

x

Programas que se modican a s mismos seg n las costumbres del u usuario:

u u u

Lector de peridicos que aprende los temas de inters del usuario. o e Gestor de correo electrnico. o Casas que aprenden a optimizar el gasto de energ en funcin de las costumbres y a o hbitos de sus ocupantes. a

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.4

Un problema de miner de datos a

Patient103 time=1
Age: 23 FirstPregnancy: no Anemia: no Diabetes: no PreviousPrematureBirth: no Ultrasound: ? Elective CSection: ? Emergency CSection: ? ...

Patient103 time=2
Age: 23 FirstPregnancy: no Anemia: no Diabetes: YES PreviousPrematureBirth: no Ultrasound: abnormal Elective CSection: no Emergency CSection: ? ...

...

Patient103 time=n
Age: 23 FirstPregnancy: no Anemia: no Diabetes: no PreviousPrematureBirth: no Ultrasound: ? Elective CSection: no

Emergency CSection: Yes

...

Dados:
u u

Datos de 9714 pacientes, describiendo datos sobre embarazo y alumbramiento. Con 215 caracter sticas de cada paciente.

Objetivo:
u

Aprender a predecir clases de pacientes con alto riesgo de cesrea. a

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.5

Resultados del estudio

Patient103 time=1
Age: 23 FirstPregnancy: no Anemia: no Diabetes: no PreviousPrematureBirth: no Ultrasound: ? Elective CSection: ? Emergency CSection: ? ...

Patient103 time=2
Age: 23 FirstPregnancy: no Anemia: no Diabetes: YES PreviousPrematureBirth: no Ultrasound: abnormal Elective CSection: no Emergency CSection: ? ...

...

Patient103 time=n
Age: 23 FirstPregnancy: no Anemia: no Diabetes: no PreviousPrematureBirth: no Ultrasound: ? Elective CSection: no

Emergency CSection: Yes

...

Una de las 18 reglas aprendidas:

u

Si la madre es primeriza, los ultrasonidos en el segundo trimestre dan resultados anormales, etc . . . Entonces ser necesaria cesrea a a

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.6

Anlisis del riesgo en un crdito a e

Customer103: (time=t0)
Years of credit: 9 Loan balance: $2,400 Income: $52k Own House: Yes Other delinquent accts: 2 Max billing cycles late: 3 Profitable customer?: ? ...

Customer103: (time=t1)
Years of credit: 9 Loan balance: $3,250 Income: ? Own House: Yes Other delinquent accts: 2 Max billing cycles late: 4 Profitable customer?: ? ...

...

Customer103: (time=tn)
Years of credit: 9 Loan balance: $4,500 Income: ? Own House: Yes Other delinquent accts: 3 Max billing cycles late: 6

Profitable customer?: No
...

x x

Reglas aprendidas a partir de la s ntesis de datos: Primera regla:

u

Si bancoscondeudas > 2 y Reincidencias > 1, entonces Aceptar= No

Segunda regla:
u

Si Bancoscondeudas = 0 y Ingresos > 150.000, entonces Aceptar= S

...

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.7

Conduccin automtica o a ALVINN [Pomerleau] conduce a 70 mph por autopistas

Sharp Left

Straight Ahead

Sharp Right

30 Output Units

4 Hidden Units

30x32 Sensor Input Retina

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.8

Hacia dnde vamos (I) o

x

Hoy: La punta del iceberg

u u u u u

Redes neuronales Arboles de decisin o Programacin lgica inductiva o o Regresin o ...

Aplicados a bases de datos bien estructuradas Inters por parte de la industria e

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.9

Hacia dnde vamos (II) o

x

Oportunidades para el futuro: Aprendizaje a partir de datos de varias fuentes simultneas: Bases de a datos internas, web,. . . Aprendizaje por experimentacin activa o Aprendizaje de decisiones en lugar de predicciones Aprendizaje acumulativo de larga duracin o Lenguajes de programacin con aprendizaje incorporado? o

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.10

Disciplinas relacionadas
x

Inteligencia Articial Mtodos bayesianos e Teor de la complejidad a Teor de control a Teor de la informacin a o Filosof a Psicolog y neurobiolog a a Estad stica ...

x x x x

x x

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.11

Problema de aprendizaje
x

Aprendizaje = Mejora de alguna tarea mediante la experiencia Tarea (T ): Lo que se debe aprender Experiencia (E): La que se tiene en relacin a lo que se debe aprender o Rendimiento (R): Medida de la calidad de lo aprendido Se dice que un sistema aprende de la experiencia, si el rendimiento R de la tarea T aprendida crece al crecer E.

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.12

Problema de aprendizaje
x

Qu experiencia? e Qu debe aprender? e Cmo representamos el conocimiento? o Qu algoritmo usaremos para aprenderlo? e Cmo se mide la mejora? o

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.13

Ejemplos
x

Una forma de aprender a jugar al ajedrez (de mejorar nuestro juego), es jugar contra nosotros mismos. Normalmente la forma de saber si hemos aprendido es jugar contra otros. Caracterizacin de este problema de aprendizaje o
u u u

T : Jugar al ajedrez E: Conjunto de partidas jugadas contra uno mismo R: Porcentaje de partidas ganadas contra otro jugador

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.14

Ejemplos
x

Una forma de que un sistema aprenda a reconocer palabras en un texto manuscrito, puede ser a partir de una base de datos con imgenes de a palabras manuscritas y sus correspondientes transcripciones. La forma de saber si el sistema ha aprendido a reconocer palabras, ser a darle un texto manuscrito y ver cuantas transcripciones correctas hace. Caracterizacin de este problema de aprendizaje o
u u u

T : Reconocer palabras manuscritas E: Base de datos de palabras con sus transcripciones R: Porcentaje de palabras reconocidas

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.15

Ejemplos
x

Se puede ense ar a un veh n culo a conducir automticamente, guindose a a por lo que ve (usando sensores de visin), y suministrndole una base de o a datos en la que se hayan registrado las imgenes tomadas mientras un a conductor humano conduc el veh a culo, junto con las correspondientes acciones que hizo. Caracterizacin de este problema de aprendizaje o
u u

T : Conducir un veh culo E: Base de datos de imgenes, y las acciones correspondientes, registradas durante a conduccin por parte de un conductor humano o R: Distancia recorrida sin comenter ning n error u

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.16

Qu estudiar en A. A.? e
x

Qu algoritmos pueden aproximar funciones correctamente? e Cmo inuye el n mero de ejemplos en la exactitud? o u Cmo inuye la complejidad de la representacin de las hiptesis? o o o Cmo inuye el ruido? o Cules son los l a mites tericos del aprendizaje? o Cmo puede ayudar el conocimiento a priori? o Qu esquemas del aprendizaje biolgico podemos adoptar? e o Cmo pueden los sistemas alterar su propia representacin? o o

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.17

Bibliograf a
x

Mitchell, T. M. Machine Learning McGrawHill, 1997. Cap tulo II. Markov, Z Machine Learning Course http://www-it.fmi.uni-sofia.bg /markov/ Lecturas recomendadas
u

Bratko I. PROLOG Programming for Articial Intelligence AddisonWesley, 1990. Cap tulo XVIII

RA 200001

Cc Ia

Introduccin a al Aprendizaje Automtico o a

10.18