Inteligência Artificial: Uma Abordagem

de Aprendizado de Máquina

Introdução
Slides Ana Carolina orena
Motivação
 Escrever um programa de computador que:
 Reconheça pessoas pelo rosto
 Problemas:
 Diferentes expressões faciais
 Alterações na face (ex. óculos, bigode)
 Cortes de cabelo
 Etc.
Que características considerar??

Seres humanos: reconhecimento de padrões,

aprendizado do que deve ser observado após vários exemplos
Motivação
 Escrever um programa de computador que:

 Faça diagnóstico de pacientes por sintomas

e exames
 Médico: formação e experiência

 Responda a questões sobre vendas como:

 Quais produtos são vendidos em conjunto?
 Que produto recomendar a um cliente?
 Como agrupar clientes para melhor marketing?
Inteligência Artificial e AM
 IA era vista como área teórica
 Aplicações em problemas de pouco valor prático

 1970: disseminação maior em problemas reais

 Sistemas Especialistas / baseados em conhecimento
 Conhecimento de especialista codificado
 Frequentemente por regras lógicas

Como codificar subjetividade/intuição de especialista?

E como lidar com falta de cooperação?
Inteligência Artificial e AM
 Necessidade de ferramentas mais autônomas
 Reduzindo necessidade de intervenção humana e
dependência de especialistas

Aprendizado de Máquina: técnicas capazes de criar,

a partir de experiência passada, uma hipótese (função)
capaz de resolver o problema

 Ex: Se temperatura > 37o C e tem dores então está doente

 Regra definida a partir de prontuários médicos
 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s

 1952: programa jogador de damas de Samuel

 1959: modelo Pandemonium de Selfridge

 Reconhecimento de padrões
 Padrão é reconhecido em partes antes do total
 Aprendizado por meio de ajustes de pesos
 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s

 Redes Neurais: Perceptron (1957), Adaline

(1960)

 1969: Minsky e Papert provam limitações do

Perceptron
 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s

 Indução simbólica de conceitos

 Sistemas especialistas e o gargalo de aquisição

de conhecimento

 Algoritmo ID3 (Iterative Dichotomiser 3) de

Quinlan
 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s
 Aprendizado de Regras

 EBL (Explanation-based Learning)

 Ressurgimento das Redes Neurais (backpropagation - 1986)

 Teoria de Aprendizado PAC (Probably Approximately Correct)

 Estrutura para análise matemática de AM

 Foco em metodologia de experimentos

 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s

 Sistemas Inteligentes Híbridos

 Mineração de Dados (1996) e de Textos
 Agentes de software adaptativos e aplicações na web
 Aprendizado por Reforço
 ILP (Inductive Logic Programming)
 Ensembles: Bagging, Boosting e Stacking
 Aprendizado por redes bayesianas
 Computação Bioinspirada
 Histórico de AM
1950s 1960s 1970s 1980s 1990s 2000s
 Máquinas de Vetores de Suporte (Support Vector Machines)
 Modelos Gráficos
 Aplicações em:
 Sistemas de Computadores
 Engenharia de Software
 Segurança (detecção de intrusão, virus e worm)
 Mineração da Web
 Gerenciamento de E-mail
 Bioinformática
 PDAs que aprendem
 Fluxo contínuo de dados
O que é aprendizado?
 Essencial para comportamento inteligente

 Algumas atividades:
 Memorizar algo
 Observar e explorar situações para aprender fatos
 Melhorar habilidades motoras/cognitivas por prática
 Organizar conhecimento novo em representações
apropriadas
Aprendizado de Máquina: definição

Um programa aprende a partir da experiência E,

em relação a uma classe de tarefas T, com me-
dida de desempenho P, se seu desempenho em T,
medido por P, melhora com E
Mitchell, 1997

Algoritmos de AM: induzem uma função ou hipótese capaz de

resolver o problema a partir de instâncias do problema a ser resolvido
Exemplo 1
 Problema: aprender a jogar damas
 Tarefa T: jogar damas
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 1
 Problema: aprender a jogar damas
 Tarefa T: jogar damas
 Medida de desempenho P: porcentagem de jogos
vencidos contra adversários
 Experiência E: praticar jogando
Exemplo 2
 Problema: filtrar mensagens de email
 Tarefa T: categorizar mensagens de email como
spam ou legítima
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 2
 Problema: filtrar mensagens de email
 Tarefa T: categorizar mensagens de email como
spam ou legítima
 Medida de desempenho P: porcentagem de
mensagens de spam corretamente identificadas
 Experiência E: conjunto de exemplos de spams
Exemplo 3
 Problema: reconhecer escrita manual
 Tarefa T: reconhecer e classificar dígitos
manuscritos dentro de imagens
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 3
 Problema: reconhecer escrita manual
 Tarefa T: reconhecer e classificar dígitos
manuscritos dentro de imagens
 Medida de desempenho P: porcentagem de dígitos
corretamente identificados
 Experiência E: exemplos de dígitos manuscritos
com as respectivas classificações
Exemplo 4
 Problema: carro autônomo (aprender a dirigir)
 Tarefa T: dirigir em uma rodovia pública usando
sensores de visão
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 4
 Problema: carro autônomo (aprender a dirigir)
 Tarefa T: dirigir em uma rodovia pública usando
sensores de visão
 Medida de desempenho P: distância média
percorrida antes de um erro
 Experiência E: sequência de imagens e comandos
de direção registrados observando um
motorista humano
Exemplo 5
 Problema: diagnóstico médico
 Tarefa T: diagnosticar o estado de um paciente dado
um conjunto de sintomas
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 5
 Problema: diagnóstico médico
 Tarefa T: diagnosticar o estado de um paciente dado
um conjunto de sintomas
 Medida de desempenho P: porcentagem de
pacientes corretamente diagnosticados
 Experiência E: prontuários médicos de pacientes
com seus diagnósticos
Exemplo 6
 Problema: detectar bons clientes
 Tarefa T: classificar potenciais clientes como bons
ou maus pagadores
 Medida de desempenho P: ?
 Experiência E: ?
Exemplo 6
 Problema: detectar bons clientes
 Tarefa T: classificar potenciais clientes como bons
ou maus pagadores
 Medida de desempenho P: porcentagem de
clientes classificados
 Experiência E: uma base de dados histórica em que
os clientes já conhecidos são previamente
classificados como bons ou maus pagadores
Inferência Indutiva
 A Inferência Indutiva é um dos principais meios
para a aquisição de novos conhecimentos

 Indução: raciocínio para obter conclusões sobre

todos os membros de uma classe pelo exame
de alguns membros da classe

Raciocínio do particular para o geral

Inferência indutiva: exemplo
 Se eu noto que:
 Todos pacientes com déficit de atenção atendidos em
1986 sofriam de ansiedade
 Todos pacientes com déficit de atenção atendidos em
1987 sofriam de ansiedade
 ...
  Posso inferir que pacientes que sofrem de déficit
de atenção também sofrem de ansiedade

Isto pode ser ou não verdade,

mas propicia uma boa generalização
Conjunto de dados
 Experiência pode ser provida por um conjunto
de dados (de treinamento)
 Ex. base de dados de um hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável
Conjunto de dados
 Hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

Meta: induzir hipótese para fazer diagnósticos corretos para novos pacientes
Conjunto de dados
 Hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

Cada linha (paciente) é um dado

(objeto, exemplo, padrão ou registro)
Conjunto de dados
 Hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

Cada objeto é uma tupla com valores de características (atributos,

campos ou variáveis), que descrevem seus principais aspectos
Conjunto de dados
 Hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

Atributo de saída (alvo/meta): presente em algumas tarefas, seus valores

devem ser estimados usando outros atributos (de entrada/preditivos)

Importante: atributos de identificação e nome não possuem relação

com a doença e não são utilizados como entradas
Conjunto de dados
 Hospital
Id. Nome Idade Sexo Peso Manchas Temp. # Int. Est. Diagnóstico
4201 João 28 M 79 Concentradas 38,0 2 SP Doente
3217 Maria 18 F 67 Inexistentes 39,5 4 MG Doente
4039 Luiz 49 M 92 Espalhadas 38,0 2 RS Saudável
1920 José 18 M 43 Inexistentes 38,5 8 MG Doente
4340 Cláudia 21 F 52 Uniformes 37,6 1 PE Saudável
2301 Ana 22 F 72 Inexistentes 38,0 3 RJ Doente
1322 Marta 19 F 87 Espalhadas 39,0 6 AM Doente
3027 Paulo 34 M 67 Uniformes 38,4 2 GO Saudável

Importante: lidar com dados imperfeitos (ruídos, ausentes, etc.)

AM: multidisciplinar

Probabilidade e Teoria da
Estatística Informação

Aprendizado de Máquina

Teoria da
Computação Neurociência

...
Tarefas de Aprendizado
 Preditivas vs Descritivas

Previsão Descrição

Encontrar função (modelo Explorar ou descrever um

ou hipótese) que possa conjunto de dados
ser utilizada para prever
um rótulo ou valor para Objetos não possuem saída
novos dados associada

Objetos na forma
(entrada, saída)
Hierarquia de aprendizado
Aprendizado
indutivo

Supervisionado Não-
Supervisionado

Preditivo Descritivo

Importante: divisão não é rígida (modelo preditivo também provê descrição

dos dados e modelo descritivo pode prover previsões após validado)
Aprendizado supervisionado
 Supervisor externo
 Conhece saída desejada para cada exemplo
 Representado por conjunto de pares (x, y)
 Ex.: x = sintomas e y = diagnóstico

Classificação Regressão

Rótulos discretos Rótulos contínuos

Ex.: diagnóstico, bom/mau Ex.: peso, altura, etc.

pagador, etc.
Aprendizado não supervisionado
 Algoritmos não fazem uso de atributo de saída
 Exploram regularidades nos dados
Sumarização Associação

Encontrar descrição Encontrar padrões

compacta para dados frequentes de associações
entre atributos

Agrupamento

Dados agrupados de acordo com sua similaridade

Hierarquia de aprendizado
Aprendizado
indutivo

Supervisionado Não-
Supervisionado

Classificação Regressão

Sumarização Associação Agrupamento

Aprendizado por reforço
 Reforçar/recompensar ações positivas e punir
ações negativas
 Crítico externo

Aprendizado Aprendizado por reforço

supervisionado
• Crítico
• Supervisor • Faz e vê o que acontece
• É dito o que fazer • Mais lento
• Mais rápido
Generalização
 Capacidade de generalização de uma hipótese:
 Propriedade de continuar válida para outros objetos
que não fazem parte de seu conjunto de treinamento

Problemas:

Overfitting: especialização nos dados de treinamento,

não generaliza

Underfitting: baixo acerto mesmo nos dados de

treinamento
Viés indutivo
 Aprendizado: busca de hipótese em espaço de
possíveis hipóteses
 Que descreva relacionamentos entre os dados
 E se ajuste aos dados de treinamento

 Todo algoritmo de AM indutivo tem um viés

 Na escolha de uma hipótese (ou conjunto)
Sem viés, não haveria generalização (modelos seriam
especializados para os exemplos individuais)
Viés indutivo
 Viés de representação ou linguagem
 Define o espaço de busca
 Restringe hipóteses que podem ser geradas
0.45 -0.40 0.54 0.12 0.98 0.37
-0.45 0.11 0.91 0.34 -0.20 0.83
Peso
-0.29 0.32 -0.25 -0.51 0.41 0.70
< 50 ≥ 50
Redes neurais
Sexo
M F Se Peso ≥ 50 então Doente
Doente Saudável Doente Se Peso < 50 e Sexo = M então Doente
Se Peso < 50 e Sexo = F então Saudável
Árvore de decisão
Conjunto de regras
Viés indutivo
 Viés de preferência ou busca
 Como hipóteses são pesquisadas
 Preferência de algumas hipóteses sobre outras
 Ex.: preferência por hipóteses curtas
 Navalha de Occam

"Se em tudo o mais forem idênticas as várias explicações de

um fenômeno, a mais simples é a melhor"
AM: outras motivações
 Automatizar o processo de aquisição de conhecimento

 Entender melhor os mecanismos de aprendizado humano

Algumas tarefas são melhor definidas e/ou executadas a

partir de exemplos
 Ex.: Reconhecer pessoas

Ser humano não é capaz de explicar (e programar) sua

habilidade para executar alguns tipos de tarefas
 Ex.: Dirigir
AM: outras motivações
Quantidade de conhecimento disponível pode ser muito
grande para ser descrito (e programado) por humanos
 Ex.: diagnóstico médico

Algumas tarefas exigem cálculos complexos, possíveis

apenas com computador
 Ex.: interrelacionar/correlacionar grandes quantidades de dados

 Modelos podem se adaptar a novas situações

Pacotes e conjuntos de dados
 UCI Machine Learning repository
 http://archive.ics.uci.edu/ml/

 Weka
 http://www.cs.waikato.ac.nz/ml/weka/

 Keel
 http://www.keel.es/

 R Project
 http://www.r-project.org/
Referências
 Ilustrações usadas:
 http://t2.gstatic.com/images?q=tbn:ANd9GcRIf5Ndy7YhjU45TTkQJFvnqXHUG6CD1oO
HT7mhVqjw9Wa-OhwCEw
 http://t2.gstatic.com/images?q=tbn:ANd9GcSE1J272MoPOsIPlbuiUWGEs7p0jx2MGg8
M0F1UeL5Jk4EWqJIImw
 http://www.fashionhookup.com/category/sale-shopping/
 http://amorporenfermagem.blogspot.com.br/2010_10_01_archive.html
 http://www.productivity501.com/how-to-memorize-verbatim-text/294/
 http://www.culturamix.com/cultura/curiosidades/jogo-de-dama
 http://nospamplzzz.blogspot.com/2011/07/yahoo-mail-is-upgradingplease-verify.html
 http://clopinet.com/isabelle/Projects/agnostic/GINA.html
 http://jmvidal.cse.sc.edu/talks/ann/alvin.xml
 http://www.iconseeker.com/search-icon/scrap/client.html
 http://www.telegraph.co.uk/news/obituaries/3903053/Oliver-Selfridge.html
 http://redesneuraisartificiais.blogspot.com/2011/06/perceptron-uma-breve-
explicacao.html
Referências
 Ilustrações usadas:
 http://www.squidoo.com/Artificial-Intelligence-intro
 http://www.expertstown.com/web-mining/

 Capítulo 1 do livro Inteligência Artificial: uma abordagem de Aprendizado

de Máquina, 2011

 Alguns slides foram baseados em apresentações de:

 Prof Dr André C. P. L. F. Carvalho
 Prof Ricardo Campello
 Profa Solange O. Rezende
 Prof Dr Marcilio C. P. Souto