1

Reconheciment o de Padres
Marco Grivet
Cent ro de Est udos em
Telecomunicaes
CETUC- PUC/ Rio
2
Programa
! I nt roduo
! O problema de RP
! Enfoque de RP
! Teoria da deciso de Bayes
! Regra do Vizinho Mais Prximo
! Funes Discriminant es
! Seleo e Ext rao de Feat ures
! Est imao da Probabilidade de Erro
! RP Sint t ico
! Aplicaes
3
O que RP ?
RP engloba uma lit erat ura t o vast a que sua
definio polmica.
RP est ligada a busca de
r egul ar i dades
r egul ar i dades
Dest e t empos pr- hist ricos, o homem buscou
regularidades em que pudesse confiar e que
lhe desse uma sensao de segurana num
mundo host il.
4
O que RP ?
Col eo de dados i sol ados, obj et os e f at os cur i osos
For mul ao ex pl ci t a dos pr i ncpi os ger ai s
Anl i se l gi ca e deduo de conseqnci as
evol uo
da
ci nci a
RP no pode ser considerada como uma
disciplina coesa com t odos os seus princpios
monolit icament e est abelecidos
5
O que RP ?
Na realidade RP uma vast a coleo de problemas
variados cuj as solues empregam t cnicas
import adas de out ras reas e so especificament e
proj et adas para at ender a especificidade do problema
part icular.
Cont r i bui es RP
t eoria de aut mat a, t eoria da deciso, t eoria da
informao, t eoria das probabilidades, lgica
nebulosa, redes neurais, . . . . .
Por out ro lado, sempre possvel descrever quase
t odas as reas de at ividades cient ficas em t ermos de
RP
6
Definio
RP ent endido como a caract erizao de dados
de ent rada em classes ident ificveis at ravs de
ext rao de caract erst icas ou at ribut os
fundament ais.
OBS:
Embora o RP sej a reconhecido como um
at ribut o bsico dos seres vivos ( principalment e
humanos) , o processo exat o que permit e ao ser
vivo o reconheciment o de padres complexos
ainda bast ant e desconhecido.
7
Problema
8
Esquema Simplificado de RP
! ant es que o reconheciment o ocorra, o padro deve
ser percebido percebido pelos rgos sensoriais.
! para represent ar uma experincia significat iva de
percepo, padres de mesma classe devem t er
sido ant eriorment e percebidos para que os
mecanismos de inferncia possam formar
impresses das caract erst icas caract erst icas do obj et o
percebido.
! em algum est gio post erior, a percepo prvia do
padro deve ser relembrada relembrada com o obj et ivo de
est abelecer se possvel, alguma correspondncia
ent re as percepes present e e passada.
9
Uma propost a
sist emas biologicament e mot ivados
( Caianello 68)
A discusso se sist emas de RP devem ou no t er
apoio em sist emas biolgicos uma quest o em
abert o, principalment e quando se adot a se
adot a o pont o de vist a de que RP a busca de
um obj et ivo ao invs de processo ou t cnica
especfica.
10
reas de At uao do RP
! Processament o de sinais de voz
! Biologia
! Sensoriament o remot o
! Viso
! Geologia
! CAM ( Comput er Aided Manufact oring)
! I dent ificao de assinat uras
11
O Problema de RP
OBJETI VO BSI CO
OBJETI VO BSI CO
Busca de est rut ura nos dados
Dado
Dado ent endido como a sada de virt ualment e
qualquer processo fsico, quer se origine na
nat ureza ou out ro ambient e especfico.
Ti pos de Dados
Ti pos de Dados
Pict ricos, grficos, numricos, lingst icos, et c.
12
Hipt ese Fundament al
Qualquer que sej a a sua forma, os dados
carregam informao sobre os processos que o
geraram.
O conceit o de
est r ut ur a
est r ut ur a significa o modo pelo
qual a informao pode ser organizada de modo
que as relaes ent re as variveis do processo
possam ser ident ificadas.
Est as variveis ou at ribut os exercem um papel
chave e so o foco de at eno em PR.
13
Conceit o de Classe
Freqent ement e o obj et o de int eresse no um
descrio det alhada de t odas as variveis mas sim
a considerao de alguns de seus grupos que
exibem propriedades especficas.
Padres gerados de acordo com est e grupo de
variveis so dit os const it uir uma
cl asse
cl asse, cuj a
definio varia de acordo com o problema.
Por est a razo, RP usualment e ent endido como
um processo de at ribuio de padro a um dent re
um conj unt o de classes definidas por crit rios pr-
especificados.
14
Espao de Medidas
Em geral padres so descrit os por uma seqncia
de nmeros reais que podem, sem perda de
generalidade, ser represent ados por um vet or
num espao mult idimensional.
Espao de Medi das
Espao de Medi das ( Measurement Space) o
espao no qual o padro inicialment e
represent ado. Est e espao em geral de alt a
dimensionalidade.
15
Exemplo 1
pixel
padro original
16
Exemplo 1
123 156 23
11 198 31
67 214 3
17 31 12
5
123
1
123
represent ao numrica do padro
17
Exemplo 2
123 - 57 45 56 89 6 81 - 54 - 23 . . . . . .
padro original
represent ao numrica do padro
18
Simplificao
Pode- se pensar em promover uma t ransformao
que mapeie o Espao das Medidas num out ro de
dimensionalidade reduzida. Est e espao
denominado de
Espao das Car act er st i cas
Espao das Car act er st i cas
( Feat ure Space)
Espao
de
Medida
Espao
de
Caract erst icas
per da de
i nf or mao
19
Classificador
O classificador um disposit ivo que implement a
uma funo de deciso, mapeando pont os do
Espao das Caract erst icas em um conj unt o de
int eiros represent ando as classes pr- definidas.
Espao de Car act er st i cas
Q
4
3
2
1
20
Definies
Para implement ar est a funo de deciso
necessrio execut ar uma seqncia de operaes
lgicas e comput acionais sobre o padro.
Est a seqncia denominada de
al gor i t mo de
al gor i t mo de
r econheci ment o
r econheci ment o e o grupo de idias subj acent es
denominado de
mt odo de r econheci ment o
mt odo de r econheci ment o.
21
Escolha da Regra de Deciso
nat ural que um crit rio deva ser previament e
est abelecido por meio do qual diferent es regras de
deciso possam ser avaliadas ou comparadas,
sendo usual a escolha da t ax a de er r os de
cl assi f i cao.
Em algumas sit uaes, int eressant e definir uma
classe fict cia na qual devem ser enquadrados os
padres de difcil classificao. Est a classe t em o
nome de
cl asse de r ej ei o
cl asse de r ej ei o.
22
Sist ema de RP
ambi ent e
dos
padr es
cl assi f i cador
ex t r at or
de
f eat ur es
pr ocesso
de
medi da
Si st ema de Reconheci ment o de Padr es Si st ema de Reconheci ment o de Padr es
medi das f eat ur es cl asses
23
Sist ema de RP Melhorado
descr i pt or /
cl assi f i cador
ex t r at or de
f eat ur es
pr ocesso
de medi da
sel eo
de
f eat ur es/
pr i mi t i vas
anl i se dos
padr es
pr oj et o do
anal i sador /
cl assi f i cador
ambi ent e
dos
padr es
Si st ema de Reconheci ment o de Padr es Si st ema de Reconheci ment o de Padr es
Pr ocesso de desi gn Pr ocesso de desi gn
realiment ao
de dados
ret orno para
redesign
influncias de
design
24
O Problema da Aprendizagem
Apr endi zagem Super vi sada
Apr endi zagem Super vi sada
Assume a exist ncia de um conj unt o de amost ras
de padres cuj as classes so conhecidas.
( ) ( ) ( ) { }
m m
k x k x k x , ....., ,......... , , ,
2 2 1 1

onde :
x
i
represent a a i- sima observao ou padro
k
i
represent a a classe do padro acima
m represent a o no. de amost ras disponveis
25
O Problema da Aprendizagem
Apr endi zagem No Super vi sada ou
Apr endi zagem No Super vi sada ou
Aut o- Apr endi zagem
Aut o- Apr endi zagem
I dnt ico ao ant erior porm k
i
desconhecido. Est e
problema est udado dent ro da rea denominada
de Anlise de Conglomerados ( Clust ering Analysis)
26
Exemplo
Fisher ( 1936)
I RI S
I RI S
dat aset
dat aset
CLASSES
CLASSES
I . set osa
I . versicolor
I . virginica
MEDI DAS
MEDI DAS ( 50 por classe)
compriment o da pt ala
largura da pt ala
compriment o da spala
largura da spala
fisher
27
Enfoques de RP
! Enfoques Heurst icos
! Enfoque baseado em Teoria da
Deciso
! Enfoque Lingst ico
28
Enfoques Heurst icos

Casament o de Ar qut i pos
Casament o de Ar qut i pos
( Templat e Mat ching)
Uso de arqut ipos , prot t ipos ou mscaras
para caract erizar as classes.
O casament o expresso por alguma medida de
semelhana ent re arqut ipo e supost o
membro.
Eficincia baixa em presena de rudo,
dist ores ou t ransformaes geomt ricas
29
Enfoques Heurst icos

Mt odo dos Fr agment os
Mt odo dos Fr agment os
I dnt ico ao ant erior s que aplicvel a part es
do padro.
30
Percept ron ( Rosemblat t 1957)
A- el em.
A- el em.
A- el em.
padr o x

n
( x )

2
( x )

1
( x )
f
1
( x )
f
2
( x )
f
q
( x )
D
e
c
i
s
o
r
d
[ ]
T
d
x x x x !
2 1
padr o padr o
f eat ur e f eat ur e
( )

'

contrrio caso 0
. se 1
1
d
j
i j ij
i
T x a
x
f uno f uno
di scr i mi nant e di scr i mi nant e
( ) ( ) x c x f
n
j
j kj k

1
.
f uno de f uno de
deci so deci so
( ) ( ) x f x d
k
k
max arg
31
Percept ron
par met r os par met r os
[ ]
{ } q k
T
a a a a
k
T
kd k k k
,..., 2 , 1
limiar
2 1

!
Usados para gerar indicao de ausncia ou
presena de feat ures
c
ij
= peso da j - sima feat ure na funo
discriminant e da classe j
32
Fase de Treinament o
! Todos os parmet ros { c
ij
} so iniciados com valores
arbit rrios
! Exibe- se um padro x da classe k ao Percept ron
! Se deciso corret a, os coeficient es { c
ij
}
permanecem inalt erados
! Caso cont rrio ( deciso d k) aument a- se os
valores de { c
k.
} e reduzem- se os valores { c
d.
}
Apr endi zagem
Apr endi zagem
33
Result ados Prt icos
Nat uralment e depende de quo bem comport ados so os
padres mas t axas t picas de reconheciment o corret o
cost umam oscilar ent re 70% a 95%, o que pode ser
insuficient e para algumas aplicaes.
A propriedade mais import ant e de qq. sist ema de RP com
aprendizagem a capacidade de ex t r apol ao ex t r apol ao, ist o ,
reconhecer corret ament e padres no pert encent es ao
conj unt o de t reinament o.
Ent ret ant o o int eresse real reside na habilidade de fazer
ext rapolaes para padres dist ant es do conj unt o de
t reinament o.
34
Teoria da Deciso
t r ansf or mao
[ ]
T
d
y y y y !
2 1

padr o padr o
f eat ur e f eat ur e
[ ]
T
n
x x x x !
2 1

Obj et i v os da t r ansf or mao

Obj et i v os da t r ansf or mao
reduo da dimensionalidade ( n< < d)
isolament o das caract erst icas relevant es
35
Teoria da Deciso
O classificador implement a uma regra de deciso D da
forma :
{ } q D
n
,..., 2 , 1 :
Para auxiliar a escolha da regra de deciso, o mecanismo
de gerao dos padres deve ser razoavelment e conhecido.
Usualment e seu conheciment o expresso por meio de uma
coleo de amost ras pr- classificadas da forma :
( ) ( ) ( ) { }
m m
k x k x k x , ....., ,......... , , ,
2 2 1 1

36
Modelo Bayesiano
( ) ( ) ( ) { }
m m
k x k x k x , ....., ,......... , , ,
2 2 1 1

O conj unt o acima formado por uma sequncia
de vet ores aleat rios i. i. d. com dist ribuio de
{ x, k} caract erizada por :
( ) { }

'

(.) por dada f.d.p. com aleatrio vetor um /
,..., 2 , 1 para
j
j
p j k x
q j P j k P
37
Modelo Det erminst ico
( ) ( ) ( ) { }
m m
k x k x k x , ....., ,......... , , ,
2 2 1 1

O conj unt o acima formado por uma sequncia
de vet ores aleat rios independent es onde para
cada i { 1, 2, . . . , m}
(.) por dada f.d.p. com aleatrio vetor um
i
k i
p x
38
Problema de RP com superviso
Nest e t ipo de problema, o conheciment o prvio sobre as
classes dos padres pode ser expresso na forma de hipt eses
sobre :
o conj unt o de padres correspondent es as vrias classes
Nest e caso a informao dos padres pode ser expressa
por dist ribuies condicionais de probabilidade
dependent es de parmet ros que se forem desconhecidos,
podem ser est imados a part ir de dados experiment ais,
dando origem ao enfoque paramt rico
a famlia de funes de decises adequadas
Nest e caso, a informao est at st ica dos padres no
usada. O obj et ivo escolher uma funo de deciso da
famlia dada.
39
Enfoque Lingust ico
As aplicaes onde a est rut ura do padro
desempenha papel fundament al no processo de
classificao no so eficient ement e resolvidas
por meio de modelos baseados em t eoria da
deciso.
Exemplos :
cmara de bolhas de part culas at micas
viso robt ica
anlise de cenrios ( Scene Analysis)
40
Enfoque Lingust ico
Model o Al t er nat i v o
Model o Al t er nat i v o
Modelo lingust ico baseado na t eoria formal de
linguagens
El ement o Cent r al
El ement o Cent r al
Decomposio dos padres em sub- padres
( primit ivas ) que represent am os element os
mais bsicos de um padro complexo.
41
Enfoque Lingust ico
Cada primit iva pode ser ent endida como um
smbolo permissvel em um
gr amt i ca
gr amt i ca onde por
gramt ica se ent ende um conj unt o de regras de
sint axe que permit e a gerao de
sent enas
sent enas.
A
l i nguagem
l i nguagem que fornece a descrio est rut ural
dos padres em t ermos das primit ivas e suas
operaes de decomposio chamada de
linguagem de descrio de padres e seu
obj et ivo fornecer um conj unt o de regras que
governam a composio das primit ivas em
padres.
42
Enfoque Lingust ico
pr epr ocessament o
represent ao
do
padro
anlise
sint t ica
inferncia
gramat ical
padr o
X
X L( G) ?
RECONHECI MENTO RECONHECI MENTO
APRENDI ZAGEM APRENDI ZAGEM
43
Teoria da Deciso de Bayes
cl asses cl asses
q
,..... , ,
3 2 1
padr o padr o
n
x
pr obabi l i dades pr obabi l i dades
a pr i or i a pr i or i
[ ] { } q i x P
i
,..., 2 , 1 para
di st r i bui es di st r i bui es
condi ci onai s condi ci onai s
[ ] { } q i x p
i
,..., 2 , 1 para /
r egr a de r egr a de
deci so deci so
( ) } ,..., 2 , 1 , 0 { :

q x
n

f uno f uno
de cust o de cust o
( )
j i
/
44
Teoria da Deciso de Bayes
Pr obl ema
Pr obl ema
Det erminar a regra de deciso que minimiza o
cust o mdio por deciso
Pr obabi l i dade Pr obabi l i dade
a a
Post er i or i Post er i or i
[ ]
( )
( )
( )
( )

k
k k
j j j j
j
x p P
x p P
x p
x p P
x P

/ .
/ . / .
/
45
Teoria da Deciso de Bayes
( ) { ( )
( ) { ( )
( ) { ( )

'

x P
x P
x P
q q i
i
i
/ probab. com /
......... ..........
/ probab. com /
/ probab. com /
2 2
1 1



observado x, a deciso
implica num cust o
( )
i
x
cust o mdio condicional associado a deciso ( )
i
x
( ) ( ) [ ] ( ) ( )

k
i i i i
i
x P x E x / . /

"
46
Teoria da Deciso de Bayes
cust o mdio condicional
( ) ( ) ( )

k
i i
x P x x / . / ) (

"
cust o mdio
( ) ( )

x d x p x L . "
Minimizar L implica em minimizar para cada valor de
x
( ) x "
( ) ( ) x k x
i
i
k
" min arg onde

*

( ) ( ) x x
i
i
" " min
*

r i sco mni mo condi ci onal r i sco mni mo condi ci onal r i sco de r i sco de Bay es Bay es
( ) ( )

x d x p x L .
* *
"
47
Caso Part icular de I nt eresse
( )

'

0 se
se 1
se 0
/
i
j i
j i
r
j i

l i mi ar de r ej ei o l i mi ar de r ej ei o
e por consequncia :
( )
( )
( ) ( ) x x
i x P
i
x
i
i
i
r
i
" " " min
0 se / 1
0 se
*

'

A regra de deciso t ima dada por :

( )
( ) ( )
( )

'

>

se
se

*
0
*
*
k
k
k
k
x
x x
x

"
" "
48
Regies
Regio de Aceit ao da classe i
( ) ( ) { }
r k
k
i
n
i
x P x P x 1 / max / onde
Regio de Rej eio
( ) { }
r k
k
n
x P x < 1 / max onde
0

2

1

5
espao espao
das das
f eat ur es f eat ur es
49
Probabilidades
probabilidade de
aceit ao associada a
deciso em favor da
classe i> 0
( )

i
x d x p A
i
.
*
probabilidade de
rej eio
( )

0
.
*
x d x p R
probabilidade de
aceit ao
* * *
1 R A A
i
i

50
Probabilidades
probabilidade de erro
associada a deciso
em favor da classe
i> 0
( ) ( )

i
x d x p x E
i
i
. .
*
"
probabilidade de erro

i
i
E E
* *
probabilidade de
acert o associada a
deciso em favor da
classe i> 0
( ) ( ) ( )

i
x d x p x C
i
i
. . 1
*
"
probabilidade de
acert o

i
i
C C
* *
51
Concluso I mport ant e
Ent re t odas as regras de deciso possveis
com t axas de erro ( rej eio) igual a E
*
(
r
)
( E
*
(
r
) ) , no exist e nenhuma out ra regra
diferent e da t ima que produza t axas de erro
( rej eio) menor do que E
*
(
r
) ( E
*
(
r
) ) .
52
Curiosidade
( ) ( ) ( ) 1
* * *
+ +
r r r
R E C
Com 1 equao a 3 incgnit as pode- se fixar 2 valores e
det erminar o t erceiro. Ent ret ant o pode- se most rar que :
( ) ( )

r
dR E
r

0
* *
.
Logo, s se t em um grau de liberdade, ou sej a, fixo um dos
valores, os out ros ficam det erminados.
i nf or mao i nf or mao
di scr i mi nat r i a di scr i mi nat r i a
compl ex i dade compl ex i dade
i nt r nseca i nt r nseca
53
Dist ncias
Em geral o clculo de probabilidades de erro em
classificadores de Bayes muit o complexa, podendo ser t eis,
em algumas ocasies, alguns limit ant es
dist ncia de dist ncia de Mahalanobis Mahalanobis
{ } { }
2 1
1
2 1
. .

T
2 1
2 1
*
. . 1
. . 2
P P
P P
E
+

54
Coeficient e de Bhat t acharyya
( ) ( ) x d x p x p J
n
B

. / . / log
2 1

( ) { } ( )
B B
J P P E J P P exp . . . 2 exp . . . 4 1 1 .
2
1
2 1
*
2 1
E
*
J
B
J
B
*
faixa de
valores
admissveis
de P( err o)
55
I - Divergncia
( ) ( ) { }
( )
( )
x d
x p
x p
x p x p J
n
d

.
/
/
log . / /
2
1
2 1

( ) ( ) ( )
* * *
1 . log . 1 . 2 E E E J
B

E
*
J
D
1/ 2
faixa de
valores
admissveis
de P( err o)
J
D
*
st rpt ool
bayesdemo2
56
Feat ures Binrias ( 2 classes)
{ }
[ ]
[ ]
[ ] ( )
k k
k
k
n
q p k x P
q k x P
p k x P
P P
x
+

.
2
1
/
/
2 1
1 , 0
2
1
2 1

[ ]
[ ]
k k
k
k k
k
q p
q
k x P
q p
p
k x P
+

+

/
/
2
1

k k
k k
q p k
q p k
<

2
1
r egr a de deci so r egr a de deci so
( )

'

k
k k
q p e P 1 .
2
1
pr obabi l i dade de er r o pr obabi l i dade de er r o
57
Exemplo ( n= 2)
p
1+
p
3
p
0+
p
2
p
2+
p
3
p
0+
p
1
p
3
p
2
1
p
1
p
0
0
1 0
x1
x2
P[ x/
1
]
p
0
+ p
1
+ p
2
+ p
3
= 1
q
1+
q
3
q
0+
q
2
q
2+
q
3
q
0+
q
1
q
3
q
2
1
q
1
q
0
0
1 0
x1
x2
P[ x/
2
]
q
0
+ q
1
+ q
2
+ q
3
= 1
{ }
2 0 2 0 1
1
2
1
) ( q q p p e P +
{ }
1 0 1 0 2
1
2
1
) ( q q p p e P +
{ }
3 3 2 2 1 1 0 0 12
1
2
1
) ( q p q p q p q p e P
usando soment e feat ure 1
usando soment e feat ure 2
usando feat ures 1 e 2
58
The best k is not t he K- best
0. 95 0. 02 1
0. 05 0. 98 0

1
x
1
P
1
( e) = 0. 035
0. 90 0. 04
1
0. 10 0. 96 0

1
x
2
P
2
( e) = 0. 070
0. 80 0. 01
1
0. 20 0. 99 0

1
x
3
P
1
( e) = 0. 105
x
23
melhor do que x
12
0. 8550 0. 0008
11
0. 0950 0. 0192
10
0. 0450 0. 0392
01
0. 0050 0. 94088
00

1
x
1
x
2
0. 7600 0. 0002
11
0. 1900 0. 0198
10
0. 0400 0. 0098
01
0. 0100 0. 9702
00

1
x
2
x
3
P
12
( e) = 0. 0321 P
23
( e) = 0. 0199
x
1
melhor do que x
2
que melhor do que x
3

59
Regra do Vizinho Mais Prximo
Nearest Neighbor Classifier
Nearest Neighbor Classifier
Sej a :
um conj unt o de t reinament o.
O classificador 1- NN ao observar o padro x, decide pela
classe associada ao padro x de L
m
mais prximo ( no
sent ido de alguma dist ncia pr- definida) de x.
Formalment e:
( ) ( ) ( ) { }
m m m
k x k x k x L , ....., ,......... , , ,
2 2 1 1

( ) ( ) ( ) ( )
m i i i
L k x x x x x x , , , sse

60
Exemplo
m= 4, q= 4, d= 2
( )
( x
1
,1)
( x
2
,2)
( x
3
,3)
( x
4
,4)
61
Generalizaes
Classificador k- NN
Classificador k- NN
Deciso feit a pelo vot o maj orit rio dent re as k amost ras
de L
m
mais prximas de x
Classificador ( k, l) - NN
Classificador ( k, l) - NN
Semelhant e ao ant erior s que com um no. mnimo de
vot os l. Caso est e valor no sej a at endido, ocorre a
rej eio.
Classificador ( k, l
Classificador ( k, l
i i
) - NN
) - NN
Semelhant e ao ant erior s que quorum mnimo depende
da classe i.
62
Teorema
Sej a x um padro observado e x
m
L
m
o seu 1- NN.
Ent o :
Pode- se ainda most rar que sob cert as condies :
Assume- se daqui em diant e que m muit o
grande , o que sob o pont o de vist a formal
significa m
x x
P
m
'
( ) ( ) x P x P
P
m
/ ' /
63
Probabilidade de Erro
Probabilidade de erro condicional para amost ra
infinit a
Quando m t em- se :
Logo :
( ) [ ]
m m m
x x P x x e ' , / ' ' ,
1

( ) ( ) [ ]

q
i
i m
x P x e x x e
1
2
1 1
/ 1 ' ,
( ) x
i
2

( ) { } ( ) ( ) x d x p x x e E E
q
i
i
. . 1
1
2
1 1

64
Limit es para P( e)
Caso
Caso
1- NNR
1- NNR

,
_

* *
1
.
1
2 . E
q
q
E E
Caso
Caso
k- NNR
k- NNR
*
1 2 3 4 1 2 2 2
*
. 2 ...... ..... E E E E E E E E
k k

+ +
Caso
Caso
( k, l) - NNR
( k, l) - NNR
k k k k k k k
E E E E E
+
*
1 ' , 1 , ,
......
) 2 / ( . .
1
*
k ceil E E E
k
+
' k
65
Teorema
Sej a t al que
Ent o :
r

( )
k k r
A A
,
*

( ) ( )
r k k r
E
k
E E
*
,
*
.
2
1
1
]
1

+
66
Caso Amost ra Finit a
! No exist em result ados prt icos para est e caso
dado a complexidade das expresses
! Os limit es so aproximadament e vlidos
! O desempenho depende da definio de mt rica o
que implica em dizer que cada problema t em sua
mt rica t ima
! no problema de q classes e m amost ras/ classe,
q. m dist ncias precisam ser calculadas
67
Caso part icular
s
3
s
2
s
1
r
2
r
1
amost ra
desnecessria
68
Edio
Tcnica de edio para k- NN ( k mpar)
Tcnica de edio para k- NN ( k mpar)
Part iciona- se L
m
em dois subconj unt os L
m1
e L
m2
m1/ m2 no deve ser prximo de 0 ou 1
ALGORI TMO ALGORI TMO
classifique as amost ras de L
m1
por meio de k- NN
usando as amost ras de L
m2
para t reinament o
descart e de L
m1
as amost ras erradament e classificadas.
Nomeie est e conj unt o de L
m1
o classificador ent o usa 1- NNR t endo L
m1
como
conj unt o de t reinament o.
69
Coment rios
! result ados t ericos para o caso de infinit as amost ras revelam
que a edio reduz a probabilidade de erro
! a repet io do processo de edio para o caso de infinit as
amost ras provoca a convergncia de P( e) para a do caso de
Bayes ( sabidament e t ima) .
! para o caso de no. finit o de amost ras, a repet io da edio
acabaria gerando um conj unt o vazio.
! ent ret ant o com algum cont role, espera- se que a edio
sucessiva gere front eiras prximas das que seriam obt idas
pela regra de deciso de Bayes.
70
Algorit mo MULTI EDI T
! ! Passo 1 DI FUSO Passo 1 DI FUSO
Faa uma part io aleat ria dos dados S gerando N subconj unt os
S
1
,S
2
, ...,S
N
! ! Passo 2 CLASSI FI CAO Passo 2 CLASSI FI CAO
Classifique as amost ras de S
k
usando 1- NNR e as amost ras de
S
( k+ 1) mod( N)
como conj unt o de t reinament o i- 1,..., N
! ! Passo 3 EDI O Passo 3 EDI O
Descart e t odas as amost ras erradament e classificadas no passo
2
! ! Passo 4 CONFUSO Passo 4 CONFUSO
Junt e t odas as amost ras que rest aram no passo 3 em um nico
conj unt o S
! ! Passo 5 CONCLUSO Passo 5 CONCLUSO
Se nas lt imas L it eraes, nenhuma edio foi realizada ent o
t ermine. Caso cont rrio, ret orne ao passo 1
71
Algorit mo MULTI EDI T
f r ont ei r a ger ada pel a r egr a de de deci so de Bay es
72
Algorit mo MULTI EDI T
f r ont ei r a f i nal ger ada pel o mt odo
73
Coment rios
Est e algorit mo t em a propriedade de criar clust ers
homogneos de amost ras e cada um deles aproxima a regio
de aceit ao de Bayes para a classe correspondent e. Embora
sej a uma t ent at iva na reduo do no. de amost ras, ele se
most ra pouco eficient e para est e propsit o.
O que se desej a selecionar o conj unt o mnimo de amost ras
t al que a classificao 1- NN de um novo padro, t endo est e
subconj unt o como t reinament o, apresent e o mesmo
desempenho do que a realizada com o conj unt o de
t reinament o complet o.
74
Algorit mo de Condensao
Assume que as amost ras produzidas pelo MULTI EDI T foram
ordenadas segundo algum crit rio. Criam- se duas pilhas
denominadas de STORE e GRABBAG. A primeira amost ra
colocada na pilha STORE enquant o que t odas as out ras em
GRABBAG. Sej a M o no. corrent e de amost ras em GRABBAG
t oda vez que o passo 1 do algorit mo abaixo execut ado.
PASSO 1 PASSO 1
Use a 1- NNR com o cont edo corrent e de STORE para classificar
as amost ras em GRABBAG. Se classificada corret ament e, a
amost ra permanece em GRABBAG. Caso cont rrio, ela
t ransferida para STORE. Repit a est a operao para t odas as M
amost ras de GRABBAG
PASSO 2 PASSO 2
Se ao longo do passo 1 no houve t ransferncias ou se
GRABBAG foi exaurido ent o t ermine. Caso cont rrio, v para
passo 1
75
Exemplo
76
Funes Discriminant es
Em geral a regra de deciso de um classificador da forma:
As funes g
i
( x) so mapas R R
n n
R e s R e s o chamadas de o chamadas de
fun fun es discriminant es es discriminant es. .
Como em geral o proj et o do classificador Como em geral o proj et o do classificador dif dif cil, cost uma- cil, cost uma-
se fixar um fam se fixar um fam lia lia e escolher as fun e escolher as fun es discriminant es es discriminant es
dent re os membros de dent re os membros de segundo algum crit segundo algum crit rio que n rio que n o o
envolve nenhuma dist ribui envolve nenhuma dist ribui o est at o est at st ica. st ica.
( ) ( ) x g x D
i
i
max arg
77
Famlias Clssicas
caso l i near
caso l i near
( )
i
T
i i
b x a x g + .
se q= 2 t em- se :
( )
( ) ( )
( ) ( )
( ) ( ) ( ) 0
se 2
se 1
2 1
2 1
2 1

'

<

x g x g x g
x g x g
x g x g
x D
<
st rpt ool\ bayes
fishdemo
linear- > fisher- > fiveclass
78
Famlias Clssicas
caso
caso
secci onal ment e
secci onal ment e
l i near
l i near
( )
{ }
( ) { }
{ }
{ }
ij
T
ij
n j
ij
n j
i
b x a x g x g +

. max max
,.., 1 ,.., 1
OBS
OBS : k- NNR dest a cat egoria onde
sendo x
ij
a amost ra i da classe j
( ) ( )
ij ij
x x x g ,
( ) x x x x x x
T
ij ij ij
. . 2 ,
2
2
+
pode ser ignorado
pois o mesmo
para qq ij
T
ij
a
ij
b
79
Famlias Clssicas
caso l i near
caso l i near
gener al i zadao
gener al i zadao
( ) ( )
( ) ( ) ( ) ( ) [ ]
T
D
i
T
i i
x x x x
b x a x g

+
!
2 1
D n

: onde .
Definindo :
( ) [ ]
[ ]

'

T
i ij i
T
b a c
x y
#
#1
t em- se :
( ) y c x g
T
i i
.
st rpt ool
quademo
quadrat - > t wocircles
80
Aplicao
Mecanismo de Aprendizagem do Percept ron
Sej a :
um conj unt o linearment e separvel.
Desej a- se achar um vet or w que sat isfaa :
( ) { } { } 2 , 1 , ,..., 1 , ,
i i
i
m
m i y L

'

<

2 i
1 i
que tal 0
que tal 0
.


i
i
i
T
y
y
y w
81
Uma soluo
mt odo sequencial
w
k
= valor de w na et apa k
y
k
= amost ra k de L
m

k
= passo na et apa k

'

>
< +

+
contrrio caso
e 0 . se .
e 0 . se .
2
1
1
k
k
k T
k
k
k k
k
k T
k
k
k k
k
w
y w y w
y w y w
w

82
Seleo e Ext rao de Feat ures
Obj et i v o
Obj et i v o
Selecionar feat ures relevant es para a
cat egorizao
Casos de Tcnicas
Casos de Tcnicas
feit as no espao de medidas
feit as em espao t ransformado
83
Seleo de Feat ures
Sej a Y= { y
1
, y
2
, y
3
, . . . . y
D
} um conj unt o de
medidas sobre um padro.
Ambi ent e
seleo
de feat ures
x
x
x
Cl assi f i c.
deciso deciso
84
Ext rao de Feat ures
Sej a Y= { y
1
, y
2
, y
3
, . . . . y
D
} um conj unt o de
medidas sobre um padro.
Ambi ent e
Ext rao
de feat ures
Cl assi f i c.
deciso deciso
d D
A

mapa
85
Medidas de Separabilidade
Probabilidade de Erro
Probabilidade de Erro
Muit o difcil de ser usada.
( ) ( ) [ ] ( ) d p P J
i
i
. . / max 1 .

Dist ncia I nt er- Classe
Dist ncia I nt er- Classe
Relacionada com a dist ncia mdia ent re padres das
diversas classes
Dist ncia Probabilst ica
Dist ncia Probabilst ica
Relacionada a superposio de dist ribuio
condicionais.Ex. I - Divergncia
86
Seleo de Feat ures
Al gor i t mo de Busca
Al gor i t mo de Busca
Dado a dependncia est at st ica das medidas,
t odos os subconj unt os de t amanho d ( dent re o
conj unt o original de t amanho D) sej am
invest igados para garant ir a opt imalidade da
seleo de feat ures.
756 . 184
!. )!. (
!
10
20

C
d d D
D
C
d
D
Algorit mo de busca no podem ser exaust ivos
87
Algorit mos Alt ernat ivos
Sel eo
Sel eo
Sequenci al
Sequenci al
Pr ogr essi v a
Pr ogr essi v a
Busca bot t om- up onde uma medida
acrescent ada ao conj unt o de medidas a cada
seleo.
Sel eo
Sel eo
Sequenci al
Sequenci al
Regr essi v a
Regr essi v a
Busca t op- down onde uma medida
removida do conj unt o de medidas a cada
seleo.
88
Caso D= 6, d= 2 ( exaust ivo)
34
24
23
14
13
124
134
234
15
25
125
135
12
35
125
1245
145
45
245
1345
2345
1235
1234
123
16
26
126
136
36
236
1246
246
46
146
1346
2346
1236
346
345
1256
56
156
1356
2356
356
256
1456
3456
2456
12345
12346
12356
12456
13456
23456
123456
89
Caso D= 6, d= 2, deep= 3
34
24
23
14
13
124
134
234
15
25
125
135
12
35
125
1245
145
45
245
1345
2345
1235
1234
123
16
26
126
136
36
236
1246
246
46
146
1346
2346
1236
346
345
1256
56
156
1356
2356
356
256
1456
3456
2456
12345
12346
12356
12456
13456
23456
123456
90
Expanso de Karhunen- Loeve
A expanso de Karhunen- Love foi independent ement e
propost a por Karhunen ( 1946) e Love ( 1955) . Ent ret ant os
est e mt odo t ambm conhecido sob uma variedade de
out ros nomes em diferent es reas :
Component es Principais ou Anlise de Hot elling
( Hot elling, 1953) ,
Anlise Emprica de Component es ( Lorenz, 1956)
Modos Quasiharmnicos ( Brooks el at . , 1988)
Decomposio Ort ogonal Prpria ( Lumley, 1967)
Decomposio em Valores Singulares ( Golub/ Van Loan,
1983)
Decomposio Emprica em Aut ofunes( Sirovich, 1987)
e out ros.
91
Expanso de Karhunen- Loeve
Sej a y um padro real D- dimensional. possvel escrever
y como:
onde { u
j
} formam uma base ort onormal det erminst ica.
Considere a aproximao t runcada de y abaixo definida:
PERGUNTA PERGUNTA : Quem deve ser { u
j
} de modo que o erro MQ
ent re y e sua aproximao sej a mnimo ?

D
i
j j
u x y
1
.
D d u x y
d
i
j j

1
92
Expanso de Karhunen- Loeve
RESPOSTA RESPOSTA
Devem ser os d aut o- vet ores associados aos maiores
aut ovalores de
[ ]
T
y y E .
0 .....
2 1

D

aut ovalores

1
]
1

D
d i
i MQ
y y E
1
2

err o MQ ( MSE)
st rpt ool
pcademo1
93
Est imao de P( erro)
Est imao analt ica freqent ement e impossvel. Sobra-
nos a possibilidade de cont agem de erros para um no.
finit o de amost ras.
L
m
= { ( x
i
,
i
) , i= 1, .. m} conj unt o de amost ras p/ t reinament o
( x) = regra de deciso implement ada pelo classificador
E = probabilidade de erro associada a est e classificador
Sej a
i
a funo indicadora de erro na amost ra i de L
m
.
( )
[ ] E P
x
i
i i
i

'

1
contrrio caso 0
se 1

94
Est imao de P( erro)
proporo de erros

m
i
i
m
E
1
.
1

Propriedades :
despolarizado
consist ent e
[ ] E E E

[ ] 0
) .(

m
m
E I E
E Var
95
Est imao de P( erro)
Alguns result ados para o caso de m grande
( )
( ) E Var
E E E

2 / 1

t em dist ribuio assint t ica N( 0, 1)

I nt ervalo de confiana ao nvel de significncia
( )
( )
( )
2
2
2
2
. 2

1 .

. . 4 .
. 2

. . 2
z m
z E E m z
z m
z E m
+
+
t
+
+
onde z t al que Erfc( z) = / 2
96
Est imao por Resubst it uio
! o classificador t reinado com ( X,)
! o classificador t est ado com ( X,)
! a proporo de erros P
e
( A) comput ada.
97
Est imao por Holdout
! part icione ( X, ) em ( X, )
a
e ( X,)
b
! o classificador t reinado com ( X,)
a
! o classificador t est ado com ( X,)
b
! a proporo de erros P
e
( B) comput ada.
98
Est imao por Rot ao
! part icione ( X,) em Q conj unt os de mesmo t amanho
( X,)
1
, ( X, )
2
,. .. , ( X,)
Q
! faa j = 1
! classificador t reinado com ( X,)
i
! o classificador t est ado com os rest ant es ( X, ) s
! repit a os 2 passos ant eriores para j = 2, . . . , Q
! a proporo de erros P
e
( B) comput ada da forma:
! onde P
e
i
( C) a probabilidade de erro obt ida no passo i

Q
i
i
e e
C P
Q
C P
1
) ( .
1
) (
99
Anlise de Conglomerados
Mot ivao
clust er analysis
100
Anlise de Conglomerados
{ }
{ } objetos os para nomes" " de conjunto ,..., ,
objetos es particular de coleo ,..., ,
objetos" " de espao
2 1
2 1
m
i m
X X X X X E
X

Cl ust er i ng Cl ust er i ng uma t cnica de classificao para a qual :

a semnt ica do problema de classificao dada por
similaridades ent re obj et os.
usualment e os obj et os so conhecidos apenas por suas
medidas.
usualment e nenhum conj unt o de t reinament o conhecido
a priori.
o conj unt o de nomes deve ser det erminado durant e o
processo
101
Anlise de Conglomerados
{ } 0 : Mtrica
: o Identifica


+
X X
X

A mt rica uma media de similaridade ent re

obj et os.
Pr opsi t o
Pr opsi t o : induzir uma ordem ou
hierarquia ent re pares de obj et os.
Obj et i v o
Obj et i v o : obt er uma part io P de E por
meio de
102
Anlise de Conglomerados
Propriedades desej veis dos clust ers
Homogenei dade
Homogenei dade
Est abi l i dade
Est abi l i dade
Uma boa part io em geral minimiza algum
crit rio W.
Sej a P
S
um membro da part io e P
S
obt ido de
P
S
por elim/ inser. mas com o mesmo no. de
element os.
Se para qq. P
S
t em- se que W( P
S
) < W( P
S
) ,
ent o P
S
dit a
est v el
est v el .
( ) ( ) ( ) { }
k j k i j i s k s j i
X X X X X X P X P X X , , , min , e ,
103
Anlise de Conglomerados
Al gor i t mo Hi er r qui co Bsi co Al gor i t mo Hi er r qui co Bsi co
Associe cada padro a um nico clust er
Ache o menor valor da mat riz de dissimilaridade e
condense os dois clust ers
At ualize as dissimilaridades ent re o novo e os out ros
clust ers
Volt e ao passo 2 at que t odos os padres fiquem num
nico clust er
Vrios algorit mos se baseiam na seguint e frmula de
dissimilaridade ent re clust ers k e ( i+ j ) onde est e lt imo
foi formado pela fuso dos clust ers i e j :
( ) ( ) ( ) ( ) ( ) ( ) k j d k i d c j i d b k j d a k i d a k j i d
j i
, , . , . , . , . , + + + +
104
Algorit mos
Mt odo de War d
( mni ma var i nci a)
Medi ana
Mdi a do Gr upo
Cent r i de
CONEXO COMPLETA
( di met r o)
CONEXO SI MPLES
( vi z.+ pr x .)
Frmula de At ualizao da Dissimilaridade
Algorit mo de
clust ering
)} , ( ), , ( min{ ) , ( 0 , 5 . 0 k j d k i d k j i d b c a a
j i
+
)} , ( ), , ( max{ ) , ( 0 , 5 . 0 k j d k i d k j i d b c a a
j i
+
( ) 0 , . ,
/ /
+ c a a b n n n a
j i j i j i j i
( ) 0 ,
/ /
+ c b n n n a
j i j i j i
0 , 25 . 0 , 5 . 0 c b a a
j i
( ) ( ) ( ) 0 , ,
/ /
+ + + + + c n n n n b n n n n n a
k j i k k j i j i k j i
105
Dendrograma
Mt odo das Conex es Si mpl es ( I r i s Dat a Set 3x 20 padr es)
2. 01
1. 30
0. 95
0. 78
0. 14
0. 65
106
Dendrograma
Mt odo das Conex es Compl et as ( I r i s Dat a Set 3x 20 padr es)
3.48
107
Mat riz de Confuso
20 6 0 3
0 14 0 2
0 0 20 1
I . virginica I . versicolor I . set osa
Cat egoria
No. do
Clust er
108
Algorit mo K- Means
I ni ci al i zao
I ni ci al i zao
Promova uma part io arbit rria dos padres
no conj unt o Y em K clust ers e comput e os seus
vet ores mdia { m
j
}
Passo 1
Passo 1
Selecione padro y de Y e at ribua- o ao clust er
cuj a mdia a mais prxima de y
Passo 2
Passo 2
At ualize os vet ores mdia { m
j
}
O algorit mo t ermina quando no se verificar
alt erao significat iva dos vet ores mdia
unsudemo
pcaexam2
109
RP Sint t ico
Al f abet o V
Al f abet o V
conj unt o de smbolos
Sent ena x
Sent ena x
cadeia de compriment o finit o de smbolos de V
Li nguagem L
Li nguagem L
um conj unt o de sent enas sobre V
Gr amt i ca G
Gr amt i ca G
conj unt o de regras que permit em gerar
sent enas de uma linguagem
110
Formalizao
al f abet o
V
smbolos
no- t erminais

smbolos
t erminais
N
V* = col eo de t odas as cadei as
de smbol os sobr e V
S = smbol o i ni ci al
r egr as de pr oduo P
a b
onde
a V* .N.V*
b V*
gramt ica G = { , N, P, S}
L( G) = linguagem gerada pela gramt ica G
111
Exemplo 1
gramt ica G
= { a, b}
N= { S}
P= { S aS, S b}
S b
S aS ab
S aS aaS aab
L( G) = { b, ab, aab, aaab, . . . } = { a
n
b onde n= 0, 1, , , }
112
Exemplo 2
gramt ica G
= { a, b, + , / , ( , ) }
N= { S}
P= { S ( S) , S a, S b, S S+ S, S S/ S}
exemplos de sent enas geradas
S S/ S a/ S a/ b
S S/ S a/ S a/ ( S) a/ ( S+ S) a/ ( a+ S) a/ ( a+ b)
S S/ S b/ S b/ ( S) b/ ( S+ S) b/ ( a+ S) b/ ( a+ a)
113
I nt erpret ao
Admit a os seguint es significados
a = - ( barra horizont al)
b = | ( barra vert ical)
+ = fisicament e abaixo
/ = fisicament e acima
a/ b
a/ ( a+ b)
b/ ( a+ a)

114
Ambiguidade
S S+ S ( S) + S ( S+ S) + S ( a+ S) + S
( a+ b) + S ( a+ b) + a
que gera o mesmo efeit o de a/ ( a+ b)
Embora as sent enas sej am diferent es, a sua
SEMNTI CA a mesma.
115
Tipos de Gramt icas
Ti po 0 I r r est r i t as
Ti po 1 Sensi t i v as a Cont ex t o
Ti po 2 Cont ex t o Li v r e
Ti po 3 Regul ar es
+
V N A V A , , ,
*
+
V N A A ,
a N B A a A aB A , , e
116
Observaes
Per gunt a f undament al Per gunt a f undament al
Dado uma sent ena x e uma gramt ica G, exist e algorit mo
geral que verifique se x pert ence a L( G) ?
Respost a Respost a : No
Pr obl emas de I nt er esse Pr obl emas de I nt er esse
Const ruo de reconhecedores, inferncia gramat ical.
Sof i st i caes Sof i st i caes
Gramt icas de dimensionalidade elevada, gramt icas
est ocst icas
Hipt ese I mplcit a
Todos os padres possuem a mesma chance de serem
gerados
117
Observaes
Hipt ese I mplcit a
Todos os padres possuem a mesma chance de serem
gerados
Sit uaes
alguns padres so mais freqent es do que out ros
padres suj eit o a erros aleat rios
gramt icas de padres dist int os no necessariament e
dist int as
gramt ica est ocst ica
G = { , N, P, D, S}
conj unt o de probabilidades associadas as produes P
118
Sist ema de RP Sint t ico
Decomposi o
ou
Segment ao
Reconhec.
de
Pr i mi t i vas
r epr esent ao dos padr es r epr esent ao dos padr es
Anl i se
Est r ut ur al
ou Si nt t i ca
Sel eo
( e r el ao)
de f eat ur es
I nf er nci a
Est r ut ur al
ou Gr amat i cal
r econheci ment o r econheci ment o
anl i se anl i se
padr es
padr es
cl assi f i cao
ou descr i o
119
Gramt ica Cromossmica
Ledley ( 1965)
Gramt ica de cadeia ( st rings) que descreve os
cromossomas submediano e t elocnt rico
st rings represent ados por sequncias de
{ a, b, c, d, e}
+
correspondendo ao t raado horrio
da linha ext erna codificada por encadeament o
srie de primit ivas.
a
b
c
d e
120
Gramt ica Cromossmica
Gramt ica de Cont ext o Livre
Smbolos no t erminais
{ S, S
1
, S
2
, A, B, C, D, E}
Regras de Produo
SS
1
B e SS
2
C bC
S
1
AA C Cb S
2
BA C b
A CA C d A AC D bD
A DE D Db A FD D a
B bB E cD B Bb F Dc
121
Gramt ica Cromossmica
SS
1
sent ena represent a crom. submediano
SS
2
sent ena represent a crom. t elocnt rico
A significa < par_de_braos>
B significa < fundo>
C significa < lado>
D significa < brao>
E significa < part e direit a>
F significa < part e esquerda>
122
Gramt ica Cromossmica
d
d
b
c
a
a
a
a
b
b
b
c
babcbabdacad
SS
1
AA ACAFDCA
DcDCA bDcDCA
bDbcDCA
babcDCA
babcbDCA
babcbDbCA
babcbabCA
babcbabdA
babcbabdAC
babcbabdDEC
babcbabdaEC
babcbabdacDC
babcbabdacaC
babcbabdacad
123
Gramt ica Cromossmica
SS
2
BA eAeCA
ebA ebDE ebDdE
ebabE ebabcD
ebabcbD ebabcdDb
ebabcbab
a
a
b b
b
b
c
e
ebabcbab
124
Bibliografia
! Machine Recognit ion of Pat t erns Ed. Ashok Agrawala I EEE Press- 1977
! Synt act ic Pat t ern Recognit ion- R. C. Gonzalez e M. G. Thomason- Adison Wesley-
1978
! Digit al Pat t ern Recognit ion- Ed. K. S. Fu- Springer Verlag 2a. Ed- 1980
! Pat t ern Recognit ion : A St at ist ical Approach- P. A. Devij ver e J. Kit t ler- Prent ice
Hall I nt . - 1982
! Handbook of Pat t er n Recognit ion and I mage Pr ocessing- T. Y. Young e K. S. Fu-
Academic Press- 1986
! Neural Net works for Pat t ern Recognit ion- C. Bishop- Oxfor d- Clarendon Press.
1995.
! I nt roduct ion t o Pat t ern Recognit ion, st at ist ical, st ruct ural, neural and fuzzy
logic appr oaches- M. Fr iedman and A. Kandel- World Scient ific, Signapore,
1999.
! Pat t ern Classificat ion ( 2nd ed. ) - R. O. Duda, P. E. Har t and D. G. St ork- John
Wiley and Sons, 2001.
125
Jornais
ht t p: / / w w w .ph. t n.t udel f t .nl / PRI nf o/ j our nal s.home.ht ml
I EEE Tr ansact i ons on Pat t er n Anal ysi s and Machi ne I nt el l i gence
Pat t er n Recogni t i on
I nt er nat i onal Jour nal of Pat t er n Recogni t i on and Ar t i f i ci al I nt el l i gence
Pat t er n Anal ysi s and Appl i cat i ons
Pat t er n Recogni t i on Let t er s
I nt er nat i onal Jour nal of Document Anal y si s and Recogni t i on
I EEE Tr ansact i ons on Neur al Net w or k s
Neur al Comput at i on
Neur al Net w or k s