INTELIGEN

ARTIFICIAL
Laura Dioan
Curs 12
Sisteme inteligente
Sisteme care nva singure
maini cu support vectorial
- K-means -
Sumar
A. Scurt introducere n Inteligena Artificial (IA)
B. Rezolvarea problemelor prin cutare
Definirea problemelor de cutare
Strategii de cutare
Strategii de cutare neinformate
Strategii de cutare informate
Strategii de cutare locale (Hill Climbing, Simulated Annealing, Tabu Search, Algoritmi
evolutivi, PSO, ACO)
Strategii de cutare adversial
C. Sisteme inteligente
Sisteme bazate pe reguli n medii certe
Sisteme bazate pe reguli n medii incerte (Bayes, factori de
certitudine, Fuzzy)
Sisteme care nva singure
Arbori de decizie
Reele neuronale artificiale
Algoritmi evolutivi
Maini cu suport vectorial
Algoritmi de clusterizare
Sisteme hibride
Materiale de citit i legturi utile
capitolul 15 din C. Groan, A. Abraham, Intelligent Systems: A
Modern Approach, Springer, 2011
Capitolul 9 din T. M. Mitchell, Machine Learning, McGraw-Hill
Science, 1997
Documentele din directorul svm
Sisteme inteligente
Sisteme bazate pe cunotine Inteligen computaional
Sisteme
expert
Sisteme bazate pe reguli
Bayes
Fuzzy
Obiecte,
frame-uri,
ageni
Arbori de decizie
Reele neuronale artificiale
Maini cu suport vectorial
Algoritmi evolutivi
Sisteme inteligente SIS nvare automat
Tipologie
n funcie de experiena acumulat n timpul nvrii:
SI cu nvare supervizat
SI cu nvare nesupervizat
SI cu nvare activ
SI cu nvare cu ntrire
n funcie de modelul nvat (algoritmul de nvare):
Arbori de decizie
Reele neuronale artificiale
Maini cu suport vectorial (MSV)
Algoritmi evolutivi
Modele Markov ascunse
Sisteme inteligente SIS MSV
Maini cu suport vectorial (MSV)
Definire
Tipuri de probleme rezolvabile
Avantaje
Dificulti
Tool-uri
Sisteme inteligente SIS MSV
Definire
Dezvoltate de Vapnik n 1970
Popularizate dup 1992
Clasificatori liniari care identific un hiperplan de separare a clasei
pozitive de clasa negativ
Au o fundamentare teoretic foarte riguroas
Funcioneaz foarte bine pentru date de volum mare (analiza textelor,
analiza imaginilor)
Reamintim
Problem de nvare supervizat n care avem un set de date de forma:
(x
d
, t
d
), cu:
x
d
eR
m
x
d
=(x
d
1
, x
d
2
,..., x
d
m
)
t
d
eR t
d
e {1, -1}, 1 clas pozitiv, -1 clas negativ
cu d = 1,2,...,n,n+1,n+2,...,N
Primele n date (se cunosc x
d
i t
d
) vor fi folosite drept baz de antrenament a
MSV
Ultimele N-n date (se cunosc doar x
d
, fr t
d
) vor fi folosite drept baz de testare
a MSV
Sisteme inteligente SIS MSV
Definire
MSV gsete o funcie liniar de forma f(x) = (w x) + b,
(w -vector pondere) a..
(w x) + b = 0 hiperplanul de decizie care separ cele 2
clase

< + ) (
> + ) (
=
0 1
0 1
b if
b if
y
i
i
i
x w
x w
Sisteme inteligente SIS MSV
Definire
Pot exista mai multe hiperplane
Care este cel mai bun hiperplan?
MSV caut hiperplanul cu cea mai larg margine (cel
care micoreaz eroarea de generalizare)
Algoritmul SMO (Sequential minimal optimization)
Sisteme inteligente SIS MSV
Tipuri de probleme rezolvabile
Probleme de clasificare Cazuri de
date
Liniar separabile
Separabile
Eroarea = 0
Ne-separabile
Se relaxeaz constrngerile se permit unele
erori
C coeficient de penalizare
Sisteme inteligente SIS MSV
Cazuri de date
Non-liniar separabile
Spaiul de intrare se transform ntr-un spaiu cu mai multe dimensiuni (feature
space), cu ajutorul unei funcii kernel, unde datele devin liniar separabile
n MSV, funciile kernel calculeaz distana ntre 2 puncte
kernelul ~ funcie de similaritate
Sisteme inteligente SIS MSV
Cazuri de date
Non-liniar separabile Kernele posibile
Clasice
Polynomial kernel: K(x
d1
, x
d2
) = (x
d1
, x
d2
+ 1)
p
RBF kernel: K(x
d1
, x
d2
) = exp(- ||x
d1
- x
d2
||
2
/2
2
)
Kernele multiple
Liniare: K(x
d1
, x
d2
) = w
i
K
i
(x
d1
, x
d2
)
Ne-liniare
Fr coeficieni: K(x
d1
, x
d2
) = K
1
(x
d1
, x
d2
)+ K
2
(x
d1
, x
d2
)* exp(K
3
(x
d1
, x
d2
))
Cu coeficieni: K(x
d1
, x
d2
) = K
1
(x
d1
, x
d2
)+ c
1
* K
2
*(x
d1
, x
d2
) exp(c
2
+ K
3
(x
d1
, x
d2
))
Kernele pentru stringuri
Kernele pentru imagini
Kernele pentru grafe
Sisteme inteligente SIS MSV
Configurarea MSV
Parametrii unei MSV
Coeficientul de penalizare C
C mic convergen lent
C mare convergen rapid
Parametrii funciei kernel (care kernel i cu ce parametri)
Dac m (nr de atribute) este mult mai mare dect n (nr de
instane)
MSV cu kernel liniar (MSV fr kernel) K(x
d1
, x
d2
) =
x
d1
x
d2
Dac m (nr de atribute) este mare, iar n (nr de instane) este
mediu
MSV cu kernel Gaussian K(x
d1
, x
d2
) = exp(-||x
d1
-
x
d2
||
2
/2
2
)
dispersia datelor de antrenament
Atributele instanelor trebuie normalizate (scalate la
(0,1))
m (nr de atribute) este mic, iar n (nr de instane) este mare
Se adaug noi atribute, iar apoi
MSV cu kernel liniar
Sisteme inteligente SIS MSV
MSV pentru probleme de clasificare
supervizate cu mai mult de 2 clase
Una vs. restul (one vs. all)
Sisteme inteligente SIS MSV
MSV structurate
nvare automat
Normal f:X R
Intrri de orice fel
Ieiri numerice (naturale, ntregi, reale)
Structurat:X Y
Intrri de orice fel
Ieiri de orice fel (simple sau structurate)
Informaii structurate
Texte i hiper-texte
Molecule i structuri moleculare
Imagini
Sisteme inteligente SIS MSV
MSV structurate
Aplicaii
Procesarea limbajului natural
Traduceri automate (ieiri propoziii)
Analiza sintactic i/sau morfologic a propoziiilor (ieiri
arborele sintactic i/sau morfologic)
Bioinformatic
Predicia unor structuri secundare (ieirile grafe bi-partite)
Predicia funcionrii unor enzime (ieirile path-uri n arbori)
Procesarea vorbirii
Transcrieri automate (ieiri propoziii)
Transformarea textelor n voce (ieiri semnale audio)
Robotic
Planificare (ieirile secvene de aciuni)
Sisteme inteligente SIS MSV
Avantaje
Pot lucra cu orice fel de date (liniar separabile sau nu, distribuit uniform sau nu, cu
distribuie cunoscut sau nu)
Funciile kernel care creaz noi atribute (features) straturile ascunse dintr-o RNA
Dac problema e convex ofer o soluie unic optimul global
RNA pot asocia mai multe soluii optime locale
Selecteaz automat mrimea modelului nvat (prin vectorii suport)
n RNA straturile ascunse trebuie configurate de ctre utilizator apriori
Nu nva pe derost datele (overfitting)
RNA se confrunt cu problema overfitting-ului chiar i cnd modelul se nva prin validare ncruciat
Dificulti
Doar atribute reale
Doar clasificare binar
Background matematic dificil
Tool-uri
LibSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
Weka SMO
SVMLight http://svmlight.joachims.org/
SVMTorch http://www.torch.ch/
http://www.support-vector-machines.org/
Sisteme inteligente SIS nvare automat
Tipologie
n funcie de experiena acumulat n timpul nvrii:
SI cu nvare supervizat
SI cu nvare nesupervizat
SI cu nvare activ
SI cu nvare cu ntrire
n funcie de modelul nvat (algoritmul de nvare):
Arbori de decizie
Reele neuronale artificiale
Maini cu suport vectorial (MSV)
Algoritmi evolutivi
Modele Markov ascunse
K-means
nvare nesupervizat
Scop
Gsirea unui model sau a unei structuri utile a datelor
Tip de probleme
Identificara unor grupuri (clusteri)
Analiza genelor
Procesarea imaginilor
Analiza reelelor sociale
Segmentarea pieei
Analiza datelor astronomice
Clusteri de calculatoare
Reducerea dimensiunii
Identificarea unor cauze (explicaii) ale datelor
Modelarea densitii datelor
Caracteristic
Datele nu sunt adnotate (etichetate)
nvare ne-supervizat definire
mprirea unor exemple neetichetate n submulimi disjuncte (clusteri) astfel nct:
exemplele din acelai cluster sunt foarte similare
exemplele din clusteri diferii sunt foarte diferite
Definire
Se d
un set de date (exemple, instane, cazuri)
Date de antrenament
Sub forma atribute_ data
i
, unde
i =1,N (N = nr datelor de antrenament)
atribute_ data
i
= (atr
i1
, atr
i2
, ..., atr
im
), m nr atributelor (caracteristicilor, proprietilor) unei date
Date de test
Sub forma (atribute_ data
i
), i =1,n (n = nr datelor de test)
Se determin
o funcie (necunoscut) care realizeaz gruparea datelor de antrenament n mai multe clase
Nr de clase poate fi pre-definit (k) sau necunoscut
Datele dintr-o clas sunt asemntoare
clasa asociat unei date (noi) de test folosind gruparea nvat pe datele de antrenament
Alte denumiri
Clustering
nvare ne-supervizat definire
Supervizat vs. Ne-supervizat
nvare ne-supervizat definire
Distane ntre 2 elemente p i q R
m
Euclideana
d(p,q)=sqrt(
j=1,2,...,m
(p
j
-q
j
)
2
)
Manhattan
d(p,q)=
j=1,2,...,m
|p
j
-q
j
|
Mahalanobis
d(p,q)=sqrt(p-q)S
-1
(p-q)),
unde S este matricea de variaie i covariaie (S= E[(p-E[p])(q-E[q])])
Produsul intern
d(p,q)=
j=1,2,...,m
p
j
q
j
Cosine
d(p,q)=
j=1,2,...,m
p
j
q
j
/ (sqrt(
j=1,2,...,m
p
j
2
) * sqrt(
j=1,2,...,m
q
j
2
))
Hamming
numrul de diferene ntre p i q
Levenshtein
numrul minim de operaii necesare pentru a-l transforma pe p n q
Distan vs. Similaritate
Distana min
Similaritatea max
nvare ne-supervizat exemple
Gruparea genelor
Studii de pia pentru gruparea clienilor
(segmentarea pieei)
news.google.com
nvare ne-supervizat proces
Procesul
2 pai:
Antrenarea
nvarea (determinarea), cu ajutorul unui algoritm, a clusterilor
existeni
Testarea
Plasarea unei noi date ntr-unul din clusterii identificai n etapa de
antrenament
Calitatea nvrii (validarea clusterizrii):
Criterii interne
Similaritate ridicat n interiorul unui cluster i similaritate redus
ntre clusteri
Criteri externe
Folosirea unor benchmark-uri formate din date pre-grupate
nvare ne-supervizat evaluare
Msuri de performan
Criterii interne
Distana n interiorul clusterului
Distana ntre clusteri
Indexul Davies-Bouldin
Indexul Dunn
Criteri externe
Compararea cu date cunoscute n practic este imposibil
Precizia
Rapelul
F-measure
nvare ne-supervizat evaluare
Msuri de performan
Criterii interne
Distana n interiorul clusterului c
j
care conine n
j
instane
Distana medie ntre instane (average distance)
D
a
(c
j
) =
xi1,xi2cj
||x
i1
x
i2
|| / (n
j
(n
j
-1))
Distana ntre cei mai apropiai vecini (nearest
neighbour distance)
D
nn
(c
j
) =
xi1cj
min
xi2cj
||x
i1
x
i2
|| / n
j
Distana ntre centroizi
D
c
(c
j
) =
xi,cj
||x
i

j
|| / n
j
, unde
j
= 1/ n
j

xicj
x
i
nvare ne-supervizat evaluare
Msuri de performan
Criterii interne
Distana ntre 2 clusteri c
j1
i c
j2
Legtur simpl
d
s
(c
j1
, c
j2
) = min
xi1cj1, xi2cj2
{||x
i1
x
i2
||}
Legtur complet
d
co
(c
j1
, c
j2
) = max
xi1cj1, xi2cj2
{||x
i1
x
i2
||}
Legtur medie
d
a
(c
j1
, c
j2
) =
xi1cj1, xi2cj2
{||x
i1
x
i2
||} / (n
j1
* n
j2
)
Legtur ntre centroizi
d
ce
(c
j1
, c
j2
) = ||
j1

j2
||
nvare ne-supervizat evaluare
Msuri de performan
Criterii interne
Indexul Davies-Bouldin min clusteri compaci
DB = 1/nc*
i=1,2,...,nc
max
j=1, 2, ..., nc, j i
((
i
+
j
)/d(
i
,
j
))
unde:
nc numrul de clusteri

i
centroidul clusterului i

i
media distanelor ntre elementele din clusterul i i centroidul
i
d(
i
,
j
) distana ntre centroidul
i
i centroidul
j
Indexul Dunn
Identific clusterii deni i bine separai
D=d
min
/d
max
Unde:
d
min
distana minim ntre 2 obiecte din clusteri diferii distana intra-
cluster
d
max
distana maxim ntre 2 obiecte din acelai cluster distana inter-
cluster
nvare ne-supervizat - tipologie
Dup modul de formare al clusterilor
C. ierarhic
C. ne-ierarhic (partiional)
C. bazat pe densitatea datelor
C. bazat pe un grid
nvare ne-supervizat - tipologie
Dup modul de formare al clusterilor
Ierarhic
se creaz un arbore taxonomic (dendogram)
crearea clusterilor (recursiv)
nu se cunoate k (nr de clusteri)
aglomerativ (de jos n sus) clusteri mici spre
clusteri mari
diviziv (de sus n jos) clusteri mari spre clusteri
mici
Ex. Clustering ierarhic aglomerativ
nvare ne-supervizat - tipologie
Dup modul de formare al clusterilor
Ne-ierarhic
Partiional se determin o mprire a datelor toi clusterii
deodat
Optimizeaz o funcie obiectiv definit
Local doar pe anumite atribute
Global pe toate atributele
care poate fi
Ptratul erorii suma patratelor distanelor ntre date i centroizii
clusterilor min
Ex. K-means
Bazat pe grafuri
Ex. Clusterizare bazat pe arborele minim de acoperire
Bazat pe modele probabilistice
Ex. Identificarea distribuiei datelor Maximizarea ateptrilor
Bazat pe cel mai apropiat vecin
Necesit fixarea apriori a lui k fixarea clusterilor iniiali
Algoritmii se ruleaz de mai multe ori cu diferii parametri i se alege
versiunea cea mai eficient
Ex. K-means, ACO
nvare ne-supervizat - tipologie
Dup modul de formare al clusterilor
bazat pe densitatea datelor
Densitatea i conectivitatea datelor
Formarea clusterilor de bazeaz pe densitatea
datelor ntr-o anumit regiune
Formarea clusterilor de bazeaz pe conectivitatea
datelor dintr-o anumit regiune
Funcia de densitate a datelor
Se ncearc modelarea legii de distribuie a
datelor
Avantaj:
Modelarea unor clusteri de orice form
nvare ne-supervizat - tipologie
Dup modul de formare al clusterilor
Bazat pe un grid
Nu e chiar o metod nou de lucru
Poate fi ierarhic, partiional sau bazat pe
densitate
Pp. segmentarea spaiului de date n zone regulate
Obiectele se plaseaz pe un grid multi-dimensional
Ex. ACO
nvare ne-supervizat - tipologie
Dup modul de lucru al algoritmului
Aglomerativ
1. Fiecare instan formeaz iniial un cluster
2. Se calculeaz distanele ntre oricare 2 clusteri
3. Se reunesc cei mai apropiai 2 clusteri
4. Se repet paii 2 i 3 pn se ajunge la un singur cluster sau la un alt
criteriu de stop
Diviziv
1. Se stabilete numrul de clusteri (k)
2. Se iniializeaz centrii fiecrui cluster
3. Se determin o mprire a datelor
4. Se recalculeaz centrii clusterilor
5. Se rept pasul 3 i 4 pn partiionarea nu se mai schimb (algoritmul a
convers)
Dup atributele considerate
Monotetic atributele se consider pe rnd
Politetic atributele se consider simultan
nvare ne-supervizat - tipologie
Dup tipul de apartenen al datelor la
clusteri
Clustering exact (hard clustering)
Asociaz fiecarei intrri x
i
o etichet (clas) c
j
Clustering fuzzy
Asociaz fiecarei intrri x
i
un grad (probabilitate) de
apartenen f
ij
la o anumit clas c
j
o instan x
i
poate aparine mai multor clusteri
nvare ne-supervizat algoritmi
Clustering ierarhic aglomerativ
K-means
AMA
Modele probabilistice
Cel mai apropiat vecin
Fuzzy
Reele neuronale artificiale
Algoritmi evolutivi
ACO
nvare ne-supervizat algoritmi
Clustering ierarhic aglomerativ
Se consider o distan ntre 2 instane
d(x
i1
, x
i2
)
Se formeaz N clusteri, fiecare coninnd
cte o instan
Se repet
Determinarea celor mai apropiai 2 clusteri
Se reunesc cei 2 clusteri un singur cluster
Pn cnd se ajunge la un singur cluster
(care conine toate instanele)
nvare ne-supervizat algoritmi
Clustering ierarhic aglomerativ
Distana ntre 2 clusteri c
i
i c
j
:
Legtur simpl minimul distanei ntre obiectele din cei
2 clusteri
d(c
i
, c
j
) = max
xi1ci, xi2cj
sim(x
i1
, x
i2
)
Legtur complet maximul distanei ntre obiectele din
cei 2 clusteri
d(c
i
, c
j
) = min
xi1ci, xi2cj
sim(x
i1
, x
i2
)
Legtur medie media distanei ntre obiectele din cei 2
clusteri
d(c
i
, c
j
) = 1 / (n
i
*n
j
)
xi1ci

xi2cj
d(x
i1
, x
i2
)
Legtur medie peste grup distana ntre mediile
(centroizii) celor 2 clusteri
d(c
i
, c
j
) = (
i
,
j
), distan,
j
= 1/ n
j

xicj
x
i
nvare ne-supervizat algoritmi
K-means (algoritmul Lloyd/iteraia Voronoi)
Pp c se vor forma k clusteri
Iniializeaz k centroizi
1
,
2
, ...,
k
Un centroid
j
(i=1,2, ..., k) este un vector cu m valori (m
nr de atribute)
Repet pn la convergen
Asociaz fiecare instan celui mai apropiat centroid
pentru fiecare instan x
i
, i = 1, 2, ..., N
c
i
= arg min
j = 1, 2, ..., k
||x
i
-
j
||
2
Recalculeaz centroizii prin mutarea lor n media
instanelor asociate fiecruia pentru fiecare cluster c
j
, j
= 1, 2, ..., k

j
=
i=1,2, ...N
1
ci=j
x
i
/
i=1,2, ...N
1
ci=j
nvare ne-supervizat algoritmi
K-means
nvare ne-supervizat algoritmi
K-means
Iniializarea a k centroizi
1
,
2
, ...,
k
Cu valori generate aleator (n domeniul de definiie al
problemei)
Cu k dintre cele N instane (alese n mod aleator)
Algoritmul converge ntotdeauna?
Da, pt c avem funcia de distorsiune J
J(c, ) =
i=1,2, ..., N
||x
i
-
cj
||
2
care este descresctoare
Converge ntr-un optim local
Gsirea optimului global NP-dificil
nvare ne-supervizat algoritmi
Clusterizare bazat pe arborele minim de acoperire (AMA)
Se construiete AMA al datelor
Se elimin din arbore cele mai lungi muchii,
formndu-se clusteri
nvare ne-supervizat algoritmi
Modele probabilistice
http://www.gatsby.ucl.ac.uk/~zoubin/cours
e04/ul.pdf
http://learning.eng.cam.ac.uk/zoubin/nipstu
t.pdf
nvare ne-supervizat algoritmi
Cel mai apropiat vecin
Se eticheteaz cteva dintre instane
Se repet pn la etichetarea tuturor
instanelor
O instan ne-etichetat va fi inclus n clusterul
instanei cele mai apropiate
dac distana ntre instana neetichetat i cea
etichetat este mai mic dect un prag
nvare ne-supervizat algoritmi
Clusterizare fuzzy
Se stabilete o partiionare fuzzy iniial
Se construiete matricea gradelor de apartenen U, unde
u
ij
gradul de apartenen al instanei x
i
(i=1,2, ..., N) la
clusterul c
j
(j = 1, 2, ..., k) (u
ij
[0,1])
Cu ct u
ij
e mai mare, cu att e mai mare ncrederea c instana x
i
face parte
din clusterul c
j
Se stabilete o funcie obiectiv
E
2
(U) =
i=1,2, ..., N

j=1,2,...,k
u
ij
||x
i
-
j
||
2
,
unde
j
=
i=1,2, ..., N
u
ij
x
i
centrul celui de-al j-lea fuzzy cluster
care se optimizeaz (min) prin re-atribuirea instanelor (n
clusteri noi)
Clusering fuzzy clusterizare hard (fix)
impunerea unui prag funciei de apartenen u
ij
nvare ne-supervizat algoritmi
Algoritmi evolutivi
Algoritmi
Inspirai din natur (biologie)
Iterativi
Bazai pe
populaii de poteniale soluii
cutare aleatoare ghidat de
Operaii de selecie natural
Operaii de ncruciare i mutaie
Care proceseaz n paralel mai multe soluii
Metafora evolutiv
Evoluie natural Rezolvarea problemelor
Individ Soluie potenial (candidat)
Populaie Mulime de soluii
Cromozom Codarea (reprezentarea) unei soluii
Gen Parte a reprezentrii
Fitness (msur de adaptare) Calitate
ncruciare i mutaie Operatori de cutare
Mediu Spaiul de cutare al problemei
nvare ne-supervizat algoritmi
Algoritmi evolutivi
Initializare populaie P(0)
Evaluare P(0)
g := 0; //generaia
CtTimp (not condiie_stop) execut
Repet
Selecteaz 2 prini p1 i p2 din P(g)
ncruciare(p1,p2) =>o1 i o2
Mutaie(o1) => o1*
Mutaie(o2) => o2*
Evaluare(o1*)
Evaluare(o2*)
adugare o1* i o* n P(g+1)
Pn cnd P(g+1) este complet
g := g + 1
Sf CtTimp
Populaie
(prini)
S
e
l
e
c

i
e

p
e
n
t
r
u

p
e
r
t
u
r
b
a
r
e
ncruciare
M
u
t
a

i
e

Populaie
(urmai)
Selecie de
supravieuire
nvare ne-supervizat algoritmi
Algoritmi evolutivi
Reprezentare
Cromozomul = o partiionare a datelor
Ex. 2 clusteri cromozom = vector binar
Ex. K clusteri cromozom = vector cu valori din {1,2,,k}
Fitness
Calitatea partiionrii
Iniializare
Aleatoare
ncruciare
Punct de tietur
Mutaie
Schimbarea unui element din cromozom
nvare ne-supervizat algoritmi
ACO
Preferina pentru drumuri cu nivel ridicat de
feromon
Pe drumurile scurte feromonul se nmulete
Furnicile comunic pe baza urmelor de feromon
nvare ne-supervizat algoritmi
ACO
Algoritm de clusterizare bazat pe un grid
Obiectele se plaseaz aleator pe acest grid, urmnd ca furnicuele s le
grupeze n funcie de asemnarea lor
2 reguli pentru furnicue
Furnica ridic un obiect-obstacol
Probabilitatea de a-l ridica e cu att mai mare cu ct obiectul este mai izolat (n apropierea lui
nu se afl obiecte similare)
p(ridica)=(k
+
/(k
+
+f))
2
Furnica depune un obiect (anterior ridicat) ntr-o locaie nou
Probabilitatea de a-l depune e cu att mai mare cu ct n vecintatea locului de plasare se
afla mai multe obiecte asemntoare
p(depune)=(f/(k
-
+f))
2
k
+
, k
-
- constante
f procentul de obiecte similare cu obiectul curent din memoria furnicuei
Furnicuele
au memorie
rein obiectele din vecintatea poziiei curente
se mic ortogonal (N, S, E, V) pe grid pe csuele neocupate de alte furnici
Recapitulare
Sisteme care nva singure (SIS)
Maini cu suport vectorial (MSV)
Modele computaionale care
rezolv (n special) probleme de nvare supervizat
prin identificarea celui mai bun hyper-plan de separare
a datelor
K-means
Modele computaionale care
rezolv probleme de clusterizare
nu se cunosc etichetele claselor
prin
minimizarea diferenelor ntre elementele aceleai
calse
maximizarea diferenelor ntre elementele claselor
diferite
Cursul urmtor
A. Scurt introducere n Inteligena Artificial (IA)
B. Rezolvarea problemelor prin cutare
Definirea problemelor de cutare
Strategii de cutare
Strategii de cutare neinformate
Strategii de cutare informate
Strategii de cutare locale (Hill Climbing, Simulated Annealing, Tabu Search, Algoritmi
evolutivi, PSO, ACO)
Strategii de cutare adversial
C. Sisteme inteligente
Sisteme bazate pe reguli n medii certe
Sisteme bazate pe reguli n medii incerte (Bayes, factori de
certitudine, Fuzzy)
Sisteme care nva singure
Arbori de decizie
Reele neuronale artificiale
Maini cu suport vectorial
Algoritmi evolutivi
Sisteme hibride
Informaiile prezentate au fost colectate din
diferite surse de pe internet, precum i din
cursurile de inteligen artificial inute n
anii anteriori de ctre:
Conf. Dr. Mihai Oltean
www.cs.ubbcluj.ro/~moltean
Lect. Dr. Crina Groan -
www.cs.ubbcluj.ro/~cgrosan
Prof. Dr. Horia F. Pop -
www.cs.ubbcluj.ro/~hfpop