Documente Academic
Documente Profesional
Documente Cultură
NEAGOE - Inteligenta Computationala
NEAGOE - Inteligenta Computationala
w1
x1
x2
xn
.
.
.
.
w2
fNA(net-)
wn
Fig. Z.1. Neuron artificial cu n intrri x1, x2,xn, cu ponderile w1, w2,wn cu pragul i cu ieirea y.
net= xi wi
i 1
(a)
(c)
(e)
(b)
(d)
(f)
Fig. Z.2. Funcii de activare ale neuronului. (a) liniar. (b) treapt. (c) ramp. (d) sigmoid.
(e) tangent hiperbolic. (f) gaussian.
a. Funcie liniar
b. Funcie treapt
1, dac net
fNA (net-) =
2, dac net
Cazurile particulare interesante sunt (1=1 i 2=0) sau (1=1 i 2=-1).
c. Funcia ramp
fNA (net-)= , daca net-
net- daca net <
-, dac net- -
d. Funcie sigmoidal
fNA (net-)=
1
, ( 0 )
1 e ( net )
f. Funcie gaussian
fNA (net-) = e ( net )
2 / 2
wa
yk
wb
we
ym
wf
m
k
yk
p yp
ym
q yq
Z.1.4.
A.
B.
C.
A.
n reelele pentru aproximare funcional, semnalul de ieire
depinde n mod unic de semnalul de intrare. Maparea este parametric, aceste reele
putnd fi privite ca sisteme de funcii de baz, care depind de tehnologia folosit
pentru realizarea lor, a cror parametri (de obicei ponderile sinaptice) sunt
potrivii la setul de date de nvare prin calcul algebric sau algoritmi de
optimizare de tip gradient. Modelele reprezentative pentru aceast categorie sunt:
Perceptronul multistrat
Madaline
Reelele cu funcii de baz radiale
Reelele feedforward.
B.
n reele pentru transferul strii, feedback-urile i neliniaritile
sunt att de puternice nct starea reelei evolueaz rapid spre una din strile
stabile. Informaia de intrare determin starea iniial, iar starea final este obinut
prin evoluia reelei. Din aceast categorie de reele neuronale fac parte:
Reeaua Hopfield
Maina Boltzmann.
C.
n reelele bazate pe nvarea competitiv sau reelele cu autoorganizare neuronii, cel puin n cele mai simple arhitecturi, primesc informaie de
intrare identic. Prin intermediul legturilor laterale aceti neuroni concureaz la
privilegiul de a fi activai i, implicit, de a-i modifica ponderile sinaptice. n final,
fiecare neuron sau grup de neuroni este sensibilizat la un diferit domeniu din
spaiul vectorilor de intrare i va aciona ca un decodor al acelui domeniu. Reelele
neuronale reprezentative acestei categorii sunt:
Reelele bazate pe nvarea competitiv simpl pentru clustering i
cuantizare vectorial;
Reelele ART (Adaptive Rezonance Theory) ale lui Carpenter i
Grossberg bazate pe teoria rezonanei adaptive;
Hrile autoorganizabile ale lui Kohonen (Self-Organizing Maps).
Un alt criteriu de clasificare este tipul de nvare.
nvarea este procesul prin care reeaua neuronala se adapteaz la stimuli
i, n cele din urm, produce rspunsurile dorite n cazul nvrii supervizate sau o
mulime consistent de ieiri n cazul nvrii nesupervizate. Cunoaterea pe care
reeaua o dobndete este memorat n ponderile sinapselor dintre neuroni.
Vectorii de instruire se prezint reelei n mod secvenial i ponderile
sinaptice sunt ajustate pentru a capta cunoaterea pe care aceti vectori o conin.
Ajustarea ponderilor se face cu o procedur prestabilit, numit legea de nvare
sau algoritmul de nvare.
Exist doua tipuri fundamentale de nvare n reelele neuronale:
o pk
o pM
k
o
w11
Strat de ieire
(M neuroni)
o
wML
Strat intermediar
(L neuroni)
h
wLn
h
w11
x p1
i
i
i
Strat de intrare
(n neuroni)
x pn
x pi
W jh1
x p1
x pn
h
W jn
i pj
W ,
h
ji
Dac notm
W jh
i 1
t
W jh1,,W jnh
1
(>0)
1 e x
(neliniaritate sigmoidal conform Fig. Z.2.d) sau f x th x (neliniaritate de tip
Wko1
i p1
i pL
o
WkL
o pk
liniara
Avem doua etape de prelucrare:
neliniara
Etapa liniar ()
Activarea neuronului k din stratul de ieire, cnd la intrarea PM se aplica vectorul
este data de formula
L
unde netopk este o variabila de stare interna (activarea neuronului de ieire k).
Etapa neliniar
Ieirea neuronului de ieire k este o funcie neliniar de activarea netopk si pragul
o pk f ko netopk ok , k=1,,M ()
unde f ok poate fi sigmoidal sau tangenta hiperbolic (indicele o este marca
stratului de ieire-output).
Algoritmul de instruire
Perceptronul multistrat clasic are un algoritm de instruire supervizat, de
tip gradient descendent (GD), n scopul minimizrii pe lotul de instruire a erorii
ptratice definit ca diferena ntre ieirile ideale i ieirile reale ale neuronilor de
ieire ai PM.
Se noteaz
1M
T
2
E p y pk o pk eroarea determinata de vectorul de instruire X p x p1 ,, x pn ,
2 k 1
unde Yp y p1,, y pM T este vectorul M-dimensional al ieirilor ideale cnd la
E p
W jih
(j=1,,L, i=1,,n)
Eroare
Minim
Fig. Z.7. Ilustrarea principiuluiPondere
GD.
F(r)
+
+
III
II
II
III
Fig. Z.10. Graficul excitaiei produse de ctre neuronul central, ctigtor, asupra vecinilor
n funcie de distan.
x1
x2
x3
xn
Wi= (w1i,,wni)t, unde wji este ponderea conexiunii intre intrarea de index
j (j=1,,n) si neuronul (de ieire) de index i (i=1,,M). S presupunem c HA
care trebuie instruit este format din M neuroni ( de ieire) i lotul de nvare
conine L vectori Xl Rn. Vom considera o iteraie ca fiind o trecere complet prin
tot lotul de nvare. Algoritmul clasic de instruire al HA Kohonen este urmtorul:
1. - se iniializeaz ponderile celor M neuroni de ieire cu valori mici, aleatoare;
- se aleg parametrii de control ai ratei de nvare;
- se aleg parametrii de control ai vecintii astfel nct raza iniial a acesteia s fie
aproximativ egal cu jumtate din distana dintre cei mai ndeprtai neuroni din reea;
- se aleg condiiile de oprire care pot fi date de:
* atingerea numrul maxim de iteraii kmax i/sau
* eroarea ataat ntregului lot de nvare scade sub eroarea maxim
admisibil Emax > 0 i/sau
* suma modificrilor tuturor vectorilor pondere la parcurgerea lotului de
nvare scade sub o anumit valoare min > 0;
- se pune k = 0 i l = 0;
2. - se prezint reelei un nou vector de instruire X(k);
c arg min X (k ) Wi
i
arg min [ x (k ) w
n
j 1
ji
(k )]2
bazate pe trei valori; ali logicieni cunoscui (Kurt Godel, John von Neumann, Donald
Kleene, Max Black etc.) au extins logica la valori multiple. Recent a aprut o opinie,
deocamdat singular, care susine c Wilkinson, care a publicat n anul 1963 un articol
referitor la generalizarea mulimilor cu logici multiple (fr a folosi termenul de fuzzy,
ci cel de logic analogic ) ar fi adevratul printe al logicii fuzzy.
Logica i sistemele fuzzy sunt marcate de o atenie crescnd n ultimii ani,
att din partea comunitii tiinifice ct i din partea consumatorilor, mergnd pn
la produse domestice i echipament electric. Se estimeaz c s-au publicat zeci de mii
de articole n domeniul logicii fuzzy. Exist zeci de jurnale (periodice) care au
cuvntul fuzzy n titlu. S-au eliberat mai multe mii de patente n acest domeniu, iar
japonezii au peste cteva mii de cercettori implicai n domeniul logicii fuzzy.
Logica fuzzy aduce un formalism necesar pentru implementarea unei categorii
speciale de sisteme expert. Aplicaii ca automobile, camere de luat vederi, maini de
splat, cuptoare, etc., utilizeaz sisteme fuzzy, o gam uria de produse cu succes pe
pia.
n anul 1973, Zadeh a formulat principiul de incompatibilitate: Pe msur
ce complexitatea sistemului crete, abilitatea de a face declaraii precise i
relevante despre acesta scade pn ntr-un anumit punct dup care precizia i
relevana devin caracteristici care se exclud reciproc.
Logica fuzzy plaseaz observatorul uman n centrul procesului de
proiectare spre deosebire de tehnicile bazate pe modele matematice care sunt
utilizate de obicei.
Logica fuzzy reprezint deci o abordare diferit pentru rezolvarea unei
probleme. Includerea experienei umane n procesul de proiectare implic necesitatea
ca mecanismele s cuantifice exact semnificaia declaraiilor fuzzy fcute de experi.
Utilitatea sursei de informaie este foarte dependent de scopul aplicaiei, dar
probabil c rezultatul principal al multelor aplicaii ale sistemelor fuzzy va fi c
experiena uman este cea mai important parte din procesul de proiectare.
1 pentru x A
0 pentru x A
A x
(1)
A x 0,1, x X
O
funcie
de
apartenen
fuzzy
este
A .
dac (Fig. Z.15)
x, y X , 0,1: A x 1 y min A x , A y .
unimodal
(2)
(3)
H A max A x .
(4)
O mulime fuzzy este normal dac exist x X astfel nct A(x)=1 (HA = 1).
Altfel A este o mulime subnormal.
-cut (tietur de tip ) este o mulime de nivel al mulimii fuzzy A,
definit astfel (Fig. Z.17):
x pentru A x
(5)
A A
0
in
rest
d A, x 1
1 altfel
A x
(6).
(7)
(8)
asociativitatea: T x, T y, z T T x, y , z , x, y, z 0,1;
monotonia: T x, y T x' , y' dac x x' i y y ' ;
identitatea fa de 1: T x,1 x, x 0,1
n continuare sunt prezentate cteva norme triunghiulare:
Minim: min a, b mina, b;
Lukaschiewicz: TL a, b maxa b 1,0;
Produs: TP a, b a b ;
Slab: TW a, b mina, b pentru maxa, b 1 ;
0
altfel
a b
Hamacher : H a, b
, 0 ;
1 a b a b
Dubois i Prade: D a, b
Yager: Y p a, b 1 min 1, p 1 a p 1 b p , p 0 ;
a b
, 0,1 ;
max a, b,
pentru 0
mina, b
T a, b
pentru 1
p
Frank:
F a, b TL a, b
pentru
a
b
1 1
1 log 1
altfel
1
2. baza de cunostine
3. partea de luare a deciziilor
4. interfaa de defuzzificare.
Un sistem de inferena fuzzy poate fi reprezentat n forma urmtoare
Premiza: x is A '
Implicaia 1.: If x is A1 , then y is B1 else
Implicaia 2.: If x is A 2 , then y is B 2 else
(9)
i
1
'
'
1
'
i
j
i
p
'
n
'
1
'
p
'
j
(11)
y g j , j * arg max j
*
j 1
(13)
(14)
j 1
normal ca la fiecare pas (la fiecare generaie t) s reinem cel mai promitor individ
care a fost generat pn atunci. Acest proces se numete elitism.
Observaii
A. Iniializare
Iniial se genereaz aleator un set de soluii individuale pentru a constitui
populaia. Dimensiunea populaiei depinde de natura problemei, dar n mod
normal conine cteva sute sau cteva mii de soluii poteniale (cromozomi). n
mod tradiional, populaia este generat aleator, acoperind ntreaga gam de
soluii poteniale (spaiul cutrilor). Uneori, soluiile iniiale pot fi plantate
n zone unde este mai plauzibil s fie gsite soluii optime.
B. Selecia
n fiecare generaie, o proporie din populaia curent este selectat pentru
reproducie, n cadrul unui proces bazat pe funcia de fitness, astfel nct
soluiile mai bine adaptate sunt mai probabil de a fi selectate (adaptarea fiind
evaluat prin funcia de fitness).
Algoritmul de selecie dei implic funcia de fitness are un caracter
stohastic, unele din cele mai populare metode de selecie fiind:
o Selecia proporional
n cazul seleciei proporionale, probabilitatea de selecie a unui individ
depinde de valoarea funciei de fitness a acestuia. Pentru fiecare cromozom xi
vom calcula performana sa f(xi). Se impune condiia ca f(xi) 0. Suma
performanelor tuturor cromozomilor din populaie va constitui performana
n
Descendenii sunt:
D. Mutaia
Mutaia este cel de-al doilea operator genetic, al crui efect este
schimbarea valorii (inversarea) unor gene ale cromozomilor. Operatorul de
mutaie acioneaz asupra genelor indiferent de poziia lor n cromozom. Fiecare
gen (bit) al cromozomului poate suferi o mutaie. ntr-un cromozom pot exista,
aadar, mai multe poziii care sufer o mutaie. Mutaia este un operator
probabilist. Considerm o populaie de n indivizi (cromozomi), fiecare avnd
lungimea r. Fiecare gen are aceeai probabilitate pm de a suferi mutaia.
Exist mai multe variante ale operatorului de mutaie. Un exemplu este
acela cnd se procedeaz n felul urmtor:pentru fiecare gen din fiecare
cromozom se genereaz un numr aleator q n intervalul [0,1). Dac q < pm,
Z.4. Aplicaii
Mai departe se prezint cteva aplicaii de inteligen computaional n
domeniile biometriei, analizei imaginilor satelitare i roboticii vehiculare, realizate
n cadrul Universitii Politehnica Bucureti, bazate pe sistemul de module
neuronale cu autoorganizare concurente (Concurrent Self Organizing
Maps=CSOM) propus de Neagoe.
Z.4.2. Recunoaterea
multispectrale
formelor
imaginile
satelitare
Referine
and Concurrent Self-Organizing Maps for Color Pattern Recognition, Proc. of
the 2008 World Congress in Computer Science, Computer Engineering, and
Applied Computing (WORLDCOMP'08), The 2008 International Conference
on Image Processing, Computer Vision & Pattern Recognition (ICPV'08),
July 14-17, 2008, Las Vegas, Nevada, USA, pp. 28-34, CSREA Press Number
07EX 1573C, ISBN: 1-60132-076-0, 1-60132-077-9 (1-60132-078-7).
Using Decision Fusion of Neural Classifiers in the Visible and Thermal
Infrared Spectrum, Proc. of the 2007 IEEE International Conference on
Advanced Video and Signal based Surveillance (AVSS 2007), London (United
Kingdom), 5-7 September 2007, ISBN: 978-1-4244-1696-7.
V. Neagoe and G. Strugaru, "Concurrent neural classifiers for pattern
recognition in multispectral satellite imagery", 12th WSEAS CSCC
Multiconference. Heraklion, Crete Island, Greece, July 22-25, 2008, pp. 893898, ISBN: 978-960-6766-85-5.
navigation using a concurrent neural classifier", Proc. of the World Automation
Congress, 2008 (WAC 2008), International Symposium on Soft Computing in
Industry (ISSCI'08), Sept. 28Oct. 2, 2008, Hawaii, USA, ISBN:978-1889335-38-4, IEEE Catalog No. 08EX2476.