UNIVERSITATEA DIN CRAIOVA
FACULTATEA DE AUTOMATICĂ, CALCULATOARE ŞI
ELECTRONICĂ
PROBLEME CALITATIVE ÎN DINAMICA
REŢELELOR NEURONALE
REZUMATUL TEZEI DE DOCTORAT
Autor: Ing. Daniela Danciu
Conducător ştiinţific
Prof. dr. ing. Vladimir Răsvan
CRAIOVA
2003
CUPRINS
C U P R I N S .......................................................................................................1
Introducere............................................................................................................3
Structura tezei .......................................................................................................4
Capitolul 1 – Tipuri şi modele dinamice de reţele neuronale..............................6
1.1. Caracteristici de bază ale reţelelor neuronale ...........................................6
1.1.1. Neuronul artificial ..............................................................................6
1.1.2. Funcţii de activare ..............................................................................7
1.1.3 Topologii .............................................................................................8
1.1.4. Tipuri de reţele neuronale ..................................................................9
1.1.5. Metode de învăţare .............................................................................9
1.2. Modele de neuroni artificiali...................................................................10
1.2.1. Modele de neuroni artificiali fără reacţie.........................................10
1.2.2. Modele de neuroni artificiali cu reacţie ...........................................10
1.3. Reţele neuronale tip Hopfield .................................................................12
1.4. Memorii asociative bidirecţionale...........................................................13
1.5. Reţele neuronale competitive..................................................................14
1.6. Reţele neuronale celulare ........................................................................15
Capitolul 2 - Elemente de teoria stabilităţii în sens Liapunov şi sisteme cu mai
multe stări de echilibru .......................................................................................16
2.1. Stabilitatea în sens Liapunov pentru sisteme autonome.........................16
2.2. Metoda funcţiei Liapunov .......................................................................16
2.3. Proprietăţile sistemelor cu mai multe echilibre ......................................18
Capitolul 3 - Funcţii Liapunov pentru reţele neuronale ....................................21
3.1. Funcţia Hopfield......................................................................................21
3.2. Metoda funcţiei Liapunov pentru reţele neuronale privite ca sisteme cu
mai multe stări de echilibru............................................................................21
3.3. Funcţia Liapunov în studiul memoriilor asociative bidirecţionale ........24
3.4. Funcţia Liapunov pentru reţele neuronale competitive Cohen -
Grossberg........................................................................................................25
3.5. Funcţia Liapunov pentru reţele neuronale celulare ................................26
Capitolul 4 - Prezenţa întârzierii în reţele neuronale şi fenomene induse de
aceasta.................................................................................................................29
4.1. Funcţii Liapunov şi metode intrare/ieşire (tip Popov) pentru reţele
 neuronale cu întârziere................................................................................... 29
4.1.1. Comportament „aproape liniar” pentru reţele neuronale de tip
Hopfield afectate de întârzieri ................................................................... 29
4.1.2. Criterii de stabilitate pentru reţele neuronale celulare cu
întârzieri 33
4.1.3. Rezultate de stabilitate pentru reţele neuronale competitive cu
întârzieri 36
4.2. Metode de comparaţie pentru studiul reţelelor neuronale cu întârzieri. 37
4.2.1. Comportament de tip gradient pentru reţele neuronale tip Hopfield
cu întârzieri ................................................................................................ 37
Capitolul 5 – Concluzii generale ....................................................................... 42
Bibliografie (extras)........................................................................................... 47
2 3
Introducere
O direcţie importantă în domeniul reţelelor neuronale artificiale
(RNA) o constituie abordarea acestora ca sisteme dinamice şi studiul stabilităţii
lor, sau mai general, studiul comportamentului lor calitativ. Importanţa acestei
abordări este subliniată în diferite cărţi de referinţă în domeniul reţelelor
neuronale artificiale [Kos92, Hay94, DeW95] unde se arată că o RNA
funcţionează bine dacă evoluţia ei tinde către echilibrele semnificative pentru
aplicaţia pentru care a fost proiectată; această cerinţă implică proprietatea de
stabilitate a mulţimii de echilibru a reţelei neuronale. Atât din modelarea
sistemelor şi reţelelor neuronale naturale (biologice) cât şi din aplicaţiile
reţelelor neuronale artificiale rezultă structuri care nu implică stabilitatea şi
convergenţa de-a lungul proprietăţilor acestora. Rezultă deci că studiul
stabilităţii, a comportamentului dinamic al reţelelor neuronale, este atractiv,
necesar şi deosebit de important. Deoarece structurile de reţele neuronale
artificiale sunt variate, studiile de stabilitate sunt de asemenea variate.
Proprietăţile de comportament dinamic sunt verificate pe modelul
matematic. Reţelele neuronale artificiale sunt sisteme dinamice neliniare, iar
caracterul sectorial al funcţiilor de activare, în general funcţii sigmoidale, face
posibilă şi adecvată utilizarea metodelor teoriei stabilităţii absolute: funcţia
Liapunov şi inegalitatea Popov în domeniul frecvenţei.
Reţelele neuronale sunt sisteme cu mai multe stări de echilibru.
Această proprietate (existenţa a mai multor echilibre) garantează performanţele
de calcul ale reţelelor neuronale în rezolvarea problemelor. Vom da două
exemple sugestive pentru susţinerea ideii: 1) cazul reţelelor neuronale utilizate
pentru clasificare [Nol94, Nol95], unde echilibrele sistemului reprezintă
vectorii „prototip” care caracterizează diferitele clase de forme şi 2) cazul
utilizării reţelelor neuronale ca optimizator, unde punctele de echilibru vor
reprezenta optimul căutat.
Teza de doctorat, cu titlul „PROBLEME CALITATIVE ÎN
DINAMICA REŢELELOR NEURONALE”, se înscrie în această arie de
preocupări şi îşi propune studiul teoretic, validat prin exemple şi simulări
numerice, al comportamentului dinamic al sistemelor neuronale neliniare. Am
considerat important şi deosebit de util, din punct de vedere practic, studiul
fenomenelor induse de prezenţa întârzierilor în dinamica reţelelor neuronale, de Dan02a, Dan02b] şi a fost impusă de observarea prezenţei întârzierilor în
aceea un capitol al tezei este rezervat acestei problematici. Modelele analizate transmiterea semnalului atât la sistemele biologice (între intrarea şi ieşirea unei
cuprind clasa sistemelor neuronale neliniare continue cu funcţii de activare de celule nervoase cât şi între două celule) cât şi în cazul implementării hardware
tip sectorial şi clasa sistemelor neuronale discrete. a reţelelor neuronale artificiale datorită, de exemplu a întârzierii inerente de
reacţie sau a timpului finit de comutare a amplificatoarelor operaţionale.
Structura tezei Capitolul 5 cuprinde consideraţii generale asupra rezultatelor, a
conţinutului de originalitate şi a metodelor de analiză folosite.
Conţinutul tezei de doctorat a fost structurat în patru capitole,
capitolul cinci cuprinzând concluziile generale şi evidenţierea contribuţiilor
originale ale lucrării.
Capitolul 1 - „Tipuri şi modele dinamice de reţele neuronale” descrie
gradual şi succint caracteristicile de bază ale reţelelor neuronale artificiale:
neuronul artificial, funcţia de activare, topologii şi tipuri de reţele neuronale
artificiale, legi de învăţare. Apoi se continuă cu prezentarea modelelor de
neuroni artificiali şi a unor reţele neuronale artificiale complexe, validate de
practică.
Capitolul 2 - „Elemente de teoria stabilităţii în sens Liapunov şi
sisteme cu mai multe stări de echilibru” are ca scop prezentarea elementelor
teoretice de bază ale metodei Liapunov, un instrument puternic în domeniul
teoriei stabilităţii absolute. Raţionamentele expuse anterior sunt un argument
suficient pentru a justifica introducerea în acest al doilea capitol şi a noţiunilor
şi rezultatelor teoretice privind dinamica sistemelor cu mai multe echilibre.
Capitolul 3 - „Funcţii Lipunov pentru reţele neuronale” are ca scop
obţinerea unor condiţii suficiente pentru un comportament calitativ bun al
sistemelor neuronale artificiale, în sensul celor prezentate în Introducere,
instrumentul de bază în studiile efectuate fiind metoda funcţiei Liapunov. De
remarcat că în acest capitol reţelele neuronale sunt abordate din perspective
diferite: în cadrul de lucru al Teoriei calitative a sistemelor dinamice neliniare,
al Teoriei calitative a sistemelor cu mai multe echilibre, al Teoriei calitative a
sistemelor mari.
Capitolul 4 - „Prezenţa întârzierilor în reţele neuronale artificiale şi
fenomene induse de aceasta” este pe deplin justificat de necesitatea obţinerii
unor condiţii pentru un comportament calitativ dezirabil în cazul dinamicilor
afectate de întârzieri ale reţelelor neuronale. Această abordare este relativ
recentă în domeniu [Bel93, Gop94, Cao96, Dri98, Dan01a, Dan01b, Dan01c,
4 5
 Capitolul 1 – Tipuri şi modele dinamice de reţele neuronale
Reţelele neuronale artificiale sunt dispozitive de calcul din clasa
maşinilor inteligente. Acestea au apărut din ideea modelării sistemului nervos
central în speranţa obţinerii unor performanţe de calcul care să permită
rezolvarea mai simplă a unor sarcini cognitive şi senzoriale, în comparaţie cu
clasicele calculatoare cu procesoare cu prelucrare secvenţială.
1.1. Caracteristici de bază ale reţelelor neuronale
1.1.1. Neuronul artificial
Neuronul reprezintă unitatea structurală şi funcţională a sistemului nervos.
Asemănător creierului biologic, structura reţelelor neuronale artificiale (RNA)
cuprinde un număr mare de elemente simple de procesare neliniare (neuroni
artificiali) care operează în paralel. În elaborarea semnalului de ieşire, aceste
elemente de procesare folosesc doar informaţia disponibilă local în reţea. Ca şi
neuronul biologic, neuronul artificial (Fig.1.1) poate primi la un moment dat
unul sau mai multe semnale de intrare xi şi poate furniza un singur semnal de
ieşire y. Sursa semnalelor de intrare poate fi mediul extern pentru neuronii
câmpului de intrare, sau ieşirile altor neuroni (în cazul cel mai general) pentru
neuronii câmpurilor ascunse sau de ieşire. Fiecare semnal de intrare este
ponderat cu o valoare wi care arată importanţa respectivei intrări în elaborarea
semnalului de ieşire al neuronului. Aceste ponderi pot avea valori pozitive,
numindu-se ponderi excitatoare, sau pot avea valori negative, acţiunea lor fiind
xm
wm
xm-1 wm-1
net y care furnizează un răspuns gradat, neliniar, într-un interval prespecificat.
M M Σ f
x1 w1
x0 = +1 bias
w0
Fig. 1.1. Reprezentarea schematică a neuronului artificial
6 7
inhibitoare pentru neuron. Tot ca intrare este adăugat un termen de polarizare
(în engleză, bias) care exprimă starea iniţială a neuronului. Pentru o tratare
unitară a ponderilor şi a polarizării, cea din urmă se consideră a fi ponderea
unei intrări cu valoarea +1 şi se modifică similar celorlalte ponderi.
 m
 m 
y = f (net ) = f  bias + ∑ wi xi  = f  ∑ wi xi  (1.1)
 i =1   i =0 
1.1.2. Funcţii de activare
Funcţiile de activare ale neuronului artificial au rolul de a restrânge
domeniul de variaţie al ieşirii acestuia la un domeniu prespecificat. În literatura
de specialitate, pentru funcţia de activare a neuronului cele mai utilizate sunt
următoarele: funcţia prag, funcţia rampă, funcţia sigmoidală şi funcţia Gauss.
- Funcţia prag restrânge domeniul de ieşire al neuronului la două valori: {0,
+1} pentru o funcţie prag binară, sau {-1, +1} în cazul funcţiei prag bipolare.
Matematic, în cazul general, funcţia prag are expresia:
α , x ≥ p
f ( x) =  (1.2)
β , x < p
- Funcţia rampă bipolară este o funcţie continuă care prezintă puncte angulare,
puncte în care derivata are un salt. Valorile de saturaţie sunt simetrice faţă de
origine. Expresia funcţiei rampă bipolară este:
1, x ≥ 1

f ( x) =  x , x < 1 (1.3)

 − 1, x ≤ −1
- Funcţia sigmoidală este o funcţie mărginită, monotonă şi nedescrescătoare
Funcţia sigmoidală este utilizată atât în domeniul reţelelor neuronale, cât şi în
alte domenii: statistică, chimie, sociologie. În domeniul reţelelor neuronale
artificiale des utilizată este funcţia sigmoidală bipolară care reprezintă
versiunea netedă a funcţiei rampă bipolară. Exemple de funcţii sigmoidale
bipolare sunt
 e x − e−x 1.1.4. Tipuri de reţele neuronale
f (x ) = tanh ( x) =
e x + e−x 1.1.4.1. Reţele neuronale Instar, Outstar, ADALINE
1 − e− x x 1.1.4.2. Reţele neuronale cu un singur nivel
f (x ) = = tanh   (1.4)
1 + e−x 2 1.1.4.3. Reţele neuronale cu două nivele
2  2x  1.1.4.5. Reţele neuronale multinivel
f (x ) = tan −1  
π π 
1.1.5. Metode de învăţare
acestea având domeniul de valori intervalul (-1, 1).
- Funcţia Gauss este o funcţie radială neliniară (simetrică faţă de origine) cu Învăţarea presupune codificarea informaţiei. Un sistem învaţă o formă
valoarea dispersiei v > 0. Funcţia Gauss este utilizată în reţelele neuronale dacă acesta codifică forma în structura sa. Deci, structura sistemului se
probabilistice, sau în reţelele neuronale în care dispersia este predefinită modifică în timpul învăţării. În cazul reţelelor neuronale, învăţarea înseamnă
[Spe90]. În al doilea caz, funcţia de activare are expresia, modificarea valorilor ponderilor conexiunilor dintre neuronii reţelei în scopul
codificării informaţiei.
( )
f ( x) = exp − x 2 ν , ν > 0 (1.5) Există două mari categorii de proceduri pentru instruirea reţelelor
neuronale: proceduri pentru învăţare supravegheată şi proceduri pentru învăţare
unde x reprezintă media, iar ν dispersia predefinită. nesupravegheată.
Învăţarea supravegheată (supervizată) este o metodă care prevede
1.1.3 Topologii existenţa unui „profesor” extern şi/sau o informaţie globală. Instanţe exterioare
reţelei decid durata epocii de antrenament, numărul de cicluri de antrenament,
Topologia reţelelor neuronale vizează aspecte privind numărul şi
frecvenţa cu care se prezintă anumite asociaţii pentru a fi învăţate şi informaţii
distribuţia neuronilor în straturi şi a straturilor în întreaga reţea, tipul
privind performanţele reţelei (eroarea între răspunsul dorit şi răspunsul
conexiunilor şi modul (direcţia) în care informaţia parcurge neuronii reţelei.
obţinut). Metodele de învăţare supravegheată se împart în două categori:
Neuronii unei reţelele neuronale artificiale sunt organizaţi în straturi.
învăţare structurală şi învăţare temporală.
O reţea neuronală poate avea unul sau mai multe straturi (nivele, câmpuri). În
Învăţarea nesupravegheată sau „autoorganizarea” se bazează doar pe
cadrul unui nivel, neuronii sunt similari privind două aspecte: în primul rând,
informaţia disponibilă local şi nu presupune existenţa unui „profesor”. Reţeaua
semnalele de intrare ale nivelului au aceeaşi sursă şi în al doilea rând, toţi
neuronală primeşte doar date de intrare pe care le organizează. Algoritmii de
neuronii nivelului au aceeaşi dinamică de actualizare.
învăţare nesupravegheată sunt mai puţin complecşi şi mai puţin exacţi decât cei
Reţelele neuronale pot avea două tipuri de conexiuni: conexiuni intra-
corespunzători învăţării supravegheate. învăţarea nesupravegheată este mult
nivel şi conexiuni inter-nivel. Conexiunile intra-nivel reprezintă legături între
mai rapidă, putându-se învăţa într-un singur pas din date afectate de zgomot.
neuronii aceluiaşi câmp, iar conexiunile inter-nivel se referă la conexiuni între
De aceea, învăţarea nesupravegheată este folosită în multe medii de mare
neuronii unor câmpuri diferite. Este posibil ca într-o reţea neuronală să coexiste
viteză, în timp real, când nu există suficient timp, informaţie sau precizie de
cele două tipuri de conexiuni.
calcul pentru utilizarea algoritmilor de învăţare supravegheată.
Clasificarea reţelelor neuronale după sensul în care informaţia
parcurge reţeaua cuprinde reţele neuronale feedforward şi reţele feedback.

8 9
1.2. Modele de neuroni artificiali nz

∑ bi z −i
1.2.1. Modele de neuroni artificiali fără reacţie G ( z −1 ) = i =0
np
, cu an p , bnz ≠ 0 (1.8)

Perceptronul McCulloch-Pitts [McC43] ∑ ai z −i

i =0
Modelul Dahanayake–Upton [Dah95] (perceptronul simplu „deştept”) unde nz şi np sunt numărul de zerouri, respectiv numărul de poli, iar
Modelul Fukushima coeficienţii ai cu 1≤ i ≤ np şi bi cu 1≤ i ≤ nz sunt constanţi, cu an p ≠ 0 şi

1.2.2. Modele de neuroni artificiali cu reacţie bnz ≠ 0 .

• Neuronul artificial cu reacţie la nivelul activării valorile de intrare xi pot
x1 G1
fi valori net obţinute la momente anterioare.
x2 G2 net(t) y(t)
xi (t ) = net (t − kT ) , k = 0, 1, 2, ... (1.6) Σ f
M M
unde T reprezintă perioada de eşantionare. xm Gm
x(t)
Sistem liniar Fig. 1.3. Modelul perceptronului simplu cu reacţie locală la nivelul sinapsei
net(t) y(t)
dinamic ∑ f
Valorile de intrare xi(t) cu 1≤ i ≤ m pot fi preluate de la ieşirea
perceptronului simplu sau, în cazul unei structuri multi-perceptron simplu pot
Fig. 1.2. Modelul perceptronului simplu cu reacţie la nivelul activării fi ieşirile unui strat anterior compus din perceptroni simpli. În primul caz,
structura are reacţie locală la ieşire, în cel de-al doilea caz are reacţie locală la
• Modelul perceptronului cu reacţie locală la nivelul sinapsei a fost propus nivel de sinapsă.
de Tsoi şi Back [Tso94]. Perceptronul simplu utilizat este o versiune
• Modelul perceptronului simplu cu reacţie locală la nivelul ieşirii
modificată a modelului McCulloch-Pitts cu prag :
presupune aplicarea la intrarea sistemului liniar atât a semnalelor x(t) (care pot
m  fi intrări externe sau ieşirile neuronilor dintr-un nivel anterior) cât şi a
y (t ) = f  ∑ Gi ( z −1 ) xi (t )  (1.7)
 i =0  semnalelor de ieşire ale neuronului de la momente anterioare.
x(t)
Sistem y(t)
unde xi(t) cu 1≤ i ≤ m sunt valori de intrare, x0 corespunde intrării de prag (nu net(t)
liniar ∑ f
s-a reprezentat în figură), iar notaţia combinată, în domeniul timp şi frecvenţă, dinamic
def
utilizată z −i x(t ) = x(t − i ) este cea propusă de lucrarea [Tso94] în scopul de a
Fig. 1.4. Modelul perceptronului simplu cu reacţie locală la ieşire
compacta notaţia şi a reliefa caracteristicile structurii.
Fiecare pondere de valoare constantă a fost înlocuită cu o funcţie de Un exemplu de neuron cu reacţie locală la nivelul ieşirii este modelul Frasconi-
transfer liniară Gi(z-1), i = 1, m , cu poli şi zerouri, cu forma generală (1.8) Gori-Soda (Fig. 1.5.) pentru care expresia ieşirii este
10 11
 m M  conexiunilor W este simetrică. Funcţia de activare a neuronului este o funcţie
y (t ) = f  ∑ wi xi (t ) + ∑ k j y (t − j )  (1.9)
neliniară, nedescrescătoare şi mărginită - în cazul continuu, sau funcţia prag
 i =1 j =1 
binară - în cazul discret. Funcţionarea reţelei presupune aplicarea simultană a
unde wi şi kj sunt ponderi constante. În figură întârzierea unitară s-a notat cu ∆.
formei de intrare tuturor neuronilor. Ieşirile acestora vor activa asincron şi
w1 aleator neuronii reţelei până când se va ajunge la o stare globală de echilibru,
x1 stare care va reprezenta ieşirea reţelei. Modelul Hopfield în forma întâlnită des
w2
x2 net(t) y(t) în literatură
Σ f dxi
( )
m
M M = −a i xi − ∑ wij f j x j + I i , i = 1, m (1.10)
dt 1

xm wm
k1 unde indicele i reprezintă numărul neuronului în cadrul nivelului, iar Ii stimulul
kM kj
extern corespunzător.
∆ ∆ ∆
Fig. 1.5. Modelul perceptronului Frasconi-Gori-Soda
1.4. Memorii asociative bidirecţionale
• Modelul general de perceptron simplu îmbină modelul de perceptron cu Memoriile asociative bidirecţionale (BAM) au fost propuse de Kosko
reacţie locală la nivelul sinapsei cu modelul de perceptron cu reacţie locală la [Kos88] ca o extindere a modelului Hopfield. Spre deosebire de reţeaua
ieşire. Acest model stă la baza reţelelor cu reacţie locală care la nivel global Hopfield, o BAM este formată din două câmpuri de neuroni total
sunt reţele feedforward. interconectate, neexistând conexiuni între neuronii aceluiaşi câmp. Dinamica
G1
BAM în timp discret este descrisă de următoarele ecuaţii:
x1 p
xki +1 = ∑ wij R j ( y kj ) + I i , i = 1, n
x2 G2 net(t) y(t) j =1
Σ f
n
(1.6)
M M y j
k +1 = ∑ wij S i ( x ) + J j ,
i
k j = 1, p
i
xm Gm H(z)
Funcţiile de activare (Si şi Rj) sunt funcţii prag binare sau bipolare.
Funcţiile de activare prag cu valori binare au următoarele expresii:
Fig. 1.6. Modelul perceptronului simplu GLRGF
(„General Locally Recurrent Globally Feedforward”) 1, xki > U i 1, y kj > V j

 
S i ( xki ) = S i ( xki −1 ), xki = U i ,
R j ( y kj ) =  R j ( y kj−1 ), y kj = V j (1.7)
 
0, xki < U i 0, yk < V j
j

1.3. Reţele neuronale tip Hopfield

Reţeaua Hopfield, [Hop82] este o reţea neuronală cu un singur câmp
de neuroni total interconectaţi, în care informaţia parcurge conexiunea dintre
doi neuroni oarecare i şi j în ambele direcţii, iar ponderile wij (de la neuronul j
la neuronul i) şi wji (de la neuronul i la neuronul j) sunt egale adică, matricea
12
Pragurile (Ui şi Vj) şi intrările externe (Ii şi Jj) se consideră arbitrare,
iar matricea W a conexiunilor sinaptice constantă.
O BAM este bidirecţional stabilă dacă toate intrările (reprezentând
condiţii iniţiale pentru reţea) generează traiectorii care converg spre echilibre.
Stabilitatea bidirecţională este un echilibru dinamic: acelaşi semnal
13
informaţional va parcurge, înainte şi înapoi echilibrul bidirecţional. Modul în 1.6. Reţele neuronale celulare
care informaţia parcurge reţeaua până la atingerea stării de echilibru poate fi
Reţelele neuronale celulare (RNC) a fost introduse de Chua şi colegii
sugerat de următoarea schemă:
săi [Chu88, Chu93a, Chu93b]. În principiu, o RNC este o reţea analogică în
x→ W →y
care conexiunile unui neuron artificial sunt limitate doar la neuronii din
x′ ← WT ← y vecinătatea imediată a acestuia, conexiunile fiind bidirecţionale. Celulele care
x′ → W → y′ nu sunt conectate direct se pot influenţa indirect datorită efectului de propagare
x′′ ← WT ← y′ a dinamicilor celulelor. O reţea neuronală celulară este o reţea de circuite
. . . identice (celule) distribuite regulat în câmpuri n-dimensionale. Topologia RNC
este foarte variată. Celulele sunt sisteme dinamice cu mai multe intrări şi o
xj → W → yj
ieşire. Interconectarea celulelor ţine cont de vecinătatea acestora definită de o
echilibru bidirecţional
xj ← WT ← yj metrică dată. Funcţia de activare implementată este aceeaşi pentru toate
celulele – funcţia rampă bipolară definită cu relaţia (1.2) echivalentă cu
. . .
expresia (1.9) întâlnită în lucrările lui Chua.
Un punct de echilibru bidirecţional stabil se poate interpreta ca o stare f ( xi ) = 1
2 (x
i + 1 − xi − 1 ) (1.9)
rezonantă. La nivelul unei celule intrările externe se presupun constante pe un
interval de operare. Semnalul total de intrare pentru o celulă este rezultatul
1.5. Reţele neuronale competitive însumării intrărilor de control ur şi a semnalelor de reacţie yr, din vecinătatea Vr
a celulei, ponderate cu valorile ar, respectiv br şi polarizarea constantă I (bias).
Modelul reţelelor neuronale competitive propus de matematicienii
Ecuaţia diferenţială care descrie dinamica unei celule C(i, j) este:
Cohen şi Grossberg [Coh83] are ca punct de inspiraţie sistemul biologic vizual.
dxij
Din punct de vedere topologic, sistemul neuronal competitiv este o reţea = −α xij + ∑ (ar y r + br u r ) + I
dt r (1.10)
autoasociativă bazată pe conexiuni laterale inhibitoare wij < 0, i ≠ j şi o singură
yij = f ( xij )
conexiune excitatoare wii > 0. Dinamica competitivă a modelului Cohen–
Grossberg este descrisă de ecuaţiile
Concluzia acestui prim capitol este că reţelele neuronale sunt formate
 n 
x&i = −ai ( xi ) bi ( xi ) − ∑ cij d j ( x j )  , x = [ x1 L xn ] , i = 1, n (1.8) din mai multe elemente simple de calcul (neuroni artificiali) interconectate,
 j =1  această caracteristică permiţând procesarea în paralel şi codificarea distribuită a
Ecuaţiile (1.8) descriu un sistem autoasociativ cu dinamică de activare informaţiei. Datorită funcţiilor de activare prezente la nivelul fiecărui neuron
artificial, reţelele neuronale artificiale analogice sunt sisteme neliniare.
aditivă dacă funcţiile ai ( xi ) sunt constante, iar funcţiile bi ( xi ) sunt lineare. Existenţa mai multor caracteristici neliniare, datorate neuronilor artificiali
Dacă în (1.8) funcţiile de amplificare ai ( xi ) sunt lineare şi funcţiile bi ( xi ) individuali, conduce la apariţia mai multor echilibre.
sunt nelineare dinamica de activare este de tip multiplicativ.

14 15
 Capitolul 2 - Elemente de teoria stabilităţii în sens Liapunov şi
sisteme cu mai multe stări de echilibru Teorema 2.1 (A. M. Liapunov) Fie sistemul (2.1) şi fie V o funcţie continuă,
derivabilă şi pozitiv definită într-o vecinătate x ≤ δ0 a originii, cu
Reţelele neuronale sunt sisteme cu mai multe echilibre. În acest caz nu *
proprietatea că V (t)=V(x(t)) este monoton descrescătoare pentru orice soluţie
mai interesează numai stabilitatea echilibrelor locale, ci şi comportamentul x(t) a lui (2.1) cu x(0) < δ 0 . Atunci soluţia nulă a (2.1) este stabilă (în sens
global al sistemului. Indiferent de aplicaţiile cărora le sunt destinate,
Liapunov).
comportamentul global la reţelelor neuronale artificiale, comportament care
garantează rezolvarea optimă a problemelor pentru care acestea au fost
proiectate (aceasta referindu-se la absenţa autooscilaţiilor sau a unui Teorema 2.2 Fie sistemul (2.1). Presupunem că există o funcţie V: D→
comportament haotic), poate fi studiat în cadrul mai larg al teoriei calitative a { }
R+, D = x x ≤ δ 0 de clasă C1, pozitiv definită, cu proprietatea că derivata
sistemelor cu mai multe stări de echilibru. Deoarece în cadrul acestei teorii ∂V
instrumentul de bază în verificarea proprietăţilor globale ale sistemelor este sa W ( x) = f ( x) este negativ definită pe D. Atunci soluţia nulă a sistemului
∂x
funcţia Liapunov, capitolul 2 prezintă: (2.1) este asimptotic stabilă.

2.1. Stabilitatea în sens Liapunov pentru sisteme autonome

Stabilitatea în sens Liapunov [Li892] este o teorie a stabilităţii
traiectoriilor sistemelor dinamice (în particular a punctelor de echilibru), având
metode specifice de rezolvare. La modul general, teoria dezvoltată în jurul
conceptului de stabilitate studiază influenţa factorilor perturbatori asupra
mişcării sistemelor materiale, prin mişcare înţelegându-se orice evoluţie în
timp a stării. Un alt concept care îi aparţine lui A.M. Liapunov este acela de
mişcare (evoluţie) de bază, rezultând imediat şi definiţia mişcării perturbate ca
raportare la mişcarea de bază.
2.2. Metoda funcţiei Liapunov
Metoda funcţiei Liapunov, cunoscută şi sub denumirea de „metoda a
doua” sau „metoda directă” Liapunov, a fost şi este în continuare instrumentul
cel mai general pentru studiul stabilităţii soluţiilor sistemelor neliniare. După
cum se va vedea în acest capitol, există şi alte rezultate de comportament
calitativ care se bazează pe proprietăţile funcţiilor Liapunov.
Se consideră sistemul autonom al mişcării perturbate
x& = f (x) , x∈ Rn, f(0) = 0 (2.1)
Teorema 2.3 Fie sistemul (2.1) şi V: Rn→ R o funcţie de clasă C1, pozitiv
∂V
definită şi radial nemărginită cu derivata W ( x) = f ( x) < 0 pentru toţi x.
∂x
Atunci soluţia nulă a sistemului este global asimptotic stabilă.
Definiţia 2.10 Numim funcţie Liapunov pentru sistemul de ecuaţii diferenţiale
(2.1), o funcţie V: D ⊂ Rn→ R care îndeplineşte următoarele condiţii:
i) este de clasă C1,
∂V
ii) derivata sa W ( x) = f ( x) este negativ semidefinită pentru orice
∂x
x∈D,
iii) pentru orice xˆ ∈ D există o vecinătate U şi un µ ∈ R astfel încât pentru
orice x ∈ U să avem V(x) ≥ µ..
Teorema 2.4 (Barbaşin-Krasovski-La Salle) Fie V: D ⊂ Rn→ R o funcţie
Liapunov (în sensul Definiţiei 2.10) pentru sistemul (2.1) şi fie
G = {x W ( x) = 0} mulţimea de anulare a derivatei acesteia. Atunci orice
soluţie a (2.1), definită pe un interval (t′, t″), cu proprietatea că pentru t∈ [t0 ,
t″), x(t) ∈ D, va avea unul din următoarele comportamente asimptotice:

16 17
a) lim x(t ) = ∞ ,
t →t ′′
b) t″ = ∞ şi lim d (x(t ), M ∪ {∞}) = 0 , unde M este cea mai largă mulţime
t →∞
invariantă (în raport cu soluţia x(⋅) a sistemului (2.1)) conţinută în G.
Corolar 2.1 Dacă mulţimea D este mărginită, deschisă şi pozitiv invariantă şi
dacă V este o funcţie Liapunov pentru (2.1) pe D şi dacă M ⊂ D, atunci M este
un atractor şi D este conţinută în bazinul de atracţie al lui M.
Corolar 2.2 Dacă M = {xˆ} , V (xˆ ) = 0 , V (x ) > 0 pentru x într-o vecinătate a
lui x̂ , atunci x̂ este asimptotic stabil. Dacă, în plus, V e radial nemărginită
(adică, V (x ) ≥ α ( x ) , cu α crescător, continuu, α (0) = 0 şi lim α (r ) = ∞ ),
r →∞
atunci x̂ este global asimptotic stabil.
2.3. Proprietăţile sistemelor cu mai multe echilibre
Fie sistemul de ecuaţii diferenţiale ordinare
x& = f ( x, t ) , dim x = dim f = n. (2.2)
unde f : R+ x Rn → Rn este continuă şi local lipschitzian continuă în t.
Condiţiile asupra lui f garantează pe de o parte că, soluţiile sunt continue în
raport cu condiţiile iniţiale şi, pe de altă parte, existenţa unei soluţii unice a
(2.2) pentru fiecare condiţie iniţială în regiunea considerată.
Deoarece conceptul de stabilitate asimptotică globală nu este aplicabil
pentru sisteme cu mai multe echilibre, pentru investigarea comportamentului
global al (2.2) în raport cu întregul set de echilibre vom da următoarele definiţii
[Leo92]:
Definiţia 2.12 a) Orice soluţie constantă a sistemului (2.2) se numeşte vector
staţionar (sau echilibru). Mulţimea E a tuturor vectorilor staţionari ai
sistemului (2.2) se numeşte mulţime staţionară (de echilibre).
b) O soluţie a (2.2) se numeşte convergentă dacă tinde asimptotic către un
echilibru:
18
lim x(t ) = c ∈ E
t →∞
c) O soluţie se numeşte cvasi-convergentă dacă tinde asimptotic către
mulţimea de echilibre:
lim d ( x(t ), E ) = 0
t →∞
unde d(x, M) defineşte distanţa dintre punctul x ∈ Rn şi mulţimea M.
Definiţia 2.13 Sistemul (2.2) se numeşte monostabil dacă orice soluţie
mărginită este convergentă; sistemul este cvasi-monostabil dacă orice soluţie
mărginită este cvasi-convergentă.
Definiţia 2.14 Sistemul (2.2) se numeşte de tip gradient dacă orice soluţie
este convergentă; el este de tip cvasi-gradient dacă orice soluţie este cvasi-
convergentă.
Penru mulţimea staţionară se definesc următoarele proprietăţi [Gel78]:
Definiţia 2.15 a) Mulţimea staţionară E este uniform stabilă dacă pentru
orice ε > 0 există un δ(ε) astfel încât pentru orice t0, dacă d(x(t0), E ) < δ,
atunci d(x(t), E ) < ε pentru orice t ≥ t0.
b) Mulţimea staţionară E este uniform global stabilă dacă ea este uniform
Liapunov stabilă şi sistemul este de tip cvasi-gradient (are asimptotici
globale).
c) Mulţimea staţionară E este punctual global stabilă dacă ea este uniform
Liapunov stabilă şi sistemul este de tip gradient.
De menţionat că, pentru noţiunile prezentate anterior, în literatură mai
există şi alţi termeni. Astfel, noţiunea de convergenţă defineşte o proprietate a
soluţiei şi a fost introdusă de Hirsch [Hir88]. Noţiunea de monostabilitate a
fost introdusă de Kalman în 1957, [Kal57] şi poate fi întâlnită uneori sub
denumirea de mutabilitate strictă [Pop79], iar cvasi-monostabilitatea este
denumită de acelaşi autor mutabilitate, iar de alţii dihotomie [Gel78].
Pentru sistemele monostabile (cvasi-monostabile) se poate evidenţia
un fel de dihotomie, în sensul că soluţiile acestora sunt ori nemărginite, ori tind
către un echilibru (sau către mulţimea de echilibru); în oricare caz sunt însă
19
excluse autooscilaţiile periodice sau aproape periodice. Comportamentul de tip
cvasi-gradient se mai numeşte uneori asimptoticism global. Trebuie remarcat
de asemenea că, spre deosebire de convergenţă şi cvasi-convergenţă - care sunt
proprietăţi ale soluţiilor, monostabilitatea şi comportamentul de tip gradient
sunt proprietăţi ale sistemului.
Proprietăţile definite anterior pot fi investigate cu ajutorul teoriei
Liapunov. De aceea, continuăm cu prezentarea următoarelor rezultate de tip
Liapunov [Gel78, Leo92] pentru sisteme autonome cu mai multe echilibre:
Lema 2.1 Fie sistemul autonom
x& = f ( x) , x ∈ Rn (2.3)
Presupunem că există o funcţie continuă V : D ⊂ Rn → R astfel încât:
i) pentru orice soluţie x a (2.3) V(x(t)) este necrescătoare;
ii) dacă x este o soluţie a (2.3), mărginită pe [0, +∞), de-a lungul căreia
V(x(t)) =ct., atunci x este un echilibru (soluţie staţionară).
În aceste ipoteze, sistemul (2.3) este cvasi-monostabil (dihotomic).
Lema 2.2 Se presupune că există o funcţie Liapunov cu proprietăţile i) şi ii),
definită global, şi că V(x) → ∞ când x→ ∞ (V este radial nemărginită).
Atunci sistemul (2.3) este de tip cvasi-gradient.
Lema 2.3 Presupunem ipotezele Lemei 2.2 verificate şi mulţimea de echilibru
E discretă. Atunci sistemul (2.3) este de tip gradient.
Lema 2.4 (Moser) Fie sistemul
x& = − f ( x), x ∈ Rn (2.4)
unde f(x) = grad G(x), cu G : Rn → R având următoarele proprietăţi:
i) lim G ( x) = ∞
x →∞
ii) numărul punctelor critice este finit.
Atunci soluţia ecuaţiei (2.4) tinde asimptotic către unul din punctele de
echilibru.
20
Capitolul 3 - Funcţii Liapunov pentru reţele neuronale
3.1. Funcţia Hopfield
J. Hopfield [Hop82] a popularizat interpretarea conform căreia, în
domeniul reţelelor neuronale, funcţia Liapunov poate fi o măsură a energiei
sistemului fizic. El a arătat că funcţia E : Rn → R având expresia
1
E ( x) = − x T Ax
2
poate fi considerată o funcţie Liapunov utilă în studiul stabilităţii reţelelor
neuronale; această funcţie are semnificaţia unei energii.
3.2. Metoda funcţiei Liapunov pentru reţele neuronale privite ca
sisteme cu mai multe stări de echilibru
Dinamica în spaţiul stărilor a sistemelor fizice reprezentate de reţele
neuronale artificiale este dominată de un număr mare, dar finit, de echilibre.
Acestea reprezintă soluţii, dependente de condiţiile iniţiale, ale problemelor de
rezolvat. În acest caz nu mai interesează numai stabilitatea echilibrelor locale,
ci şi comportamentul global al sistemului, comportament care garantează
rezolvarea optimă a problemelor pentru care acestea au fost proiectate (aceasta
referindu-se la absenţa autooscilaţiilor sau a unui comportament haotic). De
aceea, o direcţie importantă de cercetare este abordarea reţelelor neuronale
artificiale în cadrul de lucru mai general al Teoriei calitative a sistemelor cu
mai multe stări de echilibru.
În acest context, plecând de la noţiunile şi teoremele prezentate în
Capitolul 2, se va folosi în continuare următoarea terminologie:
- dihotomie: toate soluţiile mărginite tind către mulţimea de echilibru;
- asimptoticism global: toate soluţiile tind către mulţimea de echilibru;
- comportament de tip gradient: mulţimea punctelor de echilibru este stabilă în
sens Liapunov şi fiecare soluţie tinde asimptotic către un punct de echilibru.
În această secţiune ne-am propus să determinăm condiţii suficiente
pentru un comportament de tip gradient pentru reţele neuronale cu următorul
model matematic [Nol94, Nol95]:
21
 m Teorema 3.2.1: Fie sistemul (3.2.1) în următoarele ipotezele:
x& = Ax − ∑ bk ϕ k (ck* x) − h (3.2.1)
1 i) det A ≠ 0;
unde funcţiile ϕk(σ) sunt diferenţiabile, mărginite şi de pantă restrictivă; în ii) perechea (A,B) este controlabilă şi perechea (C*, A) este observabilă;
cazul reţelelor neuronale condiţia de mărginire este îndeplinită de funcţiile iii) det C*A-1B = det T(0) ≠ 0, unde B - matrice cu coloanele bi, C - matrice
neliniare sigmoidale. cu coloanele ci.
Instrumentul utilizat pentru studiul proprietăţilor calitative ale Dacă există mulţimea de parametri θ k ≥ 0, ϕ k , ϕ k > 0, q k ≠ 0, k = 1, m astfel
sistemelor cu mai multe echilibre este funcţia Liapunov. Coeficienţii funcţiei încât să se verifice condiţia Popov (3.2.2) şi matricea Q(C*A-1B)-1 să fie
Liapunov au fost obţinuţi prin rezolvarea unor ecuaţii de tip Lurie. Existenţa simetrică, atunci sistemul (3.2.1) este dihotomic pentru toate funcţiile neliniare
soluţiilor pentru astfel de ecuaţii a fost asigurată de inegalitatea de tip Popov în
cu restricţie de pantă care verifică ϕ k < ϕ k′ < ϕ k , k = 1, m . Dacă în plus,
domeniul frecvenţei, în care s-au utilizat multiplicatori PI de forma 1+β(iω)-1
în locul multiplicatorului uzual tip PD, cu expresia 1+β(iω). toate echilibrele sunt izolate, atunci fiecare soluţie mărginită tinde către un

{[ ( ) ] }
Θ Φ −1 + Re Θ I + Φ Φ −1 + (iω ) Q T (iω ) + T * ( −iω )Θ Φ T (iω ) ≥ 0
−1
(3.2.2)
punct de echilibru.

Introducerea multiplicatorului PI în cazul multivariabil (cu mai multe Teorema 3.2.2: Fie sistemul (3.2.1) în ipotezele Teoremei 3.2.1. Presupunem
elemente neliniare) necesită unele restricţii de structură ale părţii liniare. În în plus că sistemul (3.2.1) este minimal stabil, că neliniarităţile verifică
[Ha91] demonstrarea stabilităţii se baza pe ipoteza tehnică a decuplării statice: ϕ (σ ) − ϕ~ σ ≤ m ≤ m cu ϕ~ ∈ (ϕ , ϕ ) , iar echilibrele sunt izolate. Atunci
k k k i i i
c k* A −1b j = 0 , ∀ k ≠ j. Această ipoteză nu poate fi impusă însă în cazul reţelelor
fiecare soluţie a lui (3.2.1) tinde asimptotic către o stare de echilibru.
neuronale. Pe de altă parte, în analiza sistemelor cu mai multe echilibre nu mai
este necesară pozitivitatea funcţiei Liapunov. În acest sens, lucrările [Nol94, Se arată în continuare că reţelele neuronale Hopfield (aici descrise
Nol95] se bazează pe un rezultat al lui La Salle [LaS67, LaS68] - funcţia prin ecuaţii diferenţiale cu coeficienţi - parametri fizici):
Liapunov generalizată (necrescătoare de-a lungul soluţiilor, dar nu neapărat de
semn definit). Funcţia Liapunov astfel obţinută
dv i
dt
=−
1
Ri C i
vi +
1 n
 ∑
Ci  1
( ) 
ϕ j (v j ) − vi Rij + I i , i = 1, n
y 
V ( z , y ) = z * Pz − 12 ( y − y ) * Q (C * A −1 B ) −1 ( y − y ) − ∫ ( f (v) − f ( y )) * Q dv sunt în ipotezele Teoremei 3.2.2.:
y
n
este diferită de cele utilizate în mod curent în literatură.  1  1 
 +∑ 1
n
- matricea A = diag  −   este hurwitziană deoarece toţi
În acest cadru de lucru, dihotomia rezultă aproape imediat. Din  Ci  Ri 1 Rij

    i =1
mărginirea neliniarităţilor obţinem mărginirea tuturor soluţiilor sistemului şi
parametrii fizici sunt pozitivi;
aceasta ne permite să spunem că sistemul (3.2.1) are asimptotici globale. Dacă
se va presupune că echilibrele sunt izolate, ceea ce este o ipoteză normală în - notând C * = I , B = −ΓΛ , Γ = diag (1 Ci )i =1 , Λ = 1 Rij
n
( )
n
i , j =1
, matricea de
descrierea reţelelor neuronale, atunci asimptoticismul global va implica transfer devine
comportamentul de tip gradient, deoarece o traiectorie oarecare nu poate tinde  n

  n   
−1
către mulţimea de staţionară altfel decât tinzând către un punct de echilibru. * −1 
T ( s ) = C ( sI − A) B = −  diag  s C i + 1 / Ri + ∑ (1 / Rij )  Λ
  
S-au obţinut următoarele rezultate:    j =1   i =1 
 

22 23
 câmpuri neuronale simultan. Rezultatul acestei secţiuni se bazează pe
- funcţiile neliniare uzuale în cazul reţelelor neuronale - funcţiile sigmoidale, proprietăţile funcţiei Liapunov Ek exprimată de-a lungul soluţiilor sistemului:
îndeplinesc condiţiile cu ϕ k = 0, 0 < ϕ k < +∞ ; i) mărginită;
n
ii) necrescătoare de-a lungul soluţiilor;
- alegând θ k = C k , q k = 1 / Rk + ∑ (1 / Rkj ) inegalitatea în domeniul frecvenţei iii) constantă în punctele de echilibru şi pe ciclurile de perioadă 2;
j =1
iv) strict descrescătoare până la o valoare mărginită inferior în zero
se verifică dacă matricea conexiunilor sinaptice Λ este simetrică. independentă de alegerea lui k şi de soluţie, mai puţin în cazul în care soluţia
În aceste condiţii reţelele neuronale Hopfield sunt sisteme de tip este un echilibru sau un ciclu de perioadă 2.
(3.2.1.) şi deci prezintă un comportament de tip gradient.
Teorema 3.3.1: Fie o memorie asociativă bidirecţională (BAM) descrisă de
(3.3.1) cu funcţiile de activare de tip prag descrise de (3.3.2). După un număr
3.3. Funcţia Liapunov în studiul memoriilor asociative finit de paşi, orice soluţie a sistemului (3.3.1) ajunge într-un punct de echilibru
bidirecţionale sau pe un ciclu de perioadă 2.
Analiza proprietăţilor de stabilitate pentru memoriile asociative
bidirecţionale De remarcat că această funcţie Liapunov poate prescrie cicluri limită
p discrete stabile care nu afectează funcţionalitatea reţelei.
xki +1 = ∑ wij R j ( y kj ) + I i , i = 1, n Rezultatele obţinute au fost ilustrate printr-un exemplu numeric cu
j =1
(3.3.1) două discuţii de caz, exemplu în care au fost considerate toate tipurile de
n
y kj+1 = ∑ wij S i ( xki ) + J j , j = 1, p tranziţii pentru starea neuronilor: sincrone, simplu asincrone, asincrone într-un
i
singur câmp neuronal, general asincrone în două câmpuri neuronale. În
cu funcţiile de activare - funcţii prag binare: ambele cazuri a fost obţinută aceeaşi stare de echilibru bidirecţional stabil ca şi
1, ~
xki > U i în cazul tranziţiilor sincrone. S-a observat că tranziţiile sincrone şi general
S i ( x ki ) =  ~ , i = 1, n
0, xki < U i asincrone în ambele câmpuri simultan grăbesc convergenţa sistemului, în
(3.3.2) comparaţie cu tranziţiile simplu asincrone sau general asincrone într-un câmp
1, ~
y kj > V j neuronal, care încetinesc convergenţa.
R j ( y kj ) =  ~ , j = 1, p
0, y kj < V j
se bazează pe o nouă funcţie Liapunov, diferită de cele citate în literatură: 3.4. Funcţia Liapunov pentru reţele neuronale competitive Cohen -
n p p n Grossberg
E k = −∑∑ wij S i ( xki ) R j ( y kj−1 ) −∑∑ wij R j ( y kj ) S i ( xki −1 ) −
i =1 j =1 j =1 i =1 Modelul reţelelor neuronale competitive (3.4.1) a fost introdus de
matematicienii M. Cohen şi S. Grossberg, [Coh83]. Pentru sistemul neuronal
( ) ( )
p
n
~ ~
− ∑ ( I i − U i ) S i ( x ki ) + S i ( xki −1 ) − ∑ ( J j − V j ) R j ( y kj ) + R j ( y kj−1 ) competitiv, în forma generală:
1 1
 n 
Această funcţie Liapunov de tip energie ţine cont de cazul cel mai x& i = −a i ( x i ) bi ( xi ) − ∑ c ij d j ( x j ) , i = 1, n (3.4.1)
general, al actualizării general asincrone a stării neuronilor, chiar şi în ambele  j =1 

24 25
unde cij este o matrice simetrică, se prezintă în acest subcapitol rezultate unde j reprezintă indexul celulelor dintr-o vecinătate N a celulei i, iar ai este un
n×n
parametru pozitiv. Funcţia de activare neliniară, de tip rampă bipolară, are
de comportament calitativ din literatura de specialitate: articolul cercetătorilor
expresia (întâlnită în lucrările lui Chua)
Cohen şi Grossberg de introducere al acestor reţele neuronale şi un studiu
recent (2002) de stabilitate exponenţială.
f ( xi ) = 1
2
(x i + 1 − xi − 1 ) (3.5.2)

Articolul [Coh83a], „Absolute Stability of Global Pattern Formation fiind mărginită, cu domeniul de valori [-1, 1], monoton crescătoare şi global
and Parallel Memory Storage by Competitive Neural Networks”, studiază lipschitziană cu L = 1, adică satisface o condiţie de tipul,
modul în care formele de intrare sunt transformate şi memorate în reţelele f (σ 1 ) − f (σ 2 )
0≤ ≤L (3.5.3)
neuronale competitive. Se determină condiţii de dinamică generală a acestor σ1 − σ 2
reţele pentru convergenţa traiectoriilor către punctele de echilibru, din care rezultă, deoarece f(0) = 0,
introducându-se un nou concept, acela de „creare globală a formei” (global f (σ )
pattern formation). Se analizează apoi pe modelul reţelelor neuronale 0≤ ≤L (3.5.4)
σ
competitive simetrice de tip multiplicativ stabilitatea absolută a fenomenului de Pentru sistemul scris în abateri
creare globală a formei pentru cazurile funcţiilor de activare polinomiale şi al
z&i (t ) = − ai zi (t ) + ∑ wij g z j (t ) ( ) (3.5.5)
funcţiilor de activare sigmoidale. j∈N

În partea a doua se prezintă un rezultat de stabilitate exponenţială se scriu ecuaţiile pentru o celulă izolată
obţinut de cercetătorii L. Wang şi X. Zou în recenta lucrare [Wan02]. not

Condiţiile suficiente obţinute pentru stabilitatea exponenţială a soluţiei nu z&i (t ) = − ai z i (t ) + wii g (z i (t ) ) = p (z i (t ), t ), i = 1, m (3.5.6)

impun condiţia de simetrie a matricei conexiunilor, deci rezultatul obţinut este şi pentru sistemul de interconexiuni
valabil şi pentru cazul reţelelor neuronale asimetrice cu dinamica descrisă de
( ) ( )
not
qij z j (t ), t = wij g z j (t ) , i, j = 1, m , j≠i
modelul competitiv.
( ) ( ) (3.5.7)
m m
qi (z (t ), t ) = ∑ qij z j (t ), t = ∑ wij g z j (t ) , i = 1, m
j =1 j =1
j ≠i j ≠i
3.5. Funcţia Liapunov pentru reţele neuronale celulare
Condiţiile suficiente pentru stabilitatea exponenţială în mare a
Comportamentul calitativ al reţelelor neuronale celulare se poate echilibrului în origine au fost determinate din verificarea ipotezelor Teoremei
studia apelând la rezultatele de stabilitate obţinute pentru sistemele lui Michel [Mic74, Teorema 3], pe baza unei funcţii Liapunov de forma
interconectate. Ideea de bază [Wil72, Šil72, Mic74, Vid81] se rezumă la n

descompunerea sistemelor de ordin mare în subsisteme de ordin redus şi V ( z , ϕ ) = ∑ γ iVi ( z , ϕ ) , γ i > 0 , i = 1, m , unde Vi sunt funcţii Liapunov de tip
i =1
analiza acestora ca sisteme izolate, apoi determinarea unor condiţii care să
„formă pătratică plus integrala neliniarităţii” pentru subsistemele izolate. S-au
conserve stabilitatea, condiţii impuse structurii de interconexiuni. Toate
obţinut:
abordările acestei probleme se bazează pe proprietăţile funcţiei Liapunov.
a
Se consideră o reţea neuronală celulară cu conexiuni de reacţie şi cu - condiţia de amplificare mică wii < i ;
Li
modelul de control nul:
( )
x&i (t ) = − ai xi (t ) + ∑ wij f x j (t ) + I i (3.5.1)
- condiţia de pozitivitate a matricei S = s ij ( )
m× m
cu elementele:
j∈N

26 27
 γ i ci 4 (ai − wii ) i= j Capitolul 4 - Prezenţa întârzierii în reţele neuronale şi fenomene

s ij =  1 induse de aceasta
(
− γ i ci 4 wij + γ j c j 4 w ji
 2
) i≠ j
Necesitatea modelării fenomenului de propagare a semnalului la
unde ci 4 = (α i + β i Li ) , cu Li = 1 în cazul funcţiilor de activare uzuale pentru
nivelul sinapselor reţelelor neuronale biologice, pe de o parte şi viteza finită de
reţelele neuronale celulare.
comutare şi de transmitere a semnalelor în reţelele neuronale artificiale pe de
altă parte, impun introducerea în modelele matematice ale RNA a parametrilor
de întârziere. Marcus şi Westervelt [Mar89] au introdus pentru prima oară o
singură întârziere în ecuaţiile diferenţiale ale modelului Hopfield şi au observat
atât numeric cât şi experimental existenţa autooscilaţiilor chiar şi în cazul
matricei de conexiuni simetrice. Rezultatele au stimulat studiul
comportamentului dinamic al reţelelor neuronale artificiale în prezenţa
întârzierilor, considerându-se diferite modele matematice de RNA şi variate
tipuri de întârzieri.

4.1. Funcţii Liapunov şi metode intrare/ieşire (tip Popov) pentru

reţele neuronale cu întârziere

4.1.1. Comportament „aproape liniar” pentru reţele neuronale de tip

Hopfield afectate de întârzieri
Se consideră modelul reţelei Hopfield în prezenţa întârzierilor [Mar89,
Gop94, Dri98], dar cu stimuli variabili în timp:
dx i
( )
m
= − a i x i (t ) − ∑ bij f j x j (t − τ ij ) + c i (t ) , i = 1, m (4.1.1.1)
dt 1

Funcţiile neliniare fi, sunt funcţii sigmoidale (1.4), deci sunt mărginite - cu
domeniul de valori [-1, +1], monoton crescătoare şi global lipschitziene, adică
verifică inegalităţi de tipul (4.1.1.2).
f (σ 1 ) − f (σ 2 )
0≤ ≤L (4.1.1.2)
σ1 − σ 2
Comportamentul „aproape liniar” presupune existenţa unei soluţii
unice de regim permanent de acelaşi tip cu stimulul şi stabilitatea exponenţială
a acestei soluţii.
Studiul comportamentului RNA cu stimuli variabili în timp este

28 29
necesar şi justificat de realitatea mediului variabil pentru reţelele neuronale mică.
biologice modelate. Comportamentul „aproape liniar” al sistemului considerat
Pentru testarea rezultatelor obţinute s-a considerat o reţea neuronală
a fost verificat pentru termeni forţatori periodici şi aproape periodici, de aceea
tip Hopfield cu doi neuroni, verificând ipotezele teoremei
demonstraţia s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulţimi
x&1 (t ) = −2 x1 (t ) − 2 f 1 (x1 (t − τ 11 ) ) − 3 f 2 (x 2 (t − τ 12 ) ) + sin(t ) + sin(πt )
invariante pentru curenţi în spaţiul Banach, în esenţă un caz special al (4.1.1.6)
teoremei mai generale a lui Kurzweil [Krz67] despre mulţimi invariante. S-a x& 2 (t ) = −5 x 2 (t ) − f 1 (x1 (t − τ 21 ) ) − 3 f 2 (x 2 (t − τ 22 ) ) + 2 cos(t )
ales ca spaţiu al stărilor spaţiul Hilbert M2 = R2 x L2(-τ, 0; Rm), unde cu stimuli periodici c2(t) şi aproape periodici c1(t) - Fig. 4.1.1, Fig. 4.1.2.
τ = max τ ij . Norma acestui spaţiu este: Simularea a fost realizată pe două seturi de valori pentru întârzieri:
i, j
0,5 0,4  1 0,8
1 T1 =   şi T2 = 1,4 1,2  , al doilea set cu valori duble faţă de
0 2  2
 0,7 0, 6   
x = y +  ∫ z (θ ) dθ  (4.1.1.3)
 −τ  primele, conţinând şi valori supraunitare. Funcţiile de activare neliniare
unde x = (y, z(⋅)) este un element al M2: y∈ Rm, z∈ L2 (-τ, 0; Rm). utilizate sunt funcţiile tangentă hiperbolică din biblioteca MATLAB -
2 e t − e −t
Analiza a utilizat metoda frecvenţială Popov, proprietăţile de Simulink, f (t ) = tanh(t ) = − 1 = , cu domeniul de valori [-1, 1]
1 + e −2t e t + e −t
convergenţă cerute de lema Halanay rezultând pe baza unei inegalităţii în
şi constantele Lipschitz Li = 1, i =1, 2.
domeniul frecvenţei. S-a obţinut următorul rezultat:

Teorema 4.1.1: Considerăm sistemul (4.1.1.1) în următoarele ipoteze:

i) ai > 0, i = 1, …, m;
ii) Funcţiile neliniare fi(σ) sunt global lipschitziene, verificând
f i (σ 1 ) − f i (σ 2 )
0≤ ≤ Li , f i (0) = 0 , i = 1, m (4.1.1.4)
σ1 −σ 2
iii) Există constantele θi ≥ 0, i = 1,…, m astfel încât să se îndeplinească
următoarea condiţie frecvenţială:
ΘL−1 + 1
2
[ΘK (iω ) + K *
]
(iω ) Θ > 0 , ω > 0 (4.1.1.5)
Fig. 4.1.1 Semnalul
periodic, c1(t)
exogen aproape Fig. 4.1.2 Semnalul exogen periodic, c2(t)

(asteriscul defineşte transpusa conjugată a matricii).

iv) ci (t ) ≤ M , i = 1, m , t ∈ R.
Atunci există o soluţie mărginită pe întreaga axă, periodică, respectiv aproape
periodică, dacă ci(t) este periodic, respectiv aproape periodic. Mai mult,
această soluţie este exponenţial stabilă.

Condiţiile suficiente obţinute pentru un comportament „aproape

liniar” al sistemului studiat sunt independente de întârzieri şi nu impun condiţia
restrictivă de simetrie a matricei conexiunilor şi nici condiţia de amplificare
Fig. 4.1.3 x1 (t) în prezenţa stimulilor; T1 Fig. 4.1.4 x2 (t) în prezenţa stimulilor; T1
30 31

Fig. 4.1.5 x1 (t) în prezenţa stimulilor; T2
Fig. 4.1.7 x1 (t), x2 (t) în condiţii iniţiale
nenule; T1
Fig. 4.1.9 Planul fazelor, T1
32
Fig. 4.1. 6 x2 (t) în prezenţa stimulilor; T2
Fig. 4.1.8 x1 (t), x2 (t) în condiţii iniţiale
nenule; T2
Fig. 4.1.10 Planul fazelor, T2
Din Fig. 4.1.3 - Fig. 4.1.6 se observă că x1(t) şi x2(t) sunt aproape periodice (de
acelaşi tip cu semnalele exogene) şi mărginite. Evoluţia în timp a sistemului
neforţat pentru condiţii iniţiale nenule [x10 x20] = [3 5] este prezentată în Fig.
4.1.7 - Fig. 4.1.8; se observă convergenţa exponenţială a soluţiei către
echilibrul în zero. În Fig. 4.1.9 şi Fig. 4.1.10 sunt prezentate evoluţiile în planul
fazelor pentru sistemul autonom, în cele două cazuri privind întârzierile.
4.1.2. Criterii de stabilitate pentru reţele neuronale celulare cu
întârzieri
Se consideră o reţea neuronală celulară cu întârzieri la nivelul
conexiunilor de reacţie şi cu modelul de control nul:
x& i = − a i xi (t ) + ∑ wij f (x j (t − τ j )) + I i , i = 1, n (4.1.2.1)
j∈N
unde j reprezintă indexul celulelor dintr-o vecinătate N a celulei i, iar ai este un
parametru pozitiv. Fără a se pierde din generalitate comportamentul calitativ se
va studia pe modelul matematic al sistemului în abareri
z&i (t ) = −ai zi (t ) + ∑ wij g (z j (t − τ j ) ) , i = 1, n (4.1.2.2)
j∈N
Neliniaritatea sistemului în abateri, g(z), va verifica aceeaşi condiţie Lipschitz
(3.5.3) cu aceeaşi constantă L.
Comportamentul calitativ al reţelei este studiat, ca şi în secţiunea 3.5.,
în cadrul teoriei calitative a sistemelor mari, prin descompunerea sistemului
reprezentat de RNC în celule izolate şi studiul stabilităţii acestora, apoi
considerarea interconexiunilor, care sunt neliniare, şi impunerea aşa-numitor
„condiţii de interconectare pasivă” suficiente pentru conservarea stabilităţii
exponenţiale.
Prima etapă, de studiu a unei celule izolate, a fost abordată prin
prisma a două metode:
1. criteriul frecvenţial Popov,
2. metoda funcţiei Liapunov.
Se consideră dinamica unui subsistem izolat cu întârziere pe calea de
reacţie
33
 z&i = −ai zi (t ) + wii g (zi (t − τ i ) ) condiţia de negativitate a derivatei funcţionalei de-a lungul soluţiilor sistemului
(4.1.2.3)
yi = z i se obţine aceeaşi condiţie de amplificare mică wii < ai obţinută şi cu criteriul
şi funcţia de transfer frecvenţial Popov şi restricţia
wii  2  2
H i ( jω ) = e − jωτ i    
ai + jω
(4.1.2.4) 1
(α i + 1) 1 − 1 −  wii   < β i < 1 (α i + 1) 1 + 1 −  wii   (4.1.2.8)
2  ai   ai 2  ai  
   
1. Criteriul frecvenţial Popov
Teorema 4.1.2.1: Fie sistemul (4.1.2.3) cu funcţia de transfer (4.1.2.4) în Pentru determinarea condiţiilor asupra sistemului de interconexiuni se
următoarele ipoteze: consideră în continuare modelul matematic (scris în abateri) al întregii reţele
a) ai > 0 ; neuronale (4.1.2.2), pentru care se defineşte funcţionala Liapunov
n
b) funcţia neliniară g(σ) este global lipschitziană, verificând V ( z ,ϕ ) = ∑ γ iVi ( z,ϕ ) , γ i > 0 , i = 1, n (4.1.2.9)
g (σ 1 ) − g (σ 2 ) i =1
0≤ ≤ 1 , g (0) = 0 (4.1.2.5)
σ1 − σ 2 unde Vi ( z , ϕ ) are expresia (4.1.2.7). Se obţine următorul rezultat:
Atunci condiţia frecvenţială Popov
1 + Re [(1 + jωβ ) H i ( jω )] > 0 (4.1.2.6) Teorema 4.1.2.2 Fie sistemul (4.1.2.2) în următoarele ipoteze:
i) ai > 0;
cu β > 0 este îndeplinită şi celula izolată are un punct de echilibru care este
ii) funcţia neliniară g(σ) este global lipschitziană, verificând
asimptotic stabil, dacă sistemul verifică una dintre condiţiile:
i) wii ∈ (0, ai) şi β ∈ (0, 1/wii); g (σ 1 ) − g (σ 2 )
0≤ ≤ 1 , g (0) = 0
ii) wii ∈ (-ai, 0) şi β ∈ (-1/wii, +∞). σ1 − σ 2
iii) pentru fiecare subsistem izolat există o funcţională Liapunov Vi : R x L2
Rezultatul este independent de întârzieri şi impune restricţia de amplificare (-τi, 0; R) şi constantele αi > 0 şi βi > 0 astfel încât să fie îndeplinite
mică. condiţiile wii < ai şi (4.1.2.8);

2. Metoda funcţiei Liapunov iv) există constantele γ i > 0, i = 1, n astfel încât matricea simetrică
Continuarea analizei proprietăţilor calitative ale reţelei neuronale ( )
B = bij n× n
cu elementele
celulare ca ansamblu de subsisteme interconectate necesită abordarea
1 n 2 γ j (α j + 1) 2
stabilităţii unei celule izolate cu metoda Liapunov directă. bii = γ i β i − ∑
4 j =1
w ji
a j (α j + 1) − β j
Fie sistemul (4.1.2.3), se defineşte funcţionala Liapunov Vi pe spaţiul
R x L2 (-τi, 0; R) astfel: 1 n γ k (α k + 1) 2
0 z
bij = − ∑
4 j =1
wki wkj
ak (α k + 1) − β k
= b ji
Vi ( z ,ϕ ) = 12 α i z 2 + β i ∫ ϕ 2 (θ )dθ + ∫ g (σ ) dσ (4.1.2.7)
−τ i 0 să fie pozitiv definită.
Atunci originea este un echilibru exponenţial stabil în mare pentru sistemul
unde αi > 0 şi βi > 0 sunt parametri care se vor alege corespunzător. Din
(4.1.2.2) considerat.
34 35

4.1.3. Rezultate de stabilitate pentru reţele neuronale competitive cu
întârzieri
Se prezintă rezultatele de stabilitate obţinute de L. Wang şi X. Zou
[Wan02] pentru reţelele neuronale competitive afectate de întârzieri, fiind o
extindere a rezultatelor paragrafului 3.4.2 la cazul sistemelor cu întârzieri.
Se consideră modelul reţelelor neuronale Cohen-Grossberg în
prezenţa întârzierilor:
 n 
x&i (t ) = −ai ( xi ) bi ( xi ) − ∑ cij d j ( x j (t − τ ij )) + J j  , i = 1, n
 j =1 
având condiţiile iniţiale
xi ( s ) = φi ( s ) ∈ C ([− τ , 0], R ), s ∈ [− τ ,0], i = 1, n
{
unde τ = max τ ij ,1 ≤ i , j ≤ n . } gradient presupune convergenţa fiecărei soluţii către un echilibru, aceasta
Pentru stabilirea cadrului de lucru se fac următoarele ipoteze:
(H1) Pentru fiecare i = 1, n , ai sunt mărginite, pozitive, local lipschitziene şi
0 < α i ≤ ai (u ) ≤ α i .
(H2) Pentru fiecare i = 1, n , bi şi bi−1 sunt local Lipschitz continue.
Funcţiile de activare sunt sigmoidale, deci îndeplinesc condiţiile:
(S1) Pentru fiecare i = 1, n , di : R → R sunt Lipschitz continue cu constanta Li.
(S2) Pentru fiecare i = 1, n , d i ( x) ≤ M i , x ∈ R pentru constantele Mi > 0.
Se obţine următorul rezultat de stabilitate:
Teorema 4.1.3.3 Se presupun îndeplinite ipotezele (H1) – (H2), (S1) – (S2) şi
inegalitatea uβ i (u ) ≥ γ i u 2 , u ∈ R , i = 1, n . Dacă
n neuronale tip Hopfield.
α i γ i > α i ∑ cij L j , i = 1, n
j =1
atunci ecuaţia (4.1.3.1) are un punct de echilibru unic x*, şi există o constantă
σ5 > 0 astfel încât orice soluţie x(t) a ecuaţiei (4.1.3.1) cu condiţiile iniţiale
(4.1.3.2) verifică
36
xi (t ) − xi* ≤ e −σ 5t max sup Φ i ( s ) − xi* , i = 1, n (4.1.3.15)
1≤i ≤ n s∈[ −τ , 0 ]
4.2. Metode de comparaţie pentru studiul reţelelor neuronale cu
întârzieri
O altă abordare în studiul stabilităţii reţelelor neuronale se bazează pe
principiile de comparaţie care conduc la inegalităţi diferenţiale şi integrale.
Următoarea secţiune abordează studiul comportamentului calitativ al reţelelor
(4.1.3.1) neuronale utilizând metodele de comparaţie.
4.2.1. Comportament de tip gradient pentru reţele neuronale tip Hopfield
(4.1.3.2) cu întârzieri
Pentru un sistem cu mai multe echilibre, comportamentul de tip
neexcluzând însă posibilitatea existenţei unor echilibre instabile. Pentru a
rezolva tipul de problemă pentru care a fost proiectată, o reţea neuronală
trebuie să conţină un număr mare, dar finit, de echilibre izolate, asimptotic
stabile şi fiecare soluţie a dinamicii sistemului trebuie să conveargă către o
stare de echilibru.
În capitolul 3.2 s-au obţinut condiţii suficiente pentru un
comportament de tip gradient al reţelelor neuronale cu modelul matematic
m
x& = Ax − ∑ biϕ i (ci* x) − h neafectate de întârzieri, apoi s-au analizat rezultatele
1
obţinute pentru cazul reţelelor neuronale tip Hopfield.
Scopul acestei secţiuni este determinarea unei estimări a întârzierii
admise pentru conservarea comportamentului de tip gradient la reţelele
(4.1.3.14) Fie ecuaţiile standard pentru reţele neuronale tip Hopfield
dxi m
= −ai xi − ∑ wij f j ( x j ) + I i , i = 1, m . (4.2.1.1)
dt 1
şi modelul [Gop94, Dri98] afectat de întârzieri la nivelul interconexiunilor:
37
 utilizate sunt funcţiile tangentă hiperbolică din biblioteca MATLAB -
dxi
( )
m
= −ai xi (t ) − ∑ wij f j x j (t − τ j ) + I i , i = 1, m (4.2.1.2)
dt 1 2 e t − e −t
Simulink, cu expresia f (t ) = tanh(t ) = −2t
−1 = t , având domeniul
Se consideră că sistemul descris de (4.2.1.1) şi fiecare echilibru asimptotic al 1+ e e + e −t
său au un comportament de tip gradient, şi ne propunem să determinăm o de valori [-1, 1] şi constantele Lipschitz Li = 1, i = 1, 2, 3. Prezentăm rezultatele
estimare a întârzierii admise pentru conservarea acestei comportări. simulării pentru cel de-al doilea caz. Se consideră sistemul
S-a obţinut următorul rezultat: x&1 = −6 x1 (t ) − 3 f 1 (x1 (t − τ 1 ) ) − f 2 (x 2 (t − τ 2 ) )
x& 2 = −5 x 2 (t ) − f 1 (x1 (t − τ 1 ) ) − 4 f 2 (x 2 (t − τ 2 ) ) − 2 f 3 (x3 (t − τ 3 ) )
Teorema 4.2.1 Fie o reţea neuronală recurentă descrisă de (4.2.1.2) în
următoarele ipoteze: x& 2 = −9 x3 (t ) + 2 f 1 (x1 (t − τ 1 ) ) + f 2 (x 2 (t − τ 2 ) ) − 3 f 3 (x3 (t − τ 3 ) )
a) valorile ponderilor wij sunt astfel încât acestea să descrie o matrice Întârzierea maxim admisă pentru conservarea stabilităţii asimptotice este
dublu dominantă; τ = 0,0038 sec. S-au ales τ 1 = 0,003 sec., τ 2 = 0,001 sec., τ 3 = 0,002 sec.
b) funcţiile neliniare ϕ j sunt global lipschitziene cu constantele Lj; Starea iniţială aleasă este x0 = [1 6 3] .
c) întârzierile τ i , i = 1, m verifică condiţia

min (ai )
maxτ i ≤
i  m
 m
 m  m
 (4.2.1.3)
1 + ∑ Lk  ∑ max wij  ∑ L j  a j + ∑ w jk  
 1  1 j  1  1 

Atunci reţeaua neuronală (4.2.1.2) are un comportament de tip gradient, la fel

ca reţeaua neuronală (4.2.1.1).

Metoda de analiză utilizată în acest caz a fost metoda bazată pe

principii de comparaţie. Prima condiţie, de dublă dominanţă a matricei
Fig. 4.2.1. Componentele stării pentru sistemul fără întârzieri
conexiunilor sinaptice, este rezultatul generalizării inegalităţii de rearanjare nr.
368 din lucrarea clasică a lui Hardy, Littlewood şi Polya [Har34]. A doua
condiţie, impusă întârzierilor care trebuie să fie suficient de mici pentru a
conserva stabilitatea asimptotică, este o consecinţă directă a lemei tehnice a lui
Halanay [Ha63] utilă în demonstraţia rezultatului principal.

Rezultatul a fost testat pe două reţele neuronale Hopfield cu trei

neuroni: prima având matricea conexiunilor W1 simetrică şi dublu dominantă,
cea de-a doua prezentând o matrice W2 nesimetrică şi dublu dominantă, unde
2 1 0 3 1 0
W1 = 1 4 − 2 , W 2 =  1 4 2 . Funcţiile de activare neliniare Fig. 4.2.2. Componentele stării pentru comportament de tip gradient
0 − 2 3  − 2 − 1 3 în prezenţa întârzierii admise τ1 = 0,003 sec., τ2 = 0,001 sec., τ3 = 0,002 sec.
38 39
 Se observă că evoluţia în timp a stării sistemului prezentând întârzieri
admise pentru conservarea comportamentului de tip gradient (Fig. 4.2.2) este
identică cu cea a sistemului fără întârzieri (Fig. 4.2.1). Figurile 4.2.2, 4.2.3,
4.2.4 şi 4.2.5 prezintă evoluţia stării în prezenţa unor întârzieri din ce în ce mai
mari. Se remarcă din rezultatele simulării că proprietatea de dublu dominanţă a
matricei conexiunilor permite convergenţa componentelor stării chiar şi pentru
întârzieri de 1000 de ori mai mari decât cele care îndeplinesc condiţia (4.2.1.3).
Subliniem că rezultatele bune de convergenţă obţinute nu se bazează pe
simetria matricei conexiunilor.

Fig. 4.2.3 Componentele stării pentru întârzieri τ1 = 0,03 sec, τ2 = 0,01 sec, τ3 = 0,02 sec.

Fig. 4.2.4.Componentele stării pentru întârzieri τ1 = 0,3 sec., τ2 = 0,1 sec., τ3 = 0,2 sec.

Fig. 4.2.5. Componentele stării pentru întârzieri τ1 = 3 sec., τ2 = 1 sec., τ3 = 2 sec.

40 41
 Capitolul 5 – Concluzii generale
În teza de doctorat, cu titlul „PROBLEME CALITATIVE ÎN
DINAMICA REŢELELOR NEURONALE”, s-a efectuat un studiu teoretic,
validat prin exemple şi simulări numerice, al comportamentului dinamic al
sistemelor neuronale neliniare. Nota de originalitate a prezentei lucrări este
dată de studiul reţelelor neuronale cu conceptele şi instrumentele teoriei
calitative a sistemelor cu mai multe echilibre şi ale teoriei calitative a
sistemelor interconectate şi de rezultatele obţinute pentru reţele neuronale
afectate de întârzieri.
Contribuţii originale
Paragraful 3.2 - Metoda funcţiei Liapunov pentru reţele neuronale
privite ca sisteme cu mai multe stări de echilibru
− studiul comportamentului calitativ al reţelelor neuronale în cadrul de
lucru al teoriei calitative a sistemelor cu mai multe stări de echilibru a
condus la obţinerea unui comportament calitativ nou, dezirabil pentru
reţelele neuronale: comportamentul de tip gradient;
− determinarea funcţiei Liapunov s-a bazat pe rezolvarea unor ecuaţii de tip
Lurie, existenţa soluţiilor acestor ecuaţii fiind asigurată de inegalitatea
Popov în domeniul frecvenţei; inegalitatea în domeniul frecvenţei
utilizată conţine multiplicatori de tip PI cu forma 1+β(iω)-1 în locul
multiplicatorului uzual tip PD, cu expresia 1+β(iω);
− restricţiile obţinute au condus la impunerea unei condiţii de simetrie a
matricei Q(C*A-1B)-1, diferită de ipoteza decuplării statice ck* A −1b j = 0 ,
∀ k ≠ j utilizată în [Ha91];
− funcţia Lipunov astfel determinată este complet diferită de uzuala funcţie
energie a reţelelor neuronale;
− relaxarea restricţiilor impuse sistemului, posibilă prin alegerea
corespunzătoare a informaţiei privind neliniarităţile (la noi monotone şi
de pantă restrictivă), a permis stabilirea unui comportament calitativ nou
al reţelelor neuronale analogice studiate (s-au formulat condiţii
suficiente atât pentru un comportament dihotomic, cât şi pentru un
42
comportament de tip gradient);
− rezultatele s-au particularizat pentru cazul funcţiilor de activare cu
neliniarităţi mărginite şi pentru cazul reţelelor neuronale tip Hopfield cu
modelul matematic în forma adecvată implementării hardware.
Paragraful 3.3 - Funcţia Liapunov în studiul stabilităţii memoriilor
asociative bidirecţionale
− abordează stabilitatea memoriilor asociative bidirecţionale în cazul cel
mai general, în care actualizarea stării neuronilor poate apare în orice
submulţime de neuroni şi eventual, simultan în ambele câmpuri
neuronale;
− funcţia Liapunov utilizată, diferită de cele existente în literatură pentru
studiul BAM, este de tip energia semnalului şi este aleasă astfel încât
rezultatele de stabilitate să includă cazul asincron general al
modificărilor stărilor neuronilor în reţea;
− rezultatul principal se bazează pe proprietăţile modelului şi
particularităţile funcţiei de activare care permit determinarea unor
valori de prag ale funcţiei de activare (de tip prag binar) care să nu
poată fi niciodată atinse; aceasta permite mai departe o caracterizare mai
nuanţată a proprietăţilor funcţiei Liapunov şi a rezultatelor de stabilitate a
reţelei care derivă de aici;
− alegându-se acelaşi exemplu numeric ca în [Kos92, pg. 65] (matricea
conexiunilor W, vectorul care codifică forma de intrare şi starea iniţială a
neuronilor), dar pentru funcţii de activare a căror valoare de prag nu poate
fi atinsă, se identifică două situaţii distincte în funcţie de momentul
apariţiei tranziţiei în starea neuronului şi se discută fiecare caz în parte;
astfel s-a obţinut că pentru condiţiile date, indiferent de modul în care
neuronii aleg să-şi actualizaze starea la un moment dat, reţeaua converge
către acelaşi echilibru;
− în alegerea politicii de actualizare a stărilor neuronale din exemplele
numerice prezentate ne-am ghidat după următoarea idee plauzibilă fizic:
neuronii a căror valoare de actualizare este doar cu o cantitate mică
superioară valorii pragului (ex. yi = 1 > 0,5 = Vi ) vor decide mai greu
modificarea stării lor din pasiv în activ (în sensul că orice sistem tinde
43
 către o stare de repaus); valorile suficient de depărtate de valoarea de
prag, indiferent de semnul lor, vor conduce la actualizări imediate; s-a
ţinut cont de întârzierile de transmitere ale semnalului între cele două
câmpuri de neuroni.
Paragraful 3.5 - Funcţia Liapunov în stabilitatea reţelelor celulare
− abordează studiul stabilităţii unei reţele neuronale celulare în cadrul de
lucru al teoriei calitative a sistemelor interconectate [Wil72, Šil72,
Mic74, Vid81].
− rezultatul obţinut este o consecinţă a Teoremei 3 din [Mic74] adaptată
particularităţilor sistemului studiat;
− s-au obţinut condiţii suficiente pentru stabilitatea exponenţială a soluţiei
ai
sistemului studiat: condiţia de amplificare mică wii < , şi condiţia de
Li
pozitivitate impusă matricei S.
Paragraful 4.1.1 - Comportament „aproape liniar” pentru reţele
neuronale de tip Hopfield afectate de întârzieri
− studiază reţelele neuronale tip Hopfield cu stimuli variabili, de tip
periodic şi/sau aproape periodic, în prezenţa întârzierilor;
− s-au obţinut condiţii suficiente pentru un comportament „aproape liniar”
al sistemului studiat, în sensul existenţei unei soluţii unice de regim
permanent de acelaşi tip cu stimulul şi stabilitatea exponenţială a acestei
soluţii;
− analiza s-a bazat pe un rezultat al lui Halanay [Ha67] despre mulţimi
invariante pentru curenţi în spaţiul Banach, un caz special al teoremei
mai generale a lui Kurzweil [Krz67] despre mulţimi invariante;
− proprietăţile de convergenţă cerute de Lema Halanay au fost obţinute pe
baza unei inegalităţii tip Popov în domeniul frecvenţei;
− rezultatele sunt independente de întârzieri şi au fost testate pe o reţea
neuronală tip Hopfield cu doi neuroni.
44
Paragraful 4.1.2 - Criterii de stabilitate pentru reţele neuronale celulare
cu întârzieri
− extinde rezultatele paragrafului 3.5 pentru cazul reţelelor neuronale
celulare cu întârzieri;
− înscriindu-se în cadrul de lucru al teoriei calitative a sistemelor
interconectate, studiul cuprinde două etape:
1) determinarea unor condiţii suficiente de stabilitate pentru o celulă
izolată; s-au utilizat două abordări: criteriul Popov în domeniul frecvenţei
şi metoda Liapunov directă, determinându-se o funcţională Liapunov
(diferită de formele clasice găsite în literatură) ataşată modelului celulei
izolate; ambele metode au condus la aceleaşi restricţii, independente de
întârzieri, asupra parametrilor celulei;
2) determinarea unor restricţii asupra sistemului de interconexiuni care
să conserve stabilitatea celulelor izolate obţinută în prima etapă;
utilizându-se o funcţională Liapunov derivată din cea determinată pentru
celula izolată s-au determinat condiţii suficiente de stabilitate
exponenţială în mare pentru reţele celulare afectate de întârzieri.
Paragraful 4.2.1 - Comportament de tip gradient pentru reţele
neuronale tip Hopfield cu întârzieri
− continuă studiul început în paragraful 3.2. - unde s-au determinat condiţii
suficiente pentru un comportament de tip gradient al reţelelor neuronale,
cu particularizare pentru cazul neliniarităţilor mărginite şi cazul
reţelelor neuronale tip Hopfield;
− scopul analizei este de a se determina o estimare a întârzierii admise
pentru conservarea comportamentului de tip gradient obţinut pentru
reţelele neuronale tip Hopfield în absenţa întârzierilor;
− se utilizează o nouă abordare: metoda bazată pe principii de comparaţie,
restricţiile vizând atât parametrii reţelei, cât şi întârzierile;
− prima condiţie, de dublă dominanţă a matricei conexiunilor sinaptice,
este rezultatul adaptării şi generalizării inegalităţii de rearanjare No. 368
din lucrarea clasică a lui Hardy, Littlewood şi Polya [Har34];
− a doua condiţie, impusă întârzierilor care trebuie să fie suficient de mici
pentru a conserva stabilitatea asimptotică, este o consecinţă directă a
45
 lemei tehnice a lui Halanay [Ha63] utilă în demonstraţia rezultatului
principal;
− metoda de comparaţie în forma adecvată o găsim aplicată într-o lucrare a
lui V.M. Popov, însă pentru un model fără întârzieri, de formă
asemănătoare cu cel discutat în paragraful 4.2.1; diferenţa între acesta şi
cel studiat de noi este că ultimul este un sistem cu convoluţie care include
cazul întârzierilor - în aceste circumstanţe condiţia de întârzieri mici
poate fi eliminată.
Autoarea doreşte să-şi exprime recunoştinţa faţă de conducătorul
ştiinţific – Prof. dr. ing. Vladimir Răsvan, pentru atenta îndrumare în perioada
de elaborare a tezei de doctorat. Cercetările şi rezultatele prezentate în
această teză au fost posibile şi datorită competenţei şi atmosferei de lucru pe
care domnia sa a imprimat-o colectivului pe care-l conduce.
Mulţumesc tuturor colegilor din cadrul Departamentului de
Automatică şi Mecatronică şi din cadrul Facultăţii de Automatică, Electronică
şi Calculatoare din Craiova pentru sugestiile şi sprijinul moral acordat pe
parcursul elaborării tezei.
46
Bibliografie (extras)
[Bél93] – Bélair, J. – “Stability in a model of delayed neural network”, Journal
of Dynamics and Differential Equations, vol. 5, pp. 607-623, 1993.
[Cao96] – Cao, Y.J., Q.H. Wu – “A note on stability of analog neural
networks with time delays”, IEEE Transactions on Neural Networks,
vol. 7, pp. 1533-1535, 1996.
[Chu88] – Chua, L., L. Yang – “Cellular neural networks: theory and
applications”, IEEE Trans. Circuits and Systems, vol. CAS-35, pp.
1257-1290, 1988.
[Chu93a] – Chua, L., T. Roska –“ The CNN paradigm”, IEEE Trans. Circuits
and Systems I – Fundamental Theory and Applications, vol. 40, pp.
147-156, 1993.
[Chu93b] – Chua, L., T. Roska, P. Venetianer –“The CNN is universal as the
Turing machine”, IEEE Trans. Circuits and Systems I – Fundamental
Theory and Applications, vol. 40, pp. 289-291, 1993.
[Coh83a] – Cohen, M. A., S. Grossberg – “Absolute stability of pattern
formation and parallel storage by competitive neural networks”, IEEE
Trans. Systems, Man, Cybernet., vol. SMC-13, pp. 815-825.
[Coh83b] – Cohen, M. A., S. Grossberg – “Some global properties of binocular
resonances: Disparity metching, filling-in, and figure ground
systhesis”, în Figural Synthesis, Ed. T. Caelli and P. Dodwell,
Hillsdale, NJ: Erlbaum Press, 1983.
[Dah95] – Dahanayake, B.W., A.R.M. Upton – “Learning with easy:
Smart neural nets”, Proc. of Internat. Conf. on Neural Networks
ICNN’95, Australia, 1995.
[Dan98] – Danciu, D. – “Stability of a Bidirectional Associative Memory
System”, International Symposium on System Theory, Robotics,
Computers & Process Informatics SINTES 9, pp. 54-59, Craiova,
1998.
[Dan00] – Danciu, D., Vl. Rasvan – “On Popov-type stability criteria for
47
 neural networks”, Electronic Journal on Qualitative Theory of
Differential Equations EJQTDE, Proc. 6th Coll. QTDE 2000, No. 23.
[Dan01a] – Danciu, D., Vl. Rasvan – “Steady State “Almost Linear”
Behavior of Delayed Hopfield Type Neural Networks”, 13 th
International Conference on Control Systems and Computer
Science CSCS13, pp. 210-213, Bucureşti, 2001.
[Dan01b] – Danciu, D., Vl. Rasvan – “Stability Criteria for Cellular
Neural Networks”, The 11 th International Symposium on
Modeling, Simulation and System’s Identification SIMSIS 11, pp.
211-213, Galati, 2001.
[Dan01c] – Danciu, D., Vl. Rasvan – “Gradient-Like Behaviour for
Hopfield-Type Neural Networks with Delay”, The Thrid International
Workshop on Intelligent Control Systems ICS’2001, Bucureşti, 2001.
[Dan02a] – Danciu, D., – “Time Delays and Oscillations in Neural
Networks”, Buletinul Ştiinţific al Universităţii „Politehnica” din
Timişoara, Seria Automatică şi Calculatoare, vol. 47 (61), pp. 131-
134, Timişoara, 2002.
[Dan02b] – Danciu, D., – “Qualitative Behaviour of the Time-Delay
Hopfield-type Neural Network with Periodically Varying Stimuli”,
Analele Universităţii din Craiova, nr.26, 2002 (sub tipar).
[DeW95] – DeWilde, Ph. – “Neural Network Models”, Lecture Notes in
Control and Information Sciences, no. 210, Springer-Verlag, 1995.
[Dri98] - Driessche van den, P., X. Zou – “Global attractivity in delayed
Hopfield neural network models”, SIAM Journal Appl. Math., vol. 58,
pp. 1878-1890, 1998.
[Gel68] – Gelig, A. Kh. – “Stability of controlled systems with bounded
nonlinearities”, Autom. Remote Control, pp. 1724-1731, 1968.
[Gel78] – Gelig, A. Kh., G.A. Leonov, V.A. Yakubovich – Stability of
nonlinear systems with non-unique equilibrium state, [în rusă]. Nauka
Publ. House, Moscova, 1978.
[Gop94] – Gopalsamy, K., X.Z. He – “Stability in asymmetric Hopfield nets
48
with transmission delays”, Physica D., vol. 76, 344-358, 1994.
[Ha63] – Halanay, A. - Ecuaţii diferenţiale. Stabilitate. Oscilaţii. Întârzieri.,
Editura Academiei, Bucharest, 1963.
[Ha67] – Halanay, A. – “Invariant manifolds for systems with time lag” –
Differential and dynamical systems, (Hale & La Salle Eds.), Acad.
Press, New York, pp. 199-213, 1967.
[Ha91] – Halanay, A., Vl. Rasvan – “Absolute stability of feedback systems
with several differentiable non-linearities” – Int. Journ. Systems Sci.,
vol. 22, no. 10, pp. 1991-1927, 1991.
[Ha93] – Halanay, A., Vl. Rasvan - Applications of Liapunov Methods to
Stability, Kluwer Academic, 1993.
[Ha00] – Halanay, A., Vl. Rasvan – “Oscilations in Systems with Periodic
Coefficients and Sector-restricted Nonlinearities. Operator Theory.
Advances and Applications.”, vol. 117, Birkhauser Verlag, Basel, pp.
141-154, 2000.
[Hal69] – Hale, J.K. - Ordinary Differential Equation, New York: Wiley-
Interscience, 1969.
[Hal77] – Hale, J.K. - Functional Differential Equations, Springer Verlag,
1977.
[Har34] – Hardy G.H., J.E. Littlewood, G. Polya - Inequalities, Cambridge
Univ. Press, 1934.
[Hay94] – Haykin, S. – Neural Networks, a Comprehensive Foundation,
Macmillan, N.Y., 1994.
[Hir88] – Hirsch, M.W. – “Stability and convergence in strongly monotone
dynamical systems”, J. reine angew. Math., 383, pp. 1-53, 1988.
[Hop82] – Hopfield J. J. – “Neural networks and physical systems with
emergent collective computational abilities”, Proc. Nat. Acad. Sci.
U.S.A., vol. 79, pp. 2554-2558, 1982.
[Kal57] – Kalman, R.E. – “Physical and mathematical mechanisms of
instability in nonlinear automatic control systems”, Trans. Amer. Soc.
49
 Mech. Eng., 79(3), 1957.
[Kos88] – Kosko, B. – “Bidirectional associative memories”, IEEE Trans.
Systems, Man, Cybernet., vol. SMC-18, pp.42-60, 1988.
[Kos92] – Kosko, B. – Neural Networks and Fuzzy Systems, Prentice-Hall
International, (UK) Limited, London, 1992.
[Krz67] – Kurzweil, J. – “Invariant manifolds for flows”, Differential and
dynamical systems, [Hale & La Salle Eds.], Acad. Press, New York,
pp. 431-468, 1967.
[Li892] – Liapunov, A.M. – Problema generală a stabilităţii mişcării, Harkov,
1892.
[LaS67] – LaSalle, J.P. – “An invariance principle in the theory of stability” in
Differential Equations and Dynamical Systems, pp. 277-286. Ed. J.K.
Hale si J.P. LaSalle, Academic Press, New York, 1967.
[LaS68] - LaSalle, J.P. – “Stability Theory for Ordinary Differential
Equations”, Journal of Differ. Equations, vol. 4, no. 1, pp. 57-65,
1968.
[Leo92] – Leonov, G.A., V. Reitmann, V.B. Smirnova – Non-local methods
for pendulum-like feedback systems, Teubner Verlag, Leipzig, 1992.
[Mar89] – Marcus, C.M., R.M. Westervelt – “Stability of analog neural
networks with delay”, Phys. Rev. A., vol. 39, pp. 347-359, 1989.
[McC43] – McCulloch, W. S., W. Pitts – “A Logical Calculus of the Ideas
Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics,
vol. 5, pp. 115-133, 1943.
[Mic74] – Michel A. – “Stability analysis of interconnected systems”, SIAM J.
Control, vol. 12, no. 3, pp. 554-579, 1974.
[Mos67] – Moser, J. – “On nonoscillating networks”, Quart. Appl. Math. vol.
25, pp. 1-9, 1967.
[Nol94] – Noldus, E., R.,Vingerhoeds, M. Loccufier – “Stability of analogue
neural classification networks”, Int. Journ. Systems Sci., vol. 25, no. 1,
pp. 19-31, 1994.
50
[Nol95] – Noldus, E., M. Loccufier – “An application of Liapunov’s method
for the analysis of neural networks”, Journ. of Comp. and Appl.
Math., vol. 50, pp. 425-432, 1995.
[Pop79] – Popov, V.M. – “Monotonicity and Mutability”, Journal of
Differential Equations, vol. 31, no. 3, pp. 337-358, 1979.
[Pop81] - Popov, V.M. – “Monotone-Gradient Systems”, Journ. of Differ.
Equations, vol. 41, no. 2, pp. 245-261, 1981.
[Răs75] – Răsvan, Vl. – Stabilitatea absoluta a sistemelor automate cu
întârziere, Ed. Academiei, Bucuresti, 1975.
[Răs87] – Răsvan, Vl. – Teoria stabilităţii, Ed. Ştiinţifică şi Enciclopedică,
Bucureşti, 1987.
[Răs98] – Răsvan, Vl. – “Dynamical Systems with Several Equilibria and
Natural Liapunov Functions”, Archivum mathematicum, tomus 34, no.
1 [Equadiff 9], pp. 207-215, 1998.
[Răs02] – Răsvan, Vl. – “Popov Theories and Qualitative Behaviour of
Dynamic and Control Systems”, European Journ. on Control, vol.8,
nr.3, pp. 190-199, 2002.
[Šil72] – Šiljak, D.D. – “Stability of large-scale systems”, Proc. Fifth World
Congres of IFAC (Session 9, Nonlinear Systems), Paris, 1972.
[Tso94] – Tsoi, A.C., Back A.D. – “Locally Recurrent Globally Feedforward
Networks: A Critical Review of Architectures”, IEEE Trans. on
Neural Networks, vol. 5, no. 2, pp. 229-239, 1994.
[Vid81] – Vidyasagar, M. – “Input-Output analyssis of Large Scale
Interconnected Systems”, LNCIS, vol. 29, Springer Verlag, 1981.
[Wan02] – Wang, L., X. Zou – “Exponential stability of Cohen-Grossberg
neural networks”, Neural Networks, vol. 15, pp. 415-422, 2002.
[Wil72] – Willems, J.C. – “Dissipative dynamical systems I, II”, Arch.Rat.
Mech. Anal. vol. 45, pp. 321-393, 1972.
51