Principii Generale ale Calcului Neuronal

Istoria rețelelor neuronale artificiale (RNA) sau, simplu, a rețelelor neuronale începe cu
modelul de neuron propus de către McCulloch și Pitts (un logician și un neurobiolog) în 1943.
Vom numi acest model neuronal modelul MP.
Modelul MP presupune că neuronul funcționează ca un dispozitiv simplu, ale cărui intrări
sunt ponderate. Ponderile pozitive sunt excitatoare iar ponderile negative sunt inhibitoare.
Dacă excitația totală, adică suma ponderată a intrărilor, depășește un anumit prag, atunci
neuronul este activ și emite un semnal de ieșire (ieșirea are valoarea +1). Dacă excitația totală
este mai mică decât valoarea prag, atunci neuronul nu este activ și ieșirea lui se consideră a fi
zero.
Hebb a propus un mecanism calitativ ce descrie procesul prin care conexiunile sinaptice
sunt modificate pentru a reflecta mecanismul de învățare realizat de neuronii interconectați
atunci cțnd aceștia sunt influențați de anumiți stimuli ai mediului.
Rosenblatt (1958-1959) a propus un dispozitiv numit perceptron. Perceptronul este bazat pe
interconectarea unei mulțimi de neuroni artificiali și reprezintă primul model de rețea
neuronală artificială.
Bernard Widrow a propus un model neuronal numit ADALINE și o rețea cu elemente de
acest tip numit MADALINE. ADALINE reprezintă acronimul ADAptive LInear NEuron sau
ADAptive LINer Element. MADALINE este un acronim pentru Multiple-ADALINE.
Modelul ADALINE este în esență identic cu modelul perceptronului. Ieșirea este bipolară:
+1 sau -1. ADALINE este un dispozitiv adaptiv, în sensul că există o procedură bine definită
de modificare a ponderilor pentru a permite dispozitivului să dea răspunsuri corecte pentru o
intrare dată. El este și un dispozitiv liniar deoarece ieșirea sa este o funcție liniară.
Minsky și Papert (1969) au demonstrat că modelele simple de tipul perceptronului prezintă
limitări seriose. Astfel, un perceptron standard (elementar) nu poate distinge între două litere
atât de deosebite cum sunt "C" și "T". Dificultatea este legată de neuronii MP care sunt
utilizați în acest perceptron. De asemenea, perceptronul standard nu poate calcula valorile
funcției logice "sau exclusiv". Aceste dificultăți au făcut ca interesul pentru calculul neuronal
să se diminueze. Cercetările privind rețelele neuronale au ieșit din primul plan al atenției
specialiștilor și publicului pentru aproape două decenii.
Noile modele ale procesului de învățare propuse de Rumelhart și McClelland (1986),
Hopfield (1982), Kohonen (1984), Grossberg (1980) și alții, au inițiat un nou val de cercetări
în direcția calcului neuronal. Au fost propuși noi altgoritmi de învățare și s-au realizat diferite
modele de rețele neuronale. În prezent rețelele neuronale au numeroase aplicații iar aspectele
teoretice privind calculul neuronal sunt extrem de mult studiate.
Rețelele neuronale permit rezolvarea unor probleme complicate, pentru care nu avem
altgoritm secvențial dar posedăm unele exemple de soluții. Învățând din aceste exemple (faza
de instruire), rețeaua va fi capabilă să trateze cazuri similare (faza de lucru).
Calculatoarele convenționale (secvențiale) sunt, desigur, instrumente extrem de adecvate în
rezolvarea unui spectru larg de probleme matematice, științifice, inginerești sau economice.
Calculatoarele își dovedesc limitele în domenii în care omul excelează, cum ar fi percepția ți
învățarea din experiență. Multe probleme reale implică, însă, sarcini complexe de
recunoaștere a formelor sau de clasificare. Pentru a transfera calculatorului anumite abilități
umane, cercetătorii au încercat să folosească noi modele de prelucrare, inspirate de
cunoștiințele neurobiologice.
Într-un calculator convențional elementul esențial este procesorul individual, caracterizat de
viteza mare de lucru. În creier, elementele individuale de proces sunt celulele nervoase
(neuronii). Ele sunt mai simple și mai lente decât un procesor de calculator, însă sunt foarte
numeroase. Conexiunile dintre neuroni sunt la fel de importante ca și aceștia. Inteligența și
procesele memoriei rezidă în întreaga rețea de celule și nu în neuronii individuali.
Cortexul cerebral este o rețea neuronală naturală. O astfel de rețea neuronală are capacitatea
de a gândi, învăța, simți și de a-și aminti. În cele ce urmează vom discuta posibilitatea
construirii unor sisteme artificiale care să realizeze o parte din funcțiile cognitive ale unei
rețele neuronale naturale. Ceea ce contează este capacitatea de a îndeplini sarcini ce presupun
inteligență.
Rețelele neuronale artificiale sunt rețele de modele de neuroni conectați prin intermediul
unor sinapse ajustabile. În continuare, ele vor fi numite, simplu, rețele neuronale. Rețelele
neuronale mai sunt cunoscute și sub multe alte denumiri, cum ar fi:
- modele conexioniste
- modele de prelucrare paralelă distribuită
- sisteme neuromorfe
- sisteme neurodinamice
- calculatoare neuronale (sau neurocalculatoare).
Toate modelele de rețele neuronale se bazează pe interconectarea unor elemente simple de
calcul printr-o rețea densă de conexiuni. Fiecare unitate de proces este capabilă să execute
doar calcule simple dar rețeaua, ca întreg, poate avea calități remarcabile în recunoașterea
formelor, rezolvarea problemelor pentru care nu posedăm un altgoritm, învățarea din exemple
sau din experiență.
Paralelismul înalt și capacitatea de învățare reprezintă caracteristicile fundamentale ale
rețelelor neuronale.
Construirea rețelelorneuronale artificiale se bazează pe înțelegerea noastră actuală asupra
sistemelor neuronale biologice. Din acest motiv câteva elemente de neurobiologie sunt
necesare.

Instruirea rețelelor neuronale

Calculul neuronal implică două aspecte fundamentale: învățarea și reprezentarea cunoașterii.

Abordarea neuronală a acestor aspecte este diferită de abordarea standard întâlnită în
modelele bazate pe reprezentarea simbolică a cunoștiințelor. Calculul neuronal este
caracterizat prin posibilitatea învățării pe bază de informații parțiale sau pe date ce conțin
erori. Acest lucru este posibil datorită caracterului robust (în raport cu informațiile ce
reprezintă zgomote) al învățării neuronale.
Există un consens aproape unanim în a accepta faptul că tehnicile de învățare reprezintă
calea prin care mașinile pot deveni capabile să realizeze sarcinile dificile ale inteligenței
artificiale. În mod evident, un program inteligent, care învață prin instruire și din experiență,
poate fi capabil să realizeze sarcini mai dificile decât un program bazat pe o listă de
posibilități care a fost stabilită și actualizată de programatorul uman.

Modelarea neuronală

Modelarea neuronală încearcă să dezvolte sisteme instruibile pentru scopuri generale, care
pornesc cu o cantitate mică de cunoștiințe inițiale. Astfel de sisteme se numesc rețele
neuronale, sisteme cu auto-organizare sua sisteme conexioniste. Un sistem de acest tip constă
dintr-o rețea de elemente interconectate de tip neuron, care realizează anumite funcții logice
simple. Un astfel de sistem învață prin modificarea intensității de conexiune dintre elemente,
adică schimbând ponderile asociate acestor conexiuni. Cunoașterea inițială ce este furnizată
sistemului este reprezentată de caracteristicile obiectelor considerate și de o configurație
inițială a rețelei. Acestă categorie de sisteme instruibile include perceptronul, pandemoniul și
orice mașină auto-instruibilă ce folosește funcțiile discriminante. Cercetările în acest
domeniu au condus la abordarea bazată pe teoria deciziilor în recunoașterea formelor. Alte
direcții înrudite sunt învățarea evolutivă ți altgoritmii genetici.
Sistemele bazate pe acest model presupun un nivel scăzut al cunoașterii a priori și folosesc
parametri modificabili pentru a realiza învățarea. O altă caracteristică este caracterul numeric
al metodelor și altgoritmilor de învățare. Prin contrast, urmaătoarele două direcții pun
accentul pe crearea și manipularea unor structuri simbolice complexe în timpul procesului de
învățare.

Tipuri de instruire în rețelele neuronale

Rețelele neuronale achiziționează cunoașterea prin instruire. O rețea neuronală este instruită
dacă aplicarea unei mulțimi de vectori de intrare va produce ieșirile dorite. Cunoașterea pe
care rețeaua neuronală o dobândește este memorată de sinapsele neuronale, mai precis, în
ponderile conexiunilor dintre neuroni.
Vectorii de instruire se prezintă rețelei în mod secvențial iar ponderile rețelei sunt ajustate
pentru a capta cunoașterea pe care acești vectori o reprezintă. Ajustarea ponderilor se face în
conformitate cu o procedură prestabilită, care se numește legea de învățare sau altgoritmul de
instruire. În general, fiecare vector din mulțimea de instruire este prezentat rețelei de mai
multe ori. Altgoritmul de instruire trebuie să determine convergența ponderilor spre valori
care să determine ca fiecare vector de intrare să producă ieșirea dorită (admițând că aceasta
este cunoscută).1

Rețele neuronale competitive

Stephen Grossberg a enunțat pentru prima dată "dilema zgomot-saturație" (asemănătoare

principiului de incertitudine a măsurării enunțat în 1926 de Heisenberg) care apare în cazul
sistemelor de prelucarare a semnalelor. Acestea arată că dacă un sistem este sensibil la intrări
de amplitudine mare, atunci el tinde să ignore intrările mici asimilându-le zgomotelor. Pe de
altă parte, dacă sistemul este sensibil la intrări de amplitudine mică, atunci intrările cu valori
mari tind să satureze sistemul. Deci, pentru sistemele de prelucrare a semnalelor un domeniu
de oprerare mărginit pare incompatibil cu un domeniu al intrărilor dinamic și nelimitat.
Notând cî modelele dinamice pentru rețelele neurale discutate anterior erau modele aditive,
trebuie să spunem că tot lui Grossberg îi datorăm și prima motivație teoretică pentru utilizarea
modelelor de activare multiplicative:
Teoria saturației:Modelele de activare aditive se saturează la intrări de valori mari, pe când
modelele de activare multiplicative nu se saturează.
Modelul rețelelor neurale competitive propus de matematicienii Cohen și Grossberg are ca
punct de inspirație sistemul biologic vizual. Din punct de vedere topologic, sistemul neural
competitiv este o rețea autoasociativă bazată pe conexiuni laterale inhibatoare și o singură
conexiune excitatoare.
Grossberg a arătat că în rețelele multiplicative fiecare activitate neurală este restricționată la
un interval finit pentru toți și că, printr-o proiectare corespunzătoare, aceste rețele își pot
acorda automat sensibilitatea pentru a menține un răspuns sensibil în aceste intervale chiar
dacă valorile lor de intrare fluctuează într-un interval dinamic mult mai larg.
Trebue amintit că modelul lui Cohen-Grossberg a primit de-a lungul timpului o serie de
critici. Dintre acestea amintim:
1
Dumitrescu D. , Hariton Costin, Rețele neuronale, Editura Teora, București, 1996, pag. 21-29
  Pentru construirea modelului, Grossberg a pornit de la reprezentarea zgomotului ca o
distribuție de probabilitate uniformă – ceea ce nu se confirmă în realitate deoarece, în
general zgomotul este modelat ca o variabilă aditivă, independentă și aleatoare.
 A reprezentat atât semnalul cât și zgomotul cu aceeași variabilă distribuție de
probabilitate pi, însă în general, semnalul și zgomotul apar simultan și independent.
 Pentru a suprima zgomotul, Grossberg a decuplat neuronii, însă acest mecanism nu
funcționează atunci când semnalul și zgomotul coexistă, cum se întâmplă în cazul
rețelelor neurale care trebuie să elimine permanent zgomotul în timp ce prelucrează
semnalul.

Rețele neurale celulare

Rețelele neurale celulare (RNC) au fost introduse de Chua și colegii săi. În principiu, o
RNC este o rețea Hopfield analogică în care conexiunile unui neuron artificial sunt limitate
doar la neuronii din vecinătatea imediată a acestuia, conexiunile fiind bidirecționale. Celule
care nu sunt conectate direct se pot influența indirect datorită efectului de propagare a
dinamicilor celulelor.
O rețea neurală celulară este o rețea de circuite identice (celule) distribuite regulat în
câmpuri n- dimensionale. Topologia RNC este foarte variată. Se pot realiza RNC cu dispunere
dreptunghiulară, triunghiulară sau hexagonală în plan, RNC cu dispunere toridală a celulelor
în spațiul 2-D sau 3-D, lanțuri finite de celule în 3-D sau secvențe de mai multe câmpuri
bidimensionale în spațiului tridimensional.
Celulele sunt sisteme dinamice cu mai multe intrări și o ieșire. Interconectarea celulelor ține
cont de vecinătatea acestora definită de o metrică dată.
Sistemul dinamic reprezentat de o rețea neurală celulară poate opera atât în timp continuu,
cât și în timp discret. Datele și parametrii rețelei sunt valori continue. Rețelele neurale
celulare sunt rețele recurente, ele operând în mai mult de o iterație.
Avantajul major al rețelelor neurale celulare este dat de faptul că datorită conexiunilor locale
se pot implementa rețele de dimensiuni mari în tehnologie VLSI. RNC sunt indicate în
aplicații de prelucrare a imaginilor, atenuarea zgomotelor, extragerea formelor, detecția
marginilor; RNC au fost testate și pentru aplicații de recunoștere a caracterelor chinezești.

Schema bloc a unei celule din rețeaua neurală celulară

 Concluzii
Rețelele neurale artificiale au apărut din nevoia de a obține mașini de calcul inteligente care
să rezolve probleme ce nu puteau fi soluționate cu ajutorul calculatorului numeric tradițional,
dar care își găseau ușor rezolvarea în cazul unui creier uman obișnuit.
Pe parcursul unei jumătăți de secol acest deziderat a solicitat atenția unor numeroase și
prestigioase grupuri de cercetători din întreaga lume, și astăzi putem vorbi despre o disciplină
nouă, vastă și încă în plină dezvoltare, cu direcții de cercetare bine conturate.
O direcție de cercetare importantă a domeniului rețelelor neurale artificiale o constituie
abordarea lor ca sisteme dinamice și studiul comportamentului lor calitativ în prezența
perturbațiilor și de scurtă durată și a incertitudinilor.
Rețelele neurale sunt structuri care posedă "proprietăți de calcul emergente", adică sunt
formate din elemente simple de calcul interconectate, cărora interconexiunile le conferă o
putere de calcul mărită, caracteristică ce nu se deduce din proprietățile unui element
constitutiv individual. În cadrul rețelelor neurale artificiale se distind două clase mari de
structuri: rețelele feedforward și rețelele recurente. Rețelele feedforward nu au dinamică.
Pentru prelucrări mai complicate ale informației sunt utilizate rețelele neurale recurente
(RNR), ccare datorită interconexiunilor ciclice sunt sisteme dinamice cu comportamente
spațiale și temporale bogate implicând: puncte fixe stabile sau instabile, cicluri limită și chiar
comportamente haotice. Datorită acestor comportamente, RNR se pot foolosi la modelarea
anumitor funcții cognitive: memoria asociativă, învățare nesupravegheată, hărți auto-
organizabile, raționament temporal.
Modelele matematice ale RNR provin ori din modelarea anumitor comportamente ale
structurilor biologice, ori din necesitatea Inteligenței Artificiale de a considera anumite
structuri care să rezolve anumite sarcini. Trebuie subliniat însă că, în nici unul dintre cazuri
stabilitatea sau comportamentul calitativ "bun" nu sunt scopuri primare. Cu toate acestea,
aceste proprietăți de dinamica a RNR sunt necesare și tocmai de aceea sunt importante pentru
funcționarea corectă a lor în atingerea scopului pentru care au fost proiectate. Acesta este
motivul pentru care dinamica RNR afectate sau de întârziere a fost și este încî amplu studiată
în literatura de specialitate în scopul obținerii unor condiții de comportament calitativ cât mai
puțin restrictive și ușor verificabile în practică.2

Rețele neuronale cu întârziere

Rețelele neuronale cu întârziere (Time-Delay Neural Network) TDNN, se deosebesc de

celelalte rețele prin unitățile de întârziere introduse . Dacă de exemplu n=2 (întârziere
maximă), iar j=10 (numărul intrăeilor), atunci pentru activarea neuronului următor vor fi
necesare 30 de ponderi, și astfel rețeaua va putea combina în calculul efectelor ultimilor
n+1=3 vectori de intrare.
Pentru un nivel superior întârzierea maximă n va fi mai mare decât pentru un nivel anterior
lui, pornind de la intuiția că nivelele superioare pot "integra" deciziile de la nivelele
inferioare. De altfel alegerea lui n, ca și a numărului de nivele ascunse este euristică.
Modularitatea este o altă caracteristică a acestor rețele. Astfel o structură mare poate integra
mai multe TDNN, fiecare putându-se instrui separat și fiecare fiind capabilă să recunoască
altceva.
Ca și aplicații pe lângă recunoașterea vorbirii, se menșionează o realizare orientată spre
recunoașterea tipurilor de avarii, de la Clemson University, South Carolina. Rețeaua a fost
finalizată pentru 6 nivele ascunse cu 3 întârzieri și este capabilă să clasifice corect 4 tipuri de
2
Danciu D. , Sisteme cu mai multe echilibre,Aplicații la rețele neuronale, Editura Universitaria, Craiova, Craiova
2006, pag 38-45
avarii pe baza perturbațiilor care se evidențiază în urma producerii lor pe tensiunea rețelei
electromagnetice urmărite.

Rețele neuronale cu întârziere

Rețele neuronale fuzzyficate

O asemenea rețea integrează principiul logicii fuzzy cu o structură neuronală, realizând un

sistem inteligent de comandă la cre precizia este mărită. Se îmbină astfel trăsătura logicii
fuzzy de a fi independentă de model adică faptul că nu se cere un model matematic bine
definit, cu crearea regulilor fuzzy prin instruire funcție de necesități. Logica fuzzy furnizează
un cadru de comandă pentru a exprima relația de intrare-ieșire a rețelei neuronale, iar rețeaua
neuronală aduceputerea de calcul și capacitatea de instruire.
Structura și funcționarea unui astfel de sistem se ilustrează în continuare printr-un exemplu
de implementări necesareunui automat programabil ca să comande un generator sicron pentru
îmbunătățirea stabilității tranzitorii a rețelelor electrice.
Structura

Sunt prevăzute două intrări și o ieșire. Pentru categorisirea mărimii variabilelor de

ieșire/intrare se adoptă 7 termeni lingvistici: pozitiv mare (big) PB, pozitiv mediu PM, pozitiv
mic PS, zero ZE, negativ mic NS, negativ mediu Nm și negativ mare NB.
În acest fel nivelul 1 de neuroni (de intrare) va avea două noduri care transmit direct
variabilele de intrare de nivelul 2 format câte 7 noduri corespunzător termenilor lingvistici
pentru fiecare intrare (total 14), ultimul nivel (5) va avea un nod (pentru o variabilă de ieșire)
iar penultimul (4), 7 noduri. Acestea în ideea că nodurile din nivelurile 2 și 4 sunt noduri
termen în care acționează funcțiile de apartenență care fuzzyfică respectiv defuzzyfică. Atunci
mai este nevoie de un nivel (3) de noduri regulă, adică de procesorul fuzzy, la care fiecare nod
aplică o regulă pentru a furniza din compararea a câte două variabile de intrare fuzzy o
variabilă de ieșire fuzzy (49 de noduri).
 Topologia descrisă se poate urmări din următoarea figură.Fiecare nod ale nivelurilor 2 și 3
are 7 ieșiri. Funcțiile de apartenență au forma clopotului lui Gauss fiind caracterizate pentru
câte un termen lingvistic, printr-o medie µ și o abatere medie pătratică ơ.
Se adoptă următoarele notații:
1
x i - intrarea după activare a nodului i din nivelul 1;
y 1i - ieșirea nodului i din nivelul 1;
μ1i , σ 1i – media și abaterea funcției de apartenență a nodului i din nivelul 1;
w i , j - ponderea legăturii nodului j din nivelul 3 la nodul i din nivelul 4.
Modul de obținere al semnalului de ieșire va rezulta urmărind fiecare nivel în parte:
 Nivelul 1: doar transmite semnalul și deci
y 11=¿ ω, y 12=ω

Topologia rețelei neuronale fuzzyficate

 Nivelul 2 : efectuează fuzzyficarea, adică categorisirea variabilelor de intrare conform

termenilor lingvistici adoptați și stabilirea gradului de realizare prin funcțiile de
apartenență proprii fiecărui nod (cu μ2i , σ i2 proprii)
 Nivelul 3 : fiecare nod are două intrări (una dependentă de ω , cealaltă de σ ), activarea
corespunzând operatorului AND.
 Nivelul 4 : activarea nodurilor este ponderată, fiecare nod primind intrări de la toate
nodurile nivelului anterior. Inițial ponderile sunt fixate la valoarea 1 doar pentru
legăturile de la nodurile din nivelul 3 la nodurile termen ale nivelului 4 care realizează
situațiile definite.
  Nivelul 5 : acționează pentru defuzzyficare, adică să furnizeze un semnal de comandă
non-fuzzy care să reprezinte cel mai bine distribuția inerenței fuzzy. 3

Funcția de apartenență

În încheiere remarcăm că elememntele de vază ce caracterizează rețelele neurale au fost

însoțite în acest capitol de prezentarea atât a unor idei revoluționare în dezvoltarea domeniului
RNA, cât și a criticilor aduse unor rezultate care cu toate acestea au constituit un salt calitativ
pentru anumite direcții ale domeniului.4

3
Andea P. Delesegai, Sisteme de protecție și echipamente inteligente, Editura Orizonturi Universitare,
Timișoara 2003, pag 163-176
4
Danciu D. , Sisteme cu mai multe echilibre,Aplicații la rețele neuronale, Editura Universitaria, Craiova, Craiova
2006, pag 46