CREAREA UNEI BIBLIOTECI SIMULINK PENTRU EXPLOATAREA REELELOR NEURONALE N IDENTIFICARE

Marius KLOETZER Dan ARDELEAN Octavian PSTRVANU Facultatea de Automatic i Calculatoare Iai Email: mkloetzer@ac.tuiasi.ro, adan@mail.dntis.ro, opastrav@ac.tuiasi.ro
Rezumat: Este prezentat o bibliotec de instrumente software performante care extind utilizarea mediului Simulink n domeniul identificrii bazate pe modele de tip reea neuronal. Facilitile nou create permit realizarea antrenrii prin simpla operare cu blocuri i selectarea unui numr de opiuni afiate n cutiile de dialog asociate acestora, dup principiul pre-designed modules. Aceast strategie este curent utilizat n software-ul tehnico-tiinific pentru a asigura simplitatea modului de definire a aplicaiilor i flexibilitatea organizrii experimentelor, prin reducerea substanial a efortului de programare n maniera clasic a scrierii de cod. Eficiena ridicat n exploatare rezult, pe de o parte, din uurina cu care se manipuleaz datele (pentru identificare off- i on-line), iar, pe de alt parte, din posibilitatea antrenrii prin mai muli algoritmi numerici. Dezvoltat pentru a veni n sprijinul activitii de cercetare orientat pe aplicarea reelelor neuronale n automatic, biblioteca permite att construirea unor modele dinamice bazate pe arhitecturi de tip ADALINE, MLP i RBF, ct i utilizarea acestora n simulare, oferind, totodat, un valoros material didactic pentru diverse forme de instruire practic n cadrul nvmntului universitar i post-universitar din profilul tiinei sistemelor i calculatoarelor. Lucrarea include un numr de studii de caz ce ilustreaz totala compatibilitate cu mediul Simulink a noilor instrumente, manevrarea comod a bibliotecii, precum i calitatea modelelor rezultate din identificare. Cuvinte cheie: reele neuronale, identificare, simulare, instrumente Simulink.

1. Introducere
Identificarea bazat pe modele neuronale s-a conturat ca direcie de cercetare la nceputul anilor 90, drept urmare a investigaiilor matematice asupra proprietilor de aproximare ale reelelor neuronale de tip MLP (Multilayer Perceptron) [5], [10] i de tip RBF (Radial-Basis Function) [11]. Evoluia noului domeniu a fost impulsionat de contribuiile remarcabile, din aceeai perioad, ale unor nume de prestigiu n automatic, ca de exemplu [9], [13], [18], care au deschis drumul utilizrii reelelor MLP n identificarea neliniar i [3], care s-au orientat pe arhitecturi de tip RBF. n acest context, merit subliniat faptul c aplicarea n automatic a tehnicilor specifice reelelor neuronale a fost dominat, pe ntreaga durat a anilor 90, de exploatarea topologiilor MLP cu noduri sigmoidale n stratul (straturile) ascuns(e). Totui, un numr de cercettori au continuat studierea aplicabilitii reelelor de tip RBF n identificarea i conducerea sistemelor, cum este cazul lucrrilor de referin [13], [14], [15]. Pe de alt parte, firmele productoare de software tehnico-tiinific au demarat dezvoltarea de faciliti specifice reelelor neuronale, astfel nct apariia n 1992 a primei versiuni a Neuronal Network Toolbox (NNT) ncorporat n mediul MATLAB 4.2 a avut un impact major asupra interesului acordat de ctre automatiti acestei direcii de cercetare. ntruct NNT, de la prima versiune pn la cea mai recent [21], a fost conceput s acopere o arie ct mai larg de aplicaii ale reelelor neuronale, proiectanii si nu i-au propus dezvoltarea concomitent a unor blocuri Simulink, dedicate construciei modelelor dinamice. O iniiativ valoroas n aceast direcie trebuie semnalat n studiile practice din monografia [7], care prezint realizarea unui bloc Simulink destinat antrenrii on-line, prin metoda propagrii inverse, a unei configuraii dinamice bazat pe topologie MLP, destinat identificrii neliniare. Spre deosebire de abordarea restrns din [7], instrumentele soft discutate n lucrarea de fa vizeaz un cadru mult mai larg de exploatare a reelelor neuronale n Simulink, versiunea 4.0.1 [20], n scopul construirii modelelor dinamice, permind utilizarea topologiilor ADALINE, MLP i RBF, selectarea a diverse strategii de organizare a datelor pentru identificare, precum i utilizarea mai multor tehnici de antrenare n conformitate cu topologia reelei. Prin crearea unor atare instrumente, se realizeaz un progres notabil n ceea ce privete simplitatea manevrrii modelelor neuronale n experimente de identificare, care, astfel, pot fi conduse direct n mediul Simulink (considernd inclusiv situaia aplicaiilor de timp real pentru care se poate face apel la serviciile Real-Time Workshop). Merit de amintit faptul c preocuprile noastre n direcia dezvoltrii de faciliti Matlab-Simulink pentru utilizarea reelelor neuronale n automatic au avut n vedere, n mod constant, i aspectul educaional, dup cum reiese din [6], [12], experiena acumulat permind crearea bibliotecii prezentate n lucrarea curent. Validitatea acestor preocupri a primit, indirect, o confirmare important chiar din partea firmei productoare, The MathWorks, care, ncepnd cu versiunea Simulink comercializat n 2001, a inclus un bloc pentru identificare neuronal bazat pe arhitectura MLP. n raport cu facilitile oferite de

biblioteca noastr, implementarea furnizat de firma The MathWorks nu conine blocuri structurate pe topologiile ADALINE i RBF i nici nu permite utilizarea strategiilor de antrenare on-line (pe eantioane). Organizarea materialului curent este conceput astfel: Seciunea 2 furnizeaz o privire de ansamblu asupra problematicii identificrii bazate pe modele de tip reea neuronal; Seciunea 3 este dedicat prezentrii blocurilor Simulink create i a facilitilor de exploatare; Seciunea 4 ilustreaz aspectele numerice semnificative ale antrenrii i comenteaz calitatea modelelor obinute prin intermediul a dou exemple relevante; Seciunea 5 prezint o comparaie ntre performanele modelelor neurale de tip RBF si cele de tip MLP; Seciunea 6 formuleaz cteva concluzii privitoare la eficiena dezvoltrilor software propuse.

2. Scurt trecere n revist a problematicii identificrii pentru modele de tip neuronal

Utilizarea reelelor neuronale n identificare permite construirea de modele black-box, liniare sau neliniare, care se bazeaz pe rezultatele teoretice privind capacitatea de aproximare a arhitecturilor feedforward, formulate n [5], [11] i [22] pentru topologii ADALINE, MLP i respectiv RBF. Un interes practic deosebit prezint obinerea modelelor discrete de tip NNARX [4], [16] cu perioada de eantionare T:
y (kT |) = f ( y ((k 1)T ),..., y ((k n)T ),u ((k d )T ),...,u ((k d m)T )) ; k, m, n, dN

(1)

unde:

f : R n+m+1 R

(2)

este o aplicaie (liniar sau neliniar neted) ce descrie transferul intrare-ieire al unei reele neuronale statice cu topologie adecvat, iar noteaz vectorul parametrilor reelei. n relaia (1), u i y desemneaz intrarea i y respectiv ieirea procesului care constituie obiectul identificrii, iar noteaz predicia realizat de NNARX pe baza regresorilor din (1). Indiferent de topologia reelei, identificarea pe baza schemei serie-paralel (conform denumirii utilizate n [13]) din figura 1 asigur stabilitatea algoritmului iterativ de minimizare a funciilor y obiectiv definite cu ajutorul erorii e(kT) = y(kT) - (kT|). Formularea concret a funciilor obiectiv este corelat cu modul de obinere i exploatare a datelor experimentale corespunztoare procesului. n acest sens, literatura evideniaz dou categorii de metode de antrenare a reelei neuronale din schema serie-paralel din figura 1: pe lot (batch) sau off-line, care utilizeaz funcii obiectiv de forma (pn la o constant multiplicativ): 1 N J = e 2 (kT ) N k =1 unde N noteaz numrul total de elemente disponibile n lot;

(3)

pe eantioane (pattern) sau on-line, care utilizeaz funcii obiectiv de forma (pn la o constant multiplicativ): 1 i + N E 1 2 (4) J (iT ) = e (kT ) , iN N E k =i unde NE noteaz numrul de eantioane coninute n fereastra mobil de selectare a elementelor i eroarea dorit.

Minimizarea opereaz n spaiul parametrilor reelei (ponderi i deplasri) i poate fi condus prin tehnicile clasice de optimizare fr restricii (de exemplu [19]), adaptate la specificul organizrii matriceal-vectoriale a parametrilor aplicaiei f . n limbajul propriu reelelor neuronale, determinarea parametrilor lui f ca rezultat al minimizrii funciilor obiectiv (3) sau (4) este referit drept proces de antrenare sau nvare. Dac pentru arhitecturile ADALINE i MLP pot fi aplicate ambele metode de antrenare, pentru topologia RBF numai antrenarea batch are sens. Merit de menionat faptul c rezultatele teoretice formulate n [18] demonstreaz convergena (cu precizarea ordinului) pentru funcii obiectiv de forma (4) specifice procedurilor de antrenare on-line, fapt care a ncurajat dezvoltarea aplicaiilor de timp real pentru identificarea bazat pe modele neuronale. n ceea ce privete alegerea unui algoritm adecvat de antrenare trebuie fcut diferenierea clar ntre cazurile ADALINE i MLP, unde algoritmul opereaz pe o topologie cu un numr fixat de noduri, i cazul RBF unde algoritmul n sine genereaz numrul de noduri ascunse. Mai mult chiar, antrenarea pe topologii de tip RBF garanteaz ntotdeauna satisfacerea condiiei (3) n sensul erorii medii ptratice dorite , n timp ce antrenarea topologiilor ADALINE i MLP se poate opri fr ntrunirea condiiilor (3) sau (4) atunci cnd se depete numrul maxim de iteraii (epoci) stabilit de utilizator. n cazul MLP exist mai muli algoritmi de antrenare de tip gradient i/sau metode de tip Newton [1], [2], [8], [17], fapt ce permite confruntarea direct a performanelor

lor. Parametrii rezultai din identificare au nelesuri diferite, dup cum urmeaz: (i) ponderile pentru ADALINE (deplasamentul neuronului fiind nul), (ii) ponderile i deplasamentele tuturor straturilor pentru topologia MLP, (iii) dispersiile i centrele nodurilor pentru primul strat i ponderea i deplasamentul pentru neuronul din al doilea strat pentru topologia RBF.

Figura 1. Schema de identificare serie-paralel corespunztoare unui model de forma (1)

3. Blocuri Simulink pentru identificarea bazat pe modele neuronale

Metodologia de realizare a blocurilor SIMULINK se bazeaz pe conceptul specific de funcie S introdus de productorii software-ului, ce se caracterizeaz printr-o standardizare a arhitecturii care asigur interconectarea modulelor [20]. n dezvoltarea blocurilor pentru identificare cu modele neuronale, construirea funciilor de tip S s-a bazat pe scheletul sfuntmpl.m. Versiunea 4.0.1 a NNT [21] pune la dispoziie funcii specializate pentru definirea topologiei, realizarea antrenrii i simularea transferului intrare-ieire a reelelor neuronale. Astfel, pot fi descrise ntr-o manier unitar (care opereaz cu structuri) arhitecturi cu unul sau mai multe straturi i diferite tipuri de neuroni. Totodat, antrenarea poate fi controlat prin diveri algoritmi, de ordinul unu sau doi, pentru care NNT furnizeaz implementri eficiente, cu sintaxe de apel similare.

Figura 2. Organizarea bibliotecii Simulink pentru identificare bazat pe modele neuronale

n crearea bibliotecii de module Simulink [20] cu organizarea din figura 2, s-au luat n consideraie separat cazurile cnd funcia f din (2) este liniar, respectiv neted pe poriuni avndu-se n vedere construirea a ase blocuri distincte dup cum urmeaz: (i) pentru f liniar LI_N_ID (LInear Neural IDentifier), bloc folosit pentru antrenarea unei reele ADALINE i LI_N_SI (LInear Neural SImulator), bloc care servete n simularea transferului intrare-ieire a unui model neural cu topologie ADALINE; (ii) pentru f neliniar MLP_N_ID (MLP Neural IDentifier), bloc care servete n antrenarea reelelor de tip MLP i MLP_N_SI (MLP Neural SImulator) pentru simularea transferului intrare-ieire a unui model neural cu topologie MLP; (iii) tot pentru f neliniar RBF_N_ID (RBF Neural IDentifier), bloc care servete n antrenarea pe lot a reelelor de tip RBF i RBF_N_SI (RBF Neural SImulator) pentru simularea transferului intrare-ieire a unui model neural cu topologie RBF.

Figura 3. Arhitectura modular a blocului MLP_N_ID pentru cazul (ii) Conectarea blocurilor de antrenare la o diagram Simulink este identic pentru cazurile (i) - (iii), dar casetele de dialog ataate difer. Figura 3 prezint arhitectura modular a blocului MLP_N_ID pentru cazul (ii), care este identic cu cea a blocului LI_N_ID pentru cazul (i) , excepie fcnd modulul Neuronet. n cazul (i), Neuronet este ADALINE cu deplasament nul, n timp ce n cazul (ii), Neuronet are dou straturi primul sigmoidal (cu numrul de neuroni specificat n csua de dialog), iar cel de-al doilea liniar. De asemenea, difer i algoritmii de antrenare folosii (algoritmi care pot fi selectai prin intermediul casetei de dialog) deoarece ei sunt asociai topologiei particulare Neuronet. Modulele Selector din figura 3 organizeaz cozile de la ieirea blocului. n cazul (iii), arhitectura modular a RBF_N_ID conine doar modulele Delay i Neuronet. Pentru toate blocurile de antrenare (i) - (iii), conexiunile de intrare (inports #1, #2) la momentul kT (T>0, kN) sunt intrarea actual u(kT) (inport #1) i ieirea y(kT) (inport #2) a procesului de identificat. Modulul Delay din figura 3 genereaz n mod automat regresorii necesari n modelul (1) prin implementarea unor cozi FIFO, de mrime adecvat, n concordan cu informaiile din caseta de dialog. Conexiunile de ieire (outports #1, #2) la momentul kT (T>0, kN), furnizeaz pentru toate blocurile de antrenare parametrii rezultai din antrenare (outport #1), iar pentru cazurile (i), (ii), blocurile furnizeaz eroarea actual a modelului. Toate blocurile prezentate n aceast lucrare permit antrenarea pe lot (off-line, n concordan cu (3)), iar dou dintre blocurile de antrenare ,(i) i (ii), permit antrenare pe eantioane (on-line) cu numrul de eantioane specificat (utiliznd J(iT) n (4), cu NE luat din caseta de dialog).

Figura 4. Caseta de dialog pentru RBF_N_ID

Figura 4 ilustreaz principiul de comunicare cu utilizatorul prin intermediul casetelor de dialog, referirea concret avnd n vedere blocul RBF_N_ID pentru cazul (iii). Pentru modulele LI_N_ID n cazul (i) i MLP_N_ID n cazul (ii) casetele de dialog permit introducerea informaiilor specifice antrenrii unei reele cu topologia respectiv. Ca mod general de abordare, n gsirea regresorilor optimi pentru mrimea de intrare i respectiv de ieire (corespunztori modelului NNARX (1), sau, echivalent, figurii 1) este recomandat o strategie bottom-up n sensul c arhitectura reelei va fi iniializat cu un numr redus de regresori, numr ce va fi incrementat succesiv pn la obinerea rezultatului dorit. Arhitectura intern a blocurilor de simulare pentru cazurile (i) - (iii) este bazat pe module asemntoare cu Delay i Neuronet prezentate mai sus. Parametrii reelei se pot seta manual, sau pot fi ncrcai automat din spaiul de lucru Matlab.

4. Studii de caz
Dei utilizarea modelelor neuronale este posibil ndeosebi n cazul neliniar, lum n discuie, pentru nceput, construcia unui model liniar, deoarece acesta permite comparaii relevante (de natur parametric) cu reprezentrile standard de tip funcie de transfer, discret n timp. Al doilea exemplu ilustreaz construcia unui model neliniar pentru care discuia privind validitatea se limiteaz doar la analiza comparativ a rspunsurilor obinute de la proces i respectiv model, n condiiile acelorai semnale de test aplicate la intrare. n nici unul dintre cazuri nu abordm problematica validrii modelelor cu ajutorul testelor statistice. Pentru ambele exemple, procesul supus identificrii a fost simulat ca funcionare n mediul Simulink, antrenarea reelelor nefcnd ns uz de cunoaterea ordinului modelelor de simulare (ipotez absolut fireasc n desfurarea aplicaiilor reale). Totodat au fost considerate, separat, dou situaii pentru fiecare din exemplele ce urmeaz a fi detaliate mai jos: (a) Ieirea procesului nu este afectat de perturbaii (b) Ieirea procesului este afectat aditiv de perturbaii de tip Gaussian care pot atinge 1% din amplitudinea maxim a semnalului util (corespunznd, de exemplu, zgomotului de conversie al unui convertor A/D cu rezoluie sczut)

4.1.

Exemplu ilustrativ pentru construcia unui model liniar

Figura 5. Schema Simulink de identificare a modelului liniar corespunztor exemplului din seciunea 4.1 n Figura 5 se prezint schema Simulink (aferent situaiei (b) menionate la nceputul seciunii curente) utilizat pentru construirea unui model liniar de forma (1) cu T=1 secund, cu ajutorul blocului LI_N_ID. Procesul ce face obiectul identificrii este descris n Simulink prin funcia de transfer continu n timp
G (s )= 400e 15 s , 300 s 2 + 40 s +1

(5)

procesul fiind excitat cu o surs de zgomot alb de band limitat, adecvat aleas. Singurele informaii presupuse cunoscute apriori sunt comportarea liniar a procesului i valoarea timpul mort (identificabil, de exemplu, de pe un rspuns la semnal treapt), adic d=15 n (1) pentru T=1 secund. Selectm drept complet edificatoare doar o parte din rezultate, conform tabelului 1 pe care le exprimm (dat fiind liniaritatea modelului) sub form de funcii de transfer discrete (ale cror coeficieni sunt, pn la un

semn cunoscut, chiar parametrii furnizai de blocul LI_N_ID). Aceast exprimare faciliteaz analiza calitii modelului provenit din identificare, prin comparaie direct cu discretizat cu T=1 secund a lui G(s), obinut prin metoda Euler predictor

~ 0.6378z 1 + 0.6101z 2 G ( z 1 ) = z 15 11.872 z 1 + 0.8752 z 2

(6)

Toate cazurile comentate se refer la aceleai condiii de antrenare on-line cu NE=50 eantioane n funcia obiectiv J(iT) din (4), maxim 100 epoci/fereastr i rat de nvare variabil. Tabelul 1. Prezentare sintetic a rezultatelor antrenrii pentru opt teste de identificare selectate ca relevante pentru seciunea 4.1 Cazul (a) - Ieire neperturbat d 15 15 15 15 Ordin n m J(100T) 2 1 10-2 2 2 3 2 3 3 10-9 10-2 10-9 Exprimare sub form de funcie de transfer Parametrii nu converg la valori staionare

0.6377 z 1 + 0.6102 z 2 11.872 z 1 + 0.8751z 2 Parametrii nu converg la valori staionare 1 0.6378 z + 0.9392 z 2 + 0.3148 z 3 15 0.6378( z + 0.5160)( z + 0.9566) z 15 =z ( z + 0.5159)( z 0.9665)( z 0.9054) 11.356 z 1 0.0907 2 + 0.4515 z 3 Cazul (b) - Ieire perturbat z 15
Exprimare sub form de funcie de transfer Parametrii nu converg la valori staionare
0.637 z 1 + 0.6158 z 2 11.8711z 1 + 0.8742 z 2 Parametrii nu converg la valori staionare 1 0.6378( z + 0.5048)( z + 0.9766) 0.6378 z + 0.9448 z 2 + 0.3144 z 3 z 15 = z 15 ( z + 0.5167)( z 0.9043)( z 0.9676) 11.3552 z 1 0.0922 2 + 0.4521z 3 z 15

d 15 15 15 15

n m

Ordin J(100T) 2 1 10-2 2 2 3 2 3 3 10-5 10-2 10-5

Rezultatele din tabelul 1 evideniaz rolul jucat de valoarea obinut n antrenare pentru funcia obiectiv J(iT) n aprecierea convergenei parametrilor reelei i, totodat, n evaluarea calitii modelului identificat. Figura 6a i figura 6b furnizeaz reprezentrile grafice ale evoluiilor parametrilor reelei pentru o durat de 150 de secunde corespunztoare cazului (b) pentru n=2 m=2 i, respectiv, pentru n=2 i m=1. Aceste reprezentri grafice ilustreaz totodat i capacitatea blocurilor Simulink nou create de a furniza on-line informaii cantitative ce caracterizeaz progresul antrenrii. Mai subliniem ca elemente importante n construcia modelului neuronal faptul c n toate situaiile de convergen a parametrilor coeficientul termenului n z0 al numrtorului (n exprimarea sub form de funcie de transfer) rezult numeric nul (raportat la precizia de calcul).

Figura 6. Evoluia parametrilor reelei neuronale pentru exemplul din seciunea 4.1 corespunznd unui orizont de 150 secunde: a) Cazul n=2 i m=2 (parametrii converg); b) Cazul n=2 i m=1 (parametrii nu converg).

Redundana n stabilirea numrului de regresori conduce la apariia perechilor pol-zerou cu valori numerice identice (raportate la precizia de calcul), fapt ilustrat n tabelul 1 pentru n=m=3 pentru ambele cazuri (a) i (b).

4.2.

Exemplu ilustrativ pentru construcia unui model neliniar utiliznd modelul MLP

Exemplul prezentat n aceast subseciune ilustreaz utilizarea blocului MLP_N_ID n identificarea unui model neliniar de tipul (1) cu T=1 secund. Procesul este descris, n Simulink, de urmtoarea ecuaie cu diferene (recomandat n literatur ca exemplu relevant pentru identificare neural [13], [14]):
y (k 2)* y (k 1) + 0.3cos(0.5( y (k 1) + y (k 2))) +1.2u (k 1) y (k ) = 2.5* 1+ y 2 (k 1) + y 2 (k 2)

(7)

Figura 7 prezint diagrama Simulink utilizat pentru identificare. Semnalul de intrare este de tip zgomot alb adecvat ales. Toate cazurile ce vor fi comentate (extrase dintr-un set amplu de teste) se refer la aceleai condiii de antrenare pe eantioane (on-line) cu NE=200 eantioane n J(iT) din (4) i algoritmul LevenbergMarquardt. Criteriile de oprire a antrenrii au fost fie atingerea unui numr maxim de 100 epoci/fereastr sau o acuratee de aproximare =10-9 pentru funcia obiectiv (4). Stratul de intrare conine 10 neuroni sigmoidali. Rezultatele obinute pentru d=0, m1, n2, n (1) sunt comparabile, din punct de vedere al acurateii, pentru cazurile (a) i (b) avnd valori de ordinul 10-5 pentru J(250T) n cazul (a) i respectiv 10-3 n cazul (b). Cazurile cu d, m, n ce nu ndeplinesc condiiile menionate anterior pot fi uor separate ele furniznd valori pentru J(250T) de ordinul 10-1 10-2 .

Figura 7. Diagrama pentru identificare neuronal folosind MLP_N_ID Pentru a ilustra calitatea modelului neural rezultat din identificare, figura 8 prezint grafice comparative pentru rspunsul procesului i a modelului pentru o intrare sinusoidal cu amplitudinea 0.7 (figura 8a) i un semnal de intrare aleator, uniform distribuit n intervalul [-1,1] (figura 8b). Parametrii modelului neural sunt cei obinui n situaia (b) cu d=0, m=1, n=2 (adic numrul minim de regresori n (1) capabili s asigure valori favorabile pentru J(250T)). Semnalele de test utilizate nu au fost vzute n timpul identificrii. Folosirea numrului exact de regresori prezeni n ecuaia (3) (d=1, m=0, n=2) nu a adus mbuntiri vizibile n acurateea de aproximare a modelului obinut n comparaie cu o serie de teste nedetaliate n aceast lucrare.

Figura 8. Grafice comparative cu rspunsurile procesului (linie continu) i modelului neural MLP (linie ntrerupt): a) intrare sinusoidal de amplitudine 0.7; b) semnal aleator uniform distribuit n [-1,1].

n general vorbind, testele au artat c modelele neurale nu sunt afectate semnificativ de folosirea regresorilor suplimentari n comparaie cu folosirea numrului exact de regresori specificat anterior. Totui, redundana crete complexitatea modelului neural fr nici un beneficiu real, de aceea e preferabil de cutat un model apropiat cu cel minimal.

4.3.

Utilizarea identificatorului RBF

Exemplul ce urmeaz ilustreaz utilizarea blocului RBF_N_ID pentru identificarea aceluiai proces neliniar (7) ca i n subseciunea anterioar. Diagrama Simulink utilizat pentru identificare este identic cu cea din figura 7, excepie fcnd blocul RBF_N_ID care nlocuiete blocul MLP_N_ID. S-a utilizat o antrenare pe lot (batch) cu un numr N=200 de eantioane, d=0, m=1, n=2 n (3), eroare medie ptratic dorit 0.01 i dispersie 1.2 obinndu-se o arhitectur cu 87 neuroni de intrare. Graficele comparative ale rspunsurilor procesului i modelului neural (rezultate obinute din simulare cu semnalele de intrare utilizate n subseciunea anterioar) au artat aceeai calitate de aproximare prezentat n figura 8 (cazul MLP) i de aceea prezena lor i n aceast subseciune ar fi fost redundant. Unele efecte importante ale dimensiunii lotului (considerat la antrenare) asupra calitii modelului identificat sunt prezentate n figura 9. Figura 9a prezint dependena numrului de neuroni din stratul ascuns de numrul de eantioane utilizate n antrenare, artnd c o dimensiune mai mare a lotului duce la un numr mai mare de neuroni i deci la o sporire a timpului de calcul. Figura 9b i 9c prezint dependena erorii ptratice medii rezultate din simulare (pentru semnal sinusoidal i respectiv aleator uniform distribuit) de numrul de eantioane din lot. Condiiile de antrenare au fost identice pentru toate dimensiunile loturilor considerate n experimente (adic dispersie = 1.2, eroare medie ptratic dorit = 0.01). Ultimele dou grafice arat c simpla cretere a numrului de eantioane din lot, fr o corelare cu dispersia, nu garanteaz calitatea modelului neural identificat.

b Figura 9. Efecte ale mrimii lotului asupra calitii modelului identificat (pentru dispersie = 1.2 i eroare medie ptratic dorit = 0.01) a. numrul de neuroni ascuni rezultai din identificare; b. eroarea rezultat din simularea pentru semnal sinusoidal de amplitudine 0.7; c. eroarea rezultat din simularea pentru semnal aleator uniform distribuit n [-1,1].

5. Comparaie ntre modelele neurale de tip RBF i cele MLP

Reelele de tip MLP i RBF sunt aproximatori universali, motiv pentru care este interesant realizarea unui studiu comparativ cu privire la utilizarea lor n identificarea proceselor utiliznd reele neurale. De aceea, am construit modele de tip RBF i MLP pentru acelai proces neliniar, adic cel considerat n seciunea anterioar, ecuaia (6). Toate rezultatele ce vor fi comentate au fost obinute pentru antrenare pe lot (batch) cu d=0, m=1, n=2, n (1) (care difer de valorile exacte care apar n ecuaia (7)). Pentru a asigura relevana comparaiilor pentru reelele MLP s-a utilizat o valoare unic (1000) pentru a limita numrul de epoci de antrenare i o valoare

unic (1) pentru iniializarea ponderilor i deplasamentelor neuronilor. Ne vom concentra mai nti asupra rezultatelor antrenrii i apoi asupra calitii modelului identificat.

5.1.

Comentarii asupra antrenrii reelelor

Rezultatele antrenrii sunt analizate pentru condiii variate utilizate n procesul de nvare. De aceea, pentru modelele RBF, numrul de neuroni din stratul ascuns este privit ca un rezultat al antrenrii (care depinde de doi parametri cheie, adic eroarea medie ptratic dorit i dispersie). Similar, pentru modelele MLP, eroarea medie ptratic obinut a fost privit ca rezultat al antrenrii (care depinde de doi parametri cheie, adic eroarea medie ptratic dorit i numrul de neuroni sigmoidali). Acest mod de a privi rezultatele antrenrii permite o interpretare bazat pe grafice tridimensionale date n figura 10 (a model RBF, b model MLP). Pentru ambele tipuri de modele, dac se alege o anumit valoare pentru eroarea medie ptratic dorit (adic o seciune n graficele tridimensionale figura 10a i 10b), rezultatele antrenrii (numrul de neuroni n cazul RBF i eroarea medie ptratic obinut pentru cazul MLP) nu sunt mult influenate de al doilea parametru utilizat n antrenare (dispersia pentru cazul RBF i numrul de neuroni sigmoidali n cazul MLP). Trebuie precizat c utilizarea unei erori medii ptratice dorite nule (adic = 0 n (3)) are nelesuri diferite pentru modelele de tip RBF i cele de tip MLP: (i) numrul de neuroni ascuni este egal cu dimensiunea lotului pentru cazul RBF; (ii) algoritmul de optimizare pentru modelele MLP va fi forat s utilizeze numrul maxim de epoci alocate pentru antrenare.

Figura 10. Interpretarea grafic a elementelor cheie ce caracterizeaz reeaua la construcia modelului neliniar a) numrul de neuroni n funcie de dispersie i eroarea medie ptratic dorit pentru modelul RBF; b) eroarea medie ptratic obinut n funcie de numrul de neuroni sigmoidali i eroarea medie ptratic dorit pentru modelul MLP. Pentru a compara timpii necesari antrenrii modelelor de tip RBF i cele de tip MLP, figura 11 prezint numrul de operaii n virgul mobil (flops) funcie de dimensiunea lotului, pentru urmtoarele condiii de antrenare (considerate favorabile n concordan cu rezultatele furnizate de figura 10): eroare medie ptratic dorit = 0.01 pentru ambele modele, dispersie = 1.2 pentru modelul RBF i numr de neuroni sigmoidali pentru modelul MLP = 19. Dei modelul MLP conine un numr mare de neuroni sigmoidali, arhitectura de tip RBF devine dezavantajoas, din punct de vedere a timpului de calcul, fa de MLP atunci cnd dimensiunea lotului depete 300 eantioane, deoarece creterea numrului de operaii n virgul mobil este liniar n cazul MLP (linie ntrerupt) i exponenial pentru cazul RBF (linie continu).

Figura 11. Comparare ntre timpii de calcul necesari antrenrii modelelor RBF i MLP cu aceeai eroare medie ptratic dorit = 0.01 Cazul RBF (linie continu); Cazul MLP (linie ntrerupt).

5.2.

Comentarii asupra calitii modelului obinut

Calitatea modelelor identificate este evaluat din punct de vedere al rezultatelor simulrii modelelor cu semnale ce nu au fost vzute n timpul antrenrii. O interpretare grafic a acestor rezultate se poate da folosind aceleai grafice tridimensionale, ca n subseciunea anterioar, prezentate n figurile 12 i 13. Suprafeele trasate n aceste grafice reflect dependena calitii modelului obinut (exprimat pentru ambele modele, RBF i MLP, de eroarea medie ptratic obinut din simulare) de condiiile de antrenare (investigate n subseciunea 5.1). Graficele permit compararea calitii modelelor RBF i MLP obinute prin simulare cu semnal sinusoidal de amplitudine 0.7 (figura 12) i respectiv semnal aleator uniform distribuit n intervalul [-1,1] (figura 13).

Figura 12. Interpretarea grafic a elementelor cheie ce caracterizeaz calitatea modelului identificat pentru simularea cu semnal sinusoidal de amplitudine 0.7 a) calitatea modelului RBF funcie de dispersie i eroarea medie ptratic dorit; b) calitatea modelului MLP funcie de numrul de neuroni sigmoidali i eroarea medie ptratic dorit. Examinarea vizual direct a graficelor din figura 12 i figura 13 arat c, pentru alegeri adecvate ale condiiilor de antrenare, calitatea modelului RBF obinut este mai bun ca cea a modelului MLP. Aceast remarc general este bazat pe informaii numerice precise (utilizate n construcia graficelor), care dau magnitudinea erorilor rezultate din simulare pentru ambele tipuri de modele. Totui, este important de precizat c suprafeele obinute pentru modelele de tip MLP (figura 12b i figura 13b), spre deosebire de cele corespunztoare modelelor RBF, prezint o anumit regularitate geometric ceea ce garanteaz o mai uoar exploatare pentru utilizatorii mai puin experimentai. Mai mult, ambele suprafee trasate n figurile 12b i13b pstreaz caracteristicile principale ale suprafeei trasate n figura 10b din subseciunea anterioar, acest lucru artnd c pentru modelele de tip MLP rezultatele unei antrenri adecvate sunt capabile s furnizeze informaii credibile despre calitatea modelului identificat ce urmeaz a fi exploatat pentru o varietate de semnale de intrare. Din pcate o asemenea regul nu poate fi formulat n cazul modelelor RBF, figurile 10a, 12a i 13a prezentnd diferene majore n ceea ce privete forma suprafeei. Aceast ultim remarc subliniaz necesitatea acordrii unei atenii suplimentare validrii modelului identificat atunci cnd se utilizeaz arhitecturi de tip RBF.

Figura 13. Interpretarea grafic a elementelor cheie ce caracterizeaz calitatea modelului identificat pentru simularea cu semnal aleator uniform distribuit n intervalul [-1,1] a) calitatea modelului RBF funcie de dispersie i eroarea medie ptratic dorit; b) calitatea modelului MLP funcie de numrul de neuroni sigmoidali si eroarea medie ptratic dorit.

10

6. Concluzii
Prin crearea bibliotecii de module vizuale prezentate n lucrare, proiectate i implementate n spiritul tehnologiei Simulink, s-a urmrit extinderea posibilitilor de exploatare a acestui mediu n domeniul identificrii bazate pe reele neuronale. Prin utilizarea modulelor software aparinnd acestei biblioteci utilizatorul poate s se concentreze strict pe problematica identificrii, fiind n totalitate degrevat de activitatea laborioas a scrierii de cod n maniera programrii clasice. Astfel, instrumentele realizate permit accesul la toate arhitecturile standard de reele neuronale vizate n identificare (ADALINE, MLP i RBF), oferind variante de antrenare de tip off- i on-line, prin diveri algoritmi, n conformitate cu specificul topologiei selectate. Studiile de caz considerate ilustreaz aspectele fundamentale ale antrenrii, acoperind att situaia dinamicii liniare, ct i a celei neliniare. Un accent deosebit este pus pe calitatea modelelor rezultate din identificare i pe posibilitatea acestora de a reproduce, prin simulare, comportri noi, necunoscute din etapa de antrenare. Alocarea unei seciuni separate pentru analiza comparativ a identificrii neliniare bazate pe arhitecturi MLP i, respectiv, RBF permite comentarea ampl a avantajelor i dezavantajelor privind att procesul de antrenare, ct i eficiena n sine a modelrii. Elaborarea unor module care s pun la dispoziie strategii (legi) de conducere ce folosesc modelele neuronale rezultate din identificare nu a putut fi discutat n lucrarea de fa datorit volumului mare de informaii ce ar excede cadrul tradiional. Abordarea unei atare problematici va face obiectul tratrii distincte pe parcursul unui viitor articol.

Bibliografie
1. 2. BATTITI, R.: First and Second Order Methods for Learning: Between Steepest Descent and Newtons Method. n: Neural Computation, nr. 4, 1992, pp. 141 166. CHARALAMBOUS, C.: Conjugate Gradient Algorithm for Efficient Training of Artificial Neural Networks. n: IEEE Proc., nr. 139, 1992, pp. 301 310.

3. CHEN, S., S.A. BILLINGS, C.F.N. COWAN, P.M. GRANT: Practical Identification of NARMAX Models Using Radial Basis Functions. n: International Journal of Control, nr. 52, 1990, pp. 1327 1350. 4. 5. 6. CHEN, S., S.A. BILLINGS: Neural Networks for Nonlinear Dynamic System Modelling and Identification. n: International Journal of Control, nr. 56(2), 1992, pp. 319 346. CYBENKO, G.: Approximation by Superpositions of a Sigmoidal Function. n: Mathematics of Control, Signals and Systems, nr. 2, 1989, pp. 303 314. DE KEYSER, R., O. PSTRVANU, D. ONU: An Approach to Neural Network Based Nonlinear Identification and Control Using MATLAB. n: Prep. 3rd IFAC Symposium on Advances in Control Education, ACE 94, Tokyo, 1994, pp. 115 118. DUMITRACHE, I., N. CONSTANTIN, M. DRAGOICEA: Reele neuronale, MatrixRom, 1999. HAGAN, M.T., M. MENHAJ: Training Feedforward Networks with the Marquardt Algorithm. n: IEEE Trans. on Neural Networks, nr. 5, 1994, pp. 989 - 993. HUNT, K.J., D. SBARBARO, R. ZBIKOWSKI, P.J. GAWTHORP: Neural Networks for Control A Survey. n: Automatica, nr. 28, 1992, pp. 1083 1112.

7. 8. 9.

10. HVONIK, K., M. SINCHCOMBE, H. WHITE: Multilayer Feedforward Network are Universal Approximators. n: Neural Networks, nr. 2, 1989, pp. 359 366. 11. PARK, J., I.W. SANDBERG: Universal Approximation Using Radial-Basis-Function Networks. n: Neural Computation, vol. 3, 1991, pp. 246 - 257. 12. KLOETZER , M., D. ARDELEAN, O. PSTRVANU: Developing Simulink Tools for Teaching Neural-Net-Based Identification. n: 9th Mediterranean Conference on Control and Automation, 2001, pp. 63. 13. LIU, G.P., V. KADIRKAMANATHAN, S.A. BILLINGS: Stable Sequential Identification of Continuous Nonlinear Dynamical Systems by Growing RBF Networks. n: International Journal of Control, nr. 65, 1996, pp. 53 60.

11

14. LIU, G.P., V. KADIRKAMANATHAN, S.A. BILLINGS: Predictive Control for Non-Linear Systems Using Neural Networks. n: International Journal of Control, nr. 71, 1998, pp. 1119 1132. 15. LIU, G.P., V. KADIRKAMANATHAN, S.A. BILLINGS: Variable Neural Networks for Adaptive Control of Nonlinear Systems. n: IEEE Transactions on Systems, MAN and Cybernetics, nr. 29, 1999, pp. 34 43. 16. LJUNG, L., J. SJBERG, H. HJALMARSON: On Neural Network Model Structres in System Identification. n: Bittanti, S., Picci, G. (Editori) Identification, Adaptation, Learning, NATO ASI Series, Springer, 1996. 17. MOLLER, M.F.: A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning. n: Neural Networks, nr. 6, 1992, pp. 525 533. 18. QIN, S.Z., H.T. SU, T.J. MCAVOY: Comparison of Four Neural Net Learning Methods for Dynamic System Identification. n: IEEE Trans. on Neural Networks, nr. 2, 1992, pp. 52 262. 19. SIMA, V., A. VARGA: Practica optimizrii asistate de calculator, Editura Tehnic, 1986. 20. The MathWorks Inc.: Simulink 4.1 (Release 12.1), 2001. 21. The MathWorks Inc.: Neural Networks Toolbox 4.0.1 (Release 12.1), 2001 22. WIDROW, B., M.E. HOFF: Adaptive Switching Circuits. n: IRE WESCON Convention Record, New York IRE, 1960, pp. 96 104.

12