Bibliografie selectiv [1] P.Bourret,J.Reggia,M.Samuelides," Rseaux neuronaux, une aproche connexioniste de lIntelligence Artificielle",Teknea Toulouse,1991 [2] I.

Ciocoiu "Reele neurale artificiale", 2000 [3] L.O.Chua and T.Roska "Cellular Neural Networks. Premiries and Foundations ", Notes course Berkeley,1997 [4] D.Dumitrescu, H.Costin, "Retele Neuronale", Editura Teora, 1996 [5] S.Haykin "Neural Networks" Mcmillan Publishing Co.,Englewood Cliffs,1994 [6]Herv Abdi,"Les Rseaux de neurones ", Presses Universitaire de Grenoble, 1994 [7] Hecht-Nielsen "Neurocomputing" Addison-Wesley Publishing Company, 1990 [8] T.Kohonen Self-organisation and Associative Memory, Springer Verlag, Berlin Heidelberg, 1989 [9] B.Kosko "Neural Networks and Fuzzy Systems",Prentice Hall, Englewood Cliffs, NJ,1992 [10] T.Roska and J.Vandewalle "Cellular Neural Networks" John Wiley & Sons Ltd.,1993 [11] I.Zurada " Introduction to Artificial Neural Systems. Learning and Applications,West Publishing Co.,Wien,1992 [12] ***"Student Edition of Mathlab V4, User's Guide, Prentice Hall, Englowood Cliffs, NJ, 1995 [13]Yu Hen Hu, Jeng-Neng Hwang, Handbook of Neural Networks. Signal Processing, CRC Press, 2002 Reviste " IEEE Communications Magazine" " IEEE Transactions on Communications" " IEEE Transactions on Circuits and Systems" " IEEE Transactions on Neural Networks" "Neural Computation" " IEEE Transactions on Communications" " IEEE Transactions on Networking"

1. Introducere n 1876 experimentul lui Alexander Graham Bell care demonstra c vocea poate fi transmis la distan pe cabluri de cupru a marcat naterea telecomunicaiilor. Zece ani mai trziu erau 155.000 de telefoane n uz n SUA. Telecomunicaiile au avut o evoluie fr precedent n tiin, de la comutarea de circuite la comutarea de pachete de mare vitez, de la transmisiile prin cablurile de cupru la cele prin fibre optice, prin satelit i comunicaiile mobile. n prezent suntem martori ai unei revoluii tehnologice care va reconfigura ntreaga infrastructur, att a telecomunicaiilor ct i a informaticii. Creterea volumului de informaii vehiculate pe canalele de comunicaii, cererea de noi servicii i aplicaii la viteze din ce n ce mai mari, de ordinul gigabiilor pe secund (sau chiar Tbiilor au determinat nlocuirea reelei de telecomunicaii cu un sistem digital avansat B-ISDN (Broadband Integrated Services Digital Network). Videoteleconferina , comunicaiile multimedia, televiziunea de nalt definiie, comunicaiile la distan interumane nsoite de realitate virtual (telemedicin, nvmntul la distan), servicii de comunicaii personale sunt cteva exemple de servicii care necesit integrarea reelelor telefonice cu reelele de calculatoare, pentru a se putea asigura transmisia att a semnalelor continue video /audio ct i a celor numerice. 2. Caracteristicile reelelor moderne de comunica ii Reelele moderne de comunicaii, au un numr de mii de noduri, cu diferite tipuri de surse, diferite tipuri de trafic, care deservesc un numr variabil, foarte mare de utilizatori. Reelele care erau n principal orientate pe mbuntirea serviciilor vocale au evoluat spre comunicaiile multimedia. S-a ncetenit opinia c multimedia i videoconferinele vor reprezenta preponderent traficul viitorului. Toate aceste servicii necesit o band larg de frecvene ocupate. Exist aplicaii ca de exemplu bazele de date geospaiale care consum chiar mai mult band dect comunicaiile multimedia. Comunicaiile interumane, ca educaia i telemedicina, nsoite de realitate virtual necesit nu numai o band foarte mare dar i parametrii care definesc calitatea serviciului satisfctori (QoS quality of service). Deci scopul BISDN este s ofere o palet larg de servicii unui numr ct mai mare, variabil de utilizatori, la diferite viteze (rate de bit) ntr-o manier eficient i la un pre accesibil. BISDN trebuie s asigure integrarea reelelor prin satelit cu reelele mobile, celulare i cu reelele terestre. BISDN trebuie s garanteze compatibilitatea componentelor, conectivitate total (global roaming) n condiiile unei capaciti ct mai mari de transmisie, a unei viteze de procesare n timp real i a satisfacerii parametrilor QOS. Vorbim n prezent de o generaie 3 a sistemelor de transmisie i se prefigureaz deja generaia 4G. Sistemele de comunicaie curente suport aplicaii multimedia i INTERNET. Ca de exemplu, sistemul Spaceway asigur o legtur de transmisie n jos cu viteze de pn la 100Mb pe secund i o capacitate total de 4,4 Gb/s.

O tehnologie cheie pentru B-ISDN, o reprezint modul de transfer asincron, al informaiei ATM (Asynchronus Transfer Mode), prin care informaia este segmentat n pachete de lungime fix numite celule, ceea ce faciliteaz comutarea de mare vitez. O celul reprezint doar o parte din blocul de date de transmis. Fiecare celul are un antet care determin destinaia, permind astfel o rutare transparent prin reea. Celula conine pe lng adresa destinaie i alte informaii necesare pentru o mai bun circulaie a acesteia prin canalul de comunicaie. Celulele nu sunt preasignate, ele sunt asignate i transmise prin multiplexare n timp la cererea utilizatorului. n reelele ATM, comunicaia este orientat pe conexiune, utiliznd circuitul virtual la nivelul cel mai de jos. Transmisia ATM nu este limitat la un tip de mediu de transmisie, putnd fi utilizat n toate mediile de comunicaie existente, cablu coaxial, cablu torsadat, fibre optice. Organizaia ATM Forum recomand folosirea urmtoarelor interfee fizice pentru ATM: FDDI, Fiber Channel, SONET, Frame Relay i X.25. Tehnologia ATM ndeplinete cteva dintre obiectivele majore ale BISDN: suport toate serviciile existente n prezent, asigur o utilizare eficient a resurselor reelei, minimizeaz timpul de procesare n nodurile intermediare, suport viteze mari de transmisie, garanteaz performanele necesare pentru aplicaiile existente. n ceea ce privete dezvoltarea ulterioar a reelelor de comunicaii exist mai multe scenarii care toate au la baz transmisiile prin satelit, fie c utilizeaz tehnica ATM, fie protocoalele INTERNET. Reeaua global trebuie s integreze reele ATM cu Internetul, dup cum se poate observa din arhitecturile prezentate n paragraful []. 3. Caracteristicile traficului ntr-o reea de comunicaii Principala caracteristic a traficului este c aproape toi parametrii si variaz, respectiv numrul utilizatorilor, topologia reelei, ratele de transfer ale informaiei, limea de band necesar. Astfel nct cerinele transmisiei difer n funcie de nivelele de servicii oferite utilizatorilor. Vocea mpachetat necesit o band relativ redus dat de o vitez de transmisie de aproximativ 8 kb/s, dar necesit o ntrziere redus pentru a asigura calitate la destinaie. Traficul video necesit o band mai larg, dat de o transmisie de 128-384 kb/s i de asemenea o ntrziere redus n transmisie. Traficul de date, respectiv de fiiere sau email poate accepta laten n transmisie fr deprecierea parametrilor QOS. Emailul necesit band redus, dar transmisia de fiiere necesit band larg. Traficul se desfoar n rafale i modelarea sa este posibil doar n anumite condiii de constrngere i pentru aplicaii specifice. Presupunerea fcut n reeaua telefonic a distribuiei Poisson s-a demonstrat neviabil n transmisia de date. n teoria curent i n practic nc domin modelele exponeniale, care ns s-au demonstrat a fi adecvate doar la o scar limitat de timp. Nici unul dintre aceste modele nu este capabil s ilustreze exact proprietile traficului real. Limitrile algoritmilor convenionali se datoreaz n special necesitii modelrii exacte a problemei, ceea ce este foarte dificil de realizat n condiiile complexe ale traficului real. Fig.2 prezint comparativ traficul pe baza modelului Poisson i cel real, de tip J PEG (Joint Photographic Expert Group), adic digitizat i comprimat, al unei secvene din

filmul Star Wars, la diferite scale de timp. Ambele secvene sunt prezentate din punctul de vedere al celulelor ATM, n coordonate numr de celule / interval de timp. Pe coloana nti reprezentarea este din punctul de vedere la slot-ului. Slotul este intervalul de timp egal cu timpul de transfer al unei celule ATM. Coloana doi reprezint aceleai secvene cu scala de timp schimbat, unitatea fiind slice-ul. Slice-ul corespunde la a treizecea parte dintr-un cadru. A treia coloan reprezint traficul din punctul de vedere al cadrului.

Fig.2 Traficul ATM (a)-(c) conform unui model Poisson (d)-(e) secven JPEG din filmul Star Wars Ce se poate constata?. n general c exist mari diferene. Rafalele traficului real apar la momente de timp care nu corespund modelului Poisson. Traficul Poisson se netezete pe msur ce intervalul de timp crete. Dimpotriv, traficul real este i la o scal de timp mai mare tot n rafale, aa cum era la scal redus. Forma de baz a traficului a rmas neschimbat. Deoarece traficul real are rate mari de variaie i este n rafale, el este complet diferit de imaginea ideal (static) a teletraficului din perioada telefoniei statice. n plus, n permanen apar servicii noi , cu caracteristici de trafic diferite, cereri QOS diferite de la reeaua de telecomunicaii. Obiectivul strategiei administrrii eficiente ATM este un nalt grad de utilizare, n timp ce se menine calitatea serviciilor. Proiectarea unei astfel de strategii utiliznd tehnicile de programare tradiionale nu poate fi eficient datorit gradului mare de complexitate. Este

necesar o schimbare radical de opinie, n sensul abandonrii teoriei ateptrii, cu o matematic exact. Este necesar s se neleag calitativ implicaiile caracteristicilor dominante ale traficului msurat. Pentru a urmri i controla parametrii traficului trebuie s se elaboreze rutine noi i complexe. Acestea au nevoie de o enorm cantitate de procesare, vitez de calcul i control n timp real. n acest context, reelele de comunicaii ale viitorului trebuie s fie sisteme adaptive i inteligente, pentru a asigura flexibilitatea i fiabilitatea reelei, predicia exact a parametrilor traficului, utilizarea eficient a canalului disponibil, administrarea optimizat n raport cu diferite medii, ntr-o permanent dinamic. n concluzie, nu modelarea stohastic i analiza cozii de ateptare reprezint rspunsul problemelor complexe pe care le ridic traficul modern ci tehnicile inteligente, ca de exemplu reelele neuronale. 4. Parametrii de calitate ai serviciilor Parametrii de calitate ai serviciilor , definii de Forumul ATM, sunt parametrii tehnici asociai unei conexiuni pentru un mai bun control al traficului. Printre acetia cei mai importani sunt: rata de pierdere a celulelor (CLR cell loss rate) reprezint procentul de celule care nu au fost livrate la destinaie, fiind pierdute n reea datorit congestiei i suprancrcrii cozilor de ateptare; rata de vrf a celulelor (PCR peak cell rate) este rata maxim de celule la care poate transmite utilizatorul; rata ntreinut a celulelor (SCR sustained cell rate) reprezint rata medie de transmisie a celulelor pe durata unei conexiuni; ntrzierea celulei datorat transferului (CTD cell transfer delay) este suma tuturor ntrzierilor unei celule de la intrarea n reea pn la punctul de ieire (ntrzieri de propagare n cozile de ateptare); variaia ntrzierii celulei (CDV cell delay variation) este variaia ntrzierilor n transferul unei celule de la intrarea n reea pn la punctul de ieire; Scopul managementului resurselor reelei de comunicaii din punctul de vedere al parametrilor QOS este s mpart eficient accesul la resursele disponibile ntre diferitele tipuri de trafic, meninnd parametrii QOS. Reelele ofer dou tipuri de servicii: garantate i cu "best effort", adic cu cel mai bun efort. Pentru serviciile cu parametrii QOS garantai, reeaua garanteaz parametrii diferiilor utilizatori, adic minimul, maximul, un prag specificat. n serviciile cu "best effort" parametrii QOS sunt n funcie de starea reelei. Transmisia emailu-lui este astfel asigurat. Nu exist nici o garanie a parametrilor serviciilor. 5. Sisteme de comunicaii prin satelit Sistemele de comunicaii 4G trebuie s asigure procesare n timp real, de mare vitez, servicii multimedia interactive, deci mai puine tolerane la erori i ntrzieri. Ele trebuie s funcioneze la anumii parametrii QOS i s asigure integrare i compatibilitate ntre componente. n prezent atenia cercettorilor se concentreaz asupra transmisiilor prin satelit, considerndu-le parte integrant a autostrzii informaionale.

Trendul n sistemele 4G este spre o reea global ce ofer servicii multimedia flexibile utilizatorilor, la cerere, oricnd i oriunde. Sistemele de transmisie de band larg, prin satelit pot fi bazate pe tehnologia ATM, cu OBP i OBS sofisticate i legturi intersatelii, sau pe transpondere (bent-pipe transponder relays). Proiectarea depinde de factori ca : acoperirea, cerinele traficului, utilizator i nu n ultimul rnd, costul. Amplasarea sistemelor prin satelit poate fi pe orbite: geostaionare GEO (geostationary orbit) , pe orbite medii MEO (medium sau midle earth orbit) joase LEO (low earth orbit), sau combinaii, dependent de acoperirea i serviciile prestate. Sistemele viitorului vor folosi satelii MEO i LEO. Satelitul GEO (geostationary orbit) este amplasat la 22300 mile (35786) distan de suprafaa pmntului i se rotete odat cu acesta.. 1 mil este 1,5 km. Staia terestr intete un singur punct n spaiu. Satelitul MEO este amplasat la o distan ntre 1000 i 22300 mile (35786) de suprafaa pmntului. Satelitul LEO este amplasat la o distan ntre 400 i 1000 mile de suprafaa pmntului se deplaseaz cu viteze mari, n jur de 8 km pe secund, sau 27400 km pe or, adic o revoluie complet la 90 min. n concluzie nu sunt necesare legturi ntre satelii i sistemele sunt adecvate pentru zone izolate. Dei gradul de acoperire GEO este un avantaj fa de MEO i LEO, timpul de ntrziere mai mare al transmisiilor le face mai puin adecvate ppentru aplicaiile interactive multimedia al sistemelor 4G. Pentru LEO ntrzierea este de ordinul a 10 ms, ptr. MEO 8o ms i ptr. GEO 250-270 ms. Alte ntrzieri datorate procesrii i transmisiei sunt de ordinul a 80-100 ms ptr. Traficul regional i 250-270 ms ptr. Traficul internaional pot fi limitative ptr. calitatea transmisiei. Sistemele LEO i MEO au alte carene: datorit deplasrii rapide exist ntreruperi ntre terminal i satelit (handover) ptr. o perioad scurt de timp. Mobilitatea mare determin schimbri regulate n topologia reelei i transmisia este supus efectului Doppler i atenurilor multicanal (multipath fading) n plus sistemele LEO i MEO depind de legturile intersatelit pentru asigurarea acoperirii. Exist astfel riscul s apar erori de jitter care altereaz vocea i performanele QOS. O soluie bun pentru problema de jitter este tamponul. Mai multe sisteme au fost folosite pn n prezent, dup cum se poate observa n Tabelul 1. Tabelul 1

Spaceway are 16 satelii GEO i 20 MEO n banda Ka(24-32 GHz), cu o vitez de transmisie de 16 kb/s -6Mb/s ptr. legtura n sus i 100Mb/s ptr. legtura n jos i o capacitate total de 4,4 Gb/s. Sistemul integreaz transmisiile de date de mare vitez cu Internetul i transmisiile multimedia. Skybridge are 80 satelii n banda Ku (10,7GHz-14,5 GHz) i o capacitate total de 4,5 Gb/s, respectiv 20 milioane de utilizatori.

Fig.3 Benzile de frecven din domeniul microundelor Dac primele sisteme prin satelit erau n banda C (2,4-4,2GHz), proiectarea curent este orientat spre banda K (Ku i Ka). Aceasta a permis i rspndirea terminalelor cu apertur redus i n zonele n care sistemele celulare nu exist, implementarea lor fiind prea scump. Este de ateptat pe viitor s se utilizeze frecvene din ce n ce mai mari pe msur ce spectrul devine tot mai redus. Frecvenele nalte vor permite utilizarea unor terminale mai reduse i potenial obinerea unei mobiliti mai mari. Exist dou tipuri de topologii, dup cum se poate vedea n Fig.4. Subreeaua bazat pe satelit poate fi ultima legtura care conecteaz terminalele la Internet sau alte reele, ca n structura din stnga sau poate fi coloana vertebral a unui sistem global, ca n structura din dreapta.

Fig.4 Dou tipuri de arhitecturi pentru sistemele de transmisie prin satelit n primul caz utilizatorii de multimedia i de date acceseaz unul sau mai multe servere printr-o legtur cu satelitul i o staie poart, Internetul i alte reele. Aceast arhitectur este adecvat zonelor izolate, unde ar fi costisitor accesul prin cablu sau legtur radio. Comunicaiile prin satelit au avantajul unei acoperiri largi, latoi utilizatorii din zona de acoperire. n al doilea caz reeaua prin satelit ofer servicii de purttoare (carrier services) furnizorilor de servicii Internet. Pentru minimizarea numrului staiilor poarti creterea acoperirii Semnificaia notaiilor este urmtoarea: NCS Network Control Station este staia de control care asigur controlul general al resurselor reelei i operaiile de rutare; Staia de control (Network Control Station) este n sistemele geostaionare, n mod uzual, cte una pe satelit. Ea asigur controlul general al operaiilor i resurselor reelei. Staia de control asigur resursele radio staiilor poart conform unei strategii de planificare a resurselor pe termen lung. Nodul de control este responsabil cu rutarea i administrarea accesului. Ca de exemplu, actualizeaz locaiile, autentific, nregistreaz, terge i pltete, adic contorizeaz apelul. n sistemele non geostaionare aceste operaii se realizeaz n mai multe staii poart, n mod distribuit. GTW(Gateway stations) Staiile poart sunt staii terestre care asigur conectivitatea cu reelele terestre; ntr-un sistem pe orbit geostaionar plasamentul acestor staii i numrul lor depinde doar de solicitrile traficului. Acolo unde traficul este intens numrul staiilor terestre este mare. n sistemele non geostaionare numrul i amplasamentul staiilor poart depinde i de unele caracteristici de proiectare. De exemplu , ntr-un sistem pe orbit medie, fr legtur ntre satelii un numr mai mic de zece staii poate asigura conectivitatea total a utilizatorilor n majoritatea timpului. Un sistem pe orbit joas necesit zeci pn la sute de staii terestre, dar numrul lor poate fi redus utiliznd legturi ntre satelii. Toate terminalele folosesc aceeai schem de acces i stiv de protocoale. 8

SAU (Satelite adaptation unit) staia de adaptare a satelitului este o unitate special care asigur accesul la reeaua prin satelit. Ea realizeaz toate adaptrile de protocoale necesare de la terminalul utilizatorului la platforma de protocoale a satelitului. Include toate funciile nivelului fizic ale transmisiilor, adic codarea de canale, modulaia / demodulaia, procesarea semnalului de radofrecven.Ea furnizeaz o interfa de acces similar UNI (user network interface) ptr. ATM. Reeaua prin satelit trebuie s opereze cu diferite tipuri de terminale i cerine de transmisie, de la viteze de 816 kb/s pn la 144 kb/s (sau 384 kb/s) pentru terminale de uz personal, pn la 2048 kb/s sau mai mari, pentru restul utilizatorilor. ISL (Intersatellite link) legturi ntre satelii Scopul ISL este de a mri acoperirea i de a reduce numrul staiilor terestre. IWU (Interworking units) furnizez roaming ntre reele i diferite standarde pentru a evita ntreruperea recepiei unui anumit serviciu. OBS (Onboard switch) respectiv OBP (Onboard processing unit) asigur multiplexarea, demultiplexarea, codarea de canal / decodarea, comutarea rapid . Tehnologia ATM este uneori utilizat. Unitile de comutare ATM sunt experimentale i includ doar pri ale funciilor pe care ar trebui s le ndeplineasc comutarea ATM terestr. Majoritatea operaiilor ce necesit o mare putere de procesare sunt realizate terestru, ca de exemplu controlul admisiei i terminarea apelului. Toate aceste componente ale sistemului prin satelit colaboreaz ntre ele ptr. a asigura mobilitatea i suportul rutrii, la parametrii QOS necesari.

Fig. 5 Arhitectura unei reelei globale prin satelit

Arhitectura unui sistem de al doilea tip este detaliat n. Fig. 5 .

Terminalele utilizatorilor funcioneaz pe baza mai multor protocoale standard, ATM sau INTERNET, prin intermediul crora se pot conecta la staia de adaptare a satelitului: ATM User Network Interface; Narrow Band-ISDN; Transmision Control Protocol / Internet Protocol; Frame Relay UNI; Public Switched Telephone Network; Interconexiunile spre alte pri ale reelei terestre de la unitatea de control sunt realizate prin protocoalele aferente sistemul de semnalizare Nr 7 (Signaling System 7). Reeaua inteligent (IN Intelligent Network) este platforma de protocoale inteligente care asigur localizarea informaiei, funcionarea i ntreinerea ntregului sistem. Ea rezolv problemele legate de rutarea apelului i mobilitatea personal i de terminal. Tendina actual este spre sisteme ce ncorporeaz terminale compatibile ATM, cu mari viteze de transmisie a datelor, astfel nct infrastructura unei reele BISDN devine esenial. Dup o prezentare succint a aspectelor arhitecturale tehnice ne vom ocupa de caracteristicile traficului ntr-o reea global de comunicaii. Reelele neuronale sunt un bun candidat deoarece asigur controlul adaptiv, flexibil, fiabil, optim i o vitez extraordinar de procesare. Tehnologiile de vrf ale OBP permit integrarea n acelai sistem a terminalelor mobile ieftine cu aplicaiile de mare vitez. Aceasta implic reducerea staiilor terestre, utilizarea de emitoare, receptoare de dimensiune redus, uoare i mobile. Se poate separa astfel legtura n sus de cea de transmisie n jos, n scopul optimizrii separate. Fiind necesar o putere de emisie mai redus i efectul neliniaritilor introduse de transpondere sau de canalele adiacente este mai redus. Caracteristicile eseniale ale OBP n transmisiile de mare vitez ale viitorului sunt flexibilitatea i reconfigurabilitatea. Acestea se refer la : Reprogramarea memoriilor de control ; Reconfigurarea staiilor terestre ; Asigurarea comutrii de pachete i de circuite ; Adoptarea a diferite strategii de control, i de flux ptr. Fiecare zon dependent de ncrcarea i de tipul traficului ; OBP trebuie s asigure servicii compatibile cu structura BISDN/TCP/ IP, servicii compatibile ptr. Aplicaiile de date i servicii video la cerere, servicii punct la punct i servicii multipunct. Comutarea poate fi integral pe satelit sau comutare parial sistat de staiile terestre. n primul caz, pe sateli se face toat procesarea i comutarea, echipamentul de pe satelit devine complicat i scump, dar staiile terestre sunt simplificate. n al doilea caz, staiile terestre asist procesarea i comutarea de pe satelit, a crui echipament se simplific. Sigurana n funcionare este astfel crescut. Se poate realiza OBP cu : 10

 Procesare i comutare n banda de baz ; Cu comutare pe frecvena intermediar ; Cu comutare rapid de pachete; Cu comutatoare fotonice n banda de baz ; Cu comutatoare ATM ; Dependent de tipul traficului, comutarea n banda de baz poate fi orientat spre circuit sau spre pachete. O provocare ptr. tehnologiile viitorului o reprezint procesarea n timp real, eficient. Astfel de tehnologii au aprut deja, ca de exemplu modulaia adaptiv,CDMA code division multiple acces .

Modelul unui sistem de transmisie prin satelit

Modelul simplificat al unui sistem mobil de transmisie prin satelit n banda de baz este prezentat n Fig.
zgomot aditiv Secven informaie Transmitor i canal de transmisie n sus Umbrire, Transmisie multicanal

Amplificator de putere

Receptor

Traficul de comunicaii este asimetric ptr. legtura spre satelit i dinspre satelit.Legtura n jos necesit mai multe resurse n ceea ce privete banda alocat, viteza de transmisie i puterea necesar. De exemplu, sistemele mobile de transmisie prin satelit ce furnizeaz servicii Internet de mare vitez permit utilizatorilor accesul la date multimedia, ceea ce necesit o capacitate i o vitez mare de transmisie. Legtura de transmisie n sus necesit o capacitate mai mic i viteze mai mici, deoarece utilizatorii transmit cantiti mici de informaie, ca de exemplu: email, cereri de browsing, informaii de baz . Pentru a crete puterea semnalului sateliii se echipeaz cu amplificatoare de putere echipate cu tuburi cu und progresiv sau amplificatoare n stare solid. Acestea au o caracteristic de transfer neliniar att n ceea ce privete amplitudinea ct i faza, aa cum se poate vedea n figura de mai jos. Aceste distorsiuni sunt importante n special n schemele de modulare multinivel, ca de exemplu M-QAM (M array quadrature amplitude modulation).

11

Fig.1.7 Caracteristica de amplitudine a) respectiv de faz b) a unui tub cu und progresiv Figura de mai jos prezint constelaia ieirilor unui canal neliniar pentru un semnal 64-QAM. Semnalele M-QAM sunt mai eficiente din punct de vedere spectral. Datorit neliniaritilor primele sisteme de transmisie prin satelit utilizau modulaii binare i BPSK, mai puin sensibile la neliniariti, dar ineficiente din punct de vedere spectral.

12

Fig.1.8 constelaia unui semnal 64-QAM la intrarea, respectiv la ieirea unui canal neliniar.

Efectul de umbrire este important la un unghi de inciden mic i apare datorit efectului de umbrire geometric - unda incident nu poate ilumina poriunile umbrite de obiecte nalte Propagarea undei pe ci multiple (multipath propagation) ndeprteaz semnificativ condiiile de propagare de cazul ideal i se refer la posibilitatea propagrii undei pe diferite traiectorii de la emitor la receptor. Exist 2 ci de propagare a undei: n direct prin atmosfer n indirect prin reflexie i refracie la suprafaa de separare ntre atmosfer i pmnt

Propagarea pe cai multiple

13

Deplasarea sateliilor i a terminalelor mobile determin caracterul aleatoriu i variant n timp al canalului de propagare. Cercetarea n ultimele dou decenii s-a concentrat pe msurarea i modelarea de canal att n mediul urban ct i n cel suburban. Exist diferite modele pentru diferite benzi. Banda Ka respective aproximativ intervalul 20-30 GHz reprezint cea mai potrivit band de frecvene ptr. aplicaiile multimedia i Internet. Exemple sunt : 1) modelul Loo 2) modele statistice multistare Cercetrile viitoare vor include i exploatarea unor noi benzi de frecven ptr. a face fa cantitii tot mai mari de date ce trebuie vehiculat. Tehnicile moderne au ca obiectiv creterea eficienei spectrale i de putere. Eficiena spectral abilitatea unui sistem de a opera eficient ntr-o band de frecven alocat Eficiena de putere - abilitatea unui sistem de a transmite informaie la un nivel ct mai mic de putere Caracteristicile modelului de canal ale viitorului n s se bazeze pe o estimare precis i o modelare statistic a propagrii n s conin efectele combinate ale atenurii datorate precipitaiilor, propagrii pe ci multiple i umbririi n s ia n considerare schimbrile de stare, de exemplu cu sau fr umbrire n s fie adecvat procesrii n timp real Modelarea i estimarea corect i eficient este f.important pentru tehnicile noi: n Procesarea adaptiv de semnal n Modularea adaptiv codat n Proiectarea cross-layer

Reelele neuronale sunt sisteme neliniare formate dintr-un num r mare de procesoare elementare, relativ simple care opereaz n paralel. Procesoarele interacioneaz ntre ele prin intermediul conexiunilor: excitatorii i inhibitorii, crora le sunt asociate ponderi. nvarea se realizeaz prin modificarea ponderilor conform unei reguli de nv are.

14

Cursul nr. 2
Argumente pentru utilizarea reelelor neuronale n comunicaii Cteva dintre caracteristicile intrinseci ale RN sunt i argumente ale utilizrii lor n reelele de comunicaii : Neliniaritatea Reelele neuronale sunt sisteme cu intrri i ieiri multiple care pot nva o relaie neliniar ntre intrare i ieire. Reelele neuronale nu au nevoie de modelul traficului Reelele neuronale au demonstrat capacitatea de a rezolva probleme complexe fr cunotine exacte sau experien apriori Aadar nu este necesar un model al traficului ci o bun reprezentare a problemei. Generalizarea Reelele neuronale (uneori acompaniate de logica fuzzy) sunt capabile s aproximeze relaii complicate intrare-ieire selectnd intrrile semnificative i obinnd parametri caracteristici. Ele se adapteaz i intrrilor afectate de zgomot i incomplete, furniznd i n aceast situaie rspunsul corect. Adic, reelele neuronale generalizeaz, genereaz soluia corect i n cazul n care la intrare se aplic date noi care nu au fost experimentate n timpul antrenamentului. Flexibilitatea Fiecare component a reelei neuronale ( numit neuron, perceptron sau unitate) este un procesor ce opereaz independent de celelalte procesoare din sistem, astfel nct, pentru rezolvarea unor probleme mai complexe, sistemul se poate extinde ntr-o manier modular, prin adugarea de procesoare fr a fi necesar reproiectarea. Tolerana la deteriorare ntr-un mod similar sistemului nervos uman, performanele sistemului neuronal se degradeaz treptat n funcie de deteriorarea interconexiunilor sau a funcionrii neuronilor. Datorit procesrii paralele i distribuite, reeaua va continua s funcioneze chiar i n condiii de deteriorare pn la pragul de avarie major. Viteza de procesare Datorit paralelismului i posibilitii de implementare hard, inclusiv implementri optice, reelele neuronale au o vitez extraordinar de procesare. S-au raportat viteze de Terra operaii pe secund pentru un chip de 1 cm2. Potenialul de procesare Potenialul de procesare al RN este extraordinar. Datorit caracterului neliniar i vitezei de procesare RN au un potenial de aplicabilitate deosebit, practic n toate domeniile de activitate uman apar n permanen noi aplicaii. Datorit tuturor acestor caracteristici RN: pot nva variaiile traficului din experien; se pot adapta la solicitrile dinamice ale reelei; prezice comportarea ulterioar a traficului;

Optimizarea traficului utiliznd reele neuronale

15

Reelele neuronale fac posibil rezolvarea problemelor din domeniul comunicaiilor i asigur o mbuntire a funcionrii i siguranei procesului de comunicaie. Ele ofer soluii de mare vitez n: caracterizarea i predicia traficului (estimarea calitii serviciilor); controlul admiterii conexiunii; controlul fluxului i congestiei; rutarea dinamic; controlul comutrii; proiectarea de reea; atribuirea de canal n reelele de comunicaii mobile; Caracterizarea i predicia traficului Pentru controlul rapid i exact al traficului, n condiiile suprancrcrii reelei este necesar caracterizarea traficului i predicia sa. O RN este capabil s nvee funcia distribuie de probabilitate a traficului, s selecteze parametrii semnificativi statistici i s estimeze valorile previzibile ale lor. Deci caracterizarea, clasificarea i predicia traficului reprezint o aplicaie direct a RN. Aplicaiile uzuale sunt cu reele multistrat antrenate cu metoda retropropagrii erorii [][] i reelele neuronale pe baz de funcii radiale []. Controlul admiterii conexiunii Controlul admiterii apelului a fost una dintre primele probleme rezolvate cu reele neuronale datorit abilitii acestora de a se adapta la situaiile de schimbare a traficului. Controlul admiterii conexiunii este setul de aciuni luate de reea n timpul fazei de stabilire a apelului pentru a determina dac cererea de conexiune / cale virtual poate fi acceptat sau rejectat. O cerere de conexiune este acceptat doar dac sunt suficiente resurse disponibile pentru stabilirea apelului pe parcursul ntregii c i la parametrii QoS solicitai, parametrii de eficien ai utilizrii conexiunii i globali ai reelei, n condiiile meninerii parametrilor cilor existente. Pentru aceasta trebuie evaluat gradul de disponibilitate curent a ncrcrii reelei i impactul adugrii de noi conexiuni. CAC este practic implementat prin rutare, controlul admisiei legturii, alocarea legturii i controlul comutrii. Ideea principal este de a nva RN o relaie ntre sosirea unei celule de la o anumit surs n cadrul unei ferestre i banda echivalent necesar pentru a suporta sursa. Simulrile indic o reducere a ratei de pierdere a celulelor i o utilizare eficient a reelei de comunicaii n cazul controlului admisiei conexiunii cu reele neuronale. Controlul fluxului i congestiei Controlul fluxului i congestiei reprezint probabil cea mai important aplicaie n domeniul comunicaiilor. Apariia congestiei se poate datora mai multor cauze: viteza de prelucrare a informaiilor de ctre procesoarele existente n nodurile reelei fiind limitat, se ajunge n situaia ca numrul celulelor retransmise pe cile de ieire s devin tot mai mic datorit timpului afectat operaiilor de administrare la nivelul nodului; capacitatea de transport spre urmtorul nod poate fi depit dac pe mai multe ci de intrare se recepioneaz date ce trebuie dirijate spre aceeai ieire; O soluie este folosirea memoriilor tampon n nodurile intermediare pentru ca acestea s absoarb salturile traficului i s evite pierderea de celule. Dar introducerea memoriilor tampon produce ntrzieri nedorite , care reprezint un impediment major n diferite tipuri de servicii, ca de exemplu o conferin multimedia.

16

Majoritatea mecanismelor de control ale congestiei dezvoltate pn n prezent sunt ineficiente. De aceea gsirea unui mecanism de evitare a congestiei n timp real fr degradarea calitii serviciilor este vital pentru comunicaiile moderne. RN au demonstrat c reprezint o soluie promitoare. Majoritatea aplicaiilor utilizeaz reele multistrat cu algoritmi de nvare cu control [] sau competitivi []. Experimentele au condus la o pierdere semnificativ redus a celulelor i reducerea timpului de reacie. Controlul comutrii n nodurile de comutare bufferele de ieire trebuie s rezolve conflictele de comutare care apar atunci cnd mai multe celule sunt comutate simultan ctre aceeai legtur destinaie. Cnd sosesc prea multe celule simultan sau /i apar conflicte de comutare repetate registrele de ieire se vor satura i se vor pierde celule.Cozile de ateptare a celulelor pot fi amplasate fie la porturile de intrare, fie la cele de ieire avnd asignate prioriti n funcie de caracteristicile traficului. Strategiile de control cu RN ale comutrii au evoluat n general ca o soluie la problemele de optimizare. O problem celebr de optimizare este aceea a comis voiajorului. Acesta trebuie parcurg n traseul su N orae, trecnd o singur dat prin fiecare ora. Problema este de a determina ordinea oraelor n traseu , astfel nct distana pe care o parcurge comis voiajorul s fie minim. Problema este de tip combinatorial, numrul variantelor ce trebuie testate fiind N! =1x2x3x.xN. Acest numr este relativ comod pentru valori mici ale lui N, dar devine rapid foarte mare. Se spune c este o problem de tip NP- complet . ntr-un mod similar problemelor de optimizare, ponderile reelei Hopfield pentru comutarea de pachete sunt alese n conformitate cu mecanismul de comutare []. Minimiznd funcia de energie asociat reelei neuronale, reeaua neuronal gsete regula de programare a pachetelor de la intrarea cozilor de ieire din comutator, evitnd blocarea la cap de linie (head of line blocking). Rutarea dinamic Majoritatea strategiilor de rutare sunt derivate din reeaua Hopfield. Cile de comunicaie ale reelei primesc ponderi n conformitate cu diferite cereri. Toi algoritmii minimizeaz o funcie de cost (energie) asociate RN. Exist rezultate promitoare ale aplicrii reelelor neuronale celulare, ce utilizeaz metoda Manhattan pentru gsirea drumului cel mai scurt []. Ideea principal a algoritmului este distribuirea spaial a pachetelor n reea ct se poate de uniform. Aceasta se realizeaz uitiliznd strategia de rutare a drumului cel mai scurt, metoda Manhattan, dar innd cont de distribuia pachetelor n reea exprimat n funcie de densitatea traficului. Modelarea cu reele neuronale celulare a fost aleas pentru posibilitatea implementrii VLSI i a vitezei deosebite de procesare. Simulrile au demonstrat beneficiile strategiei de rutare prin mbuntirea semnificativ a performanelor n special n condiii de trafic greu. Proiectarea de reea Permanenta dezvoltare a mecanismelor de procesare crete necesitatea procesrii distribuite ce trebuie realizat ntr-o reea de comunicaie complex cu un mare numr de noduri ce i mpart informaia. ntr-un astfel de mediu este dificil de gsit soluia corect pentru structura reelei. Proiectarea unei reele de comunicaie, adugarea permanent de echipament nou, implementarea de tehnici noi, actuale devine o sarcin deosebit de dificil. Proiectarea convenional se pare c este depit. Principalul motiv este absena tuturor datelor pentru echipament i tehnicile de transmisie, din moment ce reeaua de comunicaie este ntr-o permanent schimbare. n plus orice inovaii trebuie simulate nainte de implementarea reelei, ceea ce crete timpul afectat proiectrii. RN proiectant folosete parametrii msurai ai reelei n dezvoltarea acesteia .

17

Atribuirea de canal n reelele de comunicaii mobile Pentru atribuirea de canal n reelele de comunicaii mobile s-au testat diferite RN, reeaua Hopfield [] i reele competitive autoorganizatoare cu o regul Kohonen modificat [], iar rezultatele obinute au fost performante. Ca o concluzie RN sunt adecvate n toate situaiile n care nu exist informaie suficient sau experien, acolo unde metodele clasice au euat n a da soluii eficiente. COMPONENTELE UNEI R.N. Componentele unei R.N. sunt: -unitile de procesare; -starea de activare a neuronilor (starea curent); -o ieire pentru fiecare unitate; -interconexiunile dintre uniti, crora le sunt asociate ponderi; -o regula de propagare prin reeaua de conexiuni; -o funcie de activare care combina intrarea cu starea curenta a unei uniti pentru a genera o nou stare de activare; -o regul de nvare care modific ponderile interconexiunilor prin experien; -un mediu n care opereaz sistemul; Fig1 ilustreaz componentele unei R.N. Prin cercuri sunt reprezentate unitile de procesare. Unitatea ui are la un moment dat valoarea de activare ai(t), care trecuta prin funcia de activare fi determin o noua valoare de activare, care de obicei este chiar ieirea oi. Prin intermediul conexiunilor , oi este aplicat unitilor reelei. Fiecrei conexiuni i se asociaz un numr real wij, numit pondere, care determina efectul unitii j asupra unitii i. Toate intrrile ntr-o unitate sunt combinate printr-un operator (uzual adunare), formnd intrarea net, neti. Ponderile interconexiunilor sunt adaptabile, deci se pot modifica printr-o funcie de nvare.

uj wjl

uj

wji neti ai(t) oi(t) netj

aj(t+1)= oj(t) f(aj(t),netj(t)

uk
ak(t)

wjk

Fig.2.1. Componentele unei reele neuronale

18

Fig.2 prezint dou simboluri utilizate adesea pentru marcarea neuronilor ntr-o RN. 2.1 Modelele neuronului n literatur exist mai multe modele pentru neuronii artificiali. Fig.2.2 prezint dou astfel de modele. Pragul(curentul de polarizarea) poate fi abordat i ca ponderea unei conexiuni de la o intrare separat x0. El se scade (sau se nsumeaz) din suma ponderat a celorlalte intrri dup valoarea intrrii x0 (1). Ecuaiile care i caracterizeaz sunt de fapt aceleai:
n

net j =

w
i =1
n i =1

ji

.x i

(2.1)

oj = f(

ji x i

- qj )

(2.2)

unde: wji care multiplic intrarea xi se numete pondere.Cu wji se noteaz ponderea conexiunii de la neuronul i nspre neuronul j; xi este intrarea i; q este o constant care se numete prag i trebuie sustras din suma produselor dintre intrri i ponderi; netj este intrarea net n neuronul j; funcia f(.) este funcia de activare; oj este ieirea

19

x0=-1

(x0=+1 x1 x2 x3 w0=q (w0=b curent de net-q (net+b) xn w

w w w3

o=f(net-q)

f(.)

q x1 x2 x3
w0=-1

w w w3 net f(. )

o=f(net-q)

xn

Fig.2.2 Dou modele ale neuronului ; Simbolurile neuronului corespunztoare celor dou modele sunt ilustrate n Fig.2.3.

20

j
x1 x2 x3 x1

oj . .

x2 x3

f/
uj . .

oj

xn

x xnn

Fig.23 Simbolurile unui neuron 2.2 Unitile de procesare n R.N. unitile de procesare sunt mici entiti, de tip caracteristic. Ele pot reprezenta: caracteristici, litere, cuvinte, concepte, elemente abstracte asupra crora pot fi definite modele cu anumite semnificaii.Toate unitile proceseaz n acelai timp, n paralel. Exist trei tipuri de uniti: de intrare, de ieire si ascunse. Unitile de intrare primesc semnale de la sursele externe sistemului. Aceste intrri pot fi de tip senzorial sau pot proveni din alte pri ale unui sistem mai mare, n care este ncadrat reeaua. Unitile de ieire transmit semnale spre ieirea sistemului. Semnalele de ieire pot aciona asupra altor sisteme. Unitile ascunse primesc i transmit semnale n cadrul sistemului modelat. Ele nu sunt "vizibile" din exteriorul sistemului. 2.3 Starea de activare Starea unitii ui la momentul t este caracterizat de starea sa de activare ai(t). Starea unei reele neuronale este dat de un vector de N numere reale, n care fiecare element reprezint starea de activare a unei uniti la un moment dat t.. Evoluia RN n timpul procesrii este reprezentat prin strile de activare ale unitilor sale n timp.n diferite modele, se fac presupuneri diferite asupra valorilor de activare permise pentru o unitate. Valorile de activare pot fi analogice sau discrete. Valorile analogice pot fi orice numr real sau ntr-un interval mrginit. Valorile discrete pot fi binare, bipolare sau orice set mic de valori. O activare de 1 are semnificaia c unitatea este activ, 0 (sau -1) are semnificaia c unitatea este inactiv. Uneori sunt folosite seturi de valori discrete, ca de exemplu: (-1,0,1), (1,2,3, ...,9). Potrivit descoperirilor neurologice creierul uman este un calculator analogic. Fr a avea n prim plan criteriul plauzibilitii biologice, dezbaterile referitoare la alegerea optim dintre abordarea logic sau discret este un subiect de actualitate. Argumentul major n favoarea abordrii analogice este viteza superioar recunoscut a calcului analogic, la care se adaug lipsa necesitii sincronizrii (obligatorie la RN digitale sincrone) dificil de realizat la reelele mari. Avantajul principal al abordrii discrete este precizia calculelor, important mai ales n cazurile n care parametrii reelei sunt supui unor restricii severe, de exemplu referitoare la condiii de simetrie. Posibilitatea memorrii pe o durat de timp a unor valori numerice utile reprezint un alt avantaj. O problem nesoluionat satisfctor pn n prezent este n cazul RN discrete rezoluia necesar procesrii ntr-o aplicaie dat. Trebuie fcut o distincie suplimentar n legtur cu gradul de cuantizare al semnalelor. Exist reele care folosesc semnale cu mai multe nivele de cuantizare al semnalelor, care pot proveni din utilizarea unor funcii de activare multinivel, sau pot avea intrinsec un asemenea caracter, ca n cazul utilizrii unor coduri multinivel.

21

2.4 Ieirea unitilor Unitile unui sistem interacioneaza ntre ele prin intermediul ieirii. Uzual ieirea unitii este dat de starea ei de activare. 2.5 Interconexiunile reelei Unitile sunt conectate ntre ele prin interconexiuni crora li se asociaz ponderi. Modelul de interconexiune reprezint "ceea ce tie sistemul" si va determina modul n care el rspunde la o intrare arbitrar. n majoritatea cazurilor, fiecare unitate are o contribuie aditiv la intrarea unitilor la care este conectat. n aceste cazuri, intrarea total net a unitii uj, neti(t) este suma tuturor activrilor unitilor ponderate. net j = w ij . x i (2.3)

O pondere pozitiva reprezint o intrare excitatoare. O pondere negativa reprezint o intrare inhibitorie. Adesea este convenabila reprezentarea modelului de conexiune printr-o matrice pondere W. n cazul cel mai simplu, intrrile excitatorii si inhibitorii ponderate sunt nsumate algebric. Dac intrrile sunt supuse unei reguli mai complexe dect simpla nsumare algebrica, este necesar definirea unei matrici separate We pentru intrrile excitatorii si Wi pentru cele inhibitorii. n cazul general este necesar un model mai complex. O unitate poate primi intrri de diferite tipuri, care sunt nsumate separat. Pentru fiecare tip de conexiune este recomandabil s avem o matrice de conexiune separat. 2.6 Regula de propagare Regula de propagare combin vectorul o(t) al ieirilor cu matricea de conexiune pentru a produce intrarea net , pentru fiecare tip de intrare ntr-o unitate. Fie netij intrarea net de tipul i in unitatea uj. Dac exist un singur tip de conexiune se suprim indicele i, deci intrarea net in uj va fi netj. Regula de propagare este n general de tip nainte, adic dinspre intrarea RN spre ieirea acesteia.. Intrarea net este uzual suma ponderat a intrrilor ntr-o unitate. Aceasta este dat de vectorul produs, care de exemplu pentru intrarea excitatorie este:

net e = We .o( t )
Similar pentru intrarea inhibatorie: neti = Wi.o(t)

(2.4)

Cnd sunt implicate modele mai complexe de activare, sunt necesare reguli mai complexe de propagare. 2.7 Funcia de activare Func ia de activare reprezint funcia de transfer intrare-ieire a neuronului. Ea combin intrarea curent cu starea de activare existent n neuron a(t) pentru a genera o nou stare de activare a(t+1):
a (t + 1) = f (a ( t ), net ( t )) i i i

(2.5)

22

Funcia de activare poate fi determinist sau stohastic (probabilistic). n cele ce urmeaz se prezint cteva exemple: funcia Heaviside (cunoscut n reelele neuronale i sub numele de hard-limitatoare): unipolar s(t) (treapt unitate) sau bipolar sgn(t);
1 dac net i ( t ) 0 a i ( t + 1) = sgn ( net i ( t )) - 1 dac net i ( t ) < 0

(2.6)

f(net)

-1 net

-2 -1
Fig. 2.4 Funcia Heaveside

1 2

Uneori intrarea net trebuie s depeasc o valoare numit prag pentru determinarea unei noi activri:

a ( t + 1) = f i ( i

w
j

ij a j ( t ) -

q i ( t ))

(2.7)

O funcie semiliniar unipolar poate fi definit printr-o relaie de forma.:

0, pentru net( t ) < - q net( t ) + q a i ( t + 1) = f (net ) = , pentru - q < net < q 2q 1, pentru net( t ) > q

(2.8)

Pentru varianta bipolar se poate utiliza relaia :

f b (net ) = 2f (net ) - 1

(2.9)

Adesea funcia de activare trebuie s fie o funcie neliniar, nedescresctoare, ca de exemplu:

1 dac net i ( t ) q i a i ( t + 1) = net i ( t ) dac net i ( t ) < q i 0 n rest

(2.10)

23

f(net)

f(net)

f(net)

1 0
net net

1 0
net

-1

-1

-1

Figura 2.5: Funcii de activare pentru neuron a) comparatoare bipolar cu prag; b)liniar cu saturaie; c)sigmoidal bipolar Uzual funcia de activare este o funcie neliniar.. Un exemplu este funcia logistic numit i sigmoid : 1 a i (t + 1) = (2.11) - b . net i ( t ) 1+e

unde b este un factor de proporionalitate. Avantajul acestei funcii este derivata sa, simplu de determinat :

f ' ( x ) = f ( x )[1 - f ( x )]

(2.12)

Funcia tangent hiperbolic este i ea des utilizat deoarece intervalul su de rspuns este [-1, +1]: e x - e -x tanh( x ) = x (2.13) e + e -x i derivata sa se calculeaz relativ uor :
d tanh( x ) 4 = [sec h( x )] 2 = x dx (e + e - x ) 2

(2.14)

Exist reele care utilizeaz funcii de activare probabilistice. Probabilitatea ca neuronul s fie activ este :
p (a i ( t ) 1 ) = 1+e 1
- net i ( t )

(2.15)

unde T este o constant, numit temperatur. Aceasta d panta curbei de probabilitate.

24

Probabilitatea

Intrarea net
Fig.2.6 Funcie probabilistic de activare Reelele cu funcii neliniare sunt uzual utilizate, performanele lor fiind superioare celor cu funcii liniare sau semiliniare.Dei majoritatea funciilor de activare sunt monotone, exist i funcii nemonotone care conduc la performane foarte bune n special n memoriile asociative. Fig.2.7 prezint cteva astfel de funcii:

f(x)

f(x)

f(x)

Fig.2.7 Funcii de activare nonmonotone Se pot utiliza i alte tipuri de funcii, unele cunoscute din teoria aproximrii, care pot conduce la performane superioare n diferite aplicaii. Fie exemplul urmtor preluat din analiza Fourier :
f (x) =

[a
n =0

n . cos( nx )

+ b n . sin( nx )]

(2.16)

25

sau altfel scris:

f ( x) = a 0 +
2 2 unde c n = a n + bn i q n = arctg b n

c
n =1

n . sin( nx

+ qn )

(2.17)

an

Se poate interpreta aceast ultim relaie ca o aproximare implementat cu o RN de tip spre nainte, care conine : un neuron de intrare; un neuron de ieire n neuroni ascuni cu funcia de activare sin(neti); n acest caz, a0 corespunde pragului neuronului de ieire, n corespunde pragului neuronului ascuns n i cn ponderilor dintre neuronul ascuns n i neuronul de ieire. Diferena esenial dintre transformata Fourier i cea a RN este c n primul caz n poate lua doar valori ntregi, pe cnd n al doilea caz ponderile interconexiunilor pot lua orice valoare real. n Fig.2.7.a se prezint ieirea unei RN antrenate cu zece modele s aproximeze funcia f(x)=sin(2x).sin(x), cu algoritmul retropropagrii erorii. RN a fost implementat cu un neuron de intrare, un neuron de ieire, patru neuroni ascuni i funcia de activare sinus. Cu linie ntrerupt este reprezentat funcia aproximat i cu linie continu ieirea RN. n Fig.2.7.b se prezint ieirea unei alte RN antrenate tot cu algoritmul retropropagrii erorii i aceleai zece modele. RN a fost implementat cu un neuron de intrare, un neuron de ieire, opt neuroni ascuni i o funcie de activare sigmoid. Se remarc c performana reelei n primul caz este mult mai bun dect n cel de-al doilea caz, dei numrul neuronilor ascuni este mai mic.

26

Fig.2.7.a) Ieirea unei RN antrenate BKP s aproximeze funcia f(x)=sin(2x).sin(x), ce utilizeaz funcia de activare sinus Fig.2.7.b) Ieirea unei RN antrenate n aceleai condiii ca n cazul a), dar o funcie de activare sigmoid;

2.8 Reguli de nv are Configurarea interconexiunilor unei reele neuronale trebuie fcut astfel nct aplicarea unui set de intrri s genereze un set de ieiri dorite Prin regula de nvare se modific ponderile interconexiunilor n funcie de experiena RN. Exist RN cu ponderi fixe ( ca de exemplu RN Hopfield i RN Hamming) i cu ponderi adaptabile. Pentru determinarea ponderilor exist deci diferite metode: fixarea explicit, utiliznd informaie apriori referitoare la particularitile i eventual restriciile la care este supus aplicaia considerat. Astfel de consideraii conduc la sisteme specializate, de dimensiuni reduse, uor de manipulat ; determinarea ponderilor prin antrenare, genernd reelei modele de nvat i lsnd-o s-i modifice ponderile conform unei reguli de nvare, n mod iterativ ; O condiie esenial este ca algoritmul de antrenare s fie convergent, adic la un moment dat ponderile s rmn constante, indiferent de intrrile aplicate. Se poate face o clasificare a RN n funcie de modalitile de nvare: 2.8.1.RN cu nvare supravegheat (cu control) Se genereaz reelei un set de perechi de modele de intrare-modele de ieire dorite, cu ajutorul crora aceasta calculeaz mrimile de eroare n funcie de diferena dintre valoarea real curent a ieirii i cea dorit, pe baza crora se ajusteaz parametrii reelei. Rspunsurile dorite pot fi furnizate din exterior sau de ctre sistemul global care conine reeaua nsi (RN cu auto-control) .

e[n ] = d[n] - o[n]

(2.18)

27

Exemple sunt: regula Delta, regula Delta generalizat, algoritmul retropropagrii erorii i variantele sale, cuantizarea vectorial cu control, pentru reelele cu propagarea informaiei "spre nainte " respectiv algoritmul retropropagrii erorii n timp i nvarea n timp real pentru RN recurente.

x(n)

d(n) W Reea neuronal o(n) + e(n) Algoritm de nvare

Fig.2.8 RN cu nvare supravegheat

2. 8.2 RN cu nvare nesupravegheat (fr control) RN extrage singur anumite caracteristici ale modelelor de intrare i realizeaz gruparea modelelor de intrare, formnd reprezentri interne distincte ale acestora. RN utilizeaz un gen de competiie ntre neuronii elementari, care are ca efect modificarea ponderilor conexiunilor numai a neuronului care ctig ntrecerea , restul ponderilor interconexiunilor rmnnd neafectate. n unele modele apare un parametru numit contiin, care intr n funcie cnd unul dintre neuroni ctig prea des competiia.

x(n)

W Reea neuronal

o(n)

Algoritm de nvare
Fig.2.9 RN cu nvare nesupraveghet Reprezentative pentru aceast categorie sunt reelele neuronale auto-organizatoare, RN cu cuantizare vectorial, RN pentru analiza componentelor principale. Aceste reele pot ncorpora i un mecanism de control care s permit o rafinare ulterioar a parametrilor. 2.8.3. RN cu nvare cu critic sunt numite i cu pedeaps i recompens Reeaua nu beneficiaz de un semnal dorit (ca n nvarea supravegheat), ci de unul apreciaz ct de bine funcioneaz sistemul. Algoritmii aparinnd acestei categorii se bazeaz pe observaiile experimentelor pe animale i funcioneaz dup urmtorul principiu: dac aciunea unui sistem capabil s nvee are un efect favorabil, aceast aciune este ncurajat, n caz contrar este inhibat.

28

Aciune

Stare Mediu Semnal de cost

Element de nvare

Fig.2.10 RN cu nvare cu critic Teoria rezonanei adaptive utilizeaz cu succes acest tip de nvare. Cteva dintre regulile de nvare uzuale sunt: 1) Regula lui Hebb Conform acestei reguli ponderea n pasul k+1 se modific proporional cu produsul dintre intrarea i ieirea neuronului :

Dw ij = h o i x j
unde:

(2.19)

Dwij este variaia vectorului pondere wij de la neuronul j ctre neuronul i din pasul k n pasul (k+1), dat de relaia: w ij [k + 1] = w ij [k ] + Dw ij ;

oi este ieirea neuronului i; xj este intrarea n neuronul j ; este o constant de care depinde viteza de nvare, (o,1); Aceast regul de nvare este fr control (nesupravegheat) deoarece nu utilizeaz rspunsul dorit. 2) Regula perceptronului : Este o regul supervizat pentru c n calculul variaiei ponderii se utilizeaz rspunsul dorit notat cu di :
Dw ij = h.[d i - sgn ( w T i x )].x j

(2.20)

unde x este vectorul intrrilor n neuronul j x=[x1 x2 xj xn ] 3) Regula Delta (sau regula Widrow-Hoff) Denumirea de Delta este dat de diferena dintre ieirea curent i rspunsul dorit :
Dw ij = h.[d i - o i )].x j

(2.21)

Regula este cunoscut i sub denumirea autorilor si regula Widrow i Hoff.

29

4) Regula Delta generalizat Modificrile n ponderi se calculeaz cu :

Dw ij = h.[d i - o i )].f ' (net i )x j

(2.22)

unde f este derivata funciei de activare, deci este valabil doar pentru funcii de activare continue . 5) Regula de nvare a corelaiei Este o variant a regulii lui Hebb:

Dw ij = h d i x j

(2.23)

6) Regul de nvare de tip competitiv n RN competitive se modific de obicei doar ponderile neuronului ctigtor. Exist numeroase reguli de acest tip, exemple fiind urmtoarele dou relaii:
Dw mj = h (o j w mj )

(2.24)

unde m este neuronul ctigtor. Regula outstar (a lui Grossberg):

Dw ij = h (d i w ij )

(2.25)

Exist bineneles multe alte reguli de nvare dezvoltate pentru a ameliora performanele RN. Pe parcursul cursului vor fi prezentate i alte reguli de nvare. 2.9 Organizarea ierarhic a R.N. 2.9.1 Reele neuronale cu procesare de tip n sus n reelele cu procesare n sus, informaia se propag spre nainte, de la intrare spre ieire. ntr-o numerotare a nivelelor de la intrare spre ieire unitile nivelului i vor afecta doar unitile de nivel superior lui i, adic straturile i+1, i+2 . Matricea ponderilor W va avea elementele wij = 0 pentru toate unitile uj aparinnd unor nivele inferioare nivelului i . Uzual unitile nivelului i nu afecteaz unitile nivelului i+2.. 2.9.2 Reele neuronale cu procesare de tip n jos n acest tip de model informaia se propag spre napoi, de la ieire spre intrare. Neuronii de pe nivelul i vor afecta doar unitile de pe nivelurile inferioare lui i, adic din straturile i-1, i-2. 2.9.3 Reele neuronale interactive (recursive) Modelele interactive sunt modele n care pot exista conexiuni n ambele sensuri, de la nivelele inferioare ctre nivelele superioare i invers. n cazul general aceste reele au i o reacie de la ieire nspre intrare. Orice element al matricii de conexiune poate fi diferit de zero. Experiena a confirmat supoziia teoretic ca RN multistrat au un potenial de procesare mai mare dect sistemele cu dou straturi (intrare-iesire). La rndul lor, RN recursive au un potenial de procesare mai mare dect sistemele echivalente ierarhice, cu acelai numr de uniti ascunse.

30

2.10 Iniializarea Initializarea se refer la momentul de aplicare a regulii de activare. n procedura de initializare sincron exista un cronometru central, care determin o evaluare simultan a activrii tuturor unitilor din RN. n procedura asincron, initializarea se face probabilistic, pentru fiecare unitate, n parte. Avantajul procedurii asincrone const n faptul c ntr-un interval de timp suficient de scurt este initializat o singur unitate. Aceasta mbunteste stabilitatea reelei, evitnd oscilaiile(care apar destul de des n reelele sincrone). 2.11 Reprezentarea mediului Este esential pentru dezvoltarea oricrui model s existe o reprezentare clar a mediului n care opereaz acesta. n R.N. mediul se reprezint ca o funcie stochastic, variabil n timp, n spaiul modelelor de intrare. Adic , la un moment dat exist o probabilitate oarecare ca unul dintre modelele setului de modele posibile s fie aplicat la intrarea sistemului. Funcia de repartiie depinde, n general, att de istoria intrarilor ct i de ieirile sistemului. n practic, majoritatea modelelor implic o caracterizare mult mai simpl a mediului. Tipic, mediul este caracterizat de o densitate de probabilitate stabil, independent de intrarile i rspunsurile anterioare ale sistemului. n acest caz, pot exista 1,2,... ,M intrri posibile pentru reea. Adeseori R.N. sunt restricionate de tipurile modelelor de intrare. Unele R.N. sunt capabile sa rspund corect doar dac vectorii de intrare formeaza un set liniar independent de vectori, altele doar dac vectorii de intrare sunt ortogonali, altele sunt capabile s nvee s rspund la modele de intrare esenial arbitrare.

Capitolul 3 Reele cu propagarea informaiei spre nainte 3.1 Neuronul Mc Culloch-Pitts

Cel mai simplu model (Fig.3.1), realizat de Mc Culloch-Pitts n 1943 este discret, cu intrrile xi[k], la momentul k, valori binare 0 sau 1. Funcia de activare este de tip comparator cu prag. Funcia sa de ieire este funcia identitate. Ponderile sunt fixe.

a[k + 1] = o[k + 1] = sgn( w i .x i [k ] - q)

i

(3.1)

unde:
1 dac net q sign(net ) = - 1 n rest

(3.2) q este pragul neuronului; Ponderile wi pot lua valoare +1, dac efectul intrrii corespunztoare este excitator respectiv valoarea -1 dac efectul este inhibator.

31

x1 Intrri x2

w1

S wn xp Pragul q
Fig.3.1 Neuronul Mc Culloch-Pitts

Ieire o

Dei acest model este extrem de simplu el permite implementarea funciilor logice elementare I NU, SAU NU, pe baza crora se pot sintetiza funcii logice complexe. Dup cum se tie orice funcie logic combinatorial poate fi sintetizat utiliznd funciile NU i SAU. Figura 3.a,b ilustreaz cteva exemple. Mai mult, folosind posibilitatea de a obine celule de ntrziere cu un tact se pot construi i circuite secveniale Fig.2c prezint o celul de memorare cu o intrare excitatoare +1 i una inhibatoare -1, care menine ieirea constant pe timp nedeterminat, n absena unei noi intrri. Restricia la valori binare a intrrii i mai ales a ponderilor (care sunt fixate la valori constante, fr posibilitatea de modificare n funcie de performanele reelei), tipul funciei de activare, precum i necesitatea de funcionare sincron a reelelor realizate cu astfel de neuroni constituie limitri majore ale modelului. Mc Culloch si Pitts au abordat problematica invarianei n percepia imaginilor i a sunetelor, deschiznd o noua etap n aplicaiile RN n recunoaterea formelor ( Pitts si Mc Culloch 1947). Modelele lor sunt ns fr nvare. Formalismul lui Mc Culloch-Pitts a marcat att evoluia calculatoarelor digitale (conform memoriilor lui von Neumann), ct si nceputul dezvoltrii hard a R.N. Mueller, Martin si Pultzrath (1962) au proiectat circuite care modeleaz neuronul Mc Culloch-Pitts. Ei i-au extins analiza si asupra unor circuite analogice, similare, pentru recunoaterea semnalelor acustice.

32

x1 x2

1 -1 SAU NU

1 1

=0
Intrare excitatoare
1

x3 x1 x2
-1

=0 =0

=1
1 1 1

-1

=1

I NU

-1

o[k+1]=x[k]

Intrare inhibatoare

-1

x3

=0

Fig.3.2 Exemple de funcii logice implementate cu neuronul Mc Culloch-Pitts 3.2 Perceptronul Ideea adaptrii ponderilor apare pentru prima oar, n studiile lui Caianello (1961) i ulterior n ale lui Rosenblat (1962). Utiliznd structura neuronului Mc Culloch, admind date de intrare i ponderi de valori oarecare (nu numai binare) i introducnd o regula de modificare a ponderilor, Rosenblat a pus bazele unei clase largi de modele neuronale, numite perceptroane (1962). Ieirile perceptroanelor lor sunt binare (1 i 0) date de funcia de activare Heaveside sau bipolare (1 i 1) date de funcia signum:

o[k + 1] = f (

w .x [k ] - q)
i i i

(3.3)

O variant, ce a marcat evoluia ulterioar a RN, este perceptronul cu corecia erorii prin cuplare invers. Aici apare ideea adaptrii ponderilor proporional cu un semnal de eroare, dat de diferena dintre ieirea curent o i un semnal de control, ieirea dorit, d , e = d - o : Ponderile vor fi modificate conform unei legi probabilistice, proporional cu semnalul de reacie invers e: w[k + 1] = w[k ] + h.(d - o ) (3.4) Rosenblat a dezvoltat i demonstrat teorema de convergen a perceptronului. Teorema de convergen afirm c valorile ponderilor converg ntr-un numr finit de pai, adic w[k+1]= w[k+2]= w[k+3]= w[k+4]=, pentru un numr de iteraii finit. Se pot face urmtoarele observaii n legtur cu algoritmul de antrenare: numrul de iteraii necesar asigurrii unei clasificri corecte depinde de viteza de antrenare i de succesiunea datelor folosite n etapa de antrenare; coeficientul de adaptare este constant; ponderile se modific doar dac apar clasificri greite; Astfel se fundamenteaz teoretic capabilitatea de asociere a perceptroanelor bazat pe similaritate (modele similare de intrare se transform n modele similare de ieire). Aplicaiile posibile sunt de clasificare (n recunoaterea formelor) i de implementare de funcii logice.

33

Fig.3.3 prezint cteva exemple n care se implementeaz funcii logice. Fig.3.4 este reprezentarea geometric n spaiul modelelor de intrare.

x1

w1=2 S w2=2

q=-3

x1

w1=2

q=-1

I S x2
q=1 w2=2

SAU

x2

w2=-2 x1

NU

Fig 3.3 Funcii logice implementate de perceptron

x2 x2 (-1,1) (1,1)

x1 (-1, 1)

x1 (1, -1) SAU

Fig.3.4 Reprezentarea geometric n spaiul modelelor de intrare 3.2.1 Limitele perceptronului Se poate demonstra c un neuron adaptabil (perceptronul) nu poate discrimina dect clase liniar separabile. n cazul particular al perceptronului cu dou intrri i o ieire, dou categorii sunt liniar separabile dac pot fi separate printr-o dreapt. Funciile logice I, SAU i NU implic clasificri separabile printr-o dreapt. Ele sunt liniar separabile, deci perceptronul le poate implementa (Fig.3.5). Definiie Clasele distincte se pot separa prin aa zise suprafee de decizie. Pentru determinarea suprafeelor de decizie trebuie evaluat un set de funcii de discriminare. Dou clase se numesc liniar separabile dac funciile de discriminare au forma urmtoare:

34

g i (x) = ao +
unde a0, a1,an sunt constante.

a
n

.x n

(3.5)

x2

Categoria C2

Categoria C1 Dreapt de decizie w1. x1+ w2 .x2-q=0

x1

Fig.3.5 Dou categorii liniar separabile

Cel mai cunoscut caz de separabilitate nonliniar este cel al funciei SAU EXCLUSIV (XOR). Ieirea este dat de relaia x 1 . x 2 + x 1 .x 2 . Tabelul de adevr al funciei este urmtorul :
-

x1 0 0 1 1

x2 0 1 0 1

XOR 0 1 1 0

Regiunile de decizie ale funcieie SAU Exclusiv nu pot fi separate printr-o dreapt, ci prin dou drepte, dup cum se poate vedea n Fig.3.6.

35

(0,1 )

Categoria C Categoria C Categoria C

(1,1 )

Intrarea x

(0,0 )

Intrarea x

(1,0 )

Fig.3.6 Spaiul modelelor de intrare pentru problema lui SAU EXCLUSIV Limitele de nvare ale unei reele neuronale cu un singur strat de neuroni adaptivi nu sunt date de algoritmul de nvare ci de topologia reelei, care permite divizarea spaiului de intrare doar n dou semiplane. Funcia SAU EXCLUSIV poate fi implementat cu un perceptron, dac este codat adecvat. Este suficient s se utilizeze trei intrri n loc de dou, cea de-a treia fiind dat de produsul celorlalte dou. Problema const deci n nvarea relaiei ternare urmtoare:

x1 0 0 1 1

x2 0 1 0 1

x3 0 0 0 1

XOR 0 1 1 0

Asocierea corect pentru un perceptron cu pragul zero este generat de urmtoarele ponderi: w1=1 , w2=1 , w1=-2 . Acest exemplu demonstreaz c o problem de separabilitate nonliniar poate fi transformat ntr-una de separabilitate liniar, printr-o formalizare adecvat a problemei. n practic este chiar mai important reprezentarea adecvat a problemei dect arhitectura RN . O alt metod de rezolvare a problemelor nonseparabile liniar este utilizarea RN cu mai multe straturi. Deci pentru limite de decizie mai complexe sunt necesare mai multe straturi de neuroni. Pentru SAU EXCLUSIV sunt necesare dou straturi de neuroni. Fig.3.7 prezint dou variante pentru implementare a funciei . Reelele din Fig.3.7 se numesc cu dou straturi, pentru c au dou straturi de neuroni adaptabili.

36

x1 0.6 0.6

=1 1 -2

=0 XOR

1 x2
=0.3

x1

1 1 1 1

0.6

=0.5

XO

x2

-0.2

=1.1
Fig.3.7 Dou reele pentru nvarea funciei logice SAU EXCLUSIV Alegerea ponderilor nu este unic. O RN cu dou straturi poate forma regiuni de decizie convexe obinute prin intersecia semiplanelor de decizie ale neuronilor primului strat. Fiecare neuron al stratului ascuns genereaz un hiperplan de separare. Neuronii stratului de ieire genereaz regiuni de decizie mai complicate, formate prin intersecia semiplanelor primului strat. Fig.3.8 prezint dou exemple. O RN cu dou straturi este capabil s identifice orice fel de regiuni convexe, dac numrul neuronilor din stratul ascuns este suficient i ponderile sunt adecvat adaptate.

A B

Fig.3.8 Regiuni de decizie pentru o RN cu dou straturi de neuroni

O RN cu trei straturi poate implementa regiuni de decizie arbitrare, complexitatea fiind limitat de numrul de neuroni. S-a demonstrat c precizia unei clasificri neliniare de ctre o RN cu trei straturi (2 ascunse ) poate fi fcut arbitrar de bun. Deci cu alte cuvinte o RN cu trei straturi este capabil s proceseze orice transformare neliniar continu cu o precizie arbitrar de bun.

37

A B

Fig.5 Regiuni de decizie pentru o RN cu trei straturi de neuroni

38

Cursul 3
3.3 ADALINE i M ADALINE n 1960 Widrow si colaboratorii si au realizat reelele ADALINE i MADALINE , RN cu control. Denumirea ADALINE este un acronim pentru ADaptive LInear Combiner, care are un singur neuron adaptiv la ieire , respectiv MADALINE pentru RN cu mai multi neuroni adaptivi (din englez more ADALINE). ntr-o implementare simpl ADALINE conine un set de rezistene controlabile conectate ntr-un circuit care nsumeaz curenii determinai de tensiunile de intrare. Uzual blocul de nsumare este urmat de un cuantizor a crui ieire este +1 sau -1, n funcie de polaritatea intrrii. Alteori ieirea o este analogic. Dac se noteaz conductanele de intrare cu wi , la ieirea blocului de nsumare se obine:

a[k + 1] = o[k + 1] =

w . x [k ] + q
i i i

(3.6)

Ieirea analogic confer circuitelor ADALINE un potenial de procesare mai mare dect a perceptronului. Se pune problema determinrii ponderilor wi astfel nct dac la intrarea circuitului se aplic setul de valori xip la ieirea sa s se obin op, rspunsul dorit, pentru un numr mare p de modele arbitrare. Fig.3.10 prezint structura ADALINE.

-1

+ 1

+1

w w w w

Elem ent

+ 1 + 1 -1
Co

Com utato are

-1

Fig.3.10 Structura ADALINE.

C o m

+ 1

Se pune problema determinrii ponderilor wi astfel nct dac la intrare se aplic reelei modelul xp la ieire se obine modelul dorit dp, pentru un numr arbitrar de modele. Intrarea x p = [ x p1 x p 2 ...x pi ...x pn ] se aplic RN, care genereaz o ieire op . Aceasta se compar cu o ieire dorita , scop, dp furniznd o eroare ep. Eroarea se transmite napoi, pentru corecia ponderii. Ponderile se modific conform regulii de nvare delta cunoscut i sub numele de regula Widrow-Hoff:

D p w i = h .( d

- o p ). x pi

(3.7)

h este o constanta cu valori n intervalul (0,1), numit vitez de nvare.

39

Algoritmul minimizeaz eroarea ptratica medie pentru toate modelele de intrare si modelele de ieire, adic :

Dpw

= h .( d p - o p ). x pi

(3.8)

Din acest motiv, algoritmul se numete si LMS (least mean square), adic cu cea mai mic eroare ptratic medie. Se poate demonstra c, alegnd o viteza de nvare suficient de mic, sistemul converge spre o funcie de eroare minima, gsind setul de ponderi optim. La fiecare iteraie eroarea scade cu h, sistemul converge spre un minim al funciei de eroare, gsind setul de ponderi optim. (vezi Fig.3.11)

E=

1 2

(d
p

- op )2

(3.9)

Fig.3.11 Suprafaa de eroare pentru un neuron adaptiv cu regula de nv are Delta

Demonstraie Se demonstreaz c regula delta implementeaz un gradient descendent n spaiul erorilor.

Dpw

= -h.

E P w i
w i . x pi [ k ] - q ) wi =

(3.9)

E P E P o P = = wi o p wi - (d
p

1 (d P - o p )2 ( 2 o p

- o p ). x pi = q . e . d

40

ntruct au un singur neuron adaptiv reelele ADALINE pot implementa doar funcii separabile linear. Reelele MADALINE (Fig.3.12 ) au mai intrri, mai muli neuroni adaptivi i la ieire circuite logice de tip SAU, I sau MAJORITATE. Cu ponderile potrivit alese, MADALINE pot implementa i funcii logice nonlinear separabile.

Fig.3.12 Structura MADALINE care implementeaz funcia logic cu tabelul de adev r TAB1 Fie, de exemplu funcia logic cu tabelul de adevr urmtor: x1 +1 +1 -1 -1 x2 +1 -1 -1 +1 Ieire +1 -1 +1 -1

MADALINE implementeaz deci o separabilitate nonlinear, prezentat n Fig. 3.13.

41

Linii de separare

Fig.3.13 Regiunile de separare implementate de structura din Fig.3.12

3.4. Aplicaiile ADALINE 3.4.1 Filtrarea adaptiv O aplicaie direct este filtrarea adaptiv. Semnalul de intrare este aplicat unei linii de ntrziere cu L celule i apoi unui ADALINE. Ieirea este o combinaie liniar a intrrii curente i a eantioanelor ntrziate. Se utilizeaz regula Delta (algoritmul LMS) pentru determinarea ponderilor optime. Modificnd ponderile se poate deci controla rspunsul la impuls al filtrului. Exist mai multe tipuri de filtre adaptive, ce caut s obin zerourile i polii funciei de transfer. Acest filtru realizeaz zerourile funciei de transfer. Structura lattice prezentat converge n anumite condiii mai rapid dect orice alt filtru, este simpl i robust. Filtrul adaptiv LMS este cel mai des utilizat filtru adaptiv.

Fig. 3.14 Structura filtrului adaptiv Semnal de intrare xk ntrzie

xk-1

ntrzie

xk-2

ntrzie

xk-L

w0

w1

w2

wL

Algorit m

e eroare +

S S

L.M.S Rspuns dorit

Semnal filtrat de ieire

42

Sem Filtr

Sem

-S +

Sem

Fig. 3.15 Simbolul filtrului adaptiv

3.4.2 Modelarea unui sistem necunoscut Se aplic semnalul de intrare filtrului adaptiv i sistemului necunoscut, ca n Fig.3.16. Ieirea sistemului necunoscut se utilizeaz ca rspuns dorit pentru filtrul adaptiv. n urma adaptrii ponderilor, diferena dintre ieirea sistemului i a filtrului adaptiv va fi minim. F.A. va modela sistemul necunoscut.
Semna l de Ieire Filtru adapti

-Eroare S +

Semna l dorit

Sistem necunoscut

Fig.3.16 Modelarea unui sistem necunoscut

3.4.3 Predicia statistic Ponderile filtrului adaptiv se adapteaz pentru a genera cea mai bun estimare n medie ptratic ntre semnalul ntrziat cu iteraii i semnalul de intrare curent (care, la rndul su reprezint o predicie a intrrii peste eantioane). Ponderile optime sunt copiate ntr-un filtru sclav, la a crui intrare se aplic semnalul de intrare. La ieirea filtrului sclav se obine cea mai bun estimare a intrrii peste eantioane .

43

Filtru sclav Ieirea predicia peste pai a intrrii

Filtru adaptiv

-eroare S +
Semnal dorit

Fig. 3.17 Un circuit adaptiv predictiv

3.4.4 Egalizor de canal Canalele telefonice, radio i chiar fibrele optice au un rspuns n frecven variabil ca nivel i nonlinear n faz. Aadar transmisia datelor la mare vitez determin interferena intersimbol. Circuitul egalizor combate acest fenomen, prin filtrarea semnalelor de intrare. Un modem dotat cu un filtru adaptiv capabil s se adapteze ca un sistem invers poate compensa imperfeciunile (ca nivel i ca faz ale canalului de telecomunicaii. La ieirea circuitului cuantificator se obine un semnal binar, care poate fi utilizat ca rspuns dorit pentru algoritmul adaptiv. Ponderile sunt iniializate la zero. Semnalul de ieire este iniial afectat de zgomot. n timp ponderile se adapteaz pentru a elimina diferena dintre rspunsul dorit i ieirea curent. Sporadic pot apare erori de adaptare, dar n medie filtrul funcioneaz corect. Egalizorul adaptiv are un rspuns plat ca nivel i liniar ca faz. Fr egalizator canalul de telecomunicaii transmite semnalul cu o eroare de aproximativ 10 1 . Odat ce filtrul s-a adaptat eroarea de transmisie este de ordinul 10-6.Prin utilizarea unor modemuri cu egalizoare ncorporate viteza de transmisie s-a multiplicat cu patru. Discriminarea ntre semnale la recepie este clar +1 sau 1.

44

Emitor

Canal telecomunica ie

de

ntrzier

xk-1

ntrzier

xk-2

ntrzier

xk-L

w0

w1

w2

Algoritm adaptiv e eroare L.M.S

S -S + +1

Ieire analogic Circuit cuantificator

-1

Ieire binar

Fig.3.18 Egalizor de canal

4. Re ele neuronale multistrat 4.1 Arhitectura

n forma lor general, reelele neuronale multistrat RNM (multilayer perceptrons) au un strat de intrare, un numr de straturi intermediare, numite ascunse i un strat de ieire, format fiecare dintr-un numr de neuroni. Cnd informaia se propag prin reea de la intrare nspre ieire, aceste reele se numesc de tip "spre nainte" (feed-forward). n cele ce urmeaz se vor folosi modelul neuronului i notaiile introduse n paragraful 1.3.1. Arhitectura unei RNM cu un singur strat ascuns este reprezentat n figura 4.1.

45

x1

xi

ui wji

uj
wkj

uk Strat de ieire

xN

Strat de intrare

Strat ascuns

Fig.4.1 Arhitectura unei reele neuronale multistrat

n mod uzual, funcia de activare este aceeai, pentru toi neuronii aparinnd aceluiai strat. Pentru neuronii stratului de ieire utilizarea unei funcii de activare f(net) liniare, cel mult semiliniare, ca n exemplul din relaia (4.1), este satisfctoare din punctul de vedere al performanei realizate, pentru majoritatea aplicaiilor:
0, pentru net (t ) < -q net (t ) + q o(t + 1) = f (net ) = , pentru - q < net < q 2q 1, pentru net (t ) > q

(4. 1)

Pentru a se depi performanele reelelor cu un strat, este ns necesar ca funcia de activare a neuronilor ascuni s fie cel puin semiliniar. Uzual, ea este o funcie sigmoid, dat de relaia:

o pj = 1+ e

1 - b ( w ji x pi ( t ) + q j )
i

(4.2)

unde b este un factor de proporionalitate, aparinnd intervalului (0,1). Avantajul unei astfel de funcii este calculul simplu al derivatei:

f ' ( x) = f ( x)[1 - f ( x )]

(4.3)

Adesea se utilizeaz i funcia tangent hiperbolic, deoarece are valori n intervalul [-1, 1]:

46

e x - e- x tanh( x ) = x - x e +e
Derivata ei este relativ simplu de determinat, cu relaia:

(4.4)

d tanh( x ) 4 = [sec h( x )]2 = x dx (e + e - x ) 2

(4.5)

Pentru antrenarea unei reele RNM se utilizeaz uzual algoritmul "cu retropropagarea erorii".

4.2 Algoritmul cu retropropagarea erorii

Algoritmul cu retropropagarea erorii RPE ("back-propagation error") a fost fundamentat independent de mai muli cercettori din domeniul analizei numerice (Bryson & Ho, 1969), al statisticii (Werbos n 1974) i cel al RN (Parker 1982 , Le Cun 1986, Rumelhart, Hinton & Wiliam 1986). Algoritmul este o nvare cu control n dou etape i este cunoscut i sub denumirea de "regula delta generalizat", denumire introdus n 1986 de grupul de cercetare creat de Rumelhart i Mc Clelland, ntr-o carte de referin n domeniul RN, "Parallel Distributed Processing" [D.E. Rumelhart, 86]. Algoritmul are 2 etape: prima n care informaia se propag prin reea din strat n strat, de la intrare pn la ieire, i cea de-a doua, n care erorile se propag de la ieire nspre intrare, determinnd actualizarea parametrilor RNM. Prima etap Fie notaiile: N - numrul intrrilor n RN (care este dimensiunea vectorilor de intrare); Nh - numrul neuronilor stratului ascuns; Nout - numrul neuronilor stratului de ieire; Ca n figura 4.1, n cele ce urmeaz, neuronii stratului de intrare vor fi indexai dup i, neuronii stratului ascuns dup j i cei ai stratului de ieire dup k. Intrarea net netpj pentru fiecare model de intrare p, ntr-un neuron ascuns j, este dat de suma ponderat a intrrilor n neuron i de pragul qj, prin relaia:

net pj =

w
i =1
N

ji

x pi + q j i=1,2, .N

(4.6)

Ieirea opj a fiecrui neuron ascuns se calculeaz ca o funcie de intrarea net:

o pj = f ( w ji x pi + q j )
i =1

j=1,.., N h

(4.7)

n cazul unei reele neuronale cu un singur strat ascuns, ieirea opk a neuronului k de ieire se exprim n funcie de informaia primit din stratul ascuns cu relaia:

o pk = f ( wkj o pj + q k )
j =1

Nh

unde net pk = wij o pj + q k

j =1

Nh

k=1,..,Nout

(4.8)

47

i vectorul w k = [ wk1 wk 2 ... wkj ] este vectorul ponderilor conexiunilor neuronului k de ieire. Funcia global realizat de RN la ieirea neuronului k este deci:

o pk = f ( wkj f ( w ji x pi + q j ) + qk )
j =1 i =1

Nh

k=1,.. ,Nout,

(4.9)

dpk:

Ieirea curent opk se compar cu rspunsul dorit dpk, genernd, n neuronii de ieire, o eroare

d pk = ( d pk - o pk ) f ' ( net pk )
unde f' este derivata funciei de activare a neuronului.

(4.10)

Etapa a doua n etapa a doua, erorile se propag de la ieire spre intrare, din strat n strat determinnd modificarea ponderilor conexiunilor n sensul minimizrii erorii la nivelul fiecrui neuron n parte. Regula de nvare pentru conexiunile dintre neuronii de ieire i cei ascuni este:

D p wkj = hd pk o pj

(4.11)

unde pwkj reprezint variaia ponderii wkj a interconexiunii dintre neuronul j i neuronul k i h este constanta de nvare care poate lua valori n intervalul (0,1). Pentru neuronii ascuni, indexai dup j, erorile dpj se calculeaz cu ajutorul erorilor neuronilor de ieire dpk cu relaia:

d pj = d pk wkj f ' (net pj ) k

(4.12)

Apoi se modific ponderile conexiunilor dintre neuronii ascuni i intrri cu relaia:

D p w ji = hd pj o pi

(4.13)

48

Dac n RN exist mai multe straturi ascunse, erorile se evalueaz pentru fiecare strat cu relaia (4.12) i apoi se determin noile ponderi dintre stratul anterior i cel succesiv. n reea pot exista i ponderi fixe. Dac exist neuroni de ieire i n straturile ascunse, acetia nsumeaz dou tipuri de erori: erori rezultate din compararea ieirii cu rspunsul dorit i erori obinute prin propagare, de la neuronii de ieire spre neuronii cu care sunt cuplai. Algoritmul cu retropropagarea erorii minimizeaz eroarea ptratic medie n fiecare iteraie. Studiile arat c RN converge n general spre un minim local, care reprezint n unele cazuri o soluie acceptabil. n literatura de specialitate sunt prezentate mai multe metode pentru evitarea minimelor locale, aspect care va fi abordat n cele ce urmeaz. n literatur se demonstreaz [S.Haykin, 94.2] c algoritmul cu retropropagarea erorii implementeaz un gradient descendent al erorii totale n spaiul ponderilor, adic este satisfcut relaia:

w(t + 1) = w(t ) - h

dE dw

(4.14)

unde dE/dw este gradientul aleatoriu necunoscut al erorii totale dintre modelele de intrare i modele de ieire dorite. White a demonstrat c relaia (4.14) este de fapt o aproximare stochastic [S. Haykin, 94.2]. Algoritmul presupune o etap de antrenament, una de testare i apoi cea de utilizare. Crearea bazei de date i selectarea datelor de antrenament, respectiv de testare, au o influen major n succesul sau eecul funcionrii unei RN. n timpul antrenamentului, fiecare pereche (xp , dp) model de intrare-model de ieire dorit este prezentat repetat. Necesitatea unei prezentri repetate a modelelor n timpul antrenamentului reprezint una dintre carenele algoritmului cu retropropagarea erorii, deoarece conduce la un timp ndelungat afectat antrenamentului RN. n timpul testrii se aplic doar modelele de intrare, verificndu-se statistic corectitudinea funcionrii. n cazul n care performana obinut este acceptabil, RN poate fi utilizat n practica curent.

4.3 Aspecte importante ale algoritmului cu retropropagarea erorii

n cele ce urmeaz se prezint cteva dintre elementele care influeneaz semnificativ performanele algoritmului cu retropropagarea erorii, ilustrndu-se cauzele unor posibile rezultate nesatisfctoare i oferindu-se cteva indicaii utile n aplicaiile practice [S. Haykin, 94.2], [Y.H. Hu, 02]. 4.3.1 Crearea bazei de date Crearea bazei de date solicit cel mai ndelungat efort n dezvoltarea unei aplicaii i are o importan major n succesul sau eecul acesteia. Aceast etap presupune: adunarea datelor; analiza datelor; alegerea variabilelor; preprocesarea variabilelor de intrare, astfel nct RN s poat nva eficient; Din practica curent specialitii afirm c 9/10 din dezvoltarea unei aplicaii este soluionat prin colectarea datelor adecvate. Selectarea datelor de intrare implic adesea alegerea dintre mai multe variabile, astfel nct familiaritatea cu domeniul aplicaiei este de nepreuit. Specialitii n RN colaboreaz cu experii n domeniul aplicaiei pentru dezvoltarea RN.

49

Analiza datelor de intrare se face din perspectiva tehnicilor statistice. Corelaia dintre o anumit intrare i o anumit ieire poate sugera includerea sau excluderea variabilei. O corelaie puternic dintre dou variabile poate duce la eliminarea uneia dintre ele. Dup alegerea celor mai semnificative intrri se pune problema examinrii distribuiei lor i n general se elimin valorile n afara distribuiei tipice. Este de dorit ca perechile de date intrare-ieire folosite n procesul de antrenare s fie ct mai diferite, pentru ca reeaua s aib la dispoziie un numr de "scenarii" ct mai mare pentru problema concret considerat. n setul de antrenare se insereaz cteodat (n special atunci cnd baza de date este redus sau puternic redundant) i date provenind din suprapunerea unor nivele de zgomot peste valorile originale, ceea ce are ca efect mbuntirea capacitii de generalizare a reelei. Analiza datelor poate duce la identificarea de tendine, cicluri sau alte relaii care pot fi extrase prin preprocesare. Preprocesarea transform datele astfel nct ele s poat fi mai uor nvate de RN. Preprocesarea poate implica calculul de sume, diferene, derivate, puteri, radicali, medii, transformate Fourier sau extragere de caracteristici. O RN poate pregti datele de intrare pentru o alt RN, realiznd de exemplu o grupare, nainte de o clasificare mai rafinat. Cantitatea datelor suficiente este o problem complex, adeseori afectat de consideraii practice, ca de exemplu costul colectrii datelor. Datele de antrenament trebuie s asigure un eantion reprezentativ i suficient pentru un antrenament corect. Seturi mari de date reduc riscul subeantionrii funciei de nvat, dar n acest caz RN necesit un timp ndelungat de antrenare. Seturi mici de date implic o antrenare rapid, dar reeaua poate eua n faza de utilizare. Suficiena datelor depinde de mai muli factori, ca de exemplu: mrimea RN, distribuia intrrilor i ieirilor, cerinele testrii. Din practica curent s-a ajuns la concluzia c pentru un antrenament eficient sunt suficiente aproximativ zece modele pentru fiecare interconexiune a reelei. O alt regul empiric apreciaz c trebuie s existe urmtoarea relaie ntre dimensiunea bazei de date considerate D, folosite n procesul de nvare, numrul ponderilor Nw i valoarea final a erorii ptratice E():

D=

Nw E ()

(4.15)

mprirea judicioas a bazei de date, ntr-un set de antrenare i altul de validare, este hotrtoare n obinerea unor performane de generalizare satisfctoare. Exist rezultate teoretice care justific alegerea dimensiunii setului de date de antrenament la aproximativ 90% i a celui de validare la aproximativ 10% din baza de date original. 4.3.2 Modaliti de antrenare Strategia uzual presupune antrenarea RN multistrat off-line, cu date disponibile n baza de date. Exist dou metode de antrenare off-line, pentru o RN multistrat cu algoritmul cu retropropagarea erorii: 1. Modul model cu model ( pattern by pattern mode) const n modificarea setului de ponderi dup cte o prezentare a unei singure perechi de date model de intrare- model de ieire dorit. Se recomand o prezentare aleatoare a datelor de antrenament, pentru a evita ca reeaua s considere, n mod eronat, c acestea au un caracter periodic, intrinsec. Exist indicaii empirice c viteza de convergen a algoritmului este mai mare n acest caz. 2. Modul pachet (batch mode) n care ponderile sunt ajustate dup prezentarea ntregului set de date de antrenament. Aplicarea datelor de antrenament o singur dat se numete epoc de antrenare. Varianta optim de antrenare depinde de aplicaia concret. Antrenarea n timp real, on-line, este mai apropiat de condiiile reale de utilizare a RN. Datele de antrenare sunt obinute n timp real, din msurtori curente ale procesului de modelat i determin modificarea imediat a parametrilor RN.

50

Dezavantajul const n faptul c n urma unei modificri radicale a parametrilor, la prezentarea unei perechi model de intrare - model de ieire dorit, RN i poate pierde capacitatea de interpolare a unor date ulterioare. Dac dimpotriv, noua asociere este prea aproape de cea anterioar, modificarea parametrilor poate fi nesemnificativ. 4.3.3 Criterii de oprire a nvrii Exist mai multe criterii de oprire a antrenrii unei RN multistrat cu algoritmul RPE, ca de exemplu: Dup un numr de iteraii predefinit, dar exist riscul ca eroarea s nu scad suficient; La o valoare impus a erorii, dar numrul de iteraii ar putea fi prea mare; La o valoare dat a variaiei erorii pentru dou iteraii consecutive. Metoda este inadecvat pentru situaiile n care eroarea are paliere de-a lungul crora se modific foarte puin, dei n valoare absolut este considerabil. Validarea prin intersecia datelor (cross-validation). RN se antreneaz cu datele de antrenament, timp n care eroarea descrete continuu. Se verific funcionarea RN cu datele de testare, timp n care eroarea descrete, apoi crete din nou, ca n figura 4.2. Eroare Test

Supraantrenare

Antrenament Numr optim

Iteraii

Fig.4.2 Evoluia erorii n funcie de numrul de iteraii pentru faza de antrenament,respectiv testare
n acest interval, aa numit de supraantrenare (overfitting), RN nu mai modeleaz procesul care a generat asocierile model de intrare - model de ieire dorit, ci nva chiar datele. Ponderile RN se nghea la un numr de iteraii optim, corespunztor momentului n care eroarea din faza de testare ncepe s creasc. 4.3.4 Generalizarea Odat antrenat RN, se pune problema ct de bine generalizeaz. A generaliza, conform dicionarului explicativ, nseamn a formula principii sau concluzii din detalii obinute prin experien. Abilitatea unei RN de a generaliza se refer la identificarea de reguli ce-i permit s fac predicii corecte asupra unor date necunoscute. Capacitatea de generalizare a unei RN se verific pe setul de date de testare. Factorii care o influeneaz sunt: numrul eantioanelor de date, complexitatea problemei, mrimea reelei. Exist studii care stabilesc limita inferioar i superioar a capacitii de generalizare a unei RN (msur cunoscut sub denumirea de dimensiunea VapnikCervonenkis), n funcie de dimensiunea modelelor de intrare, numrul neuronilor ascuni, numrul total al neuronilor RN, numrul ponderilor RN.

51

4.3.5 Funcia de activare Utilizarea unei funcii de activare neliniare confer unei RN avantajul unui potenial de procesare superior comparativ cu cazul utilizrii unei funcii liniare. Astfel o RN cu o funcie de activare neliniar va necesita un numr mai mic de neuroni ascuni, chiar de straturi, dect o RN cu o funcie de activare liniar pentru a rezolva o aceeai problem. Uzual, funcia de activare a unui neuron este o funcie neliniar bipolar (4.16) sau unipolar (4.17), funcii de inspiraie biologic:

f ( x) = tanh(ax ) =
f ( x) =

1 - e - ax 1 + e -ax

(4.16)

1 - ax 1+ e

(4.17)

S-au observat creteri semnificative ale vitezei de convergen n cazul utilizrii unei funcii de activare bipolare. Ajustarea parametrului a, cu valori n intervalul (0,1), respectiv scderea sa n timp, are efecte benefice n special n faza iniial a procesului de nvare. Un avantaj major al acestor funcii l constituie simplitatea obinerii derivatelor de ordinul I cu relaia (4.3), care permite evaluarea rapid a erorilor n algoritmul RPE. Gsirea tipului adecvat de neliniaritate pentru o aplicaie dat confer for de calcul superioar unei reele neuronale. n aplicaiile de clasificare se utilizeaz adeseori funcia denumit softmax, care permite interpretarea ieirilor reelei neuronale ca probabiliti condiionate:

f ( xi ) =

e
j

xi xj

(4.18)

Derivata funciei de activare are un efect semnificativ asupra vitezei de convergen. Observaia conform creia variaia ponderilor, direct proporional cu derivata funciei de activare, este neglijabil pentru semnale mari (pentru care derivata se anuleaz) a impus creterea artificial a valorii derivatei. Prin adugarea unei constante de 0,1 s-a redus n unele situaii timpul de procesare la jumtate. 4.3.6 Funcia de eroare n cazul unei reele neuronale multistrat, funcia de eroare este o funcie multidimensional neliniar, ai crei parametrii sunt valorile interconexiunilor i pragurile neuronilor. Un algoritm de antrenare oarecare urmrete modificarea acestor parametrii n sensul minimizrii erorii. ntr-o form general, pentru o RN cu N neuroni, funcia de eroare poate fi dat de relaia:

E = o pj ( X p ;W ) - d pj
p j =1

(4.19)

unde: -djp este rspunsul dorit pentru modelul p de intrare; -opj este ieirea curent a neuronului j pentru modelul p de intrare; -W reprezint totalitatea parametrilor reelei (ponderile i pragurile);

52

-Xp este modelul de intrare p; Pentru R=2 se obine eroarea medie ptratic. Observaii: Eroarea ptratic medie este extrem de sensibil la prezena unor erori particulare mari, pentru modelele de intrare atipice ("outliers"). Performane superioare se obin pentru alte tipuri de distane metrice, ca de exemplu, pentru distana Manhattan, care are R=1. Funcia de eroare definit anterior este specific modului de antrenare de tip "pachet" (batch) (ajustarea parametrilor reelei se face dup fiecare prezentare integral a bazei de date disponibile). Reprezentarea geometric a funciei de eroare pune n eviden existena unui minim global i a mai multor minime locale, ca n figura 4.3. Este important de observat c aspectul funciei de eroare este independent de algoritmul de nvare. n cazul unei funcii de activare neliniare suprafaa funciei eroare nu este concav, astfel nct exist posibilitatea ca algoritmul de antrenament s se opreasc ntr-unul dintre minimele locale. n acest minim local, eroarea poate fi mare. Pentru unele aplicaii, oprirea ntr-unul dintre minimele locale reprezint o soluie a problemei, din moment ce eroarea obinut este acceptabil. Un exemplu n acest sens l reprezint implementarea funciei SAU EXCLUSIV. Observnd natura statistic a algoritmului retropropagrii erorii, White a propus tehnici de optimizare robuste ale statisticii pentru a crete insensibilitatea RN la perturbaii. Eroarea se poate nlocui cu o funcie de eroare, ca de exemplu: 2 tan(ei / 2); ei / (1 + ei ) ; max [- ei , min (ei , x i )] . n alegerea funciei de eroare se apeleaz adesea la metoda ncercrii.

Minime locale E(w)

Minim global

woptim

Fig.4.3 Aspect tipic al funciei de eroare

Tehnicile de optimizare utilizate n prezent se ncadreaz ntr-una dintre urmtoarele dou categorii: a) Metode n care funcia de eroare descrete sau rmne constant de la o iteraie la alta, fr posibilitatea de a crete temporar. Dezavantajul acestora este imposibilitatea de a "evada" din minimele locale. Exemple din aceast categorie sunt algoritmul RPE de tip gradient conjugat, algoritmul RPE de tip quasi-Newton, precum i varianta "tampon" a algoritmului RPE cu scdere dup gradient.

53

b) Metode n care eroarea evolueaz n medie ctre valoarea minim, permind creteri temporare ale valorii acesteia. Din aceast categorie sunt varianta "model cu model" a algoritmului RPE cu scdere dup gradient i varianta RPE cu impuls. Unele dintre metodele performante de optimizare neliniar, ca de exemplu algoritmul RPE de tip gradient conjugat i algoritmul Levenberg-Marquardt, fac apel la aproximri ptratice locale ale funciei de eroare i utilizeaz matrici jacobienne ale derivatelor pariale de ordinul nti sau matrici hessienne ale derivatelor pariale de ordinul doi. 4.3.7 Iniializarea ponderilor i pragurilor Valorile iniiale ale ponderilor i pragurilor se aleg cu atenie pentru a prentmpina saturarea prematur a neuronilor i deci scderea vitezei de convergen a algoritmului. De obicei acestea se aleg aleatoriu, eventual uniform distribuit ntr-un interval de valori: [-2,4/ Fi ; 2,4/ Fi ] unde Fi este numrul total de intrri n neuron.

4.3.8 Viteza de nv are

Alegerea vitezei de nvare h, n intervalul de valori (0,1) are o importan deosebit n evoluia procesrii. O vitez de nvare mare, asigur o convergen rapid, dar poate determina oscilaii ale reelei; O vitez de nvare mic, n intervalul (0.05, 0.25) are ca efect mrirea timpului de procesare i poate duce la mpotmolirea n minime locale cu o probabilitate mai mare; Deci, pentru a mri convergena algoritmului de antrenare este necesar creterea constantei de nvare. Exist mai multe metode folosite pentru satisfacerea acestei condiii: Metoda impulsului Metoda impulsului a fost introdus de Rumelhart, Hinton i Williams, n 1986, ntr-o carte de referin n domeniul RN, "Parallel Distributed Processing" [D.E.Rumelhart, 86]. Prin introducerea unei relaii ntre variaia curent a ponderii pwij(t+1) i modificarea ei anterioar pwij(t) se pot asigura pai mai mari n procesare (convergen mai rapid ) i se evit oscilaiile reelei la o vitez mare de nvare:

D p wij (t + 1) = hdpj .opi + aD p wij (t )

(4.20)

unde a este o constant, numit impuls ("momentum"), ce determin efectul variaiei anterioare a ponderilor asupra variaiei curente.

Fig.4.4 Convergena algoritmului de antrenare

a) pentru o vitez mic de nvare; b) pentru o vitez mare de nvare; c) pentru o vitez mare de nvare i un termen de impuls;

54

Dac a este zero, se poate regsi n relaia (4.20) algoritmul clasic al retropopagrii erorii. Dac variaia ponderii are de la o iteraie la alta acelai semn, atunci, n pasul urmtor, ea va crete cu wij(t). Astfel este favorizat parcurgerea "dealurilor" n funcia de eroare. Dac wij(t) i schimb semnul de la o iteraie la alta atunci wij(t) scade n pasul urmtor cu wij(t) Astfel metoda are un efect stabilizator, realiznd practic o filtrare a variaiilor ponderilor. Figura 4.4 reprezint convergena reelei n spaiul ponderilor n trei cazuri posibile: a) pentru o vitez mic de nvare, fr impuls, cnd este necesar un timp ndelungat pentru atingerea minimului; b) pentru o vitez mare de nvare, fr impuls, cnd minimul nu poate fi atins datorit oscilaiilor reelei; c) pentru o vitez mare de nvare i un termen de impuls, cnd minimul este atins rapid; Metoda netezirii Este o generalizare a metodei impulsului, introdus de Sejnowski i Rosenberg, n 1987, care utilizeaz relaia:

D p wij (t +1) = h[bD p wij (t) + (1 - b)d pjopi ]

Dac: constanta b=0, atunci relaia (4.21) este forma standard a algoritmului RPE ; b=1, atunci ponderile rmn neschimbate; b (0,1) atunci variaia ponderii este netezit cu constanta b;

(4.21)

Metoda vitezei de nvare variabile Pentru a evita oscilaiile RN, care pot apare n jurul soluiei optime, se poate alege o vitez de nvare descresctoare n timp. Descreterea rapid poate fi asigurat de condiia :

lim (h[n]) <

2 n =1

(4.22)

unde [n] este viteza de nvare la momentul n. Dac descreterea vitezei de nvare este prea rapid, exist riscul ca ponderile s uite modelele deja nvate. Astfel nct viteza de nvare trebuie s descreasc suficient de lent, satisfcnd relaia:

lim (h[n]) 2 =
n =1

(4.23)

Dac h[n]=1/n condiiile (4.22) i (4.23) sunt simultan satisfcute. Cele dou condiii reprezint aa numita dilem plasticitate-stabilitate, descoperit de Grossberg, care poate fi formulat astfel : O RN trebuie s satisfac dou condiii contradictorii : 1. Trebuie s fie suficient de stabil pentru a-i aminti modelele anterior nvate ; 2. Trebuie s fie suficient de plastic pentru a putea nva modele noi ; Satisfacerea celor dou condiii menionate anterior nu garanteaz convergena algoritmului RPE, ci asigur doar o comportare "rezonabil".

55

4.3.9 Problema minimelor locale Exist mai multe metode pentru evitarea minimelor locale: schimbarea constantei de nvare; schimbarea ponderilor iniiale; modificarea numrului de neuroni ascuni; Adugarea unor valori aleatoare mici ponderilor, procedur cunoscut sub numele de "scuturarea reelei", permite RN ieirea dintr-un minim local. Dac noua stare este suficient de ndeprtat de minimul local, procesarea se poate desfura ntr-o nou direcie, fr a exista riscul revenirii n minim. Dac performana obinut ntr-un minim local este acceptabil, acesta poate fi considerat o soluie a problemei. 4.3.10 Arhitectura Prin alegerea adecvat a arhitecturii reelei se poate diminua probabilitatea apariiei unor minime locale ale funciei de eroare. Pentru alegerea arhitecturii optime a unei RN pentru o aplicaie dat, respectiv pentru determinarea numrului de straturi ascunse necesare i a numrului neuronilor dintr-un strat, nu exist criterii cantitative, ci doar reguli empirice. Probabil c acest aspect nu se va rezolva n cazul general, din moment ce fiecare aplicaie are alte cerine pentru reea. Numrul neuronilor trebuie s fie suficient de mare pentru a genera o configuraie a regiunilor de decizie suficient de complex, pentru o problem dat. Dimensiunea RN trebuie judicios aleas astfel nct s nu fie subdimensionat sau supradimensionat. O reea neuronal prea mic nu va fi capabil s generalizeze n mod adecvat. O reea neuronal prea mare ar putea fi prea capabil, prezentnd dezavantajul manipulrii greoaie. Numrul conexiunilor ar fi n acest caz foarte mare i pentru determinarea ponderilor ar fi necesar un numr foarte mare de date, respectiv un timp ndelungat de antrenament. Pentru determinarea mrimii optime se poate recurge la metoda empiric a ncercrilor. Literatura de specialitate consemneaz mai multe modaliti de determinare a mrimii optime a unei reele: Se construiete cea mai mic reea posibil pentru aplicaia n cauz i apoi i se adaug treptat neuroni, pn cnd performana realizat este satisfctoare; Se construiete o reea mare i apoi se elimin treptat neuronii inutili, verificndu-se de fiecare dat performana reelei ; Se apreciaz c numrul de neuroni din primul strat ascuns, trebuie s fie de trei ori mai mare dect numrul neuronilor din al doilea strat ascuns, pentru ca acest strat s furnizeze trei sau patru laturi pentru fiecare regiune identificat de al doilea strat ascuns. n general structura unei RN multistrat trebuie s fie una de tip compresie, de la un numr mai mare de neuroni spre un numr redus de neuroni. n cazul n care problema de instruire presupune divizarea spaiului vectorilor de intrare n m clase, RN trebuie s aib m ieiri, fiecare ieire corespunznd unei clase. n unele cazuri este necesar o cretere exponenial a numrului de straturi pentru a obine o cretere liniar a vitezei de nvare. Exist ns i probleme pentru care viteza de instruire descrete cu mrimea numrului de straturi. Exemplu Dup cum am menionat anterior, este o adevrat art, ce implic ntreaga experien a proiectantului alegerea arhitecturii adecvate, a funciei de activare i a algoritmului de antrenament pentru o RN care s genereze soluia optim ntr-o aplicaie concret. Pentru a exemplifica impactul funciei de activare vom prezenta comparativ [B.J.A. Krse, 94] performanele obinute de dou reele neuronale multistrat, antrenate cu algoritmul retropropagrii, ce aproximeaz funcia f(x)=sin(2x)sin(x).

56

n figura 4.5 este reprezentat ieirea unei RN implementat cu un neuron de intrare, un neuron de ieire i opt neuroni ascuni ce proceseaz o funcie de activare sigmoid. RN a fost antrenat cu zece modele s aproximeze funcia dorit f(x)=sin(2x).sin(x). n figur, cu linie ntrerupt este reprezentat funcia aproximat i cu linie continu ieirea RN.

Fig.4.5. Ieirea unei RN antrenate cu algoritmul retropropag rii erorii s aproximeze funcia f(x)=sin(2x).sin(x), ce utilizeaz o funcie de activare sigmoid

n figura 4.6 se prezint ieirea unei alte RN cu o arhitectur semnificativ redus, antrenat tot cu algoritmul retropropagrii erorii i cu aceleai zece modele. RN a fost implementat cu un neuron de intrare, un neuron de ieire, patru neuroni ascuni ce proceseaz o funcie de activare armonic, respectiv sin(), preluat din teoria aproximrii. Se remarc c performana reelei n al doilea caz este net superioar dect n primul caz, dei numrul neuronilor ascuni este semnificativ mai mic. Aadar alegerea funciei de activare optime poate mbunti semnificativ performana obinut de o RN.

Fig.4.6 Ieirea unei RN antrenate n aceleai condiii ca n cazul Fig.4.5, dar cu o funcie de activare sinus n neuronii ascuni;

57

Cursul 4
Egalizoare Introducere
Canalele de comunicaie au, n cazul cel mai general, caracteristici de faz i amplitudine neliniare i variabile n timp, datorit neliniaritilor intrinseci, condiiilor meteo de propagare, zgomotelor aditive din mediul nconjurtor i zgomotului termic al dispozitivelor electronice. Amplificatoarele care lucreaz n mod uzual n apropierea punctului de satura ie introduc i ele neliniarit i f r memorie, care combinate cu efectele filtrelor de transmisie i recep ie devin neliniarit i cu memorie. n consecin, semnalele transmise sunt afectate de diferite distorsiuni neliniare, atenuri, zgomot aditiv, interferen intersimbol, interferen cu canalele adiacente, etc. Tehnica de reconstrucie a simbolurilor transmise este egalizarea de canal. n cazul unei dispersii mari a valorilor datelor de intrare, egalizoarele liniare se confrunt cu problema instabilitii numerice. Deoarece, n general, canalele de comunicaii sunt variabile n timp, egalizoarele trebuie s fie adaptive, pentru a urmri variaiile n timp ale rspunsului n frecven al canalului. n cazul distorsiunilor neliniare, generate de canalele variabile n timp, egalizoarele liniare nu au performane bune. Singura soluie n cazul distorsiunilor neliniare i severe ale canalelor de comunicaie o reprezint egalizoarele neliniare. Abordnd problema egalizrii ca o problem de clasificare, reelele neuronale pot genera regiuni de decizie arbitrare cu o mare precizie. Studiile realizate n ultimul deceniu au stabilit superioritatea egalizoarelor neuronale comparativ cu cea a egalizoarelor tradiionale, n special n condiiile distorsiunilor neliniare mari i a semnalelor rapid variabile n timp. Implementarea prin intermediul reelelor neuronale ofer avantajul unei viteze de procesare deosebite, n timp real, absolut necesar pentru comunicaiile viitorului. Deoarece comunicaiile viitorului se vor baza pe transmisiile eficiente din punct de vedere spectral, ca de exemplu cele care utilizeaz semnale modulate n cuadratur, studiile internaionale curente vizeaz n mod special aceste semnale. Semnalele modulate n cuadratur, avnd anvelop variabil, sunt mai puternic afectate att n faz, ct i n amplitudine, de neliniaritile introduse n transmisie. Pentru a elimina distorsiunile semnalelor modulate n faz i n cuadratur sunt necesare egalizoare pentru semnale complexe. Egalizoarele cu RN pentru semnale complexe sunt extensii directe ale celor pentru semnale reale, obinute prin nlocuirea parametrilor relevani, ca de exemplu, intrrile, ieirile, ponderile, pragurile i/sau funciile de activare, cu mrimi complexe [D.Jianping,02]. Literatura de specialitate prezint diferite tipuri de egalizoare neliniare, variante clasice, variante hibride care ncorporeaz i tehnica neliniar a reelelor neuronale i variante care folosesc exclusiv reele neuronale. Egalizoarele hibride sunt uzual combinaii ntre un filtru liniar transversal i diferite tipuri de reele neuronale, cu sau fr reacie invers. Filtrul liniar transversal elimin distorsiunile liniare, ca de exemplu interferena intersimbol, astfel nct reeaua neuronal se poate ocupa exclusiv de distorsiunile neliniare. Pentru implementarea egalizoare adaptive neuronale s-au abordat diferite arhitecturi implementate cu: RN multistrat de tip spre nainte, antrenate cu un algoritm de tip gradient descendent, ca de exemplu algoritmul retropropagrii erorii [S. Chen, 90], [A.Kantsila, 04], [T.Kim, 02]; reele neuronale cu legturi funcionale [A. Hussain, 97], [J.C.Patra, 99];

58

reele neuronale cu funcii de baz radiale [I. Cha, 95 ], [S. Chen, 94a], [Q. Gan, 99], [D.Jianping, 02], [J. Lee, 96], [J.Lee, 99], [C.Botoca, 04]; reele neuronale celulare [R.Perfetti, 93]; reele neuronale recurente [S.Bouchired, 99.1], [G.Kechriotis, 94], [R.Parisi, 97], [**, 02] ;

5. 2 Problema egalizrii
Figura 1 prezint poziia unui egalizor ntr-un sistem de comunicaie. Canalul de comunicaii introduce att distorsiuni liniare ct i neliniare. Ieirea canalului de comunicaii y(n), este afectat de un zgomot aditiv w(n). n cel mai simplu caz zgomotul aditiv poate fi modelat ca un proces Gaussian. x(n) Canalul de comunicaii y(n) r(n) Egalizor

x( n )

w(n)

Fig.6.1 Poziia egalizorului n sistemul de comunicaii

Rolul egalizorului este de a genera cea mai bun estimare x(n) a semnalului transmis x(n), pe baza semnalului recepionat r(n). n proiectarea unui egalizor trebuie luai n considerare urmtorii factori: tipul canalului, zgomotul introdus de receptor n special datorit amplificrii i interferena intersimbol. Canalul de comunicaie poate fi fix sau variabil n timp, de faz minim sau nu. Un canal este de faz minim dac toate zerourile funciei de transfer H(z) sunt coninute n interiorul cercului unitate din planul z. Interferena intersimbol este determinat de distorsiunile liniare. Amplificatoarele, convertoarele i mediul de propagare introduc n special distorsiuni neliniare. Egalizorul trebuie s realizeze cel mai bun compromis ntre eliminarea interferenei intersimbol i amplificarea zgomotului la receptor.

3 O clasificare a egalizoarelor adaptive

Figura 2 prezint o clasificare a egalizoarelor adaptive. Dup modul de determinare a parametrilor, familia egalizoarelor adaptive se poate mpri n egalizoare supravegheate i egalizoare nesupravegheate, aa numite egalizoare "oarbe". Pentru compensarea caracteristicii canalului de comunicaii necunoscut, este necesar adeseori excitarea periodic a sistemului cu un semnal cunoscut sau cu un semnal pilot, ce ntrerupe transmisia informaiei utile. O copie a acestui semnal este disponibil i la receptor i egalizorul l compar cu rspunsul ntregului sistem de transmisie pentru a-i rennoi parametrii. Acest tip de egalizor se numete egalizor supravegheat. Constrngerile asociate cu unele sisteme de comunicaie, ca de exemplu televiziunea digital sau radioul digital, nu ofer ns cadrul pentru folosirea unui semnal cunoscut pentru antrenamentul egalizorului.

59

n aceast situaie egalizorul utilizeaz metode nesupravegheate sau cu autorecuperare pentru a-i adapta parametrii. Acest tip de egalizor se numete egalizor orb. Dup antrenament, egalizorul funcioneaz n modul de decizie direct, n care i poate rennoi parametrii pe baza datelor curente detectate. Egalizarea supravegheat poate fi obinut fie prin estimarea blocului (secvenei) de date, fie prin estimarea simbolului. Egalizorul de bloc de date folosete o secven a eantioanelor recepionate pentru refacerea ntregii secvene a simbolurilor de date transmise. Egalizorul de secvene optim este cel care se bazeaz pe criteriul plauzibilitii maxime (MLSE maximum likehood sequence estimator) i poate fi eficient implementat cu algoritmul Viterbi de plauzibilitate maxim (MLVA maximum likehood Viterbi algorithm). Egalizorul MLVA poate oferi cele mai bune performane atunci cnd statistica canalului este perfect cunoscut, dar prezint dezavantajul unei complexiti ridicate de implementare. Acesta este unul dintre principalele motive pentru care egalizoarele cu estimarea simbolului, care necesit implementri simple, sunt folosite n mod uzual, chiar dac performanele lor sunt mai slabe dect cele ale clasei de egalizoare cu decizia blocului [E.S.Chng, 95]. Egalizoarele cu estimarea simbolului sunt de asemenea preferate n cazul n care canalul este variabil n timp, ca de exemplu n comunicaiile mobile. Performanele egalizoarelor MLVA se degradeaz semnificativ n comunicaiile mobile, din cauza acumulrii erorilor de urmrire ale canalului n timpul estimrii blocurilor de date.

Egalizoare adaptive Egalizoare supraveghea Egalizoare cu estimarea secvenei Eg.MLSE Egalizoare cu estimarea simbolului Egalizoare liniare Eg.cu Eg. ZF ZF Eg. MMSE MMSE Eg. MBER Wiener Eg.MBER Wiener Eg.LMS LMS Eg.RLS RLS Egalizoare neliniare Eg. Eg.Bayes ZF Eg. MMSE Volterra Eg.cu MBER RN Eg.Mahalanob Wiener LMS is RLS Eg.fuzzy Egalizoare oarbe

Fig. 2 Clasificarea egalizoarelor adaptive Egalizoarele care estimeaz simbolul transmis realizeaz detecia i decizia simbolului recepionat n fiecare perioad a acestuia. n aceast clas de egalizoare exist dou modaliti de implementare a funciei de decizie, i anume, cea care utilizeaz tehnicile liniare, respectiv cea care utilizeaz tehnicile neliniare. O abordare liniar pentru funcia de decizie a egalizorului simbol cu simbol ofer simplitatea implementrii calculelor, dar cu costul unei performane inferioare.

60

Forma convenional a egalizorului liniar se bazeaz pe teoria filtrului adaptiv liniar, ale crui ponderi sunt adecvat ajustate de un algoritm ce minimizeaz eroarea dintre simbolurile de ieire i cele recepionate. Diferite criterii de optimizare cum ar fi criteriul erorii medii ptratice minime (MMSE minimum mean square error), criteriul minimului erorii de bit (MBER minimum bit error rate) sau criteriul distorsiunii de amplitudine pot fi utilizate pentru proiectarea egalizoarelor liniare. Egalizorul optimizat folosind criteriul distorsiunii de amplitudine este numit egalizor cu forare a zeroului (ZF). n ultimii ani egalizarea ZF a devenit mai puin popular, implementrile curente fiind n mod uzual bazate pe criteriile MMSE sau MBER. n cazul criteriului MMSE egalizarea liniar implic utilizarea ecuaiilor Wiener, care necesit cunoaterea exact a caracteristicilor canalului. n practic, egalizarea liniar este o filtrare liniar antrenat cu un algoritm adaptiv. Uzual se folosete algoritmul erorii medii ptratice minime (LMS least mean square). Ali algoritmi sunt: algoritmul recursiv al celor mai mici ptrate (RLS recoursive least square), algoritmul RLS rapid (fast RLS), algoritmul rdcinii ptrate RLS (square root RLS) , algoritmul RLS de tip gradient (gradient RLS). Egalizoarele liniare nu au performane bune n cazul canalelor "cu nuluri spectrale adnci", din moment ce ele plaseaz un ctig mare la aceste frecvene, i n consecin amplific zgomotul aditiv. n absena zgomotului aditiv i n cazul canalelor de faz minim, egalizorul liniar opereaz ca i un sistem invers canalului, furniznd o transmisie fr distorsiuni. Atunci cnd zgomotul este prezent i canalul nu este de faz minim, utilizarea modelului invers nu este suficient. Amplificarea zgomotului poate fi evitat prin utilizarea tehnicilor neliniare. Implementarea neliniar include dou tipuri de structuri, una fr reacie i cealalt cu decizie pe baza reaciei inverse. Egalizorul Bayes este cel care ofer performana optim din punctul de vedere al erorii de bit [A.T. Georgiadis, 00]. Funcia de decizie a egalizorului Bayes se bazeaz pe criteriul probabilitii maxime aposteriori (MAP maximum a posteriori probabilitiy), derivat din teoria Bayes i va fi prezentat ntr-unul din paragrafele urmtoare. Detectorul optim MAP simbol cu simbol (MAPSD) ofer o rat a erorii de bit mai mic, pentru o ntrziere dat, dect n cazul MLSE. La valori mari ale raportului semnal pe zgomot diferenele de performan a celor dou tipuri de egalizoare sunt nesemnificative. Pe de alt parte, la valori mici ale raportului semnal pe zgomot, performana egalizorului MLSE este inferioar egalizorului MAPSD [A.T. Georgiadis, 00]. Un model clasic de egalizor neliniar este aa numitul egalizor cu decizie pe baza reaciei inverse (decision feedback equaliser DFE ). Egalizorul DFE utilizeaz pentru reconstrucia semnalului util semnalul recepionat i ca reacie deciziile sale anterioare. Acest egalizor este utilizat n special atunci cnd interferena intersimbol este mare, avnd la o aceeai complexitate performane superioare filtrelor liniare transversale. Datorit reaciei, funcia de transfer a DFE este o funcie neliniar a semnalului recepionat. Tehnicile moderne n procesarea semnalului ofer i o mare varietate de alte egalizoare neliniare, ca de exemplu: egalizoarele bazate pe seriile Volterra, egalizoarele bazate pe distana Mahalanobis i egalizoarele cu reele neuronale. Structurile ce vor fi prezentate n cele ce urmeaz combin un filtru liniar transversal cu reele neuronale de diferite tipuri, ntr-o arhitectur cu sau fr reacie invers. Filtrul liniar transversal elimin distorsiunile liniare, ca de exemplu interferena intersimbol, astfel nct reeaua neuronal se poate concentra asupra eliminrii distorsiunilor neliniare.

4 Egalizarea ca o problem de clasificare

Un punct de vedere alternativ la ideea filtrrii inverse este abordarea tehnicii de egalizare ca o problem de clasificare a modelelor. Obiectivul egalizrii este n acest caz separarea semnalelor recepionate n spaiul modelelor. n situaiile reale, cnd zgomotul este prezent n semnalul recepionat, canalul de comunicaie este variabil n timp i nu are faz minim, o clasificare optim este neliniar. Datorit proprietii lor de aproximatoare universale RN sunt

61

capabile s proceseze regiuni de decizie neliniare, cu o precizie remarcabil. Viteza deosebit a RN datorat procesrii paralele, este nc un argument pentru utilizarea lor n implementarea egalizoarelor adaptive. n cazul unei transmisii bipolare de date, eantioanele recepionate, afectate de interferena intersimbol i de zgomot, ar trebui clasificate ca +1 sau 1. Funcia egalizorului este n acest caz s asocieze fiecare eantion recepionat cu regiunea de decizie corect. n cazul unor semnale complexe clasificarea trebuie realizat n spaiul complex. Astfel pentru semnale modulate n cuadratur 4-QAM , constelaia intrrilor posibile este:
x (1) = 1 + j (2) x = -1 + j x (n) = x R + jx I = ( 3) x = 1 - j (4) x = -1 - j

( 1)

Din punctul de vedere al unei RN, egalizorul trebuie s clasifice semnalul recepionat ntr-una dintre cele patru clase posibile:
Pd =

1 l 4

U P (l )
d

( 2)

sau:
Pd (l ) = y (n) x (n - d ) = x (l ) , 1 l 4

( 3)

5 Un model al problemei egalizrii

Fie un semnal x(n) aplicat la intrarea unui canal liniar dispersiv cu rspuns finit la impuls (FIR) (Fig. 3), care poate fi modelat cu un filtru FIR de ordinul k, cu valori reale i nenule ale coeficienilor a0, a1, ..., ak-1. Semnalul aleator de intrare genereaz ieirea y(n):
y ( n) =

a x (n - i )
i i =0

k -1

( 4)

Fie semnalul de la ieirea canalului de comunicaie y(n) afectat de zgomotul aditiv w(n). n majoritatea studiilor w(n) este modelat ca un zgomot alb, gaussian, cu o dispersie e2. Semnalele y(n) i w(n) se consider semnale necorelate. Semnalul recepionat de egalizor este:
r (n) = y ( n) + w( n) =

a x(n - i) + w(n)
i i =0

k -1

( 5)

Problema egalizrii const n determinarea unei estimri ct mai exacte a semnalului de intrare x(n), utiliznd informaia reprezentat de semnalul recepionat, r(n) i semnalul ntrziat cu d iteraii, x(n-d). Performana egalizorului poate fi evaluat prin probabilitatea clasificrilor eronate n funcie de raportul semnal pe zgomot (RSZ), dat de relaia:
k -1 k -1 2 2 s a ai2 s i 2 E r (n ) = i =0 RSZ = = i=0 2 2 2 E w (n ) se se

[ [

] ]

( 6)

62

unde E este momentul centrat de ordinul doi, s2 =1 este dispersia simbolurilor transmise, egal cu 1, i e2 este dispersia zgomotului alb.

Generator de secven pseuoaleatoare

x(n) Modelul echivalent de canal

y(n)

r(n) Egalizor

w(n) Generator de zgomot x(nd)

e(n)

+ ntrzie re
Fig. 3 Un

model al problemei egalizrii

n cele ce urmeaz vom considera structura egalizorului hibrid prezentat n Fig. 4, o combinaie ntre un filtru liniar transversal i un egalizor neliniar. Semnalul recepionat folosit pentru a estima simbolurile transmise este r(n)=[ r(n) r(n-1) .r(n-m+1)]T. Semnalul corespunztor de la ieirea canalului de comunicaie neafectat de zgomot este vectorul y(n)=[y(n) y(n-1) y(n-m+1)]T. Egalizorul const dintr-un filtru pentru implementarea funciei de decizie i un dispozitiv de cuantificare a funciei de ieire f(r(n)) a acestuia ntr-unul din simbolurile posibile transmise. n cazul n care alfabetul transmis este format din simbolurile {+1, -1} cuantificatorul poate fi implementat folosind funcia sgn( ). n cazul n care semnalul transmis este 4-MAQ zgomotul aditiv se consider i el un semnal complex, cu partea real wR(n) independent de cea imaginar wI(n). n acest caz, se folosesc dou circuite de cuantificare, unul pentru partea real i unul pentru partea imaginar. Performanele egalizorului sunt determinate de funcia de decizie. Se tie c funcia de decizie optim este funcia de decizie Bayes [E.S.Chng, 95]. Ea este o funcie neliniar astfel nct i funcia de decizie a egalizorului trebuie s fie neliniar.

63

x(n)

y(n) Canal de comunicaie

r(n)

z-1

r(n-1)

z-1

r(n+m-1)

w(n)

Funcia de decizie a egalizorului f(r)

x( n )

Fig. 4 Structura unui egalizor hibrid

Exemplu Pentru a ilustra diferena de performan ntre egalizoare liniare i cele neliniare simulrile au fost orientate spre compararea performanei de decizie a egalizorul MMSE liniar cu cea a egalizorului neliniar optim, Bayes. A fost utilizat canalul cu urmtoarea funcie de transfer H ( z ) = 0.3482 + 0.8704 z -1+0.3482 z -2 i o surs de semnale bipolare, cu constelaia {1} . Rezultatele simulrilor, pentru o ntrziere d=1 .i un ordin al filtrului LT m=4, sunt prezentate n Fig. 5. Axa vertical a graficului indic probabilitatea deciziei eronate pe o scar logaritmic BER = log10 i axa orizontal indic RSZ. Se poate observa c performanele egalizorul Bayes difer semnificativ fa de cele ale egalizorului liniar. De exemplu, pentru o valoare a probabilitii de decizie eronat de 10 - 4 , egalizorul Bayes are o mbuntire a raportului semnal pe zgomot de 4,4 dB fa de egalizorul liniar de tip MMSE

64

Figura 5 Comparaia performanei de decizie a egalizorul liniar MMSE i cea a egalizorul neliniar optim, Bayes, pentru canalul H ( z ) = 0.3482 + 0.8704 z -1 +0.3482 z -2 pentru d=1 i m=4

6 Modelul canalului de comunicaie

n paragraful anterior s-a introdus cel mai simplu model al unui canal de comunicaie dispersiv liniar, i anume, filtrul liniar transversal. n situaiile reale canalul introduce ns i distorsiuni neliniare. Utilizarea unor modele adecvate ale canalului, respectiv ale dispozitivelor active de pe calea de transmisie, ct mai apropiate de cele reale este esen ial n dezvoltarea sistemelor de comunica ie ale viitorului. Figura 6 reprezint un model al canalului de comunicaie care introduce att distorsiuni liniare (L) ct i distorsiuni neliniare (NL). Literatura de specialitate menioneaz variate modele cu diferite liniariti, respectiv neliniariti. Uzual, partea liniar este modelat cu un filtru liniar transversal, cu valori reale i nenule ale coeficienilor a0, a1, ..., ak.
x(n)
L

(n)
NL

y(n)

Fig. 6 Modelul neliniar al unui canal de comunicaie Semnalul aleator de intrare genereaz ieirea conform relaiei ( 4):

y ( n) =

a x( n - i )
i i=0

k -1

( 7)

65

Pentru semnale complexe se utilizeaz modele de canal complexe. Modelul sugerat n referina bibliografic [I.Cha, 95] genereaz ieirea conform relaiei:

y = (0.34 - 0.27 j) x(n) + (0.87 + 0.43 j) x(n - 1) + (0.34 - 0.21j) x(n - 2)

( 8)

Partea neliniar este de ordinul al treilea i furnizeaz ieirea:

y ( n) = y (n) + 0.1[ y (n)]2 + 0.05[ y (n)]3

( 9)

Un alt model [S.Chen, 94] se bazeaz pe relaiile urmtoare:

y = (0.7409- 0.7406j)x(n) - (0.8890- 0.2961j)x(n -1) + + (0.1556- 0.0223j)x(n - 2)

( 10)

y ( n) = y (n) - 0.055 [ y (n)]2 + 0.14 [ y (n)]3

( 11)

Fig. 7 Coeficienii unui canal de comunicaie variabil n timp Modelarea unui canal neliniar variabil n timp, ca de exemplu un canal ai crui coeficieni variaz n timp se poate face cu urmtoarea funcie de transfer:
H ( z ) = ao (n) + a1 (n).z -1 + a2 ( n).z -2 + ... + an (n).z - n

( 12)

unde coeficienii ai(n) variaz cu timpul discret n i poi fi generai prin trecerea unui zgomot gaussian printr-un filtru Butterworth . Banda filtrului determin banda relativ (fading rate) a canalului. Presupunnd c avem un canal cu o band de frecven de 2 kHz, cu o vitez de transmisie de 2400 simboluri pe secund i un

66

filtru Butterworth de ordinul 2 cu o band de 0.5 Hz la 3 dB, curbele rspunsului la impuls sunt prezentate n Fig. 7.

7 Egalizoare implementate cu reele neuronale multistrat

Structura unui egalizor pentru semnale reale, implementat cu o reea neuronal multistrat, cu un strat ascuns, este dat n Fig. 8. n cazul n care performana egalizorului nu este satisfctoare, ntre filtrul liniar transversal i ieire se pot introduce mai multe straturi de neuroni ascuni. Structura unui egalizor neliniar pentru semnale complexe, implementat cu o reea neuronal multistrat este prezentat n Fig. 9. Se observ c partea real este abordat separat de cea imaginar a semnalului de intrare. Variabilele de intrare n reeaua neuronal sunt eantioanele ntrziate ale semnalului de intrare. Stratul de ieire va avea un neuron pentru partea real, respectiv unul pentru partea imaginar. Ieirea acestuia se compar cu semnalul dorit, adic semnalul de intrare ntrziat. Funcia de activare este uzual o funcie neliniar de tip sigmoid. Pentru determinarea coeficienilor filtrului liniar transversal i a reelei neuronale se utilizeaz n mod uzual algoritmul retropropagrii erorii. Algoritmul este iterativ i minimizeaz orice funcie de cost difereniabil, ca de exemplu eroarea medie ptratic.

Semnal de intrare x(n)

z-1

x(n-

z-1

x(n-

z-1

x(n-

w0

w1

w2

wk

e eroare
Algoritm adaptiv

S +

Rspun s dorit

Semnal de

Fig. 8 Egalizor pentru semnale reale implementat cu o reea neuronal multistrat , cu un strat ascuns

67

Ieirea canalului de comunicaii

I z
-1

R . I . . . . .

z-1 . . . 1 z-

Fig. 9 Structura unui egalizor complex implementat cu o reea neuronal multistrat n cazul unor semnale complexe este necesar pentru antrenare o variant complex a algoritmului cu propagare invers a erorii. (CBKP complex backpropagation), care are i el aceleai carene ca i varianta clasic, real. Algoritmii de tip gradient, prezint dezavantajele timpului ndelungat de antrenare i a atragerii soluiei n minimele locale ale funciei eroare, adesea nesatisfctoare din punctul de vedere al preciziei realizate. O alt problema care poate apare n CBKP este selecia funciei de activare. n cazul semnalelor reale, funciile de activare sunt reale i limitate. n cazul semnalelor complexe, cu excepia constantelor, toate funciile de activare uzuale ar putea fi nelimitate. Pentru a satisface situaia conflictual ntre limitarea i difereniabilitatea unei funcii complexe au fost dezvoltate dou variante ale algoritmului CBKP, una care utilizeaz o funcie de activare complet complex [T.Kim, 02] (fully complex activation function BKP FCBKP) i alta cu funcii de activare separate pentru cele dou pri ale semnalului, real i imaginar [A.Kantsila, 04] (split complex activation function (SCBKP). Pentru a rezolva problema convergenei lente a fost introdus un alt algoritm de antrenament complex resilient propagation (CRPROP). Studiile efectuate arat c din punctul de vedere al erorii de bit algoritmul CRPROP are performane comparabile cu CBKP, dar n condiiile unei convergene mult mai rapide i cu un cost computaional semnificativ redus [A.Kantsila, 04].

8. Re ele pe baz de funcii radiale 8.1 Generaliti

Avnd n vedere carenele reelelor neuronale multistrat, timpul ndelungat de antrenare i posibilitatea blocrii n minimele locale ale funciei de eroare, reelele neuronale pe baz de funcii radiale (RBFR) au focalizat n ultimul deceniu interesul cercetrii internaionale. RBFR sunt capabile s aproximeze orice funcie neliniar ntr-un spaiu multidimensional, cu o complexitate de procesare semnificativ redus n comparaie cu cea a altor reele neuronale. n figura 10 este reprezentat structura unei RBFR, care conine un strat de intrare, un singur strat ascuns i un strat de ieire.

68

1 x1 x2

w11

y1 yj

2 wj1

xN

N0

yN0

Nh

Fig.10 Arhitectura unei reelele neuronale pe baz de funcii radiale

n cele ce urmeaz se prezint cteva dintre caracteristicile RBFR, n comparaie cu RNM: Ca i RNM, reeaua RBFR este o reea cu procesarea informaiei "spre nainte". Spre deosebire de RNM care are poate avea mai multe straturi ascunse, RBFR are un singur strat ascuns. n RBFR, neuronii stratului ascuns sunt neliniari i neuronii stratului de ieire sunt liniari. RNM utilizeaz neuroni neliniari att n stratul ascuns ct i n cel de ieire atunci cnd funcioneaz ca i clasificatoare. Doar n cazul n care RNM rezolv probleme de regresie neliniar se prefer neuroni liniari n stratul de ieire. n stratul ascuns, RBFR utilizeaz funcii de activare radiale, de tip canal, al cror rspuns neliniar (uzual exponenial) este localizat ntr-o regiune restrns a spaiului modelelor de intrare. Ca i RNM, RBFR sunt aproximatoare universale. RNM realizeaz o aproximare global a transformrii neliniare intrare-ieire, n timp ce RBFR, datorit utilizrii funciilor radiale, implementeaz aproximri locale. Acesta este motivul pentru care RBFR nva mai rapid i sunt mai robuste, respectiv mai puin sensibile la ordinea prezentrii datelor de intrare, dect RNM. Funcia de activare este real i pentru procesarea unor semnale complexe, nu ca n cazul RNM, o funcie complex. Atunci cnd semnalul de intrare este complex, partea real i cea imaginar sunt prelucrate separat, n aceeai manier. Ieirile RBFR se determin cu relaia:

Nh y = w f x-c +q , j ji i i j i =1

j = 1, N

(13)

unde yj este ieirea neuronului j; wji sunt ponderile asociate conexiunilor neuronului j; j este pragul neuronului j; fi ( ) este funcia radial a neuronului i ascuns; ci reprezint vectorul pondere a neuronului i ascuns, numit i vectorul centru asociat neuronului i; reprezint distana euclidian; Nh este numrul neuronilor din stratul ascuns; No este numrul neuronilor din stratul de ieire;

69

Fiind dat vectorul x de intrare, x=[x1 x2 ... xN]T, aparinnd spaiului RN, distana euclidian se definete prin relaia:

x =

x1 + x2 ..... + x N

= x x

( )
T

1 2

(14)

Parametrii RBFR sunt vectorii centru {ci} i vectorii pondere {wj}. Fiecare dintre neuronii stratului ascuns calculeaz o distan ntre vectorul de intrare al reelei x i vectorul su centru ci. Aceasta poate fi o distan metric oarecare, uzual cea euclidian. Cu ct un centru este mai aproape de vectorul de intrare cu att distana neuronului corespunztor va fi mai mic. n cazul n care vectorul centru corespunde cu vectorul de intrare, distana euclidian va fi zero. Rezultatul este trecut printr-o funcie de activare neliniar, real, continu fi (, r i ) , f : R + R , numit funcie radial. Aceasta d i denumirea reelei neuronale. Rspunsul acestei funcii este simetric fa de centru. Funcia radial depinde i de un parametru i, numit raz sau mprtiere a funciei. Pentru datele de intrare ndeprtate de centru, ieirea funciei radiale este mic, apropiinduse de zero pe msur ce crete distana. Pentru datele de intrare apropiate de centru ieirea funciei radiale este mare, apropiindu-se de valoarea unu pe msur ce scade distana. Astfel, RBFR este capabil de o modelare local a datelor de intrare. Pentru fiecare vector de intrare, una sau mai multe funcii radiale ale neuronilor ascuni va avea o ieire diferit de zero. n cazul extrem o singur funcie radial se folosete pentru fiecare vector de intrare, astfel nct vectorii centru vor fi identici cu cei de intrare. De aceea, transformarea funciilor radiale n orice valoare de ieire dorit, devine o problem simpl, realizabil prin intermediul ponderilor interconexiunilor stratului de ieire liniar. Exist mai multe tipuri de funcii de activare radiale, dintre care se prezint exemplele urmtoare: Funcia Gaussian:
- ( x -c ) 2

f( x ) = e
f(x)

r2

(15)

Fig.11 Funcia radial Gauss cu centrul c=0 i raz =1

Uzual se alege raza proporional cu dispersia centrului 2 , respectiv r 2 = 2s 2 , monoton descresctoare cu distana fa de centru, ca n figura 11. Funcia multiptratic este reprezentat n figura 12 i este dat de relaia:

70

f( x) = [( x - c) + r ]
2

1 2 2

(16)

f( x)

Fig.12 Funcia radial multiptratic cu centrul c=0 i raz =1

Funcia invers multiptratic este reprezentat n figura 13:
f( x ) = 1
1

r[( x - c) 2 + r 2 ] 2

(17)

f( x )

Fig.13 Funcia radial invers multiptratic cu centrul c=0 i raz =1

Funcia Cauchy, reprezentat n figura 14, se definete prin relaia:

71

f( x) =

1 r[( x - c) 2 + r 2 ]

(18)

f( x)

Fig.14 Funcia radial Cauchy pentru centrul c=0 i raz =1

Bineneles c se pot introduce i alte funcii de activare radiale cu proprieti similare celor anterior descrise. Studiile teoretice i practice demonstreaz c tipul neliniaritii funciei radiale nu este esenial pentru performanele RBFR [S. Haykin, 94.2].

8.2 Algoritmi de determinare a centrilor i a ponderilor conexiunilor stratului de ieire

Aplicaiile iniiale ale RBFR au fost de modelare i identificare de sisteme neliniare, deci au vizat transformri neliniare n spa iul multidimensional. Aceasta a necesitat structuri mari, cu muli neuroni, deoarece erau necesare suficiente neliniariti pentru a permite modelarea i identificarea oricrui sistem neliniar. n aceste aplicaii toate datele de intrare au fost folosite ca centri. Evident, deoarece uzual numrul datelor de intrare disponibile este foarte mare, utilizarea lor integral nu este practic. Pentru aplicaiile de procesare a semnalelor, n care RBFR este uzual utilizat ca i un estimator, se pot folosi tehnici de selecie pentru reducerea dimensiunii. Termenul folosit n domeniul RN este de antrenare a RBFR. Antrenarea unei RBFR const n determinarea parametrilor si, respectiv a numrului centrilor (1), poziiei i razei centrilor funciilor radiale (2), precum i a ponderilor conexiunilor stratului de ieire (3). Unii algoritmi abordeaz aceti pai separat, alii genereaz toi parametrii simultan. S-au propus mai muli algoritmi de determinare a parametrilor RBFR, constnd de obicei dintr-un algoritm fr control pentru determinarea vectorilor centru

ai stratului ascuns al reelei i unul cu control pentru determinarea vectorilor pondere ai interconexiunilor stratului de ieire. Proiectarea i antrenarea reelelor RBFR depind esen ial de modul de alegere a centrilor, de aceea numeroase studii au abordat aceast problem. Principalele strategii care s-au impus n practic sunt urmtoarele: alegerea aleatoare a unor centri fici din baza de date [S. Haykin, 94.2], algoritmul standard competitiv [R. Hecht-Nielsen, 90], algoritmul sensibil la frecvena de ctigare a competiiei [S.C. Ahalt, 90], algoritmul competitiv cu penalizarea rivalului [L. Xu, 93], algoritmul competitiv cu penalizarea dinamic a rivalului [C. Botoca, 05], alegerea unui subset din datele de intrare prin metoda celor mai mici ptrate ortogonale (orthogonal least squares) [S. Chen, 91] i selecia supervizat a centrilor [S. Haykin, 94.2].

9 Implementarea funciei de decizie Bayes folosind o reea neuronal pe baz de func ii radiale
Atunci cnd canalul de comunicaie este cunoscut i zgomotul aditiv introdus n transmisie este gaussian, egalizorul Bayes conduce la o eroare medie pe simbol minim, ntruct el realizeaz o clasificare neliniar a semnalelor recepionate cu o probabilitate minim a erorilor. De aceea se pune problema implementrii egalizorului Bayes cu o reea neuronal, capabil s funcioneze i atunci cnd canalul i perturbaiile care afecteaz transmisia sunt necunoscute. Din acest punct de vedere, prezint interes reeaua neuronal pe baz de funcii radiale, introdus n capitolul 5. Considerm n figura 6.4 funcia de decizie a egalizorului implementat cu o RBFR cu o funcie de activare radial gaussian. Rspunsul egalizorului implementat cu o RBFR poate fi scris i sub forma [E.S. Chng, 95]:

f (r ) = wi f( r - ci / r)
2 i =1

Nh

(19)

unde: f (r) este funcia de decizie a unui neuron de ieire a RBFR wi, este ponderea conexiunii dintre neuronul ascuns i i neuronul de ieire; ci reprezint vectorul centru al neuronului ascuns i; reprezint distana euclidian, dat de relaia:

r [ n ] - ci [ n ] =

r[ n] - ci [ n] + ..... + r[ n - m + 1] - ci [ n - m + 1]

(20)

Nh este numrul neuronilor din stratul ascuns; este raza funciei radiale;

73

Structura reelei RBFR implementeaz chiar funcia de decizie Bayes, dac vectorii centru, raza funciei radiale i neliniaritile f ( ) sunt alese adecvat. De aceea reeaua RBFR este ideal n modelarea egalizorului Bayes. Pentru implementarea egalizorului Bayes, folosind re eaua RBFR, strile canalului c j , 1 j N S , devin centri RBFR. Numrul neuronilor ascuni Nh este dat de numrul strilor posibile la ieirea canalului de comunicaie, respectiv de NS. Similaritatea cu egalizorul Bayes impune ca parametrul de mprtiere s fie dat de relaia =2e2, unde e2 este dispersia zgomotului dat de relaia:

s2 e = E r[ n] - ci [ n]

(21)

n relaia de mai sus norma poate fi de diferite tipuri, dar de obicei este folosit distana euclidian. Ponderile wi fie sunt fixe, fie pot fi determinate printr-un algoritm supervizat, ca de exemplu algoritmul LMS. Performan ele RBFR depind n mod critic de poziiile centrilor i mai puin de estimarea zgomotului.

10 Egalizor complex cu reea neuronal pe baz de funcii radiale

Structura unui egalizor pentru semnale complexe, implementat utiliznd RBFR, este prezentat n figura 15 i este similar egalizorului optim de tip Bayes, n condiiile prezentate n paragraful anterior. Egalizorul con ine un filtru liniar transversal de ordinul m i o RBFR. Canalul de comunicaie este modelat utiliznd un filtru transversal de ordinul k. Fie vectorul semnalului de la ieirea canalului de comunicaie y[n] afectat de zgomotul aditiv complex w[n], care poate fi un zgomot 2 gaussian cu o dispersie se . Semnalele y[n] i w[n] sunt considerate necorelate. Partea real wR[n] i cea imaginar wI[n] a zgomotului se consider secvene mutual independente. Ieirea canalului de comunicaie se aplic la intrarea egalizorului complex. Vectorul semnalului recepionat aplicat la intrarea RBFR este secvena r[n], r[n]=[r[n] r[n-1] .r[n-m+1]]T. Pentru c acesta presupune m termeni ai semnalului de intrare, vor trebui considerate NS combinaii posibile ale secvenei de intrare n canalul de comunicaie NS=4 M+m-1 de forma x[n]=[x[n] x[n-1] x[n-m-M+2]]T. Semnalul corespunztor de la ieirea canalului de comunicaie neafectat de zgomot este vectorul y[n]=[y[n] y[n-1] y[n-m+1]]T ce are de asemenea NS stri. Sarcina egalizorului este de a reconstitui semnalul transmis ct se poate de

exact genernd o estimare x[ n] , pe baza vectorului semnalului recepionat r[n] i a semnalului ntrziat x[n-d]. Partea real, respectiv cea imaginar a semnalului

74

complex 4-QAM este prelucrat n mod independent, n aceeai manier. Funcia de activare neliniar a neuronilor ascuni este real, i poate fi specificat prin relaia:

fi = f (r[n] - ci [n ]) (r [n ] - ci [n]) r
H

1 i Nh

(22)

Unde operatorul ()H=(()T)*, este ()T operatorul de transpunere i ()* este operatorul de conjugare complex. Stratul de ieire al RBFR are opt neuroni, doi neuroni pentru fiecare dintre clasele posibile ale semnalului 4-QAM, unul pentru partea real i cellalt pentru cea imaginar. Funcia de activare a neuronilor de ieire fRBF este liniar, i innd cont de funcia de activare gaussian a neuronilor ascuni, este dat de relaia:

f RBFR (r ) = wi e
i =1

Nh

( r [ n ] - ci [ n ] ) H ( r [ n ] - c i [ n ] )
ri

(23)

unde wi sunt ponderile complexe de interconexiune nspre neuronul de ieire: Pentru antrenarea reelei RBFR se utilizeaz de obicei un algoritm fr control pentru determinarea centrilor stratului ascuns i unul cu control pentru determinarea ponderilor interconexiunilor stratului de ieire. Un exemplu de algoritm cu control uzual este algoritmul erorii medii ptratice minime (LMS least mean square), care utilizeaz relaia urmtoare pentru determinarea ponderilor interconexiunilor nspre stratul de ieire al unei RBFR:

wi [n + 1] = wi [ n] + e[n]f[n]

(24)

unde este constanta de nvare i e[n] este eroarea complex, determinat cu relaia:

e[ n] = x[ n - d ] - f RBF (r )

(25)

Acest algoritm minimizeaz media erorii ptratice (MSE mean square error ):

1 MSE = ei2[n] N i =1

(26)

unde N este numrul secvenelor de intrare. Ali algoritmi permit determinarea simultan a tuturor parametrilor RBFR. Un exemplu, n acest sens este algoritmul propus de Cha i Kassam n studiul [I. Cha, 95 ], care utilizeaz ca i criteriu de eroare un gradient stohastic descendent. Algoritmul calculeaz gradientul curent al erorii medii ptratice i modific parametrii re elei n direcia minimizrii acestuia.

75

n lucrarea [D. Jianping, 02] se propune un algoritm cu nvare secvenial pentru antrenarea unui egalizor neuronal, numit algoritm complex cu alocare minim a resurselor (complex minimal resource allocation network CMRAN), care permite adugarea i eliminarea de neuroni ascuni astfel nct s se realizeze o structur optim pentru aplicaia dat.

x[ n]
Ieire

fRBFR(r)

w1
Strat ascuns
F1
F2

w2

...

wh-1
F h -1

wh
Fh

r[n] x[n] Canal de y[n]

r[n-1]
z-1

...
z-

r[n-m+1]

zgomot alb

Fig.15 Structura unui egalizor cu RBFR

Reeaua iniial nu are neuroni ascuni. De fiecare dat cnd la intrare se aplic o pereche de date de antrenament, format dintr-un model de intrare - model de ieire dorit, reeaua se construiete pe baza a trei criterii de cretere. Algoritmul adaug un neuron ascuns sau modific parametrii existeni ai RN n concordan cu datele de antrenament. Algoritmul CMRAN ncorporeaz i un mecanism de ndeprtare a neuronilor ascuni care nu contribuie semnificativ la performana RN. Studiile au demonstrat c performanele egalizorului a crui configuraie a fost determinat cu algoritmul CMRAN sunt superioare egalizorului antrenat cu algoritmul

76

cu gradient stohastic, din punctul de vedere al erorii pe bit i al complexitii de procesare. Canalele de comunicaie de ordine ridicate au un numr mare de stri, astfel nct ele necesit structuri RBFR cu un numr foarte mare de centri. Algoritmul CMRAN reduce ns numrul centrilor astfel nct egalizorul implementat are o performan bun, n condiiile unei complexiti reduse i deci ale unei funcionri rapide.

11 Exemple
n cele ce urmeaz se prezint cteva rezultate ale simulrilor implementate n Matlab pentru testarea unor egalizoare cu RBFR, pentru semnale complexe modulate n amplitudine n cuadratur 4-QAM, cu diferite modele neliniare i complexe de canal, n diferite condiii de zgomot, utiliznd diferite ordine ale filtrului liniar transversal i ntrzieri d [C. Botoca, 04]. Semnalele 4-QAM au fost generate utiliznd o distribuie uniform, partea real n mod independent de cea imaginar. S-a generat un zgomot alb complex w[n] cu o distribuie gaussian, partea real n mod independent de cea imaginar. Zgomotul s-a nsumat cu ieirea canalului de comunicaie neliniar y[n] obinndu-se la intrarea egalizorului semnalul recep ionat r[n]. Numrul neuronilor ascuni, adic al centrilor RBFR a fost ales mai mare dect NS, numrul strilor posibile ale semnalului y[n], de la ieirea canalului de comunicaie [S. Chen, 94.1]. Alegnd ordinul modelului canalului k=3 i ordinul filtrului liniar transversal de la intrarea RBFR m=1, se obine numrul st rilor posibile ale semnalului de la ieirea canalului, NS = 64. Pentru determinarea centrilor egalizoarelor RBFR au fost utilizai mai muli algoritmi competitivi, algoritmul competitiv standard ACS (expus n paragraful 5.2.2), algoritmul competitiv sensibil la frecven ACSF (expus n paragraful 5.2.3) i algoritmul competitiv cu penalizarea rivalului ACPR (expus n paragraful 5.2.4). Pentru stratul de ieire al RBFR s-au utilizat opt neuroni, cte doi neuroni pentru fiecare clas posibil a semnalului 4-QAM , unul pentru partea real i unul pentru partea imaginar. Raza funciilor de activare radiale, , a fost aleas la valoarea 0.28. Simulrile au fost implementate utiliznd modelele de canal introduse n subcapitolul 6.6. Pentru determinarea centrilor egalizorului RBFR au fost aplicate secven e de intrare x[n] de forma: x[n]=[x[n] x[n-1] x[n-2]]. Exemplul 1 Pentru antrenarea centrilor RBFR ai unui egalizor complex a fost utilizat un numr de N=1000 de secvene de intrare x[n]. Simulrile au fost realizate utiliznd modelul de canal dat de relaiile (8) i (9), respectiv de referina [I.Cha, 95]. Un numr de 70 de centrii au fost iniializai aleator, n spa iul modelelor de intrare, aa cum se poate vedea n figura 16. S-au utilizat diferite dispersii pentru zgomotul aditiv gaussian. n toate situaiile algoritmul ACPR a orientat vectorii centru nspre strile dorite, lipsite de zgomot, ale canalului.

77

Cele mai bune rezultate au fost obinute pentru urmtoarele constante de nvare: =0.09, constanta de nvare a neuronului ctigtor, =0.003 constanta de nvare a rivalului i =0.01 constanta de nvare a ponderilor n stratul de ieire, cu algoritmul LMS. Algoritmul ACS a euat n gsirea centrilor dorii datorit problemei "unitilor moarte ". Algoritmul ACSF a eliminat problema "unitilor moarte ", dar nu a gsit nici el to i centri dorii, datorit faptului c numrul iniial al centrilor a fost diferit de numrul claselor cutate. Algoritmul ACPR a reuit s orienteze centrii RBFR ctre strile dorite, ieirile neafectate de zgomot ale canalului de comunicaie. Centrii nedorii au fost eliminai nafara spaiului strilor posibile astfel nct s-a obinut o structur simplificat a egalizorului RBFR. Figura 17 reprezint strile dorite y[n ] ale canalului de comunicaie, semnalele recepionate r[n], pozi iile iniiale i finale ale centrilor RBFR c[n], n cazul unui raport semnal pe zgomot RSZ=13dB dup 100 de iteraii. Figura 18 reprezint evoluia erorii ptratice medii (MSE) n timpul antrenamentului, pentru egalizorul RBFR ai crui centri au fost antrenai cu algoritmul ACPR, n funcie de numrul de iteraii, pentru un raport semnal pe zgomot RSZ =5 dB, pentru un ordin al filtrului liniar transversal de m=1 i o ntrziere d=1. Performana este similar cu cea a altor egalizoare RBFR [Q. Gan, 99], [D.Jianping, 02], dar cu avantajul unei complexiti de calcul reduse. Pentru a reprezenta regiunile de decizie ale egalizorului RBFR, spaiul complex al semnalelor de ieire a fost eantionat cu un pas de =0.02. Figura 6.24 reprezint regiunile de decizie, puternic neliniare ale egalizorului RBFR pentru un raport semnal pe zgomot RSZ =5 dB.

78

Fig.16 Semnalele de la ieirea canalului de comunicaie, semnalele recepionate afectate de zgomot r[n], pozi iile iniiale i finale ale centrilor re elei RBFR c[n], n cazul unui raport semnal pe zgomot de RSZ=13 dB, dup 100 de iteraii (Legend: "o" - Strile dorite; "*"- strile de intrare zgomotoase; "" - poziiile iniiale ale centrilor; "+" poziiile finale ale centrilor)

Fig.17 Evoluia erorii medii ptratice n funcie de numrul de epoci de antrenare pentru un RSZ= 5 dB i canalul neliniar complex din [I.Cha, 95], m=1 i d=1

79

Fig.18 Regiunile de decizie ale egalizorului RBFR, pentru un canal neliniar complex din [I.Cha, 95], n cazul: RSZ= 5 dB, m=1 i o ntrziere d=1

Exemplul 2 Pentru antrenarea centrilor RBFR a fost utilizat un numr de N=7000 de secvene de intrare x[n]. Simulrile au fost realizate utiliznd modelul de canal dat de relaiile (10) i (11), respectiv de referina [S.Chen, 94.2]. Un numr de 70 de centri au fost iniializai aleator, departe de strile posibile dorite ale canalului de comunicaie, n jurul punctului (5, 5j) aa cum se poate vedea n figurile 19 a), b) i c).

80

a)

b)

c) Fig.19 Semnalele de la ieirea canalului de comunicaie, semnalele afectate de zgomot recepionate r[n], poziiile iniiale i finale ale centrilor reelei RBFR c[n], n cazul unui raport semnal pe zgomot de RSZ=13dB, dup 100 de iteraii utiliznd: a) algoritmul ACS; b) algoritmul ACSF; c) algoritmul ACPR;

81

(Legend: "o" - Strile dorite; "*"- strile de intrare zgomotoase; "" - poziiile iniiale ale centrilor; "+" poziiile finale ale centrilor; "" evoluia centrilor)
Cele mai bune rezultate au fost obinute pentru urmtoarele constante de nvare: =0.05, constanta de nvare a neuronului ctigtor pentru toi cei trei algoritmi testai, =0.0001 constanta de nvare a rivalului i =0.01 constanta de nvare a ponderilor n stratul de ieire, cu algoritmul LMS. Figurile 6.26 a), b) i c) reprezint strile dorite y[n] ale canalului de comunicaie, semnalele recepionate r[n], poziiile ini iale i finale ale centrilor RBFR c[n], n cazul unui raport semnal pe zgomot RSZ=13dB, dup 100 de iteraii, utiliznd algoritmii ACS, ACSF i ACPR. Algoritmul ACS a euat n gsirea centrilor dorii datorit problemei "unitilor moarte". Algoritmul ACSF a eliminat problema "unitilor moarte ", dar nu a gsit nici el toi centrii dori i, datorit faptului c numrul iniial al centrilor a fost diferit de numrul claselor cutate. Algoritmul ACPR a reuit s orienteze centrii RBFR ctre strile dorite, ieirile neafectate de zgomot ale canalului de comunicaie. Centrii nedorii au fost eliminai nafara spaiului strilor posibile. n plus, centrii determinai cu algoritmul ACPR au avut poziii mai apropiate de strile dorite dect centrii determinai cu algoritmul ACSF. Prin penalizarea neuronului rival, convergena ACPR este mai bun dect a algoritmului ACSF. Figura 20 prezint comparativ evoluia erorii ptratice medii (MSE) n timpul antrenamentului, pentru egalizorul RBFR ai crui centri au fost antrenai cu algoritmul ACSF respectiv cu algoritmul ACPR, n funcie de numrul de iteraii, pentru un raport semnal pe zgomot RSZ =13 dB i pentru un ordin al filtrului liniar transversal de m=1.

Fig.20 Evoluia comparativ a erorii ptratice medii a egalizorului RBFR , n timpul antrenamentului, pentru un raport semnal pe zgomot RSZ =13 dB i ordinul m=1 al filtrului LT (cu linie continu - algoritmul ACSF; cu linie ntrerupt - algoritmul ACPR)

82

Figura 21 prezint evolu ia mediei erorii ptratice (MSE) n timpul antrenamentului unui egalizor RBFR, cu centrii determinai cu algoritmul ACPR, n funcie de numrul de iteraii pentru un raport semnal pe zgomot RSZ =10 dB i pentru un raport semnal pe zgomot RSZ =5 dB, pentru un ordin al filtrului liniar transversal de m=1 i m=2, pentru o ntrziere a semnalului utilizat ca rspuns dorit de d=1. Performana realizat este similar cu cea a egalizoarelor cu re ele neuronale multistrat, n condiiile unei complexiti de calcul semnificativ reduse.

Fig.21 Evoluia erorii medii ptratice n funcie de numrul de epoci de antrenare (Legend: linie continu - m=1, RSZ=5dB; linie ntrerupt - m=1, RSZ=5dB; linie punctat m=1, RSZ=10dB; linie punct - m=2, RSZ=10dB)

83

Fig.22 Regiunile de decizie neliniar ale egalizorului RBFR

Pentru a reprezenta regiunile de decizie ale egalizorului RBFR, spaiul complex al semnalelor de ieire a fost eantionat cu un pas de =0.02. Figura 22 reprezint regiunile de decizie, puternic neliniare ale egalizorului.

12 Concluzii
Dezavantajele egalizoarelor neuronale implementate cu reele neuronale multistrat sunt complexitatea structural i timpul ndelungat de antrenare. O alternativ atractiv sunt egalizoarele neuronale RBFR, avnd n vedere avantajele ce le ofer comparativ cu egalizoarele neuronale multistrat, respectiv: simplitatea structurii, utilizarea unei funcii de activare reale i n cazul abordrii unor semnale complexe, rapiditatea convergenei i robusteea. n plus arhitectura RBFR similar cu structura optim de tip Bayes, garanteaz obinerea performanelor optime din punctul de vedere al erorii pe bit. Performanele egalizoarelor neuronale cu RBFR sunt superioare performanelor egalizoarelor liniare convenionale i a egalizoarelor neuronale implementate cu reele neuronale multistrat. [S. Bouchired, 99.2], [S. Chen, 94.2]. Algoritmii competitivi elimin dezavantajele egalizoarelor cu RNM menionate anterior. ntre algoritmii competitivi este de remarcat algoritmul competitiv cu penalizarea rivalului ce determin eficient centrii RBFR, recompensnd neuronul ctigtor i penaliznd rivalul. Algoritmul ACPR este simplu, genereaz regiuni de decizie puternic neliniare i are o convergen rapid. n comparaie cu algoritmul ACS nu are problema "neuronilor mori". n comparaie cu algoritmul ACSF are o convergen mai rapid i centrii determinai au poziii mai apropiate de poziiile dorite. Astfel algoritmul ACPR este adecvat pentru egalizarea adaptiv a semnalelor complexe rapid variabile n timp, afectate de distorsiuni liniare i neliniare. Performana obinut, o eroare ptratic medie de 10-2, pentru un raport semnal pe zgomot de 5 dB este similar cu cea a altor egalizoare neuronale cu RBFR raportate n literatur, testate n aceleai condiii.

84

Pentru a mbunti performana egalizorului RBFR ar trebui mrit ordinul filtrului liniar transversal, ceea ce ar duce ns la creterea complexitii structurale i a calculelor. O alternativ este introducerea reaciei de la ieire spre intrare, respectiv implementarea unui egalizor cu o reea neuronal recurent.. Reelele neuronale recurente (RNR) sunt cazul cel mai general de RN, avnd fiecare neuron conectat cu toi ceilali neuroni ai reelei. n acest caz, reeaua neuronal se numete complet conectat. Neuronii RNR au funcii de activare neliniare i o comportare dinamic complex, astfel nct aceste RN sunt n mod special recomandate pentru aplicaiile n timp real. Ieirea unui neuron la un moment dat depinde nu numai de intrrile externe i de ieirile altor neuroni, ca n cazul RNM i RBFR, dar i de ieirile sale anterioare. RNR cu o aceeai structur au comportri dinamice diferite n funcie de algoritmul de antrenament. n consecin o RNR este complet definit prin specificarea att a arhitecturii ct i a algoritmului de antrenament. Algoritmul uzual pentru antrenarea unei RNR capabile s proceseze semnale complexe este nvarea recurent complex n timp real (Complex Real Time Recurrent Learning CRTRL ) [G. Kechriotis, 99]. Acest algoritm se bazeaz pe o procedur de minimizare a erorii medii ptratice de tip gradient descendent, astfel nct se caracterizeaz printr-o vitez redus de convergen i poate fi afectat de o condiionare numeric defectuoas. Complexitatea numeric a calculelor este de ordinul N4, unde N este numrul neuronilor reelei. Dimensiunea redus a RNR n comparaie cu a RNM i RBF pentru o aceeai performan sunt principalul argument pentru utilizarea n aplicaiile de reconstrucie a semnalelor afectate de neliniariti rapid variabile n timp. Exist structuri de RN recurente obinute prin combinaii ale unor filtre liniare transversale i egalizoare, ce ncorporeaz RN, cu decizie pe baza reaciei inverse [A. Guntsch, 98]. De exemplu, n [S. Bouchired, 99.1] se utilizeaz o RBFR i o reea neuronal competitiv, combinate cu un filtru liniar transversal pentru a mbunti decizia unui egalizor cu decizie pe baza reaciei inverse, pentru semnale 16-QAM. Aceste arhitecturi sunt prezentate n figurile 23 a) i b). Centrii reelei RBFR din figura 23 a) au fost calculai cu algoritmul ACS. Pentru etichetarea neuronilor stratului de ieire s-a utilizat algoritmul ce minimizeaz eroarea medie ptratic LMS. n reeaua competitiv din figura 23 b) pentru determinarea neuronului ctigtor a fost utilizat regula lui Kohonen [R. Hecht-Nielsen, 90]. Fiecare neuron al reelei Kohonen a fost apoi asociat cu unul dintre simbolurile transmise printr-un tabel de referin.
Decizie FLT

RBFRCentri determinai

Ponderi W

LMS
a)

Tabel de referin Neuron ctigtor

FLT 1+j 1-j -1+j -1-j

Reea competitiv Algoritm de etichetare

Decizie

b)

85

Fig.23 Structura unei reele neuronale recurente obinute prin: a) combinaia unui filtru liniar transversal (FLT) cu o RBFR b) combinaia unui filtru liniar transversal (FLT) cu o reea competitiv Structurile cu RNR au depit performanele egalizoarelor clasice n special n cazul unor neliniariti mari i atunci cnd au fost utilizate scheme de modulaie complicate [S. Bouchired, 99.2]. n figura 24 sunt reprezentate curbele de separare a semnalelor reconstruite, 16-MAQ modulate n amplitudine n cuadratur, n spaiul modelelor de ieire, implementate de trei tipuri de egalizoare cu RN ([S. Bouchired, 99.1], cu permisiunea scris a autorilor), obinute prin combinaia dintr-un filtru liniar transversal i o reea neuronal de tip multistrat cu dou straturi ascunse (LF-NLN), prin combinaia dintr-un filtru liniar transversal i o reea competitiv (LTESOM) respectiv prin combinaia dintr-un filtru liniar transversal i o reea pe baz de funcii radiale (LTE-RBFR).

Fig 24 Curbele de separare implementate de trei tipuri de egalizoare cu RN, obinute prin combinaia dintr-un filtru liniar transversal i o reea neuronal de tip multistrat cu dou straturi ascunse (LF-NLN), prin combinaia dintr-un filtru liniar transversal i o reea competitiv (LTESOM) respectiv prin combinaia dintr-un filtru liniar transversal i o reea pe baz de funcii radiale LTE-RBFR
Figura 25 reprezint eroarea pe bit n funcie de raportul semnal pe zgomot pentru egalizarea unui canal de transmisie prin satelit, conexiunea n jos, pentru semnale 16-QAM, pentru o vitez de deplasare de 150 km/h ([S. Bouchired, 99.1], cu permisiunea scris a autorilor). Egalizorul recurent de tip LTE- RBF are cea mai bun performan, respectiv cu un ordin de mrime mai bun dect egalizorul transversal.

86

Fig. 25 Eroarea pe bit n funcie de raportul semnal pe zgomot exprimat n dB pentru diferite egalizoare obinute cu: un filtru liniar transversal (LTE antrenat cu algoritmul LMS); o reea neuronal de tip multistrat (MLP); o reea neuronal recurent, combinaie dintre un filtru liniar transversal i o reea pe baz de funcii radiale (LTE-RBF); o reea neuronal recurent combinaie dintr-un filtru liniar transversal i o reea competitiv (LTE-SOM) i o reea neuronal recurent, combinaie dintre un filtru liniar transversal i o reea neuronal de tip multistrat cu dou straturi ascunse (LF-NLN); RNR sunt reele neuronale recomandate n mod special procesrii de semnale n timp real. Deoarece RNR depesc performanele egalizoarelor tradiionale i ale celorlalte egalizoare neuronale atunci cnd canalul de telecomunicaii este variabil n timp i are distorsiuni neliniare, este previzibil o evoluie a cercetrii n direcia aplicrii n telecomunicaii a acestor reele. n mod deosebit prezint interes reelele neuronale recurente cu o structur de tip filtru liniar transversal- reea neuronal pe baz de funcii radiale, care mbin avantajele RBFR, simplitatea structurii i robusteea de procesare, cu avantajele algoritmilor competitivi, respectiv convergena rapid i precizia.

87

Cursul 5 Caracterizarea i predicia parametrilor traficului Caracterizarea i predicia parametrilor traficului la nivelul celulelor, respectiv a legturilor de transmisie, se poate face fie utiliznd modelele analitice ale surselor de trafic i ale componentelor B-ISDN, fie procesnd parametrii msurai ai traficului la nivelul acestor componente. Deoarece tehnicile analitice se bazeaz pe operaii de convoluie care devin prea complexe pentru traficul real este de preferat s se utilizeze RN deoarece pentru acestea predicia este o aplicaie direct. Modelarea componentelor traficului B-ISDN Modelarea componentelor traficului B-ISDN, adic a nodurilor de comutare i a legturilor de transmisie, se poate face cu registre buffere n care celulele sunt citite conform principiului primul intrat primul ieit FIFO. Caracteristicile nodurilor de comutare i ale legturilor de transmisie (Fig.3) sunt: -lungimea registrului de deplasare; -capacitatea global a nodului de comutare (throughput capacity) ; -rata de pierdere a celulelor; -ntrzierea minim introdus ; Anumite noduri care genereaz apeluri ncorporeaz i un set de parametrii pentru a controla generarea conexiunilor i a celulelor. Tabelul de rutare din nodul de comutare pointeaz: pentru fiecare conexiune ctre conexiunea de ieire a apelului; pentru fiecare legtura de transmisie ctre legtura destinaie; Toate nodurile i legturile de transmisie monitorizeaz traficul curent i caracteristicile sale statistice, adic : -numrul celulelor i al conexiunilor fiecrui serviciu ; -ocuparea bufferelor, respectiv ocuparea minim i maxim ; -ntrzierea, variaia ntrzierii i rata de pierdere a celulelor ; Arhitectura RN pentru caracterizarea i predicia traficului Arhitectura RN poate fi multistrat, de tip feedforward, cu dou straturi de neuroni adaptivi (cum se poate vedea n Fig.3) Stratul de intrare i cel ascuns au o funcie de activare sigmoid. Stratul de ieire are o funcie de activare liniar. Intrrile n RN sunt eantioanele ntrziate ale traficului. Algoritmul de antrenare al RN poate fi algoritmul retropropagrii erorii. Timpul de predicie adic ntrzierea trebuie aleas adecvat, n coresponden cu mediul de operare BISDN. Adic timpul de predicie trebuie s fie de acelai ordin de mrime cu constantele de timp ale surselor de trafic i fereastra de msurare a parametrilor QoS ai serviciilor.

88

Viteza de nvare poate fi adaptiv. Dac variaie erorii n raport cu ponderile

dE i dW

schimb semnul de la o iteraie la alta, viteza de nvare scade cu o valoare mic, constant; dac nu crete. Faza de nvare dureaz cteva sute de epoci pentru cteva mii de modele de antrenare. Ea este urmat de faza de operare. Rezultatele simulrilor (Fig.4) arat c funciile de activare bipolare simetrice dau o precizie mai bun dect funcia sigmoid unipolar. Astfel, pentru funciile arctangent i tangent hiperbolic eroarea ptratic medie scade la unipolare.

1 din eroarea obinut n cazul utilizrii funciilor 10

89

Cerinele unei RN n caracterizarea i predicia traficului Exist dou modaliti de antrenament al unei RN : OFF LINE cu date eantionate din traficul msurat sau cu date obinute din simulri pe computer ; O metod ON LINE, n timp real, cu date obinute din traficul monitorizat curent ; Dac am ales un set de date de antrenament bun i un bun model pentru comportamentul bufferului se poate utiliza RN fr antrenament on line. De obicei antrenamentul on line se folosete pentru rafinarea ponderilor obinute dup antrenarea off line, deoarece exist diferene ntre traficul real i cel simulat. Viteza de calcul este dat de numrul cererilor de set-up care sosesc ntr- o secund.Tipic 1 ms este necesar pentru manipularea a 1000 de cereri pe secund. Timpul de antrenament este important doar pentru procesarea n timp real. O alt cerin a antrenamentului n timp real este controlul "sigur". Modul sigur de control cere ca parametrii QoS s fie estimai pentru un caz mai defavorabil dect cel curent. Estimarea QoS trebuie s aibe deci o marj de eroare fa de traficul curent. Dac controlerul de trafic supraapreciaz parametrii QoS i accept mai multe conexiuni, atunci toi utilizatorii care folosesc acelai buffer vor avea parametrii QoS mai slabi dect cei cerui i nici unul dintre ei nui poate continua comunicaia. Acceptarea unui num r mai mic dect posibil de conexiuni este mai bun dect cazul anterior expus. Astfel se rejecteaz mai multe conexiuni dect este necesar dar utilizatorii i continu comunicaiile aa cum au prevzut. Variabilele de antrenare trebuie alese corespunztor cu cerinele procedurii de control al fluxului. Parametrii de calitate ai serviciilor unui nod de comunicaie sunt determinai de combinaia parametrilor de trafic ai tuturor conexiunilor care trec prin el. Cnd numrul conexiunilor este mare estimarea acestor parametrii QoS nu este deloc uoar. O problem este i diferena dintre valorile curente i cele declarate ale QoS. Valorile declarate sunt valorile QoS n condiiile de trafic maxim. Traficul curent este ns n general mai redus dect cel maxim estimat. Cnd numrul conexiunilor este mare i diferena este mare. Intrarile ntr-o RN pot fi starea registrului i ieirile din RN, adic parametrii de trafic QoS estimai. Numrul ntrrilor n RN este numrul categoriilor de parametrii de trafic. Un numr practic este mai mic dect o sut. Numrul ieirilor este numrul parametrilor QoS.

90

Pentru starea unui registru exist mai multe modaliti de definire, dintre care numrul conexiunilor este uor de manipulat. Conexiunile pot fi clasificate n grupuri, n funcie de parametrii de trafic. Cea mai simpl modalitate de clasificare este n comunicaii video nV, comunicaii audio nA i date numerice nD. Fiecare grup ar putea fi submprit la rndul su n altele mai mici, n funcie de modalitatea de codare, de caracteristicile de generare a celulelor. RN estimeaz deci parametrii QoS ca o funcie de numrul acestor conexiuni i matricea ponderilor :

q = f (n A , n V , n D , W )
O alt modalitate simpl de caracterizare a traficului este prin numrul celulelor care sosesc ntr-o perioad de timp Tm. Se estimeaz:

[H (i + m)] = f ([H (i)], [W ])

unde W este matricea ponderilor i H(i) este un vector cu dimensiune m, care reprezint valorile instantanee ale ratei de bit n ultima perioad Tm msurat pn n momentul curent i. Valorile ratei de bit sunt obinute prin eantionarea procesului de sosire a celulelor dup fiecare perioad TS de eantionare. Tm = mTs Alegerea perioadei de msurare este important i se face astfel nct s ofere o fereastr de predicie rezonabil. Perioada de eantionare se alege astfel nct H(i) s capteze caracteristicile traficului n timp ce se menine un numr rezonabil m al eantioanelor. (deoarece de m depinde i dimensiunea RN). Metoda tabelului Uzual perioada de antrenare a unei RN pentru predicia parametrilor traficului este foarte scurt pentru c starea registrelor se schimb continuu, deci numrul datelor obinute este foarte mare. Un tabel de modele este o memorie mare utilizat pentru a nmagazina o cantitate foarte mare de date, care la un moment dat s-ar putea umple. n acest caz , dac se observ date noi n trafic o intrare n tabel este aleas aleatoriu i vechea informaie este suprascris cu cea nou, astfel nct se pot pierde date utile antrenamentului. Pe de alt parte, pentru antrenarea unei RN sunt necesare att exemple bune ct i exemple proaste, dar situaiile n care parametrii QOS sunt nesatisfctori sunt mai rare dect cele n care parametrii QOS sunt adecvai. De aceea se recomand utilizarea de tabele separate pentru exemplele "bune" i cele "rele", pentru a preveni nlocuirea n tabel a unor exemple "rele" cu cele "bune". Avantajul metodei const n faptul c raportul exemplelor bune i a exemplelor proaste poate fi uor ponderat prin rata de selecie a tabelului corespunztor n timpul antrenamentului. Reele cu reacie (feedback) Dezvoltarea reelelor cu reacie are ca inspiraie diferite idei preluate din fizica statistic. Cteva din caracteristicile comune tuturor acestor RN sunt: neuroni neliniari; conexiuni simetrice; reacie de la ieire la intrare; Aceste RN pot fi implementate ca i sisteme dinamice continue: & (t )=FW ( x (t ), u ) x ( 1)

91

sau discrete:

x[n + 1]=FW ( x[n ], u )

parametrizate de o matrice W (sau mai multe ) care codeaz informaiile, unde: -x este starea sistemului; - x este derivata strii sistemului; -u este intrarea, care poate fi independent sau aplicat ca o condiie iniial x(0), respectiv x[0]. Sistemele discrete se numesc recursive.

( 2)

Cteva exemple de reele cu reacie sunt: 1.Reeaua Hopfield Implementat de cercettorul cruia i poart numele n 1981, RN Hopfield are un singur strat n care fiecare dintre neuroni este conectat cu toi ceilali. Aplicaiile sunt de memorie asociativ i de optimizare combinatorial. 2. Ma ina Bolzmann (Hinton i Sejnowski 1983) este o generalizare a reelei Hopfield care combin caracteristicile reelelor multistrat cu cele a reelei Hopfield . Are deci o structur multistrat cu neuroni ascuni i conexiuni simetrice. Principiul care st la baza funcionrii este rcirea simulat, n care energia sistemului considerat scade cu temperatura. Denumirea a fost aleas n memoria lui Bolzmann care a fost primul care a observat c micarea aleatorie a moleculelor unui gaz are o energie legat de temperatur. 3. Mean-field theory (Peterson i Anderson 1987) este derivat din maina Bolzmann i funcioneaz pe baza metodei aproximrii cmpului mediu (mean-field approximation). Pentru a reduce excesiva capacitate de procesare s-au nlocuit neuronii binari aleatorii a mainii Bolzmann cu uniti deterministe analogice. 1 Noiuni teoretice generale: ntr-o baz de date (memorie) implementat pe un calculator clasic, memorarea se face sub form de liste imbricate. Apelul unui model din memorie se face secvenial, ceea ce implic un timp ndelungat de acces, dependent de numrul elementelor memorate. n memoriile asociative neuronale apelul unei informaii din memorie se face printr-un proces de relaxare, de minimizare a unei funcii de cost. Timpul de acces nu depinde de numrul modelelor memorate, ci este o caracteristic a arhitecturii reelei.Acest mecanism de cutare reprezint avantajul major al memoriilor asociative neuronale fa de cele clasice . El este similar recunoaterii de modele n sistemele nervoase biologice i explic de ce timpul necesar recunoaterii figurilor familiare este acelai la vrsta de cinci, douzeci i cinci , sau cincizeci de ani. Memoriile asociative implementeaz o transformare neliniar ntre o mulime de modele aparinnd spaiului de intrare Fx i o mulime de modele aparinnd spaiului de ie ire Fy (Fig. 1). Ori de cte ori la intrare se aplic un model particular , la ie ire se obine modelul asociat acestuia.

92

Fx

Fy

Fig. 1 Structura unei memorii heteroasociative Un caz particular este autoasocierea, cnd un model aplicat la intrare este asociat cu el nsu i la ieirea reelei neuronale (Fig. 2). Scopul proces rii este completarea de model sau eliminarea zgomotului, asociindu-se modelul de intrare incomplet sau afectat de zgomot cu el nsu i la ieire.

Fig. 2 Structura unei memorii autoasociative Exist trei modaliti de proiectare a reelelor neuronale ca i memorii asociative, care asigur convergena nspre: puncte de echilibru stabil; soluii periodice; traiectorii haotice; Fig. 3a prezint o structura unei reele neuronale format din uniti stabile i Fig. 3b structura unei RN formate din oscilatoare. Conexiunile de autoreacie i cele dintre diferitele uniti sunt reprezentate prin linii, iar sensul legturii prin sgei.

93

b
Fig. 3 Structura unei memorii asociative a) format cu uniti stabile b) format cu oscilatoare Metodele uzuale de proiectare a MA urmresc memorarea informaiei ca puncte fixe de echilibru ale sistemului. S-au nregistrat rezultate promitoare n memorarea informaiei ca oscilaii periodice stabile i nestabile (generate de sisteme haotice). Cercetrile neurologice (n special n simul mirosului) din ultimii ani vin s confirme ipoteza c modul procesare al informaiei n creierul uman este de tip haotic. Din pcate pn n prezent se tie foarte puin despre proiectarea unui sistem haotic care s memoreze modele dorite. Exploatarea potenialului de procesare a sistemelor haotice deschide noi perspective MA. Implementarea unei memorii asociative are loc n dou faze: nvarea celor p perechi de modele de asociat; aplicarea la intrarea reelei a oricruia dintre modelele memorate va genera la ieire modelul asociat (recall); Literatura de specialitate consemneaz mai multe metode de implementare a unei memorii asociative cu puncte de echilibru stabil: regula Hebb ( reeaua Hopfield, memoria bidirectional associativ a lui Kosko), la decompunerea n valori singulare (proprii) a modelelor de nmagazinat, metoda pseudoinversei, regula delta generalizat i reguli de tip probabilistic ( n teoria armoniei,, ma ina Bozmann) ou des autres rgles pour adapter les poids. Proiectarea se face astfel nct s fie ndeplinite cteva cerine eseniale; O capacitate de memorare ct mai mare. Capacitatea de memorare este numrul modelelor distincte pe care sistemul le poate nva cu precizie i rememora, deci coda i decoda. O bun capabilitate de corecie a erorilor. Dac se aplic la intrarea reelei unul dintre modelele de intrare, afectat de zgomot, reeaua ar trebui s convearg ctre modelul asociat dorit ( n condiiile unei erori ct mai mari); Evitarea modelelor nedorite (spurious patterns) Un model nedorit este un model parazit, pe care reeaua i-l amintete dei el nu a fost codat. Parametrii reelei trebuie ajustai astfel nct reeaua s memoreze doar modelele dorite, nu i altele, parazite; Un numr redus de interconexiuni. Sunt de dorit interconexiuni de ordinul nti, tiut fiind faptul c cele de ordin superior genereaz probleme n implementrile VLSI; Un algoritm de determinare a ponderilor interconexiunilor rapid i aditiv n cazul necesitii ncorporrii unui model nou.

94

a)

b)

Fig.4.3 O memorie asociativ a) cu o bun performan a) cu o slab performan Figurile Fig.4.3a i Fig.4.3.b ilustreaz caracteristicile unei MA performante, respectiv ale unei MA ineficiente . Modelele care reprezint informaia util sunt reprezentate prin cercuri goale, iar cele nedorite prin cercuri pline. Este de dorit, ca n cazul n care modelele nedorite nu pot fi evitate, ele s fie ct mai ndeprtate de punctele n care se memoreaz informaia util. Aglomerarea modelelor memorate poate afecta precizia clasificrii, deoarece modelele similare pot avea bazine de atracie care se suprapun. Se tie c dimensiunea reelei trebuie s depeasc numrul de modele pe care dorim s le memorm, pentru ca sistemul s nu nvee modele noi cu preul uitrii altora . Funcia de energie a unei RN O memorie asociativ poate fi interpretat ca un sistem gravitaional n dimensional, n care se poate localiza orice numr de corpuri de mas egal n indiferent ce punct. Fora gravitaional a fiecrui corp se exercit asupra tuturor corpurilor mai apropiate. Plasnd un corp ntr-un punct dorit al sistemului (starea iniial) i imprimndu-i un impuls (regula de nvare) el va fi atras de corpul care exercit asupra lui cea mai mare for (de obicei cel mai apropiat). O interpretare elegant pentru comportamentul unei RN, introdus de Hopfield n 1982 este de a-i asocia o funcie de energie (o funcie Lyapunov). Funcia de energie Lyapunov se poate reprezenta printr-un relief de energie n spaiul intrrilor. Dintr-o stare iniial reeaua se deplaseaz n sensul minimizrii funciei de energie pn atinge un minim local.(Fig 5). Dac starea iniial a RN este Q, reeaua va evolua nspre cel mai apropiat bazin de atracie, Pi, independent de numrul bazinelor de atracie. Procedura de nvare va amplasa modelele dorite n minimele funciei de energie, respectiv n P1, P2, ....Pi, .... PN. Dac RN evoleaz nspre un alt minim dect cel dorit i nvat n procesul de codare, modelul respectiv se numete nedorit spurious. Viteza de apel a informaiei din memorie este o caracteristic a reelei i nu depinde de numrul modelelor memorate.

95

Fig. 5 Func ia de energie asociat unei reele neuronale

Spaiul tuturor strilor posibile ale reelei se numete spaiul de faz (phase space), terminologie preluat din fizic. Minimele locale ale funciei de energie sunt punctele de echilibru stabil, adic punct din care RN nu-i mai schimb starea. Aceste puncte stabile se numesc atractori, deoarece fiecare atractor exercit influen n jurul su ntr-un domeniu numit bazin de atracie. Din acest motiv reelelor cu reacie cu conexiuni simetrice se numesc i reele cu atractori. Stabilitatea unei RN Un system dinamic este stabil (Elbert 1984) dac i se poate gsi o funcie de energie care s-l caracterizeze (funcia Lyapunov) descresctoare de-a lungul tuturor traiectoriilor posibile:

L<0
unde L este funcia de energie asociat. Un system dinamic este asimptotic stabil dac

( 3)

L0

( 4)

n echilibru stabil traiectoria reelei poate trece pe lng punctul de echilibru fr a-l atinge. n echilibru asimptotic stabil traiectoria reelei atinge punctul de echilibru exponenial de rapid. Condiia de existen a unei funcii de energie Lyapunov este suficient, dar nu necesar ca o reea s fie asimptotic stabil. Datorit conexiunilor simetrice o reea de tip cu reacie invers este global stabil.

96

Optimizarea Optimizarea este o tehnic pentru rezolvarea unor probleme ce implic minimizarea unei funcii de cost asociate n raport cu nite constrngeri impuse, ntr-un mode similar asocierii energiei sistemelor fizice . Funcia de cost este funcia de energie asociat RN. Prin minimizare RN converge ctre o stare stabil producnd o soluie optim (sau lng optim). n figura 6 s-a reprezentat funcia de energie asociat unei astfel de reele. Cu linie plin s-au figurat dealurile i cu linie punctat vile. Fiecare contur, curb de nivel, corespunde unei aceleiai valori a energiei. Evoluia reelei, numit traiectorie, dintr-o stare iniial, are loc nspre un minim local, nspre o vale, i se va opri n cel mai apropiat atractor. n problemele de optimizare se urmrete gsirea minimului global al funciei de energie asociate. Pentru o memorie asociativ modelele memorate se gsesc n minimele energetice locale ale funciei Lyapunov care caracterizeaz sistemul.

Fig. 6 a)Releful func iei de enrgie asociate unei reele cu reacie b) Traiectoriile posibile pentru RN din fig.6.a) c) Dinamica unei reele cu reacie

97

1. Reeaua Hopfield . Noiuni teoretice Reeaua Hopfield este o reea neuronal cu reacie, n care starea fiecrui neuron la un moment dat depinde i de ieirile tuturor celorlali neuroni la momentul anterior. Structura ei este prezentat n Fig.1. Are un singur strat de neuroni, complet interconectai, adic fiecare neuron este conectat cu toi ceilali. Ieirile neuronilor sunt binare 0 i 1, sau bipolare 1 i +1 . Matricea ponderilor este simetric wij=wji.Autoreacia est nul wii=0 (fenomen observat de alfel i n neuronii biologici). Aceasta mbuntete performanele obinute cu modele bipolare.

w12 x1 w2m w2i xi

w1i wiN

w1N

Fig.1 Reeaua neuronal Hopfield Exist dou modaliti de implementare a unei reele neuronale Hopfield determinate de aplicaia n care este utilizat: ca sistem discret pentru o memorie asociativ i ca sistem continuu pentru o problem de optimizare. 1.1 Reeaua neuronal Hopfield ca memorie asociativ n funcionarea unei reele neuronale ca memorie asociativ exist dou faze: de nmagazinare a informaiilor; de regsire a informaiei dorite din memorie (recall sau retrieval); 1. nmagazinarea informaiilor Fie un set de p modele bipolare X1, X2, X3, XP, de dimensiune N, pe care dorim s le memorm.Aceste modele se numesc i modele prototip sau modele fundamentale. Ponderile interconexiunilor se determin cu o generalizare a regulii lui Hebb, regula bipolar hebbian (outer product rule):

w ij = X ki X kj
k =1

(1)

innd cont i de faptul c autoreacia trebuie s fie nul wii=0, relaia (5.1) se poate scrie sub form matriceal:

W = XT k .X k - p.I
k =1

(2)

unde :

I este matricea unitate de dimensiune N x N ;

98

p este numrul modelelor memorate; Xk este model prototip Xk =[ X k1 X k2 X k3 X kN]; termenul p.I a fost introdus pentru anularea ponderilor de autoreacie;

De exemplu pentru a coda modelul bipolar [1,-1] ntr-o reea cu doi neuroni se obine matricea W1 :

1 1 0 1 - 1 1 0 0 - 1 w 11 - 1 .[1 - 1] - 1.0 1 = - 1 1 - 0 1 = - 1 0 = w 21

w 12 w 22
(3)

Pentru a simplifica formalismul matematic al regsirii informaiei se poate utiliza i un termen de 1 proporionalitate n relaia (5.2): N

W=

1 P T p.I X k .X k N k =1 N

(4)

Regsirea informaiei dorite din memorie Un model de intrare bipolar x =[ x1 x2 x3 xN] , N dimensional, este impus ca stare a RN Hopfield . Tipic el este o versiune incomplet sau afectat de zgomot al unui model memorat. Actualizarea strii neuronilor este asincron, un singur neuron i schimb starea la un moment dat n conformitate cu funcia de activare. Intrarea net a acestui neuron depinde de ieirile tuturor celorlali:

net i [k + 1] =

j= 1

ji

.x j [ k ]+ I i

(5)

unde: xj este starea de activare a neuronului j; Ii este o intrare constant, numit curent de polarizare ; N este numrul neuronilor reelei ; Se aplic apoi funcia de activare care poate fi o funcie bipolar cu prag , dat de relaia :

1 dac net i [k ] > qi f (net i [k + 1]) = f (net i [k ]) dac net i [k ] = qi 0 dac net [k ] < q i i
sau funcia signum:

( 6)

f (net i [k + 1] = sign (net i [k ]))

(7)

La o nou iteraie un alt neuron i schimb starea n conformitate cu regula de actualizare.Se determin pentru acesta intrarea net cu relaia (5) i apoi noua stare cu relaia (6). n final RN ajunge ntr-o stare invariant n timp care satisface condiia de stabilitate, adic ntr-unul dintre atractori. Observaii

99

1. Un artefact al codrii bipolare hebbiene este faptul c prin memorarea modelului bipolar X se memoreaz implicit i modelul complementar Xc , care este un model nedorit. Fie de exemplu modelul X= [1,1] aplicat ca stare iniial a reelei care a memorat modelul [1 1] (anterior introduse). Printr-o actualizare asincron un singur neuron i schimb starea. Fie acesta neuronul unu. Doar prima coloan a matricii pondere este implicat (ponderile neuronului unu ctre neuronul doi). Starea neuronului 2 rmne 1.

0 - 1 X.W1 = [1 1]. = [- 1 1] - 1 0

Aplicnd din nou reelei modelul [-1,1] prin W i actualiznd neuronul 2 se obine acelai model [-1,1] . Dei s-a dorit memorarea doar a modelului [1, -1] implicit, prin codarea bipolar hebbian a fost memorat i modelul complementar [-1,1]. 2. .Reeaua Hopfield este stabil. Indiferent care este starea iniial a reelei Hopfield ea va evolua nspre unul dintre modelele memorate care reprezint atractorii, adic punctele de echilibru stabil. Ca exemplu se poate lua n considerare reeaua anterior construit. 2. Actualizarea asincron permite interpretarea informaiei procesate de reeaua Hopfield ca un proces aleator. Pentru actualizarea neuronilor uneori se stabilete o schem de actualizare astfel nct n medie fiecare neuron s fie actualizat de acelai numr de ori. Actualizarea asincron dup o lege probabilistic permite caracterizarea statistic a reelei Hopfield (ancorarea ei n fizica statistic). Evoluia strilor reelei n spaiul {0,1}N sau {-1,1}N nu este n mod unic definit de o anume stare iniial, ci depinde de schema de actualizare. 3. Contribuia cea mai important a lui Hopfield este introducerea unei funcii de energie n analiza comportamentului RN. Aceasta permite abordarea RN ntr-o manier similar sistemelor fizice, marcndu-le evoluia. Fie funcia ce caracterizeaz reeaua Hopfield :

E(x ) = - w ij .x i .x j + 2 q i .x i
i =1 j=1 i =1
n v v v DE = E( x n ) - E( x v ) = - w ij .x in .x n j + 2 q i .x i + w ij .x i .x j - 2 q i .x i = i =1 j=1 i =1 i =1 j=1 i =1 n n n n n n

(9)

Se poate demonstra c de fiecare dat cnd un neuron i schimb starea, E(x) descrete:

- 2.x n k.
n k

j =1, j k

w
v k

ij

n v .x n j + 2.q k .x k + 2.x k .

j =1, j k

ij

v .x v j - 2.q k .x k

(10) unde

x (x

) este starea nou (veche) a neuronului k, singurul neuron care i schimb starea n

v iteraia curent. Toi ceilai neuroni ik rmn n aceeai stare x n k = x k astfel nct n suma dat de relaia (10) vor exista termeni care se anuleaz.

Exist dou situaii posibile: v 1.cnd starea neuronului k a fost x k = -1 i devine x n k =1 Pentru c
j=1, j k

w ij .x nj =

j=1, j k

ij

.x v j se poate rescrie relaia (10):

100

n DE = 2( x v k - x k ).(

j=1, j k

ij

.x v j - qk )

(11)

Semnul celui de-al doilea factor al produsului din relaia (11) este plus pentru c starea neuronului k devine +1
v k n k

dac este ndeplinit condiia (

j=1, j k

ij

.x v j - q k ) > 0 . Diferena

(x - x ) < 0 este negativ, deci DE este i ea negativ.

2. cnd starea neuronului k a fost x k = 1 i devine x k = -1 . Semnul celui de-al doilea factor al produsului din relaia (11) este minus pentru c starea
v n

neuronului k devine 1 dac este ndeplinit condiia (

j=1, j k

ij

.x v j - q k ) < 0 . Diferena

( x - x ) > 0 este pozitiv, deci DE este negativ.

v k n k

Practic s-a demonstrat c n conformitate cu definiia stabilitii unui sistem, reeaua neuronal Hopfield este stabil. 5. Reeaua Hopfield est o RN auto-asociativ. Scopul procesrii n cazul memoriei asociative este completarea de model sau eliminarea zgomotului, asociindu-se modelul de intrare , incomplet, sau afectat de zgomot cu el nsui la ieire.

Capacitatea de memorare a reelei Hopfield este cea mai mare dintre toate memoriile asociative cunoscute. Capacitatea de memorare este numrul modelelor distincte pe care sistemul le poate nva cu precizie i rememora, deci coda i decoda.

C=

N log 2 N

(12)

Pentru determinarea capacitii de aproximativ C=0,15N.

memorare se poate utiliza i o relaie empiric

Exemplul 1

101

Construii o reea Hopfield care s memoreze modelele X1=[1 -1] i X2=[-1 1], printr-o codare bipolar hebbian. a) Determinai matricea ponderilor. De ce este suficient memorarea unui singur model?

b) Determinai strile succesive ale reelei pn n starea final pentru toate intrrile posibile. Ce observai?
c) Se tie c pentru cazul particular al pragurilor i ponderilor nule funcia de energie a reelei 1 este : E = - X .W .X T . Determinai evoluia reelei pentru intrrile de la punctul b. Ce putei 2 spune despre stabilitatea reelei ? Soluie

a) Reeaua are 2 neuroni. Este suficient memorarea unui singur model pentru c un artefact al codrii bipolare hebbiene este memorarea modelelor complementare. Matricea ponderilor este :
1 1 0 1 - 1 1 0 0 - 1 w 11 - 1 .[1 - 1] - 1.0 1 = - 1 1 - 0 1 = - 1 0 = w 21 w 12 (13) w 22

b)Intrrile posibile sunt : X=[1 1], [-1 -1], [1 -1] et [-1 1]. Fie strarea iniial X1= [1,1]. Fie neuronul 1 cel care ii schimb starea. Starea neuronului 2 rmne neschimbat.Noua stare va fi :

0 - 1 X1 .W1 = [1 1]. = [- 1 1] - 1 0

(14)

Se aplic funcia de activare, funcia signum. Stare reelei rmne aceeai [-1,1]. Dup actualizarea neuronului 2 starea reelei va fi tot [-1,1], care este un punct de echilibru. Dac se aplic la intrare X2 = [-1 -1] se obine prin actualizarea primului neuron:

0 - 1 X 2 .W1 = [- 1 - 1]. = [1 - 1] - 1 0

(15)

[sign (1) 1] = [1 - 1]
Prin actualizarea neuronului 2:

(16)

[1

0 - 1 - 1]. = [1 - 1] - 1 0

(17)

[1 sign (-1)] = [1 - 1]

(18)

Reeaua va ajunge ntr-un alt punct de echilibru [1 -1]. Pentru celelalte stri posibile, care reprezint modelele memorate [1 -1] i [-1 1], reeaua nu-i va schimba starea . n concluzie, indiferent de starea iniial RN, va evolua nspre unul dintre punctele sale de echilibru c) Pentru starea iniial X1= [1 1] energia RN este:

102

 0 - 1 1 1 1 1 1 E1i = - [1 1]. . = - [-1 - 1] = - (-2) = 1 2 2 2 - 1 0 1 1 A doua stare , care este i cea final are energia urmtoare:

(19)

0 - 1 - 1 - 1 1 1 1 E1f = - [-1 1]. . = - [-1 1] = - (2) = -1 (20) 2 2 2 - 1 0 1 1 Pentru starea iniial X2= [-1 -1] energia reelei este: 0 - 1 - 1 - 1 1 1 1 E 2i = - [-1 1]. . = - [-1 1] = - (-2) = 1 2 2 2 - 1 0 - 1 - 1 Starea final are energia : 0 - 1 1 1 1 1 1 E 2 f = - [1 - 1]. . = [ 1 1 ] = - (2) = -1 2 2 2 - 1 0 - 1 - 1 (21)

(22)

n mod similar se poate calcula energia i pentru celelalte intrri care sunt puncte de echilibru ale reelei. Pentru aceste cazuri energia rmne la o aceeai valoare 1. Deci n toate cazurile energia are o evoluie descresctoare astfel nct satisface condiia de stabilitate Exemplul 2 Construii o reea Hopfield cu patru neuroni care s memoreze modelul X1=[1 1 1 -1], printr-o codare bipolar hebbian. Fie funcia de activare funcia signum, pragurile i curenii de polarizare nuli. a) Determinai matricea ponderilor. b) Fie starea iniial una dintre urmtoarele: X0=[1 1 1 1] ; X0=[1 1 -1 -1] ; X0=[1 -1 1 -1] ; X0=[-1 1 1 -1] ;

Actualizai neuronii n ordinea 1, 2, 3, et 4. Determinai strile succesive ale reelei pn n starea final pentru toate intrrile posibile .
c) Se tie c pentru cazul particular al pragurilor i ponderilor nule funcia de energie a reelei 1 este : E = - X .W .X T . Determinai evoluia reelei pentru intrrile de la punctul b. Ce putei 2 spune despre stabilitatea reelei ?

Soluie
Structura reelei este cea din Fig.2. Matricea ponderilor este dat de relaia:
T W = X1 .X 1 - U

(23)

103

 1 1 1 0 W = .[1 1 1 - 1] - 1. 1 0 - 1 0 1 1 - 1 0 1 0 1 - 1 W= 1 1 0 - 1 0 - 1 - 1 - 1

0 0 0 1 1 1 - 1 1 1 0 0 1 1 1 - 1 - 0 = 0 1 0 1 1 1 - 1 0 0 0 1 - 1 - 1 - 1 1 0

0 0 0 1 0 0 0 1 0 0 0 1

(24)

b) Fie starea iniial: X=[1 1 1 1]. n mod secvenial, conform schemei de actualizare cte un neuron i actualizeaz starea: 1 1 - 1 0 1 0 1 - 1 = [1 1 1 1] X 0 .W = [1 1 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1 Noua stare a neuronului 1 este [f (1) 1 1 1] = [1 1 1 1].

(25)

(26)

ntr-un mod similar se actualizeaz neuronul 2, [1 f (1) 1 1] , apoi neuronul 3 , a crui stare devine [1 1 f (1) 1] . Neuronii 2 i 3 rmn n aceeai stare 1. Doar neuronul 4 i schimb starea :

z-1 z-1 z-1 z-1

Fig.2 Structura reelei din exemplul 2

104

1 1 - 1 0 1 0 1 - 1 = [1 1 1 - 1] [1 1 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1

(27)

Stare final va fi [1 1 1 f (-1 )] = [1 1 1 - 1 ] , care este un atractor al reelei . Dac starea iniial este X=[1 -1 -1 1], dup actualizarea primului neuron ea devine:
1 1 - 1 0 1 0 1 - 1 = [- 3 - 1 - 1 1] X.W = [1 - 1 - 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1

(28)

[sgn (-3)
Se actualizeaz al doilea neuron:

- 1 - 1 1] = [- 1 - 1 - 1 1]

(29)

1 1 - 1 0 1 0 1 - 1 = [- 1 - 3 - 1 1] X.W = [- 1 - 1 - 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1

(30)

[- 1

sgn (-3) - 1 1] = [- 1 - 1 - 1 1]

(31)

Dup actualizarea celui de-al patrulea neuron starea reelei devine:

1 1 - 1 0 1 0 1 - 1 = [- 1 - 1 - 3 1] [- 1 - 1 - 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1

(32)

[- 1
Starea final va fi:

- 1 sgn (-3) 1] = [- 1 - 1 - 1 1]

(33)

1 1 - 1 0 1 0 1 - 1 = [- 1 - 1 - 1 3] [- 1 - 1 - 1 1]. 1 1 0 - 1 0 - 1 - 1 - 1

(34)

[- 1

- 1 - 1 sgn(3) ] = [- 1 - 1 - 1 1]

(35)

Modelul X=[-1 1 1 1] este un model nedorit, dar este un atractor al reelei memorat printr-o codare bipolar hebbian .

105

d) Pentru starea iniial X= [1 1 1 1] energia reelei este:

1 1 - 1 1 0 1 1 -1 0 1 - 1 - 1 1 1 E i = - [1 - 1 - 1 1]. . = - [- 3 - 1 - 1 1]. = 0 1 -1 1 0 - 1 - 1 2 2 0 1 - 1 - 1 - 1 1

(36)

Pentru starea succesiv, care este i cea final energia este:

1 1 - 1 - 1 0 - 1 1 - 1 0 1 - 1 - 1 1 1 E f = - [- 1 - 1 - 1 1]. . = - [- 3 - 3 - 3 1]. = -6 (37) 1 - 1 1 0 - 1 - 1 2 2 0 1 - 1 - 1 - 1 1

Asfel nct evoluia energiei reelei este descresctoare, deci satisface condiia de stabilitate.. 2. Reeaua Hopfield continu Reprezint o generalizare a RN Hopfield discrete. Este o RN dinamic asimptotic stabil. Evoluia reelei n spaiul de faz este continu n timp, n sensul minimizrii funciei de energie asociate E(x(t))- de unde denumirea de RN Hopfield de tip gradient. n final, reeaua se va stabiliza ntr-unul dintre atractorii spaiului strilor posibile, ntr-un minim energetic. Dac funcia de energie asociat RN este o funcia de cost supus unor constrngeri ntr-o problem de optimizare, starea final a reelei va fi soluia problemei. Astfel nct pentru reeaua Hopfield optimizarea este o aplicaie direct. Prin minimizarea funciei asociate RN converge ctre o stare stabil producnd o soluie optim (sau lng optim). O RN de tip gradient poate fi complet descris printr-uN set de ecuaii difereniale neliniare cu termeni constani Aplicaiile RN Hopfield continue n toate problemele de optimizare: -comutarea de pachete -controlul admisiei conexiunii -rutare Comutarea de pachete n reelele de comunicaii de mare vitez poate apare fenomenul de congestie atunci cand dou sau mai multe pachete intr n competiie ptr. acelai nod de comutare. Pentru controlul comutrii de pachete se folosesc metodele cozilor de ateptare: -la intrare -la ieire Metoda cozii de ateptare la ieire asigur cea mai bun performan din punctul de vedere al ntarzierii sau al capacitii globale, dar comutatorul de dimensiune NXN trebuie s opereze de N ori mai repede decat regitrul de ieire i necesit mai multe registre ptr. fiecare port de ieire Metoda cozii de ateptare la intrare este mai simpl i pot fi atinse performane comparabile cu metoda cozii de ateptare la ieire dac se rezolv problema bloc rii la cap de linie (head of line blocking)

106

Blocarea la cap de linie este fenomenul prin care un pachet dintr-o coad de ateptare care funcioneaz pe baza principiului primul intrat primul ieit FIFO nu poate accesa portul de ieire deoarece pachetul din faa lui n registru este blocat la intrarea n portul de ieire. Datorit acestui fenomen capacitatea global a unui comutator de tip crossbar NXN scade pan la 0,58 din capacitatea disponibil pentru valori mari ale lui N. Metoda bypass poate soluiona problema permind i altor pachete, nafara primului din coada de ateptare s fie transmise, atunci cnd primul este blocat. Folosind i un controler neuronal pentru programarea pachetelor capacitatea global a comutatorului va fi maximizat Comutare de pachete cu controler neuronal Controlerul neuronal va programa transferul pachetelor de date astfel nct capacitatea global a comutatorului s fie maximizat Cozile de bypass sunt amplasate la intrarea reelei de comutare. Lungimea F a ferestrei este relativ mic fa de lungimea cozii de ateptare. Toate pachetele din fereastra F sunt n competiie ptr. destinaie n fiecare slot. Este selectat un set de pachete nonblocante astfel nct s fie maximizat numrul de pachete selectate cu condiia ca s fie evitat transmisia nafara succesiunii Trebuie satisfcute urmtoarele constrngeri: 1. n fiecare rand, din fereastr, este selectat ptr. transmisie cel mult o celul 2. fiecare celul selectat ntr-un slot trebuie s aibe o adres destinaie distinct 3. celulele cu o aceeaiadres destinaie sunt programate succesiv Reeaua neuronal va avea un numr de NxF neuroni, unde N este numrul registrelor de intrare i F este dimensiunea ferestrei din care se face selecia celulelor ptr. transfer. Deci fiecare neuron corespunde unei celule din fereastr. Prin minimizarea funciei de energie, n fiecare rand, respectiv coloan, va fi activ un singur neuron. Fiecare neuron are doi indici i pt registrul de intrare i j pentru poziia celulei pe cre o reprezint n fereastr. Dac un neuron este activ, celula corespunztoare este selectat pentru transfer n slotul curent. Ponderile interconexiunilor dintre neuroni sunt determinate n timpul fiecrui slot, prin identificarea cu funcia de energie general a reelei Hopfield. Ele codeaz constrangerile impuse transferului.

107

Fereastr j=1.....F Porturi de intrare

1

Porturi de ieire
1

Reea de comutare

Controler neuronal
Comutator de pachete cu controler neuronal de tip Hopfield Funcia de activare a neuronilor este:

0 ij =

1 1+ e
- b net ij

unde oij este ieirea Netij este intrarea net este un parametru de castig Din cele 3 constrangeri se formuleaz urmtoarea funcie de energie

A B E = (Iij - oiq ) 2 + t ij, pq o ijo pq - C (D - qij )o ij 2 i =1 j=1 2 i =1 j=1 p =1 q =1 q =1 i =1 j=1

pi

unde

A,B,C,D sunt constante positive. Iij sunt intrri externe cu valoarea 1 dac poziia j a registrului i conine o celul i 0 n rest ij este pragul neuronului j

108

Matricea T cu elemente tij,pq este o matrice mprtiat, dependent de modelul de trafic i desemneaz conectivitatea dintre neuronul ij i neuronul pq

1 dac celula ij i celula pq au destinatie identica t ij,pq = 0 n rest

Primul termen este minimizat dac un singur neuron este activ n fiecare rand. Iij va fora neuronul ij pe ON dac poziia corespunztoare a registrului este ocupat de o celul Al doilea termen este nul, minim, doar dac nu exist blocare, adic nu exist celule selectate ptr. transfer cu aceeai destinaie. Al treilea termen foreaz transmisia n succesiune. Pragurile neuronilor ij sunt dependente de poziia neuronului n fereastr.

qij =

j (1 j F) F

Deoarece ij este o funcie de indexul j al coloanei toi neuronii din aceeai coloan au acelai prag i neuronii cei mai din stanga au cele mai mici praguri. Termenul al treilea are valoare minim dac suma pragurilor tuturor neuronilor activi este maximizat. D este un termen de polarizare cu rol de a mri convergena. Includerea a astfel de termeni este important, dar este doar o chestiune de experien. Prin minimizarea funciei de energie n final n fiecare rand, respectiv coloan, va fi activ un singur neuron . Strile neuronilor reprezint un set optim de celule nonblocante n timpul unui slot. O problem care poate apare este oprirea ntr-un minim local i nu ntr-unul global dorit. Experimentele arat c oprirea ntr-un minim local atrage doar o degradare uoar a calitii soluiilor i nu o violare a constrangerilor problemei.

109

Figura 5 arat c probabilitatea de pierdere a celulelor este mai mic cu controlerul neuronal pentru o aceeai mrime registrului, a ferestrei i ncrcare a traficului, decat cele obinute prin metoda cozii de ateptare la ieire i cea metoda secvenial bypass (convenional).

110

Figura 6 prezint variaia raportului ntre capacitatea global obinut cu controlerul cu RN i cea obinut prin cutarea exhaustiv, n funcie de mrimea comutatorului N. Cutarea exhaustiv genereaz soluii globale optime n timp. Ptr. N=128 i F=8 capacitatea maxim obinut prin cutarea exhaustiv a fost 0,973. Raportul dintre capacitatea obinut pentru controlerul neuronal i cea prin cutarea axhaustiv a fost peste 0,98 pentru valori mari ale lui N. Practic s- a nregistrat o scdere de 2% fa de soluiile optime globale.

111

Cursul 6

Reele neuronale autoorganizatoare

Reelele neuronale abordate n capitolele precedente nva s implementeze o transformare F : R N R M , din perechile de modele intrare { xp} - modele de ieire dorite {op} . Exist ns probleme n care nu dispunem de setul de modele dorite ci doar de modelele de intrare. Reeaua neuronal trebuie s gseasc singur informaia relevant din exemplele{ xp} care i se aplic la intrare, pe baza similaritii acestora. Cteva probleme din aceast categorie sunt urmtoarele: Gruparea n categorii RN trebuie s gseasc singur criteriul de clasificare i s realizeze gruparea modelelor de intrare. Cuantizarea vectorial RN trebuie s determine discretizarea optim a spaiului continuu de intrare. Intrarea n sistem este modelul x, n dimensional, iar ieirea este o reprezentare discret a spaiului de intrare. Reducerea dimensiunii Modelele de intrare sunt grupate ntr-un subspaiu care are dimensiune mai redus dect dimensiunea spaiului de intrare. Sistemul neuronal trebuie s nvee transformarea optim astfel nct cea mai mare parte din distribuia modelelor de intrare s se regseasc la ieire. Extragerea de caracteristici. RN trebuie s extrag trsturile caracteristice eseniale ale datelor de intrare. Adesea aceasta implic i o reducere a dimensiunii. Dac exist i modelele de ieire dorite, acestea pot fi folosite ulterior la o rafinare a parametrilor reelei autoorganizatoare. 1 Principiul nvrii competitive ntr-o reea competitiv toi neuronii unui strat sunt complet conectai. Adic primesc intrri excitatorii de la toi neuronii stratului anterior, transmit conexiuni excitatorii ctre toi neuronii stratului urmtor i conexiuni inhibitorii ctre toi neuronii stratului din care fac parte. Vectorii pondere sunt iniializai aleator, de obicei la valorile unui subset de modele de intrare. n majoritatea reelelor autoorganizatoare att modelele de intrare ct i vectorii pondere sunt normalizai, avnd acelai numr de N elemente. Astfel att modelele de intrare ct i vectorii pondere au aceeai lungime i pot fi interpretate ca i puncte pe o sfer N dimensional (paragraful 6.3). La aplicarea unui model de intrare fiecare neuron proceseaz intrarea net:

net j = w ji x i = x T .w j
i =1

(6.1)

Se determin starea de activare a neuronilor prin trecerea intrrii nete prin funcia de activare. Se selecteaz apoi neuronul ctigtor printr-una dintre cele dou modaliti posibile: 1. Neuronul ctigtor este declarat neuronul cu cea mai mare stare de activare ac. a j a c "j = c 2. Neuronul ctigtor este declarat neuronul cu cea mai mic intensitate de intrare Ij definit de relaia:

112

I J = D( w j , x ) unde D este o distan metric oarecare. Cteva distane metrice, uzual utilizate, sunt urmtoarele: Norma euclidian, dat de amplitudinea vectorului diferen :

(6. 2)

d = ||x-v || = || d || = (dT d )1/2 x-v =

(6.3)

(x1 - v1 )2 + (x2 - v2 )2 ..... + (xn - vn )2

Fig.6.1 Reprezentarea vectorului diferen

Ptratul amplitudinii vectorului diferen: d = || x - v ||2 = || d ||2 = dT d Relaia (6.4 ) reprezint o simplificare fa de cazul anterior. Distana Manhattan, care este o sum a valorilor absolute ale coordonatelor vectorului diferen: d = | di |
j=1 p

(6.4)

(6.5) Proiecia lui x pe v. Aceasta este cea mai simpl msur a asemnrii vectorilor normalizai: d = vT x = || v |||| x ||cosa (6.6)

113

Fig.6.2 Proiecia vectorului x pe v

Se recomand ca cei doi vectori s fie normalizai nainte de msurare: || x ||=|| v ||=1. Distana Hamming: d=

| x == v| = 1
j j

0 pentru x = v pentru x v

(6.8) Exemplu: Se calculeaz distanele prezentate anterior pentru vectorii x = [1 1 -1 1] i v = [1 -1 -1 1]. distana eulidian = sqrt(02 + 22 + 02 + 22) = 2.83 distana Manhattan = 0 + 2 + 0 + 2 = 4 distana Hamming = 0 + 1 + 0 + 1 = 2 distana ca produs = [1 1 -1 1][1 -1 -1 -1]T = 0 Odat selectat neuronul ctigtor nvarea are loc prin modificarea ponderilor, conform unei strategii de tip competiie, cunoscute n literatura sub numele de "ctigtorul ia totul ".Din acest motiv RN autoorganizatoare se numesc i RN competitive. Neuronul ctigtor tinde ctre valoarea de activare maxim, adic 1, n timp ce toi ceilali tind ctre valoarea minim, zero, printr-un proces iterativ de inhibiie lateral. n decursul anilor, mai muli cercettori au elaborat RN competitive, avnd la baza diferite reguli de nvare: Kohonen, von der Malsburg (1973), Grossberg (1972, 1976), Fukushima (1975), Bienenstock , Cooper i Munro (1980), Rumelhart i Ziepser (1985).

6.3 Interpretarea geometric Modelele de intrare i vectorii pondere normalizai pot fi reprezentai prin puncte pe o sfer N dimensional. Conform regulii de nvare de fiecare dat cnd un neuron

114

ctig competiia, vectorul su pondere se ndreapt nspre modelul de intrare x, micare ilustrat n Fig.6.3.

Fig.6.3 Deplasarea vectorului pondere a neuronului declarat ctigtor

2a

2b

2c

Fig.6.4 prezint nvarea grupelor de modele n cazul unei RN formate din trei neuroni .
Fig.6.4.a Modele similare de intrare sunt situate n puncte apropiate pe sfer. Fig.6.4.b Cnd se aplic un model de intrare ctig competiia neuronul al crui vector pondere este cel mai apropiat de modelul de intrare ctig competiia. Vectorul su pondere se rotete nspre modelul de intrare. Fig.6.4.c Dac exist trei neuroni i trei grupri de modele de intrare, fiecare dintre neuroni va ctiga competiia pentru una dintre cele trei grupri. Dac exist n RN mai muli neuroni de ieire dect numrul gruprilor modelelor de intrare, pe msur ce RN nva, vectorii pondere devin mai dei acolo unde modelele de intrare sunt mai dese i mai rari, sau chiar abseni acolo unde modelele de intrare sunt mai puine. Cu alte cuvinte RN se adapteaz pentru a msura funcia densitate de probabilitate a modelelor de intrare.

115

6.4 Algoritmi competitivi

6.4.1.Algoritmul competitiv standard Algoritmul competitiv standard (ACS) [R. Hecht-Nielsen, 90] calculeaz o distan ntre vectorii de intrare i vectorii pondere RBFR. Aceast distan poate fi de mai multe tipuri, dar uzual este folosit distana euclidian. Neuronul j avnd distana minim dintre vectorul su pondere i vectorul de intrare este declarat ctigtor:

j = arg min x[n] - w i [n] , i = 1, N h

(6.9)

unde x[n] este vectorul de intrare, ci[n] este vectorul vectorul pondere i i n este timpul discret. Vectorul pondere ctigtor este mutat nspre vectorul de intrare cu o fraciune , numit vitez de nvare:

w i [n + 1] = w i [n] + h [x[n] - w i [n]]

(6.10)

Viteza de nvare, aparinnd intervalului (0,1), poate fi constant sau variabil, de exemplu, dat de relaia:

h[n + 1] = h[n] -

1 Nh

(6.11)

unde Nh reprezint numrul vectorilor vectorul pondere. Vectorii pondere RBFR sunt iniializai aleator, uzual la valori ale vectorilor de intrare. Ecuaiile (6.9), (6.10) i (6.11) sunt aplicate iterativ pn cnd algoritmul converge, adic atunci cnd viteza de nvare atinge o valoare foarte mic sau zero, respectiv nghea atunci cnd se atinge un numr de iteraii predefinit. Deficiena major a algoritmului este necesitatea cunoaterii apriori a numrului de grupri k ale modelelor de intrare. n cazul n care acest numr este necunoscut clasificarea eueaz. Din pcate, n aplicaiile practice numrul k al gruprilor este adesea necunoscut. O alt problem ce poate apare n procesarea algoritmului ACS este aa numita problem a "unitilor moarte". n cazul n care un vectorul pondere este iniializat prea departe de datele de intrare, n comparaie cu ceilali vectori pondere, este posibil ca acesta s nu ctige niciodat competiia, deci s nu se adapteze, astfel nct practic el este mort din punctul de vedere al nvrii. Fig.6.5 prezint poziia unei uniti moarte n spaiul vectorilor pondere. Cu cerculee cu stelu s-au reprezentat modelele de intrare i cu cercule s-au reprezentat vectorii pondere.

unitate "moart"

116

Fig.6.5 Izolarea neuronului al crui vector pondere a fost iniializat prea departe de modelele de intrare

6.4.2 Algoritmul competitiv sensibil la frecven Pentru a evita problema "unitilor moarte " s-a introdus algoritmul competitiv sensibil la frecven (ACSF) [S.C.Ahalt, 90], numit i algoritm "cu contiin". n ACSF fiecare neuronii in evidena situaiilor n care au ctigat competiia i i reduc viteza de nvare invers proporional cu numrul acestora. Astfel sunt crescute ansele neuronilor care n-au ctigat niciodat competiia, n raport cu ceilali neuroni. Algoritmul este o extensie a algoritmului ACS obinut prin modificarea relaiei (6.9) n urmtoarea:

j = arg min g i x[n] - w i [n] , i = 1,N h

Frecvena relativ i a vectorul pondere wi se definete cu relaia:
i = si

(6.12)

s
i =1

Nh

(6.13)
i

Unde si este numrul situaiilor n care neuronul cu vectorul pondere wi a ctigat competiia. Dup selectarea neuronului ctigtor vectorul su pondere se actualizeaz cu relaia (6.10) ntrun mod similar algoritmului ACS, ajustndu-se i parametrul si cu relaia:

si [n + 1] = si [n] + 1

(6.14)

Prezena "contiinei" evit apariia neuronilor mori i garanteaz c toi neuronii vor ctiga odat competiia. Figura de mai jos prezint modul de apropiere a vectorului pondere al unei uniti, n cazul algoritmului competitiv sensibil la frecven. Algoritmul ACSF distribuie ntotdeauna cei Nh vectori pondere n spaiul modelelor de intrare, fr problema "unitilor moarte", dar necesit cunoaterea exact a numrului k al gruprilor. Cteva dintre aplicaiile n care algoritmul ACSF a avut rezultate remarcabile sunt: extragerea de caracteristici [H.C.Card, 98] i compresia imaginilor [C.H.Chang, 05].

Fig.6.6 Apropierea vectorului pondere ndeprtat de modelele de intrare, prin mecanismul cu "contiin"

117

6.4.3. Algoritmul competitiv cu penalizarea rivalului Algoritmul competitiv cu penalizarea rivalului (ACPR) realizeaz o grupare adecvat fr a cunoate apriori numrul gruprilor modelelor de intrare [L. Xu, 93]. El determin nu numai neuronul ctigtor j, cu relaia (6.12) ci i urmtorul neuron cel mai apropiat, numit rival r, cu relaia:

r= arg min g i x[n] - w i [n] , i = 1,N h

i j

(6.15)

Vectorul pondere al neuronului ctigtor este mutat nspre vectorul de intrare cu o vitez de nvare , aparinnd intervalului (0,1). Vectorul pondere al rivalului este ndeprtat de vectorul de intrare cu o vitez de nvare , mult mai mic dect , uzual cu dou ordine de mrime. Toi ceilali vectori pondere rmn neschimbai. Regula de nvare poate fi sintetizat n relaia:

w [n] + [ x[n] - w [n]] dac i i w [n + 1] = w [n] - b [ x[n] - w [n]] dac i i i w [ n ] dac i j i i r i

i= j i=r
(6.16)

Dac viteza de nvare este mult mai mare dect , cu cel puin dou ordine de mrime, reeaua va determina automat numrul claselor semnalelor de ieire. Altfel spus, presupunnd c numrul claselor este necunoscut i c numrul neuronilor din stratul ascuns Nh este mai mare dect numrul claselor, atunci vectori pondere vor converge nspre centrii gruprilor semnalelor de intrare. Algoritmul competitiv cu penalizarea rivalului va ndeprta n fiecare iteraie cel mai apropiat rival i va converge mult mai rapid dect algoritmii ACS i ACSF, anterior menionai. Vectori pondere n exces, al cror numr este dat de diferena dintre Nh i numrul de clase k vor fi ndeprtai din spaiul modelelor de intrare. Dac numrul neuronilor din stratul ascuns este mai mic dect numrul claselor, atunci reeaua va oscila n timpul antrenamentului, indicnd necesitatea creterii numrului neuronilor ascuni. Algoritmul realizeaz gruparea modelelor de intrare fr problema unitilor moarte i fr a fi necesar cunoaterea apriori a numrului de clase, ndeprtnd vectorii pondere n exces din spaiul modelelor n mod automat. Algoritmul ACPR este simplu i are o mai bun convergen dect algoritmul ACSF. Algoritmul ACPR a fost aplicat cu succes n egalizarea canalelor de comunicaie [C. Botoca, 04], segmentarea color a imaginilor [L.T. Law, 03] i n extragerea de caracteristici [T. Nakamura, 98]. Dezavantajul acestui algoritm este sensibilitatea la alegerea vitezei de nvare a rivalului, care trebuie s fie cu cteva ordine de mrime mai mic dect cea a neuronului ctigtor. 4.Algoritmul competitiv cu penalizarea dinamic a rivalului Algoritmul competitiv cu penalizarea dinamic a rivalului (ACPDR) este o variant a algoritmului ACPR care elimin dependena convergenei de alegerea vitezei de nvare a rivalului [C. Botoca, 05]. Comparativ cu ACPR, algoritmul competitiv cu penalizarea dinamic a rivalului introduce un parametru, numit putere de penalizare, pentru penalizarea dinamic a vectorul ponderelui rival:

p( w i ) =

min( x[n] - w w [n] , w w [n] - w r [n] w w [n] - w r [n]

(6.17)

118

unde ww[n] este vectorul pondere ctigtor i wr[n] este vectorul vectorul pondere rival. Viteza de nvare a vectorului pondere rival, din ecuaia (6.16) devine:

b = -h p ( w i )

(6.18)

Se poate observa c valoarea puterii de penalizare a rivalului p(wi) din relaia (6.18) este ntotdeauna ntre 0 i 1, astfel nct poate fi privit ca o probabilitate. Dac x[n] - w w [n] w w [n] - w r [n] , atunci rivalul va fi complet penalizat cu viteza de nvare . n caz contrar, rivalul va fi penalizat cu viteza de nvare p(wi), care este gradual atenuat pe msur ce distana dintre vectorul ponderel ctigtor i rivalul su crete. Astfel algoritmul ACPDR este de fapt o generalizare a algoritmului ACPR, care permite ndeprtarea rivalului cu o vitez de nvare mai mare dect acesta, deci are o convergen mult mai rapid nspre vectori ponderei dorii. Exemple Algoritmii ACSF, ACPR i ACPDR au fost utilizai pentru clasificarea unor date de intrare complexe [C. Botoca, 05], [C. Botoca, 06]. n cele ce urmeaz se prezint rezultatele experimentelor, pentru un numr diferit de vectori pondere i de grupri. Partea real i cea imaginar a datelor de intrare au fost generate independent, pornind de la numere alese n mod aleator n spaiul complex, prin suprapunerea unui zgomot gaussian, cu valori diferite ale dispersiei . Vectori ponderei au fost iniializai aleator la un subset de valori ale datelor de intrare. Viteza de nvare a vectorul ponderelui ctigtor a fost aleas la =0.001, pentru toi algoritmii. Viteza de nvare a rivalului a fost aleas la =0.0001. Exemplul 1 Au fost generate 600 de date de intrare complexe, utiliznd un zgomot gaussian n jurul a trei puncte: (1; j), (1; 5j) i (5; 5j) [C. Botoca, 05]. Datele de intrare au format trei grupri aa cum se poate vedea n figurile 6.7 a), b) i c). Cei ase vectori pondere alei au fost urmtorii: (0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (5.2045; 5.1298j), (1.9193; 5.4489) i (5.5869; 5.1937j). Figurile 6.7 a), b) i c reprezint strile dorite (datele complexe iniiale, neafectate de zgomot), datele de intrare afectate de zgomot x[n], respectiv poziiile iniiale i finale ale vectori ponderelor c[n], n cazul unei dispersii a zgomotului de =0.36, dup 100 iteraii, n cazul utilizrii celor trei tipuri de algoritmi ACSF, ACPR i ACPDR. Reprezentrile s-au fcut pentru acelai numr de iteraii, pentru toi cei trei algoritmi, pentru a evidenia diferenele dintre rezultatele procesrii, chiar dac graficele obinute au scri diferite. Se poate observa c algoritmul ACSF a euat n determinarea strilor dorite, pentru c el trebuie s cunoasc apriori numrul gruprilor, astfel nct nu poate manipula un numr de vectori pondere diferit de numrul gruprilor. Ceilali doi algoritmi, ACPR i ACPDR au reuit s orienteze corect vectori ponderei spre strile dorite. Comparnd figura 6.7 b) cu figura 6.7 c) se poate observa c algoritmul ACPDR a ndeprtat mai rapid vectori ponderei n exces dect algoritmul ACPR i a gsit poziii mai apropiate de cele dorite, n acelai numr de iteraii, deci convergena sa este mai bun.

119

a)

b)

c)

Fig.6.7 Strile dorite , strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale vectori ponderelor c[n] n cazul unei dispersii a zgomotului de =0.36, dup 100 iteraii, utiliznd:
a) algoritmul ACSF; b) algoritmul ACPR; c) algoritmul ACPDR

(Legend: "o" - Strile dorite; "*"- strile de intrare zgomotoase; "" - poziiile iniiale ale vectori ponderelor; "+" poziiile finale ale vectori ponderelor; "" evoluia vectori ponderelor)
Exemplul 2 Au fost generate 600 de date de intrare x[n] obinute n jurul a 16 puncte din planul complex, reprezentnd strile dorite, peste care s-a suprapus zgomot alb cu o dispersie de =0.1

120

[C. Botoca, 06]. Au fost iniializai 20 de vectori pondere n mod aleatoriu n mulimea datelor de intrare. Figurile 6.8 a), b) i c) reprezint rezultatele simulrilor dup 30 de iteraii, utiliznd algoritmii ACSF, ACPR i ACPDR. Dup cum se poate observa n figura 6.8.a), algoritmul ACSF a euat n determinarea strilor dorite. Ceilali doi algoritmi, ACPR i ACPDR au reuit s orienteze corect vectori ponderei nspre strile dorite. Este de remarcat faptul c algoritmul ACPDR a ndeprtat mult mai rapid vectori ponderei n exces dect algoritmul ACPR i a gsit poziii mai apropiate de cele dorite, n acelai numr de iteraii, deci convergena sa este mai bun. Algoritmii ACPR i ACPDR recompenseaz vectorul ponderel ctigtor i penalizeaz urmtorul vectorul pondere ctigtor, numit rival. Comparativ cu algoritmul competitiv standard cei doi elimin problema unitilor moarte. Dac se compar cu algoritmul competitiv sensibil la frecven, algoritmii ACPR i ACPDR nu necesit cunoaterea numrului de grupri i n plus elimin vectori ponderei n exces n afara spaiului modelelor, asociind cte un singur vectorul pondere fiecrei categorii. Ambii algoritmi sunt adecvai pentru clasificarea adaptiv a semnalelor complexe afectate de zgomot. Algoritmul competitiv cu penalizarea dinamic a rivalului elimin dezavantajul seleciei destul de delicate a vitezei de nvare a rivalului, controlnd-o n mod dinamic, n funcie de distana fa de vectorul ponderel ctigtor.

a)

b)

121

c)

Fig.6.8 Strile dorite, strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale vectori ponderelor c[n] n cazul unei dispersii a zgomotului de =0.1, dup 30 iteraii, utiliznd:
a) algoritmul ACSF; b) algoritmul ACPR; c)algoritmul ACPDR

(Legend: "o" - Strile dorite; "*"- strile de intrare zgomotoase; "" - poziiile iniiale ale vectori ponderelor; "+" poziiile finale ale vectori ponderelor; "" evoluia vectori ponderelor)
Comparnd algoritmul ACPR cu algoritmul ACPDR, cel din urm are o convergen mai rapid. Algoritmii competitivi reprezint un instrument eficient n rezolvarea problemelor de clasificare, larg aplicat ntr-o mare varietate de probleme din procesarea semnalelor cum ar fi: compresia datelor [T. Hofmann, 98], cuantizarea vectorial a semnalelor [S.C. Ahalt, 90], [H.C. Card, 98], [C.H. Chang, 05] [R. Gray, 84], egalizarea adaptiv de canal de comunicaie [C. Botoca, 04], [S. Bouchired, 99.1], [X. Wang, 02], procesarea de imagini [L.T. Law, 03], [T. Nakamura, 98] i regsirea de imagini [C. Carson, 99].

6.5 Estimarea func iei densitate de probabilitate Aproape toate informaiile referitoare la date din unele domenii ca de exemplu teoria informaiei, recunoaterea formelor , statistic se regsesc n funcia distribuie de probabilitate Se dorete ca vectorii pondere ai RN, wj s se aranjeze n spaiul RN astfel nct s nvee funcia densitate de probabilitate a modelelor de intrare. Dar regula de nvare competitiv standard (Kohonen) nu asigur, n general, un set de vectori pondere echiprobabili. Cu alte cuvinte, fiind dat un model de intrare x din spaiul RN, n conformitate cu funcia densitate de probabilitate r, probabilitatea ca x s fie cel mai aproape de wj s fie 1/N " j=1,2,...N. Pot apare urmtoarele probleme: ca unele regiuni, acolo unde densitatea de probabilitate este mic, s nu fie reprezentate; regiunile cu densitate de probabilitate mare s fie supraeantionate ; S-au elaborat o serie de soluii pentru rezolvarea acestor probleme cum sunt:

122

1. Metoda radial sprouting este adecvat pentru distana euclidian i alte msuri similare [Hecht Nielsen]. Vectorii pondere sunt iniializai la zero i modelele de intrare x sunt multiplicate cu b (un numr pozitiv mic, 0 < b1). Procesul de nvare ncepe cu o valoare sczut a lui b , aproape de zero. Astfel toi vectorii pondere sunt aproape de vectorii de intrare. Pe msur ce reeaua neuronal nva b crete, vectorii pondere sunt forai s se ndeprteze de zero i s urmeze modelele de intrare. Civa vectori pondere pot rmne n urm i sunt irosii n procesul de clasificare. Dezavantajul metodei const din faptul c procesul de nvare este ncetinit. 2. O alt soluie a fost de a aduga vectori de zgomot uniform distribui i intrrilor, n scopul pozitivrii funciei densitate de probabilitate. Iniial nivelul zgomotului este mult mai mare dect valoarea modelelor de intrare. n timp puterea zgomotului scade. nvarea n prezena zgomotului este ns i mai lent dect n cazul metodei "radial sprouting". 3. Adugarea unui termen numit "con tiin " pentru fiecare neuron , care monitorizeaz numrul de situaii succesive n care acesta a ctigat competiia. Aceast metod rezolv problema echiprobabilitii vectorilor pondere. Conceptul de baz al mecanismului de nvare cu contiin este de a ine o eviden a timpului fi n care neuronul i a ctigat competiia:
f i [k + 1] = f i [k ] + b.(o i - f i [k ])

(6.18)

unde: o este ieirea 0 sau 1 a neuronilor dup ce s-a terminat competiia; b este o constant pozitiv mic, cu o valoare tipic de 0,0001; Se determin apoi curentul de polarizare (pragul) ci conform relaiei:

1 ci = g - fi N

(6.19)

unde g este o constant pozitiv, tipic de valoare 10. Termenul ci reprezint cantitatea prin care frecvena de ctigare a competiiei de ctre neuronul i este sub nivelul de echiprobabilitate 1 N. Neuronul cu cea mai mic diferen min[D(x,wi) -ci] este declarat ctigtor i i va modifica ponderile conform regulii de nvare, apropiindu-se de modelul de intrare. Spre deosebire de cazul uzual cnd un singur neuron ii modific ponderile, i ceilali neuroni i modific ponderile ndeprtndu-se de intrare. Elementele de procesare care ctig prea des competiia au valori ci negative mari. Cele care nu ctig prea des competiia au valori de polarizare pozitive astfel nct favorizate de relaia de declarare a neuronului ctigtor.
n final vectorii pondere se vor distribui ntr-o configuraie aproape echiprobabil

Metoda este cunoscut i sub denumirea de nvare competitiv sensibil la frecven "frequency competitive learning" . .

123

6.5 Reeaua MAXNET

n reeaua MAXNET fiecare neuron este cuplat cu el nsui excitator i i inhib pe toi ceilali:
- a pentru i j w ij = pentru i = j 1

(6.20)

unde a =

1 < 1 este o constant pozitiv mic, iar N numrul de neuroni din RN N Relaia (6.20) se poate scrie ca o matrice de dimensiune NxN:
1 -a - a 1 WN = ... - a - a ... - a ... - a ... ... 1

(6. 21) Modelul de intrare este activ doar n momentul iniial x[0]. Fiecare neuron proceseaz intrarea sa net conform relaiei (6.1), adic sub form matricial:
net[0] = WN .x[0]
T

(6.22)

Apoi se determin ieirea aplicndu-se funcia de activare intrrii nete:

o[k + 1] = f ( net[k ])
Funcia de activare este definit de relaia:
net [k ] pentru net[ k ] q f ( net[ k ]) = 0 pentru net[k ] < q

(6.23)

(6.24)

Ieirile tuturor neuronilor la momentul k+1 se folosesc pentru a determina intrarea net n neuroni la momentul urmtor de timp k+2. Se poate demonstra c aplicndu-se n mod recursiv relaiile (6.23) i (6.24) reeaua MAXNET va converge nspre o situaie n care doar neuronul cu cea mai mare intrare net iniial va rmne activ n timp ce toi ceilali vor converge spre activarea zero. Din acest motiv reeaua MAXNET se numete i reea de tipul (" ctigtorul ia totul " n englez winner-takesall). O reea similar este MINNET care la ieire va avea un singur neuron activ, acela cu cea mai mic stare de activare iniial. Exemplu Tipic o reea neuronal competitiv este alctuit din dou straturi de neuroni: -stratul de msurare al distanei; 124

-stratul competitiv, de tip MAXNET sau MINNET; Structura unei reele neuronale competitive este reprezentat n figura 6.9: x(n d(n m y(n m

D(x, W)

Strat Maxn

Regul de nvare Fig.6.9 Structura reelei neuronale competitive Fie un clasificator neuronal de caractere, implementat cu o reea Hamming ca prim strat i o reea Maxnet ca al doilea strat. Literele C, I, T sunt modelele prototip . RN va selecta clasa creia i aparine modelul aplicat la intrare, respectiv clasa la distana Hamming cea mai mic fa de acesta. Stratul Hamming va avea la ieire un neuron cu cea mai mare stare de activare , dac distana Hamming dintre modelul de intrare i categoria reprezentat de acel neuron va fi minim. Stratul MAXNET suprim ieirile tuturor neuronilor cu excepia celui care a avut cea mai mare stare de activare iniial. m m Fie modelul prototip pentru o clas m, s m = [s1 s 2 ... s m N]. Matricea ponderilor pentru stratul Hamming care realizeaz o clasificare n p categorii este dat de relaia:
(1) s1 1 ( 2) WH = s1 2 ( p) s1

s (21)
2) s( 2

s (2p )

1) L s (N ( 2) L sN p) L s (N

Pentru litera C, modelul prototip, conform imaginii de mai jos, are structura
s1=[1 1 1 1 -1 -1 1 1 1 1].

n mod similar pentru litera I modelul prototip este s2=[-1 1 -1 -1 1 -1 1 -1 1 ] i pentru litera T modelul prototip este s3=[1 1 1 -1 1 -1 -1 1 -1 ]. Matricea ponderilor pentru reeaua Hamming este:

125

1 -1 -1 1 1 1 1 1 1 1 WH = - 1 1 - 1 - 1 1 - 1 - 1 1 - 1 2 1 1 1 - 1 1 - 1 - 1 1 - 1

Intrarea net pentru reeaua Hamming este dat de relaia

net m = 1 m T N s x + , 2 2

pentru m=1,2, , p

sau de :
net m = N - HD( x , s (m ) )

unde HD este distana Hamming, numrul de poziii n care cei doi vectori difer.

Practic net ne d numrul de poziii n care cei doi vectori x i sm se aseamn.

f (net m ) = 1 net m N

Intrrile reelei Hamming sunt date de:

1 1 1 1 1 9 5 9 net 1 = [1 1 1 1 - 1 - 1 1 1 1] 1 + = + = 7 2 2 2 2 1 1 1 1

126

1 1 1 1 1 9 3 9 net 2 = [- 1 1 - 1 - 1 1 - 1 - 1 1 - 1] 1 + = - + = 3 2 2 2 2 1 1 1 1 1 1 1 1 1 9 1 9 net 3 = [1 1 1 - 1 1 - 1 - 1 1 - 1] 1 + = + = 5 2 2 2 2 1 1 1 1

Ieirile reelei Hamming sunt intrri pentru reeaua Maxnet la momentul 0 : 1 7 f ( net 1 ) = net 1 = 9 9
f ( net 2 ) = f ( net 3 ) = 1 3 net 2 = 9 9 1 5 net 3 = 9 9

ntr-o form vectorial modelul de intrare n reeaua Maxnet este:

7 x[0] = 9

3 9

5 9

Dac se alege =0.2 (care respect condiia <1/3), matricea ponderilor pentru reeaua Maxnet WN este :

127

 1 1 W N = 5 1 5

1 5 1 5

1 -

1 - 5 1 - 5 1

Intrarea net n MAXNET este la momentul initial :

1 1 net[0] = WN x[0] = 5 - 1 5

1 5 1 5

1 -

1 7 - 5 9 0.599 1 3 - = 0.067 5 9 0 . 333 5 1 9

Ieirile reelei Maxnet, respectiv intrrile nete la iteraiile succesive sunt:

0.599 o[1] = f (net [0]) = 0.067 0.333
1 1 net[1] = WN f ( net[0]) = 5 1 5 1 5 1 5 1 - 5 0.599 0.520 1 - 0.067 = - 0.120 5 0.333 0.120 1

1 -

0.520 o[2] = f ( net[1]) = 0 0.120

1 1 net[2] = WN f ( net[0]) = 5 1 5

1 5 1 5

1 -

1 - 5 0.520 0.480 1 - 0 = - 0.140 5 0.120 0.096 1

0.480 o[3] = f ( net[ 2]) = 0 0.096

128

 1 1 net[3] = WN f ( net[ 2]) = 5 1 5

1 5 1 5

1 -

1 - 5 0.520 0.461 1 - 0 = - 0.115 5 -7 0.120 - 10 1

0.461 o[4] = f ( net[3]) = 0 0

Ieirea reelei MAXNET rmne pentru toate iteraiile succesive aceeai :

o[4] = [0.461 0 0]
Aadar modelul de intrare, prototipul afectat de zgomot va fi clasificat ca litera C.

129

Optimizarea traficului ATM cu un controler neuronal de tip competitiv Se propune o metod de planificare a celulelor din memoria tampon a unui nod de comunicaie, ce utilizeaz un algoritm competitiv cu contiin. n Fig. 1 este reprezentat schema bloc a RN ca planificator de celule. Sistemul de comunicaii controlat are surse multiple la intrare i o singur ieire. Sursele genereaz date n perioade ON-OFF independente, dup o distribuie exponenial. Fiecare intrare a nodului de reea are cte o memorie tampon de aceeai capacitate maxim xb. Numrul celulelor dintr-o coad particular s-a notat cu xi. Numrul celulelor ntr-o coad particular a nodului variaz n timp dup o distribuie Poisson. Prebufferele netezesc datele generate de surse. RN selecteaz celulele de la intrri pentru transferul optim la ieire.

Server
2

Ieire

. .
N

x =[x1,x2,xN]

Intrri

Strat Kohone n
c =[c1, c2,cN] f =[f1, f2,fN]

Strat WTA

z =[z1,

Reea neuronal

Fig. 1 Schema bloc a controlerului neuronal Reeaua neuronal are trei straturi: unul de intrare, unul ascuns care determin o distan metric i unul de ieire de tipul "ctigtorul ia totul" . Primul strat formeaz componentele vectorului de intrare x=[x1,x2,...,xN]T, unde prin xN se reprezint numrul de celule la un moment dat din memoria tampon N. Al doilea strat conine neuroni adaptivi care calculeaz distana metric D(x,wi) ntre vectorul de intrare i propriul vector pondere wi = [wi1, wi2, ...,wiN ]T. Elementele de procesare furnizeaz distana dintre vectorul de intrare x i vectorul pondere w, D(x,wi). Distana poate fi de tipul distan euclidian, distan Manhattan, distan Minkovski sau altele . Ultimul strat este competitiv de tipul "ctigtorul ia totul". Neuronul cu diferena minim [D(x,wi)-ci] dintre distana D(x,wi) i pragul su ci, este declarat ctigtor i din coada de ateptare xi este selectat o celul pentru transfer spre ieire. Ieirea se calculeaz cu relaia urmtoare:

130

1 pentru D(wi, x) - ci = min(D(w i, x) - ci) zi = 0 n rest

(1)

Elementul de procesare declarat ctigtor i va modifica ponderile n conformitate cu legea de nvare Kohonen :

w i (k + 1) = w i (k ) + a w .(x - w i (k)). z i

(2)

unde aW este viteza de nvare cu valori ntre 0 i 1; i neuronii care au pierdut competiia i modific ponderile, dar cu o constant aL mai mic dect a neuronului ctigtor:

w i (k + 1) = w i (k ) + a L .(x - w i (k)). z i 0< aL < aW < 1

(3)

Astfel, toi vectorii pondere se deplaseaz spre vectorii de intrare cu fraciuni diferite, ca n figur. Vectorii pondere vor deveni mai dei acolo unde modelele de intrare sunt mai dese i mai rari sau chiar abseni acolo unde modelele sunt mai puine.

Fig. 2 Rotirea vectorului pondere spre vectorul de intrare att a neuronului m c tig tor ct i a neuronului p nvins. Dar legea de nvare Kohonen nu asigur, n general, un set de vectori pondere echiprobabili, existnd riscul ca odat declarat ctigtor un neuron el s rmn ctigtor. Problema echiprobabilitii vectorilor pondere se poate rezolva introducnd pentru fiecare neuron un termen numit "contiin" care monitorizeaz numrul de di succesive n care acesta a ctigat competiia.

131

Prezena "contiinei" evit i apariia neuronilor mori. Neuronii mori au ponderile prea ndeprtate de intrri, astfel nct ei nu au ansa de a ctiga vreodat competiia. Mecanismul cu de nvare cu contiin ofer anse i acestora i garanteaz c toi neuronii vor ctiga odat competiia.

a)

b)

Fig. 3a)Izolarea neuronului cu vectorul pondere deprtat de modelul de intrare b)Apropierea vectorului pondere cu ajutorul mecanismului cu con tiin. Dac un neuron ctig prea des competiia , de mai multe ori dect valoarea medie 1/N, contiina l elimin din competiie mrindu-i distana metric fa de intrare Fraciunea fi de timp n care care neuronul i a ctigat competiia este dat de relaia :
f i ( k + 1) = f i (k ) + b.[z i - f i ( k )] 0 < b <1

(4)

unde b se determin conform relaiei:

b = 1-

N -1 N

1 kd-1

(5)

termenul kd reprezint numrul de situaii n care un neuron a ctigat succesiv competiia; Aceast evaluare se face n pasul imediat urmtor al terminrii competiiei. Pentru fraciunea fi se calculeaz apoi un termen de polarizare care se sustrage din distana iniial D(wi,x): 1 ci = g ( - f i + q i f i (x i )) (6) N unde g este o constant, de acelai ordin de mrime ca i D, care se determin n fiecare slot cu relaia:
g= 1 N D(wi, x) N i =1

(7)

132

Termenul qi ofer posobilitatea de a acorda prioriti cozilor de ateptare. Termenul (xi) depinde de lungimea cozii de ateptare xi.
fi [k ] = 1 11 + 0.001 x i [k ] + Dx i Dk

(8)

Toi termenii xi sunt normai la capacitatea maxim a cozii de ateptare xb, astfel nct valoarea maxim a lui xi este 1. Constanta 0.001 evit situaia de mprire la zero, dac xi este aproape de 1. Termenul k este intervalul de timp corespunztor transferului unei celule, adic un slot. Primul termen al relaiei (8) permite creterea polarizrii pentru neuronul corespunztor cozii celei mai lungi. Rolul celui de al doilea termen este de a implica i rafalele n algoritmul de programare. Se observ n relaia (6) c pragul ci crete cu lungimea cozii de ateptare, astfel nct el determin descreterea diferenei [D(x,wi)-ci]. De fiecare dat cnd un neuron ctig competiia fi crete, n consecin ci descrete i diferena D(x,wi)-ci] va crete.Se observ din relaiile (6) i (8) c un neuron care ctig des competiia are un prag negativ semnificativ. Acest prag l ndeprteaz de ceilali neuroni concureni. Un neuron care ctig rar competiia are un prag pozitiv , care determin creterea probabilitii ca s ctige competiia.

Regula implementat de RN este c va fi deservit coada de ateptare cea mai lung, asigurndu-se transferul de celule spre ieire i evitndu-se depirea capacitii.
Observa ii 1.) Un punct slab al controlerului neuronal l reprezint determinarea empiric a coeficienilor b i g. 2.)Problema stabilitii n cazul n care vectorii de intrare nu sunt iniializai spre grupri potrivite i viteza de nvare este mare, aplicarea unui vector de intrare face ca s se modifice configuraia acestora, deci sistemul s nu mai ajung ntr-o stare stabil ci s evolueze continuu ca n Fig.4.

Fig. Reprezentarea instabilitii reelei neuronale n cazul unei rate de nvare mare Soluia este scderea treptat a ratei de nvare.

133

Rezultatele simulrii Pentru a testa RN propus s-au utilizat trei surse independente de tipul ON-OFF, cu o distribuie Poisson a generrii celulelor. Rata de vrf a celulelor a fost (3, 3, 1) celule pe slot, n perioadele active. Factorii corespunztori au fost (100/237, 307/167, 57/121) sloturi. Registrele de intrare au funcionat pe baza principiului primul venit, primul plecat i au avut o capacitate de xb=100 de celule.Fig.5a, b i c reprezint cozile de ateptate de la intrare xi generate de cele trei surse ntr-un interval de timp de 550 sloturi. Se observ c ele reprezint condiii relativ dificile pentru transferul ctre o singur ieire.

Fig.5 a Coada de ateptare de la sursa A n funcie de timp (sute de sloturi)

Fig.5 b Coada de ateptare de la sursa B n funcie de timp (sute de sloturi)

Fig.5 c Coada de ateptare de la sursa C n funcie de timp (sute de sloturi)

134

Ieirea primului neuron din stratul competitiv (sute de sloturi)

Ieirea celui de-al doilea neuron din stratul competitiv (sute de sloturi)

Ieirea celui de-al treilea neuron din stratul competitiv (sute de sloturi)

135

Rata de pierdere a celulelor din cozile de ateptare

136

137

Cursul 7
1.1 Reele neuronale celulare Generaliti Leon Chua si Lin Yang au fundamentat n 1988, la Berkeley, reelele neuronale celulare (RNC), o nou categorie de reele neuronale, cu o evoluie spectaculoas n ultimul deceniu, ce au generat o direcie de cercetare distinct . n articolul fundamental, Cellular Neural Networks: Theory ei definiie : Like a neural network, a cellular neural network is a large scale nonlinear analog circuit, which processes signals in real time. Like cellular automata, is made of massive aggregate of regularly spaced circuit clones, called cells, which communicate with each other directly only through its nearest neighbors. Each cell is made of a linear capacitor, a nonlinear voltage controlled current source and a few resistive linear circuit elements. Cellular neural networks share the best features of both worlds; its continuous time feature allows real time signal processing found wanting in the digital domain and its local interconnection feature makes it tailor made for VLSI implementation. Tams Roska d ulterior o descriere mai sintetic : Analog processor arrays placed on a 3D regular grid interacting within a finite neighbourhood: this is the CNN (cellular neural network) paradigm. Using other words: it is a programmable prototype machine performing nonlinear dynamic spatial convolutions in real time Din definiiile prezentate se contureaz cteva caracteristici eseniale ale RNC: structura geometric regulat, localitatea conexiunilor i programabilitatea , ceea ce le confer un potenial de procesare deosebit, n timp real. Datorit conexiunilor locale, RNC ofer un model relativ simplu i n acelai timp puternic pentru o reprezentare determinist a fenomenelor spaio-temporale (descrise prin ecuaii difereniale neliniare i cu ntrziere n timp). RNC reprezint cadrul adecvat pentru modelarea fenomenelor din diverse domenii : mecanic (analiza rezistenei materialelor), chimie (modele de coroziune), introduc urmtoarea

138

electromagnetism , geofizic (dinamica polurii), biologie (modelul retinei, modele de morfogenez i de difuzie). De la arhitectura de baz pn la inventarea mainii universale RNC , i a supercomputerului, n 1992, reelele neuronale celulare au cunoscut o dezvoltare fr precedent n tiin , concentrnd interesul cercettorilor din lumea ntreag, conducnd la formarea unor colective puternice, care colaboreaz ntre ele i a cror activitate le este dedicat, n mod special. De remarcat sunt : The Nonlinear Electronics Laboratory condus de profesorul L. O. Chua la University of California at Berkeley; The Analogic and Neural Computing Laboratory condus de profesorul T. Roska Computer and Automation Institute, Hungarian Academy of Sciences din Budapesta; The Vision Research Laboratory condus de California at Berkeley; The Neurobiology Laboratory condus de professorul J. H. Mori, la University of Medicine in Budapest; The Analog Integrated Circuit Design Laboratory condus de profesorul A. RodriguezVasquez la University of Seville; Laboratorul condus de profesorul A. Ushida la University of Tokushima; Laboratorul condus de profesorul P. P. Civalleri la The Technical University of Torino; Frana; Laboratorul condus de profesorul J. A. Nossek, la The Technical University of Munich; The Signal Processing Laboratory condus de profesorul G. Moschytz la ETH Zurich; Laboratorul condus de profesorul D. Wolf, la Goethe University, Frankfurt; Laboratorul condus de prof. J. Vandewalle, la Catholic University of Leuven, Olanda; Laboratorul condus de M. Tanaka la Sophia University, Tokyo; Cercetarea n domeniul RNC abordeaz o problematic cu o palet extrem de larg, care acoper aproape toate domeniile activitii umane (vezi fiierul n powerpoint): 1. prelucrri de imagini statice i dinamice extragere de contur, filtrare, halftoning, skeletonizare, sortare de obiecte n funcie de orientare sau dimensiune, detecie de minime i maxime, mrire i micorare de imagine; extragerea unui anumit model din imagine (detecia gurii i a ochilor pe imaginile faciale n micare, detecia mnerelor de u din imagini pentru protezarea orbilor); profesorul F. Werblin la University of la

The Laboratory PASTIC condus de professorul J. Zerubia la INRIA, Sophia - Antipolis,

139

 reconstrucie de obiecte tridimensionale prin interpolare i aproximare, rotaia obiectelor 3D; mbuntirea imaginilor prin eliminarea zgrieturilor, prin accentuare, prin mrirea contrastului (n microscopie, neurologie, analiza amprentelor digitale); recunoaterea caracterelor scrise ( latine i japoneze); compresia i decompresia imaginilor; recunoaterea bancnotelor (copiatoare inteligente); n mbuntirea imaginilor amprentelor digitale prin rezolvarea de ecuaii pariale difereniale n timp real segmentarea imaginilor, detecia defectelor din textura materialelor, din realizarea cablajelor; analiza i detecia micrii; detecie de inte multiple i urmrire; navigare ntr-un mediu necunoscut; monitorizarea traficului i detecia coliziunii; stereograme; 2. modele morfogenetice- implementarea unor modele biologice pentru percepia vizual (modelul retinei), pentru fenomenul de difuzie ntre membranele celulelor, pentru morfogeneza blnii mamiferelor, pentru deplasarea n mediu, pentru controlul deplasrii unor roboi (cu un sistem locomotor similar cu al viermilor, petilor, insectelor) prin rezolvarea ecuaiilor pariale difereniale de tipul
U = F ( U ) + D 2 U t

2 =

2 x 2

2 y 2

2 z 2

3. controlul roboilor, al deplasrii lor ntr-un mediu necunoscut 4. baze de date prin memorii asociative; 5. n medicin: -dezvoltarea unui sistem RNC analogic pentru analiza mamografiilor, n vederea diagnosticrii interactive a cancerului mamar; -detecia carcinoamelor bronhice i alte analize tomografice computerizate; -mbuntirea imaginilor din ecocardiografia ultrasonic; -analiza cromozomial, toolkit pentru partiia, identificarea i analiza defectelor posibile;

140

6. n telecomunicaii Egalizoare Avantajele oferite sunt urmtoarele: Procesarea n timp real; Se elimin problemele de convergen, datorit stabilitii RNC; Viteza de procesare depinde de constantele de timp ale circuitului i nu de ordinul filtrului; Faxuri, scannere i copiatoare cu funcii multiple Controlul admisiei apelului i al congestiei n reelele de comunicaii mbuntirea parametrilor globali de eficien 7. realizarea unor supercomputere dintr-o nou generaie, chipul RNC de maina universal i platforma pentru testarea lui; Sute de articole avnd ca subiect investigaiile teoretice, aplicaiile i proiectarea RNC, ct i modelarea neuromorfic prin RNC au fost elaborate n ultimii ani. Majoritatea studiilor n domeniu au fost publicate n volumele workshop-urilor sub egida IEEE dedicate reelelor neuronale i aplicaiilor lor. International Journal on Circuit Theory and Applications i Transactions on Circuits and Systems au consacrat numere speciale RNC . 1.2 O analiz a dezavantajelor i avantajelor reelelor neuronale 1.2.1 Dezavantajele O analiz critic a reelelor neuronale celulare dezvoltate pn n prezent relev cteva dintre dezavantajele lor, motenite de la categoria de RN, din care s-au desprins:
lipsa unei abordri teoretice unitare; generarea unei soluii particulare, adecvate numai n cazul unei aplicaii concrete, fiind

celulare

dificil adaptarea ei pentru o alt aplicaie ;

lipsa unor informaii referitoare la arhitectura necesar ntr-o aplicaie dat, date sub forma

unor reguli de construcie clar (de exemplu numrul de straturi, numrul de neuroni-strat, reea cu sau fr reacie). Majoritatea implementrilor au evoluat experimental, prin metoda trial and error , strict orientate spre gsirea soluiei ntr-o aplicaie concret.
structurile cu vecinti de ordin superior ridic probleme, dei datorit localitii

interconexiunilor RNC sunt mult mai uor implementabile; n cazul RNC cu matrici de interconexiune variante n spaiu calculul este distribuit n toat masa reelei , n concluzie, depanarea este dificil, dei mult mai accesibil dect n cazul altor

141

RN i greu este posibil localizarea componentei care duce la funcionare eronat la un moment dat.

1.2.2 Avantajele reelelor neuronale celulare

Avantajele reelelor neuronale celulare sunt date de caracteristicile care le particularizeaz n marea clas a reelelor neuronale i sunt: Localitatea conexiunilor ,de inspiraie biologic, reprezint caracteristica esenial a RNC i a fost practic determinat de necesitatea implementrii VLSI. Fiecare procesor elementar (celul) interacioneaz cu celelalte procesoare din reeaua neuronal, ntr-o vecintate finit . Raza vecintii este mult mai mic dect numrul celulelor din reea. Matricea de interconexiuni se numete cloning template . n majoritatea aplicaiilor aceasta este aceeai pentru toate procesoarele ,proprietate cunoscut sub numele de invarian n spaiu. Marele avantaj fa de alte RN este c depanarea , n cazul RNC cu matrici de interconexiune invariante n spaiu, este uor de realizat , datorit aciunii locale a operatorilor. Structura geometric regulat Toate procesoarele sunt identice ca structur electric, i pot fi specificate n mod unic prin civa parametrii, cel mult 19 numere reale [86]. Funcionarea unei RNC de orice dimensiune poate fi controlat prin modificarea a 19 parametrii a unui singur tip de circuit. Independena de dimensiune este cheia programabilitii att din punct de vedere soft, ct i hard. Programabilitatea Din punct de vedere soft , cele 19 numere pot fi interpretate ca un program ce implementeaz un anumit tip de funcionare a neuronului, un anumit algoritm. Implementarea aceluiai algoritm pe un computer digital convenional ar necesita scrierea unui program cu mii de instruciuni. Dac lum n considerare faptul c aceti parametrii se pot permuta ntre ei de 19! ori, fiecare situaie corespunznd unei RNC distincte, compresia este impresionant, fa de cazul instruciunilor unui computer digital Von Neumann. Din punct de vedere hard sunt necesare doar 19 conexiuni spre exteriorul chip-ului. Acestea permit programarea extern ,fr restricii datorate mrimii reelei. Fa de calculatoarele clasice seriale, unde timpul de procesare depinde exponenial de mrimea numrului de procesoare , timpul de stabilizare al unei RNC depinde linear n multe dintre cazuri. De fapt, pentru multe aplicaii timpul de procesare este independent de dimensiunea reelei.

142

Posibilitatea implementrii VLSI Prin localitatea conexiunilor i structura geometric regulat, RNC sunt un concept natural pentru implementrile VLSI .Acesta reprezint avantajul major al RNC fa de celelalte arhitecturi neuronale. Datorit proprietii de invarian n spaiu este posibil construirea de reele mari prin potrivirea condiiilor la limit, dintre chip-uri. Aceasta nseamn c mrimea unei RNC nu este restricionat de numrul neuronilor ce pot fi implementai ntr-un chip. Performana realizat, de 0.3 Terra operaii analogice pe secund, pe o suprafa de 1 cm2, reprezint o vitez de procesare fr precedent, care nu face dect s confirme supoziiile teoretice. Implementrile optice sunt n faz experimental, capabile de procesri cu viteze superioare. Potenialul de procesare Programabilitatea interconexiunilor de control, reacie i de polarizare le confer RNC un potenial de procesare deosebit, permindu-le o comportare variat i complex, inclusiv ca oscilator sau simulator de haos, n aplicaii ce necesit o deosebit capacitate de procesare (ca de exemplu probleme de optimizare global, de sortare ,de numrare, de filtrare median). RNC pot simula unde autogeneratoare (autowaves) pot produce Turing pattern-uri1 (ntr-un mod similar reaciei de difuzie studiate de Turing) sau pot genera alte fenomene dinamice spectaculoase, cum ar fi undele concentrice, spiralele . Evident comportarea reelei depinde de condiiile iniiale, de condiiile la limit, de structura geometric i de dimensiunile domeniilor spaiale. n colaborare cu neurologii a fost elaborat modelul retinei umane. Comportarea deosebit de complex a RNC a permis i generarea modelului difuziei chimice dintre dou membrane celulare, a unor modele morfogenetice. Astfel prin RNC se elaboreaz modele cu plauzibilitate biologica, ce permit o mai bun nelegere att a anatomiei creierului, ct i a procesrii cunoaterii umane. n acelai timp modelele RNC ofer un cadru experimental al degradrii funciilor biologice la deteriorrile structurale. Cea mai recent invenie n domeniu, maina universal RNC combin abordarea analogic cu cea digital . Ea este singura reea neuronal cu o dinamic similar funciilor de tip analogic implementate n emisfera dreapt a creierului i a funciilor de tip discret implementate n emisfera
1

Pattern - starea staionar de curent continuu obinut prin comportarea dinamic difereniat a unor elemente identice, cuplate ntr-o distribuie spaial regulat. Altfel spus: celulele unei RNC genereaz pattern-uri dac au ieiri inegale n starea de curent continuu.
Fenomene similare care implic o rupere a simetriei sunt studiate n biologie (modelele morfogenetice), biochimie (modelul de difuzie ntre membranele celulare), fizic, ecologie, electronic.

143

stng a creierului uman. Cu alte cuvinte, maina universal RNC este o prim ncercare grosolan a implementrii asimetriei a creierului uman. S-a demonstrat c maina universal RNC este o main Turing analogic , ea fiind capabil s rezolve orice problem ce poate fi soluionat cu un calculator clasic. Dezvoltarea unor algoritmi de nvare adaptivi i utilizarea tehnologiilor optice, electromagnetice i cuantice n implementarea pe scar industrial deschid noi perspective RNC. 2.1 Reele neuronale celulare generalizate 2.1.1 Arhitectura reelelor neuronale celulare generalizate In 1993, L.Chua i Guzelis au reunit in conceptul de reea celular neuronal generalizat (RNCG) toate variantele cunoscute de RNC . Definiia 1 O reea celular neuronal generalizat este un sistem neliniar, analogic, dinamic, format dintr-un numr mare de subcircuite cu o aceeai structur, plasate pe o gril tridimensional. Subcircuitele sunt sisteme dinamice, de ordin arbitrar, conectate local, ntr-o vecintate finit. Altfel spus, o RNCG este un procesor paralel programabil ce efectueaz convoluii dinamice spaiale n timp real. RNCG se pot considera o alternativ tridimensional analogic pentru automatul celular bidimensional inventat de von Neumann . O RNCG are, n cazul cel mai complex m straturi. Fiecare strat, la rndul su poate avea o arhitectur unidimensional, cu N1 celule, notat 1 ,bidimensional, de N1 x N2,celule, notat 2, sau o arhitectur n dimensional, de N1 x N2 x ... x Nn celule, notat n (Nj fiind un numr ntreg). Numim reea n dimensional cu m straturi, o RNCG format din m straturi cu n dimensiuni. Fig.2.1 reprezint structura unei reele bidimensionale cu trei straturi. Ca n figur, numrul celulelor i tipul conexiunilor dintre ele pot diferi de la un strat la altul. Fiecare unitate poate fi conectat att cu vecinii (n conformitate cu definiia 2) de pe stratul ei ct i cu cei de pe alte straturi. In cazul cel mai general fiecare celul a fiecrui strat poate fi conectat la celulele mai multor straturi. Ca de exemplu, n Fig.2.1 fiecare celul a fiecrui strat are conexiuni ntr-o vecintate de r=1. Stratul doi este complet conectat cu celelalte dou straturi, adic fiecare celul a stratului doi este conectat cu toate celulele stratului unu, respectiv trei. Fig. 2.2 ilustreaz cteva tipuri de conexiuni posibile ntr-o reea cu trei straturi.

144

n Fig.2.2a ieirile unitilor dintr-un strat k, k, sunt cuplate la intrrile unitilor din stratul urmtor k+1, caracteriznd o RNCG de tip feed-foward. n Fig.2.2b, ntro RNCG de tip cascad, ieirile unitailor stratului k sunt conectate nu numai la intrrile stratului k+1, ci i la cele ale straturilor consecutive , k+2, k+3, amd. RNCG recurent din Fig.2.2c. are conexiuni bidirecionale i/sau o bucl de reacie. Unitile de procesare au ca indici coordonatele spaiale. O celul din stratul k al unei RNCG n dimensionale cu m straturi se noteaz Ci1,i2,...,in,k unde ij ={1,2, ...,Nj} pentru toi j ={1,2, ...,n} i k ={1,2, ...,m}.In particular pentru n=1 o celul se noteaz Ci,k respectiv pentru n=2, Ci,j,k.

Fig.2.1 Reea neuronal celular generalizat cu trei straturi

145

Fig.2.2 Tipuri de RNCG a) feed-foward b) cascad c) recurent Definiia 2 Vecintatea Ni,l ,din stratul l, a unei celule Ci din stratul k, al unei RNCG n dimensionale, cu m straturi se definete prin relaia:

N i,l = { C v / dk,l (i; v) r k,l , i v = ( v1 , v2 , . . ., vn , l)

(2.1)

v j e { 1,2, . . ., N j } ptr. " j e { 1,2, . . . n } }

unde: dk,l,(i,v) este distana metric dintre vectorii de numere ntregi (i1, i2, ..., in, k)T i (v1,v 2, ...,v
T n,l)

i rk,l este un numr pozitiv ntreg. Se pot alege distane metrice diferite, pentru diferite valori k i l. Setul celor mai apropiate

vecinti pentru o celul Ci, este dat de reuniunea tuturor vecintilor Ni,l, din diferite straturi

N I = U N i ,l .
l

Se observ c n cazurile extreme, vecintatea cea mai apropiat a unei celule poate fi mulimea vid (nici o conexiune cu celulele nvecinate) sau poate conine toate celulele RNCG, ca n cazul reelei Hopfield. In cazul general, se pot alege r i d diferite pentru aceeai celul dintr-un strat, i/sau perechi de straturi. Acest caz genereaz o topologie neuniform, ceea ce nu este de dorit pentru o arhitectur neuronal. Vom considera n cele ce urmeaz reele cu aceleai valori rk,k i dk,k pentru celulele aparinnd unui strat k, si respectiv aceleai valori rk,l i dk,l pentru celulele din dou straturi diferite k, l.

146

Fig.2.3 Modaliti de conectare a unei celule intrastrat

Fig.2.4 Modaliti de conectare a unei celule interstraturi pentru o RNCG unidimensional, cu dou straturi

Fig.2.3 prezint cteva tipuri de conexiuni intrastrat pentru o reea bidimensional. In Fig.2.3a conexiunile sunt date de rk,k=1 i i dk,k=|i1 v1| + |i2 v2|; In Fig.2.3b rk,k=1 i dk,k=max(|i1 v1|, |i2 v2|); In Fig.2.3c rk,k=2 i dk,k=|i1 v1| + |i2 v2|; Fig. 2.4 prezint cteva posibiliti de interconectare a unei celule ntre straturi. Vecintile sunt date pentru cazul din Fig.2.4a de rk,k+1 = 1 i dk,k+1= |i1 v1|+ 1, respectiv n Fig.2.4b de rk,k+1 = 1 i dk,k= max (|i1 v1|,1). Pentru celulele aparinnd vecintii Ni, ponderile conexiunilor de control Biv, respectiv cele de reacie Ai,v se pot reprezenta sub form unor matrici. Aceste matrici de conexiune pot fi aceleai sau pot diferi de la o celul la alta. Definiia 3

147

O RNC cu matrici de control, reacie i polarizare invariante la transformrile de coordonate, adic , independente de i , se numete invariant n spaiu. n prezent exist diferite variante de RNC, ca de exemplu: RNC cu interconexiuni neliniare RNC cu diferite neliniariti RNC cu ntrziere n timp RNC cu vecinti multiple RNC cu diferite tipuri de vecinti

Instruciunile RNC universale funcionnd ca un procesor n timp real sunt succesiuni de matrici de interconexiune numite templates. Se pot defini algoritmi spaio-temporali, ca succesiuni de matrici de interconexiune: un template opereaz ntr-un anumit interval de timp, apoi altul opereaz asupra datelor generate la ieirea RNC, .a.m.d. Exist i posibilitatea de nvare prin adaptarea ponderilor. Pentru determinarea matricilor de conexiune exist mai multe metode ce se ncadreaz n 2 direcii clare, distincte, viznd aplicaiile RNC ca: 1. operatori spaiali 2. memorii asociative Algoritmi pentru convergena la puncte fixe Metode de tip gradient, pentru nvare de traiectorii prescrise pentru reelele neuronale celulare analogice Metode de nvare de traiectorii prescrise n reelele neuronale celulare discrete Algoritmi globali pentru reelele neuronale celulare discrete Algoritmi orientai spre implementarea hard Algoritmi genetici

2.2 Reele neuronale celulare analogice 2.2.1 Dinamica reelei

148

Reelele neuronale celulare analogice (RNCA) au fost primele introduse n 1988 , de L Chua i L Yang. Ele reprezint un caz particular al RNCG, fa de care se fac urmtoarele simplificri: reeaua are straturi bidimensionale. Dimensiunea unui strat k fiind de M x N celule, vom nota o celul cu Ci,j unde i {1,2, ...,M} i j {1,2, ...,N}; subcircuitul liniar dinamic este de ordinul nti; neliniaritatea aplicabil n unitatea de ieire este o funcie continu, liniar pe poriuni, definit de relaia:

f (x ) =
unde: |.| reprezint valoarea absolut ; bi = ci = 1, hi = 0 ;

1 (| x i + 1| - | x i - 1| ) 2

(2.3)

constantele ai = -a < 0 sunt aceleai pentru toate celulele; fiecare celul este conectat ntr-o vecintate Nr(i,j) dat de distana metric d(i,j;k,l):

d(i, j;k, l) = max (|i - k|, |j - l| ) r

(2.4) Dup cum se vede n Fig.2.6 vecintatea unei celule pentru r=1 conine 8 celule, pentru r=2 conine 24 de celule, amd.

Fig.2.6 Vecintatea unei celule pentru r=1,r=2,r=3 In aceste condiii sistemul de ecuaii (2.2) se poate scrie sub forma:

149

Ecuatia de stare Cx i, j (t) =1 A i, j;k,l y k,l (t) + B i, j;k,l u k,l (t) + I x i, j (t) + R C k, l e N r (i, j) C kl e N r (i, j) pentru 1 i, k M si 1 j, l N
Ecuatia de intrare: u i, j = E i, j
Ecuatia de iesire: y i, j (t) = 1 (| x i, j (t) + 1| - | x i, j (t) - 1 | ) 2
(2.5)

Conditii de stare: | y i, j (0)| 1 ; | u i, j | 1

Conditii asupra parametrilor: A i, j;k,l = A k,l;i, j ; C 0, R 0

unde: u este intrarea independent; x este starea celulei; y este ieirea;

Nr este vecintatea de ordin r a celulei; A este matricea de conexiune de reacie, B este matricea de conexiune de control i I matricea de polarizare; R i C sunt constante pozitive; Figura urmtoare reprezint schema bloc a ecuaiei de stare.

150

2.2.2 Structura unei celule

Sistemul descris de ecuaiile (2.5) poate fi modelat prin circuitul din Fig.2.7

u ij

x ij

y ij

Ry E ij I C Rx Ixu (i,j;k,l) Ixy Iyx(i,j;k,l)

Fig.2.7 Un exemplu de circuit pentru o celul Ci,j Fiecare circuit Ci,j conine o surs independent de tensiune, Eij, o surs independent de curent, I, o capacitate liniar C, dou rezistene liniare Rx i Ry i cel mult 2m (m reprezint numrul celulelor nvecinate) surse liniare de curent controlate n tensiune, cuplate la celulele vecine prin tensiunea de control ukl i reacia de la tensiunea de ieire ykl a tuturor celulelor vecine Ckl .

151

Fig 2.8 Caracteristica sursei neliniare de curent controlate n tensiune In particular, sursele de curent controlate n tensiune sunt liniare Ixy(ij,kl) = Aij,kl i Ixu(ij,kl) = Bij,kl. Singurul element neliniar este o surs de curent controlat n tensiune Iyx = (1/Ry) f(xi,j) cu caracteristica f(.) dat n Fig.2.8. In practic, amplitudinea semnalului poate fi normalizat pentru a ndeplini condiiile parametrilor. Valorile rezistenelor pot fi convenabil alese, ele determinnd i puterea disipat de circuit. Rezistenele Rx i Ry au valori cuprinse ntre 1kW i 1MW. CRx este constanta de timp a circuitului i este uzual aleas de ordinul 10-5 - 10-8s.

2.3 Reele neuronale celulare discrete 2.3.1 Dinamica reelei Aproximnd ecuaia diferenial de stare din sistemul (2.5) cu o ecuaie cu diferene finite, unde t=nT, T fiind o constant unitar de timp se poate obine sistemul de ecuaii (2.6), care caracterizeaz o reea neuronal n timp discret (RNCD) [47], [48]:

x i, j[n + 1] =

C k, l e N r (i, j)

A i, j;k,l y k,l [n] +

C k, l e N r (i, j)

B i, j;k,l u k,l [n] + I

ptr. 1 i M ; 1 j N
(2.6)

152

 1 daca x[ n + 1 > 0 y[ n + 1] = f ( x[ n + 1]) = - 1 daca x[ n + 1] < 0

Spre deosebire de RNCA sistemul discret are doar ieiri binare ponderate prin operatorul de reacie. Ieirea binar a unei celule este determinat de semnul tensiunii de stare a celulei, din iteraia anterioar i este nedeterminat pentru o tensiune nul. Practic ns, exist ntotdeauna un zgomot care determin o stare diferit de zero. Algoritmul este relativ insensibil la variaiile date de tolerana parametrilor reaciei , controlului i polarizrii, dac este ndeplinit condiia:

D = min|

C k, l e N r (i, j)

A (i, j;k,l) y k,l [n] +

C k, l e N r (i, j)

B (i, j;k,l) u k,l [n] + I|

ptr. 1 i M ; 1 j N
(2.7) Comparativ cu modelul analogic, cel n timp discret, are cteva avantaje importante: a) Datorit utilizrii semnalelor binare, interconectarea mai multor chipuri este foarte simpl. b) Insensibilitatea parametric dat de ecuaia (2.7) determin robusteea reelei la toleranele de fabricaie, dac ponderile conexiunilor au fost proiectate corect.

c) Viteza de propagare poate fi controlat ntr-un domeniu larg schimbnd doar frecvena tactului.
Aceasta faciliteaz i testarea circuitului. RNC au aplicaii n diverse domenii ce implic: procesarea de imagini; modelarea neliniar i optimizare; modelarea spaio- temporal controlul structurilor distribuite n spaiu

Cea mai recent realizare hard, computerul analogic este prima ncercare de simulare a modului de operare analogico -logic al creierului.

153