Sunteți pe pagina 1din 172

Optimizarea reelelor

Optimizare (DEX) alegerea i aplicarea soluiei optime dintre mai multe variante posibile Exemple: -alegerea topologiei reelei locale private a unei mari firme -atribuirea canalelor de frecven utilizatorilor simultani ntrntr-o reea de comunicaii mobil Trebuie satisfcute mai multe constrngeri - exist un numr mare de candidai ce satisfac cerinele de proiectare. Exist o singur variant optim Soluii obinute prin: - variante elaborate ale unor tehnici clasice - tehnici inteligente

Tehnici inteligente

Programe de inteligen artificial sisteme expert Sisteme fuzzy, fuzzy, bazate pe mulimi vagi Reele neuronale Algoritmi bazai pe cutri ntrntr-o populaie de variante, cum sunt algoritmii genetici i algoritmii evolutivi

Caracteristica esenial a problemelor din comunicaiile moderne este caracterul DINAMIC (ntrntr-o permanent schimbare) schimbare) Tehnicile de optimizare care trebuie s gseasc o soluie rapid i eficient ntre numeroase soluii posibile TREBUIE fie ADAPTIVE s furnizeze o soluie corect aproape instantaneu

Optimizarea reelelor Obiectivele cursului


Conturarea problemelor care pot apare n comunicaii i a direciilor posibile de optimizare Prezentarea unor arhitecturi de reele neuronale i a algoritmilor uzuali de antrenament. Expunerea unor aplicaii de optimizare a traficului utiliznd reele neuronale . Crearea bagajului de cunotine teoretic i practic necesar pentru identificarea aplicaiilor posibile de optimizare a telecomunicaiilor, pentru optimizarea dimensiunii, proiectrii i utilizrii unei reele de comunicaii

Cerine

Dorina de a nv a Prezen efectiv Minte deschis Seriozitate S v strduii s comunicai corect cu cadrul didactic, pornind de la premiza c el chiar vrea s v nvee ceva util

Ce s nu facei

S nu dormii n timpul orelor Altceva dect ceea ce vi se cere S nu ncercai s fraierii cadrul didactic S nu (v) minii

Premize

Rezultate ateptate

Coninutul cursului
Introducere Caracteristicile reelelor moderne de telecomunicaii i ale traficului manipulat. Sistemul global de comunicaii 4G Modelul unui sistem de transmisie prin satelit Direcii de optimizare a reelelor de comunicaii cu reele neuronale Argumente ale utilizrii reelelor neuronale n optimizarea reelelor Problema clasificrii de semnale cu reele neuronale

Componentele reelelor neuronale : modele de neuroni, reguli de nv are, funcii de activare Limitele unui neuron i ale reelelor neuronale cu un strat

Reele neuronale multistrat tip feedfeed-forward


Algoritmul propagrii inverse a erorii n reelele multistrat Aspecte importante ale nv rii algoritmului propagrii inverse a erorii n reelele multistrat

Caracterizarea i predicia traficului

Aplicaie a unei reele neuronale cu mai multe straturi de tip spre nainte

Egalizarea adaptiv a canalelor de comunicaii


cu reele neuronale multistrat de tip spre nainte cu reele neuronale pe baz de funcii radiale cu reele neuronale recurente

Controlul apelului i admisiei conexiunii

Controlul apelului i admisiei conexiunii pe baza caracterizrii i prediciei parametrilor traficului de comunicaii Controlul traficului pe baza l imii de band necesare pentru un serviciu Controlul apelului i admisiei conexiunii pe baza evalurii calit ii serviciului

Comutarea de pachete de date


cu reele competitive cu reele neuronale cu reacie

Controlul fluxului i rutarea dinamic


Aplicaii le reelei Hopfield n rezolvarea problemelor de optimizare

Recunoatere de forme
Recunoatere de caractere cu reele Hopfield i reele competitive

Aplicaii ale reelelor neuronale celulare


n procesarea de imagini n rezolvarea unor probleme de optimizare a traficului

Bibliografie selectiv
[P.Bourret, ,M.Samuelides," P.Bourret, 91] .Reggia .Reggia, M.Samuelides," Rseaux neuronaux, neuronaux, une aproche connexioniste de lIntelligence Artificielle", Teknea Artificielle",Teknea Toulouse,1991 [C.Botoca,04] Rseaux de neurones. neurones. Applications dans le traitement du signal Editura Politehnica, 2006 2006 [M. Bulea, Bulea, 04] 04]Prelucrarea imaginilor i recunoaterea formelor formelor, Editura Academiei Romne, 2004 [I.Ciocoiu, I.Ciocoiu, 00] "Reele neurale artificiale", Editura CANTES, IAI, 2000 [L.O.Chua, L.O.Chua, 97] T.Roska "Cellular Neural Networks. Networks. Premiries and Foundations ", Notes course Berkeley,1997 [R. Dogaru, Dogaru, 99] Ov. Ov. Grigore, Sisteme neurale si cu logic fuzzy. fuzzy. Implementri informatice i aplicaii ii, Ed. Printech, Printech, Bucureti, 1999 [R. Dogaru, Dogaru, 03] Universality and Emergent Computation in Cellular Neural Networks Networks ,World Scientific, Scientific, 2003 [D.Dumitrescu, D.Dumitrescu, 96] H.Costin, H.Costin, "Retele "Retele Neuronale", Editura Teora, Teora, 1996 [S.Haykin, S.Haykin, 94] "Neural Networks" Networks" Mcmillan Publishing Co.,Englewood Co.,Englewood Cliffs,1994

[R.Hecht" AddisonR.Hecht-Nielsen, Nielsen, 90] "Neurocomputing "Neurocomputing" Addison-Wesley Publishing Company, Company, 1990 [T.Kohonen, T.Kohonen SelfT.Kohonen, 89] Self-organisation and Associative Memory Memory, Springer Verlag, Verlag, Berlin Heidelberg, Heidelberg, 1989 [B.Kosko, B.Kosko "Neural Networks and Fuzzy B.Kosko, 92.1] Systems", Prentice Hall Inc., Englewood Cliffs, Systems",Prentice Cliffs, NJ,1992 [B.Kosko, B.Kosko "Neural Networks for Signal B.Kosko, 92.2] Processing", Prentice Hall Hall Inc, Englewood Cliffs, Processing",Prentice Cliffs, NJ,1992 [A. Moise, 05] A. Moise, Reele neuronale pentru recunoaterea formelor formelor, Editura MatrixRom, MatrixRom, Bucuresti, Bucuresti, 2005 [H.N. Teodorescu, H.N. Teodorescu Intelligent Teodorescu, 04] Systems in Medicine Medicine, Editura Performantica Iasi, Iasi, 2004 [S. Zahan, S. Zahan, Zahan, 99] Zahan, Reele neuronale n telecomunicaii.Aplicaii Editura Albastra, ClujCluj-Napoca, 1999

[I.Zurada, I.Zurada " Introduction to Artificial Neural Systems. I.Zurada, 92] Systems. Learning and Applications ,1992 Applications,West Publishing Co.,Wien Co.,Wien,1992 [***, 95] Student Edition of Mathlab V4, User's Guide, Guide, Prentice Hall, Hall, Englowood Cliffs, Cliffs, NJ, 1995 [Y.H. Hu, Hu, 02] Yu Hen Hu, Hu, JengJeng-Neng Hwang, Hwang, Handbook of Neural Networks. Processing, CRC Press, 2002 Networks. Signal Processing,

Reviste

" IEEE Communications Magazine" " IEEE Transactions on Communications" Communications" " IEEE Transactions on Circuits and Systems" Systems" " IEEE Transactions on Neural Networks" Networks" "Neural Computation" Computation" " IEEE Transactions on Networking" Networking"

1.1. Introducere
n 1876 experimentul lui Alexander Graham Bell naterea telecomunicaiilor. Dup Dup 10 ani 155.000 de telefoane n uz n SUA. Telecomunicaiile au avut o evoluie fr precedent n tiin: de la comutarea de circuite la comutarea de pachete de mare vitez, de la transmisiile prin cablurile de cupru la cele prin fibre optice, prin satelit i comunicaiile mobile. Revoluie tehnologic -nlocuirea reelei de telecomunicaii cu un sistem digital avansat BB-ISDN (Broadband Integrated Services Digital Network) a fost determinat de: de: creterea volumului de informaii vehiculate pe canalele de comunicaii, cererea de noi servicii necesitatea realizrii unor aplicaii la viteze din ce n ce mai mari, de ordinul gigabiilor pe secund (sau chiar Tbiilor) ilor)

Exemple de servicii care necesit integrarea reelelor telefonice cu reelele de calculatoare, pentru a se putea asigura transmisia att a semnalelor continue video /audio ct i a celor numerice: , comunicaiile multimedia, televiziunea de nalt definiie, comunicaiile la distan interumane nsoite de realitate virtual (telemedicin, nv mntul la distan) servicii de comunicaii personale
videoteleconferina

1.2. Caracteristicile reelelor moderne de comunicaii


Reelele moderne de comunicaii au : un numr de mii de noduri diferite tipuri de surse, diferite tipuri de trafic, care deservesc un numr variabil, variabil, foarte mare de utilizatori INIIAL orientate pe mbunt irea serviciilor vocale reelele au evoluat spre deservirea comunicaiilor multimedia. N PREZENT comunicaiile multimedia i videoconferinele reprezint preponderent traficul - necesit o band larg de frecvene ocupate. Bazele de date geospaiale care consum chiar mai mult band dect comunicaiile multimedia.

Comunicaiile interumane - nv m mntul la distan i telemedicina, telemedicina, nsoite de realitate virtual, necesit necesit nu numai o band foarte mare dar i parametrii care definesc calitatea serviciului satisfctori (QoS quality of service). Scopul BISDN este s ofere o palet larg de servicii unui numr ct mai mare, mare, variabil de utilizatori la diferite viteze (rate de bit) ntrntr-o manier eficient la un pre accesibil. BISDN trebuie s asigure integrarea reelelor prin satelit cu reelele mobile, celulare i cu reelele terestre.

BISDN trebuie s garanteze componentelor conectivitate total (global roaming) roaming) n condiiile: - unei capacit i ct mai mari de transmisie - a unei viteze de procesare n timp real - satisfacerii parametrilor QOS.
compatibilitatea

n prezent - generaia 3 a sistemelor de transmisie, transmisie, se prefigureaz deja generaia 4G, 4G, operabil operabil din 2010. 2010.

Sistemele de comunicaie curente suport att aplicaiile iile multimedia ct i internetul . internetul. ExempluExemplu- sistemul Spaceway ce asigur o legtur de transmisie n jos cu viteze de pn la 100Mb pe secund i o capacitate total de 4,4 Gb/s. Gb/s.

ATM (Asynchronus Transfer Mode) -tehnologie cheie pentru B-ISDNISDN- informaia este segmentat n pachete de lungime fix, numite celule, ceea ce faciliteaz comutarea de mare vitez. are un antet care determin destinaia, Fiecare celul permind astfel o rutare transparent prin reea. Celula conine i alte informaii necesare pentru o mai bun circulaie a acesteia prin canalul de comunicaie. Celulele sunt asignate i transmise prin multiplexare n timp la cererea utilizatorului. Transmisia ATM poate fi utilizat n toate mediile de comunicaie existente: cablu coaxial cablu torsadat fibre optice

Organizaia ATM Forum recomand utilizarea urmtoarelor interfee fizice pentru ATM: FDDI, Fiber Channel, Channel, SONET, Frame Relay i X.25. Tehnologia ATM ndeplinete cteva dintre obiectivele majore ale BISDN: suport toate serviciile existente n prezent, asigur o utilizare eficient a resurselor reelei, minimizeaz timpul de procesare n nodurile intermediare, suport viteze mari de transmisie, transmisie, garanteaz performanele necesare pentru aplicaiile existente.

Pentru dezvoltarea reelelor de comunicaii exist mai multe scenarii - toate au la baz transmisiile prin satelit -fie c utilizeaz tehnica ATM, ATM, fie protocoalele INTERNET. Reeaua global trebuie s integreze reele ATM cu Internetul.

1.3. Caracteristicile traficului ntrntr-o reea modern de comunicaii


Toi parametrii traficului si variaz: numrul utilizatorilor, utilizatorilor, topologia reelei, ratele de transfer ale informaiei, l imea de band necesar

Cerinele transmisiei difer n funcie de serviciile oferite utilizatorilor. -Vocea mpachetat -band relativ redus, dat dat de o vitez de transmisie de aproximativ 8 kb/ /s, dar necesit o kb/s-64kb 64kb/s, ntrziere redus pentru a asigura calitate la destinaie. -Traficul video - band mai larg, dat dat de o transmisie de 128128384 kb/s kb/s i o ntrziere redus n transmisie. -Traficul de date, respectiv de fiiere sau email, poate accepta laten n transmisie fr deprecierea parametrilor QOS. QOS. Emailul necesit band redus, dar transmisia de fiiere necesit band larg. Traficul se desf oar n rafale i modelarea sa este posibil doar n anumite condiii de constrngere i pentru aplicaii specifice. Domin modelele exponeniale, care ns ss-au demonstrat a fi adecvate doar la o scar limitat de timp. timp. Nici Nici unul dintre aceste modele nu este capabil s ilustreze exact propriet ile traficului real.

Limitrile algoritmilor convenionali se datoreaz necesit ii modelrii matematice exacte a problemeiproblemei-dificil de realizat n condiiile complexe ale traficului real.

Traficul Poisson se netezete pe msur ce intervalul de timp crete. Traficul real este i la o scal de timp mai mare tot n rafale, aa cum era la scal redus - ca form traficului real a rmas neschimbat. neschimbat. Obiectivul strategiei administrrii eficiente ATM - un nalt grad de utilizare, cu satisfacerea parametrilor de calitate a serviciilor. Proiectarea unei astfel de strategii utiliznd tehnicile de programare tradiionale nu poate fi eficient datorit gradului mare de complexitate. complexitate. Este necesar o schimbare radical de opinie, opinie, n sensul abandonrii teoriei ateptrii, rii, cu cu o matematic exact.

Sunt necesare metode noi i complexe de abordare, cu o uria capacitate de procesare, procesare, vitez vitez de calcul i control n timp real. Reelele de comunicaii ale viitorului trebuie s fie: fie: sisteme adaptive i inteligente, inteligente, pentru a asigura: flexibilitatea i fiabilitatea reelei, predicia exact a parametrilor traficului, utilizarea eficient a canalului disponibil, disponibil, n raport cu diferite administrarea optimizat medii, Nu modelarea stohastic i analiza cozii de ateptare reprezint rspunsul problemelor complexe pe care le ridic traficul modern, modern, ci tehnicile inteligente.

1.4. Parametrii de calitate ai serviciilor


-definii de Forumul ATM -sunt parametrii tehnici asociai unei conexiuni pentru un bun control al traficului.

Cei mai importani : rata de pierdere a celulelor (CLR cell loss rate) procentul de celule care nu au fost livrate la destinaie, fiind pierdute n reea datorit congestiei i supra suprancrcrii cozilor de ateptare;
rata

de vrf a celulelor (PCR peak cell rate) rate) rata maxim de celule la care se poate transmite ;

ntreinut a celulelor (SCR sustained cell rate) rata medie de transmisie a celulelor pe durata unei conexiuni;

rata

ntrzierea celulei datorat transferului (CTD cell transfer delay) delay) suma tuturor ntrzierilor unei celule de la intrarea n reea pn la punctul de ieire ( (ntrzieri de propagare n cozile de ateptare);

variaia ntrzierii unei celule (CDV cell delay variation) variation) variaia ntrzierilor n transferul unei celule de la intrarea n reea pn la punctul de ieire;

Exist servicii: servicii: - reeaua garanteaz parametrii diferiilor garantate utilizatori, adic adic minimul, minimul, maximul, un prag specificat. cu "best "best effort" effort"- parametrii QOS sunt n funcie de starea reelei. Nu exist nici o garanie a parametrilor serviciilorTransmisia emailuemailu-lui este astfel asigurat.

1.5. Sisteme de comunicaii prin satelit Tendine n sistemele 4G


O reea global ce ofer servicii multimedia cu parametrii QOS
conform cerinelor, elor, in mod flexibil utilizatorilor, la cerere, oricnd i oriunde, oriunde, la un pre pre accesibil Noi servicii, compatibilitate ntre sisteme diferite Capacitate mai mare 10x cea a sistemelor 3G Cost 1/ 1/10 - 1/100 din cel curent per bit procesare n timp real, pentru serviciile multimedia interactive, deci mai puine tolerane la erori i ntrzieri (mai mici dec dect 50 ms)

Sisteme de transmisie de band larg, prin satelit bazate pe tehnologia ATM, cu OBP (onboard processing unit) i OBS(onboard OBS(onboard switch) sofisticate i legturi intersatelii Implic i utilizarea altor tehnologii moderne ca modulaiile multiple de amplitudine, CDMA i turbocodurile pe transpondere (bentbent-pipe transponder relays). relays). Factorii de care depinde proiectarea: acoperire cerinele traficului cerinele utilizatorului cost

Amplasarea sistemelor prin satelit -pe orbite: geostaionare GEO (geostationary (geostationary orbit) , medii MEO (medium (medium sau midle earth orbit) joase LEO (low (low earth orbit), sau combinaii, dependent de acoperirea i serviciile prestate. Satelitul GEO (geostationary (geostationary orbit) amplasat la 22300 mile (35786 km) distan de suprafaa pmntului i se rotete odat cu acesta.1 acesta.1 mil este 1,5 km. Staia terestr intete un singur punct n spaiu. Sistemele viitorului vor folosi satelii MEO i LEO.

10

Satelitul MEO - amplasat la o distan ntre 1000 i 22300 mile (35786 km) de suprafaa pmntului. mntului. Satelitul LEO -amplasat la o distan ntre 400 i 1000 mile de suprafaa pmntului se deplaseaz cu viteze mari, mari, n jur de 8 km pe secund, sau sau 27400 27400 km pe or, adic adic o revoluie complet la 90 min. min.

Nu sunt necesare legturi ntre satelii i sistemele sunt adecvate pentru zone izolate. Dei gradul de acoperire GEO este un avantaj fa de MEO i LEO, timpul de ntrziere mai mare al transmisiilor le face mai puin adecvate pentru aplicaiile interactive multimedia ale sistemelor 4G.

pentru

LEO ntrzierea este de ordinul a 10 ms ms ptr. ptr. GEO 250250-270 ms.


ptr. ptr. MEO 8o

Alte ntrzieri datorate procesrii i transmisiei sunt de ordinul a 8080-100 ms ptr. ptr. traficul regional i 250250270 ms ptr. ptr. traficul internaional pot fi limitative ptr. ptr. calitatea transmisiei.

Carenele sistemelor LEO i MEO : datorit deplasrii rapide exist ntreruperi ntre terminal i satelit (handover ) ptr. (handover) ptr. o perioad scurt de timp.

Mobilitatea mare determin schimbri regulate n topologia reelei i transmisia este supus efectului Doppler i atenurilor datorate transmisiilor pe ci multiple (multipath (multipath fading) Sistemele LEO i MEO depind de legturile intersatelit pentru asigurarea acoperirii. acoperirii. Exist Exist astfel riscul s apar erori de jitter care altereaz vocea i performanele QOS.

11

Primele

sisteme prin satelit erau n banda C (2,4 -4,2GHz) (2,4-

Proiectarea curent - orientat spre banda K (Ku i Ka). Ka). Aceasta a permis i rspndirea terminalelor cu apertur redus i n zonele n care sistemele celulare nu exist, implementarea lor fiind prea scump. n viitor - frecvene din ce n ce mai mari pe msur ce spectrul de frecven devine tot mai redus.. redus..

Utilizarea unei modulaii de amplitudine n cuadratur 256256QAM n sistemul Spaceway n locul modulaiei QPSK creterea vitezei de transmisie la 400Mb/s i la o capacitate total de 17,6 Gb/s Gb/s pentru o aceeai band ocupat ca n prezent.

Fig.1.2 Atribuirea benzilor de frecven din domeniul microundelor industrial i IEEE; zonele haurate indic variaii ntlnite n literatur, zonele nnegrite indic frecvenele ptr. care exist un consens larg; sgeile indic definiiile curente IEEE

12

a)

b) Fig.1.3 Tipuri de arhitecturi pentru sistemele de transmisie prin satelit

Fig. 1.4 Detaliu ptr. tipul b) de arhitectur a unei reelei globale prin satelit

NCS Network Control Station este staia de control care asigur controlul general al resurselor reelei i operaiile de rutare; rutare; GTW(Gateway stations) stations) Staiile poart sunt staii terestre care asigur conectivitatea cu reelele terestre; SAU (Satelite adaptation unit) staia de adaptare a satelitului este o unitate special care asigur accesul la reeaua prin satelit; IWU (Interworking units) units) furnizez roaming ntre reele i diferite standarde pentru a evita ntreruperea recepiei unui anumit serviciu. OBS (Onboard switch) switch) respectiv OBP (Onboard processing unit) asigur multiplexarea, demultiplexarea, codarea de canal / decodarea, comutarea comutarea rapid . IN (Intelligent Network) Network) este este platforma de protocoale inteligente care asigur localizarea informaiei, funcionarea i ntreinerea ntregului sistem

13

Staia de control (Network Control Station) Station) este n sistemele geostaionare, n mod uzual, cte una pe satelit. -asigur controlul general al operaiilor i resurselor reelei. Staia de control asigur resursele radio staiilor poart conform unei strategii de planificare a resurselor pe termen lung. Nodul de control este responsabil cu rutarea i administrarea accesului. Ca de exemplu, exemplu, actualizeaz actualizeaz locaiile, autentific autentific, nregistreaz, terge i pltete, adic adic contorizeaz apelul. apelul. -n sistemele non geostaionare aceste operaii se realizeaz n mai multe staii poart, n mod distribuit. Staiile poart GTW(Gateway stations) stations) sunt staii terestre care asigur conectivitatea cu reelele terestre; -ntrntr-un sistem pe orbit geostaionar plasamentul acestor staii i numrul lor depinde doar de solicitrile traficului. traficului. Acolo Acolo unde traficul este intens numrul staiilor terestre este mare. -n sistemele non geostaionare numrul i amplasamentul staiilor poart depinde i de unele caracteristici de proiectare. De exemplu , ntrntr-un sistem pe orbit medie, medie, fr legtur ntre satelii un numr mai mic de zece staii poate asigura conectivitatea total a utilizatorilor n majoritatea timpului

Staia de adaptare a satelitului SAU (Satelite adaptation unit) este este o unitate special care asigur accesul la reeaua prin satelit. Ea realizeaz toate adaptrile de protocoale necesare de la terminalul utilizatorului la platforma de protocoale a satelitului. Include toate funciile nivelului fizic ale transmisiilor, adic adic codarea de canale, canale, modulaia / demodulaia, procesarea semnalului de radofrecven. Ea Ea furnizeaz o interfa de acces similar UNI (user network interface) interface) ptr. ptr. ATM. Reeaua prin satelit trebuie s opereze cu diferite tipuri de terminale i cerine de transmisie, de la viteze de 8 816 kb/s kb/s pn la 144 kb/s kb/s (sau 384 kb/s) kb/s) pentru terminale de uz personal, pn pn la 2048 kb/s kb/s sau mai mari, pentru restul utilizatorilor.

Un sistem pe orbit joas necesit zeci pn la sute de staii terestre, dar numrul lor poate fi redus utiliznd legturi ntre satelii. Toate terminalele folosesc aceeai schem de acces i stiv de protocoale.

OBS (Onboard switch) switch) respectiv OBP (Onboard processing unit) asigur multiplexarea, multiplexarea, demultiplexarea, codarea de canal / decodarea, decodarea, comutarea comutarea rapid . Tehnologia ATM este uneori utilizat. Unit Unit ile de comutare ATM sunt experimentale i includ doar pri ale funciilor pe care ar trebui s le ndeplineasc comutarea ATM terestr. Majoritatea operaiilor ce necesit o mare putere de procesare sunt realizate terestru, ca de exemplu controlul admisiei i terminarea apelului. Tehnologiile de vrf ale OBP trebuie s asigure integrarea n acelai sistem a terminalelor mobile ieftine cu aplicaiile de mare vitez. Aceasta Aceasta permite reducerea complexit ii i numrului staiilor terestre, utilizarea de emitoare, toare, receptoare receptoare de dimensiune redus, uoare i mobile. Se poate poate separa astfel legtura de transmisie n sus de cea de transmisie n jos, n scopul optimizrii separate. separate. Astfel nct este posibil utilizarea unei puteri de emisie mai mici i reducerea efectului neliniarit ilor introduse de transpondere sau de canalele adiacente.

14

Caracteristicile eseniale ale OBP n transmisiile de mare vitez ale viitorului sunt flexibilitatea i reconfigurabilitatea i se refer la : Reprogramarea memoriilor de control ; Reconfigurarea staiilor terestre ; Asigurarea comutrii de pachete i de circuite ; Adoptarea a diferite strategii de control, i de flux ptr. ptr. zone diferite dependent de ncrcarea i de tipul traficului ; OBP trebuie s asigure servicii compatibile cu structura BISDN/TCP/ IP, servicii compatibile ptr. ptr. aplicaiile de date i cele video la cerere, servicii punct la punct i servicii multipunct.

Comutarea poate fi integral pe satelit sau comutare parial asistat de staiile terestre. n primul caz, pe satelit se face toat procesarea i comutarea, echipamentul de pe satelit devine complicat i scump, dar staiile terestre sunt simplificate. n al doilea caz, staiile terestre asist procesarea i comutarea de pe satelit, a crui echipament se simplific. Sigurana n funcionare este astfel crescut. OBP se poate realiza cu : Procesare i comutare n banda de baz ; Cu comutare pe frecvena intermediar ; Cu comutare rapid de pachete; pachete; Cu comutatoare fotonice n banda de baz ; Cu comutatoare ATM ; Dependent de tipul traficului, comutarea n banda de baz poate fi orientat spre circuit sau spre pachete. pachete. O provocare ptr. ptr. tehnologiile tehnologiile viitorului o reprezint procesarea n timp real, eficient eficient. Astfel Astfel de tehnologii au aprut deja, deja, ca de exemplu modulaia adaptiv i CDMA code division multiple acces .

Toate componentele sistemului de comunicaii prin satelit colaboreaz ntre ele ptr. ptr. a asigura mobilitatea i suportul rutrii, rii, la parametrii QOS necesari. Terminalele utilizatorilor funcioneaz pe baza mai multor protocoale standard, ATM sau INTERNET, prin intermediul crora se pot conecta la staia de adaptare a satelitului: ATM User Network Interface; Interface; Narrow BandBand-ISDN; ISDN; Transmision Control Protocol / Internet Protocol (TCP/IP); Frame Relay UNI; Public Switched Telephone Network (PSTN); (PSTN); Interconexiunile spre alte pri ale reelei terestre de la unitatea de control sunt realizate prin protocoalele aferente sistemului de semnalizare Nr 7 (Signaling (Signaling System 7).

15

Reeaua inteligent (IN Intelligent Network) Network) este este platforma de protocoale inteligente care asigur localizarea informaiei, funcionarea i ntreinerea ntregului sistem. Ea rezolv rezolv problemele legate de rutarea apelului i mobilitatea personal i de terminal. Tendina actual este spre sisteme ce ncorporeaz terminale compatibile ATM, cu mari viteze de transmisie a datelor, astfel nct infrastructura unei reele BISDN devine esenial

1.6 Modelul unui sistem de transmisie prin satelit


zgomot aditiv Secven informaie Transmitor i canal de transmisie n sus Amplificator de putere Umbrire, Transmisie multicanal Receptor

Traficul de comunicaii este asimetric ptr. ptr. leg legtura nspre satelit i dinspre satelit. Legtura n jos necesit mai multe resurse n ceea ce privete banda alocat, viteza de transmisie i puterea necesar. Sistemele mobile de transmisie prin satelit ce furnizeaz servicii Internet de mare vitez ce permit utilizatorilor accesul accesul la date multimedia, ceea ce necesit o capacitate i o vitez mare de transmisie.

Legtura de transmisie n sus necesit o capacitate mai mic i viteze mai mici, deoarece deoarece utilizatorii transmit cantit i mici de informaie, ca de exemplu: email, cereri de acces la informaii

Pentru a crete puterea semnalului sateliii se echipeaz cu amplificatoare de putere echipate cu tuburi cu und progresiv sau amplificatoare cu dispozitive semiconductoare cu o caracteristic de transfer neliniar n amplitudine i faza.
Distorsiunile introduse de neliniarit i sunt importante n special n schemele de modulare multinivel exemplu MM-QAM (M array quadrature amplitude modulation). modulation). Semnalele MM-QAM sunt mai eficiente din punct de vedere spectral.

16

Fig.1.7 Caracteristica de amplitudine a) respectiv de faz b) a unui tub cu und progresiv

Fig.1.8 constelaia unui semnal 6464-QAM la intrarea, respectiv la ieirea unui canal neliniar.

Efectul de umbrire important la un unghi de inciden mic, apare apare datorit efectului de umbrire geometric - unda incident nu poate ilumina poriunile umbrite de obiecte nalte

17

Propagarea undei pe ci multiple (multipath propagation) propagation) - pe diferite traiectorii de la emitor la receptor. receptor. Exist 2 ci de propagare a undei: undei: direct prin atmosfer indirect prin reflexie i refracie la suprafaa de separare ntre atmosfer i pmnt

Undele se pot propaga deasupra pmntului n mai multe moduri ilustrate i n figur:

Straturi ale atmosferei importante ptr. ptr. propagarea undelor radio: radio: Troposfera este regiunea atmosferei neionizat, ce se ntinde de la suprafaa pmntului pn la 15 km. La f. radar (100MHz(100MHz-300GHz) influeneaz semnificativ propagarea undelor.

Ionosfera este stratul superior al atmosferei, de la altitudinea de 50 km pn la raza pmntului, mntului, aprox 6370 km -aici ionizarea influeneaz propagarea. propagarea.

Clasificarea undelor radio unde de suprafa sau terestre (surface wave) wave) - radiate orizontal, care se propag dede-a lungul suprafeei Pmntului, mntului, n pturile inferioare ale atmosferei unde radiate sub un unghi oarecare fa de suprafaa pmntului, mntului, care se sub submpart n:.

18

unde

troposferice, (space (space wave) wave) care care se propag prin troposfer repectnd legea variaiei cmpului electromagnetic cu distana = unde ionosferice, (sky (sky wave) wave) care sunt absorbite slab n pturile puin ionizate ale atmosferei i ajung la ionosfer unde se produce refracia lor

Deoarece nlimea i gradul de ionizare ale pturilor ionosferei variaz funcie de zi, zi, noapte, noapte, anotimpuri, anotimpuri, precipitaii, drumul undelor spaiale variaz i el, el, ceea ce explic fenomenul de extincie al semnalului (fenomenul de fading fading). Atenuarea n atmosfer variaz aleator n timp de la zero n atmosfer ideal (limpede) limpede) pn la zeci de dB. Nivelul semnalului recepionat sufer modificri, ri, fluctuaii rapide, rapide, numite scintilaii i lente (fading).

Caracteristicile modelului de canal ale viitorului


s se bazeze pe o estimare precis i o modelare statistic a propagrii s conin efectele combinate ale atenurii datorate precipitaiilor, propag propagrii pe ci multiple i umbririi s ia n considerare schimbrile de stare, stare, de de exemplu cu sau fr umbrire s fie adecvat procesrii n timp real Modelarea i estimarea corect i eficient este f.important f.important pentru tehnicile noi: Procesarea adaptiv de semnal Modularea adaptiv codat Proiectarea crosscross-layer

Cercetrile viitoare vor include i exploatarea unor noi benzi de frecven ptr. ptr. a face fa cantit ii tot mai mari de date ce trebuie vehiculat. Tehnicile moderne au ca obiectiv creterea eficienei spectrale i de putere. Eficiena spectral abilitatea unui sistem de a opera eficient ntrntr-o band de frecven alocat Eficiena de putere - abilitatea unui sistem de a transmite informaie la un nivel ct mai mic de putere

19

Reelele neuronale
Sunt sisteme neliniare formate dintrdintr-un numr mare de procesoare elementare, elementare, relativ simple care opereaz n paralel. Procesoarele interacioneaz ntre ele prin intermediul conexiunilor: excitatorii i inhibitorii, crora le sunt asociate ponderi. ponderi. nv area se realizeaz prin modificarea ponderilor conform unei reguli de nv are.

Neuronul biologic

Un model de neuron artificial


x0 = 1 x1
Intrri

w0
w1 Funcie de activare

x2

w2

f ()

Ieire

M
xm

wm Ponderi

20

Structura unei RN multistrat

Implicaiile neurologiei n modelarea reelelor neuronale


Neuronii sunt foarte ncei Timpul de procesare pentru un neuron milisecunde, milisecunde, de 10-6 mai lente dect procesoarele digitale. Oamenii pot face prelucrri complexe in intervale de timp de o suta de milisecunde (recunoaterea unei fee) Materia cenuie umana are un numr foarte mare de neuroni. -aproximativ 1011neuroni in creierul uman i 60 trilioane de interconexiuni. -este improbabil ca neuronul sa proceseze mai mult dect o instrucie in procesoarele digitale. -explicaia - cooperarea unor procesoare elementare f i l l i l l

Neuronii primesc intrri de la un numr foarte mare de ali neuroni. Se estimeaz de la 1000 pn pn la 100 000 num numrul conexiunilor unei celule nervoase Neuronii comunica prin mesaje de excitare si de inhibiie Viteza de transmisie este de ordinul a ctorva bii pe secunda. Inv area are loc prin modificarea conexiunilor Simplitatea si uniformitatea acestui proces stau la baza unui potenial de prelucrare extraordinar. In creierul uman, distrugerea patologica a unei zone nu duce la blocarea sistemului. n timp, alte zone devin capabile sa preia, cu o marja de eroare, funciile zonelor afectate. Funciile creierului rmn nealterate, nealterate, datorita datorita compensrii prin structura. Acest Acest proces este valabil pn la un prag. prag. Pierderea difuza de neuroni din ntreaga materie cenuie este continua (zilnic pierdem zeci de mii de neuroni).

21

Controlul funciilor creierului este distribuit. Nu exista nici o parte in creier de care depinde esenial funcionarea celorlalte pari, dei ele sunt nalt specializate. Fiecare zona de neuroni contribuie la performana total. Procesarea evolueaz prin satisfacerea iterativa a unui mare numr de constrngeri. constrngeri. - n procesoarele digitaledigitale-creterea numrului de constrngeri creterea timpului de procesare, datorita secvenialit ii -n creier creterea numrului de constrngeri, constrngeri, deci de informaii la scderea timpului de procesare. procesare. -Sistemul se stabilete intrintr-o soluie printrprintr-un proces de relaxare.

Scurt istoric

Conceptul de "neuron" introdus n 1943 de McCulloch et Pitts, Pitts, ca un model matematic pentru neuronul elementar biologic. n 1957 Rosenblatt -perceptronul, perceptronul, primul model operaional cu capabilit i de nv are, capabil s soluioneze probleme de clasificare. n 1958 a fost proiectat primul neurocomputer Mark I. Perceptronul care a funcionat cu succes n recunoaterea de caractere.

22

n 1969, M.Minsky i S.Papert printrprintr-un studiu riguros publicat sub numele de "Perceptrons " "Perceptrons" demonstreaz limitrile majore ale arhitecturilor neuronale cu un strat. Neexistnd n acel moment nici o teorie referitoare la reelele multistrat cei doi cercettori au lansat ideea ca limitrile se extind i asupra reelor multistrat. Puini au fost cercettorii care i-au continuat studiile n domeniu.

n 1960 Widrow i colaboratorii si -ADALINE (ADaptive (ADaptive LInear NEuron) NEuron) i MADALINE (more ADALINE) pentru rezolvarea unor probleme filtrare, de recunoatere a formelor. Specialitii au emis ipoteza c i alte procese asociate cu inteligena i memoria uman pot fi modelate prin reele neuronale. La nceputul anilor 80 descoperirile teoretice ct i progresul tehnologic au dus la un reviriment al domeniului. Au fost descoperite i implementate reguli de nv are noi (ca de exemplu bine cunoscuta regula a retropropagrii erorii pentru reelele multistrat) care au pus n valoare potenialul aplicativ al reelelor neuronale.

23

Cursul 2

n 1982 J.J Hopfield introduce un punct de vedere elegant asupra reelelor neuronale, care permite interpretarea lor ca sisteme energetice crora li se poate asocia o funcie de energie. Evoluia sistemului este spre minimizarea funciei de energie similara unei funcii de cost specific aplicaiei. Prima conferin internaional consacrat reelelor neuronale are loc n 1987 la San Diego (SUA). n urmtorii ani apar primele organizaii de profil i primele reviste dedicate domeniului. n prezent majoritatea universit ilor au grupuri de cercetare heterogene, incluznd ingineri, heterogene, matematicieni, informaticieni, psihologi, medici, biologi

Aproximare de funcii

Predicia concentraiei de ozon din ziua urmtoare pe baza datelor msurate n ultimii 3 ani (Canu (Canu 1999)

Grupare n categorii

Proiecie neliniar

Memorii asociative

Aplicaii industriale
Recu Recunoaterea codurilor potale (AT&T, la Poste) Controlul parametrilor procesului industrial de fabricare a hrtiei hrtiei (Siemens) Predic Predicia consumului de ap (G (Gnrale des Eaux) Previziuni Previziuni meteorologice Un detector pe scar larg de fraud telefonic, produs de firma NORTEL, este n prezent utilizat cu deosebit succes

1. 7. Argumente pentru utilizarea reelelor neuronale n comunicaii


Neliniaritatea Reelele neuronale - sisteme cu intrri i ieiri multiplemultiple-pot nv a o relaie neliniar ntre intrare i ieire RN aproximatoare universale pot implementa orice funcie neliniar, cu cu orice precizie, dac numrul neuronilor este adecvat ales (demonstrat teoretic) Reelele neuronale nu au nevoie de modelul traficului rezolv probleme complexe fr cunotine exacte sau experien apriori nva din exemple, exemple, de tipul model de intrareintrare-model de ieire dorit nu este necesar un model al traficului ci o bun reprezentare a problemei.

Generalizarea a generaliza (DEX) a extrage reguli, din experien -se adapteaz i intrrilor afectate de zgomot i incomplete, furniznd i n aceast situaie rspunsul corect. corect. genereaz soluia corect i n cazul n care la intrare se aplic date noi care nu au fost experimentate n timpul antrenamentului. RN (uneori acompaniate de logica fuzzy) fuzzy) sunt sunt capabile s aproximeze relaii complicate intrareintrare-ieire selectnd intrrile semnificative i obinnd parametri caracteristici. Flexibilitatea fiecare component a RN ( numit numit neuron, neuron, perceptron sau unitate) este un un procesor ce opereaz independent de celelalte procesoare din sistem Ptr. Ptr. rezolvarea unor probleme mai complexe, sistemul se poate extinde ntrntr-o manier modular, prin prin adugarea de procesoare fr a fi necesar reproiectarea

Tolerana la deteriorare

similar sistemului nervos uman, performanele sistemului neuronal se degradeaz treptat n funcie de deteriorarea interconexiunilor sau a funcionrii neuronilor. neuronilor. Datorit procesrii paralele i distribuite, reeaua va continua s funcioneze chiar i n condiii de deteriorare pn la pragul de avarie major Model ptr. ptr. studiile neurologice

Viteza de procesare

Datorit paralelismului i posibilit ii de implementare hard, inclusiv implementri optice, optice, reelele neuronale au o vitez extraordinar de procesare. procesare. S-au raportat viteze de Terra operaii pe secund pentru un chip de 1 cm2.

Potenialul de procesare - este extraordinar datorit caracterului neliniar i vitezei de procesare RN au un potenial de aplicabilitate deosebit, practic n toate domeniile de activitate uman apar n permanen noi aplicaii -aproximare de funcii -clasificare -recunoaterea formelor (vorbirii, imaginilor) -predicie -memorii asociative -controlul roboilor

Datorit tuturor acestor caracteristici RN: RN:


pot nv a variaiile traficului din experien; se pot adapta la solicitrile dinamice ale reelei; prezice comportarea ulterioar a traficului asigur o mbunt ire a funcionrii i siguranei procesului de comunicaie Utilizarea RN se recomand n special n probleme care: nu pot fi modelate prin metode clasice datorit cantit ii mari de date ce trebuie manipulate sau complexit ii, respectiv n probleme pentru care tehnicile convenionale nn-au soluii; implic procese aleatorii; aleatorii; nu necesit explicarea deciziilor, deciziilor, deoarece RN sunt ca i o "cutie neagr", imposibilitatea de a da rspunsuri legate de modul n care au gsit soluia fiind una dintre carenele lor; lor;

1. 8 Optimizarea traficului utiliznd RN canalului de comunicaii; canalului de comunicaii; caracterizarea i predicia traficului (estimarea (estimarea calit ii serviciilor); controlul admiterii conexiunii; controlul fluxului i congestiei; rutarea dinamic; controlul comutrii; rii; proiectarea de reea; atribuirea de canal n reelele de comunicaii mobile;
egalizarea modelarea

Egalizarea de canal

Canalele de comunicaie au: caracteristici de faz i amplitudine neliniare i variabile n timp, timp, datorit datorit : - neliniarit ilor intrinseci - condiiilor meteo de propagare - zgomotelor aditive din mediul nconjurtor - zgomotului termic al dispozitivelor electronice Amplificatoarele care lucreaz n mod uzual n apropierea punctului de saturaie introduc i ele neliniarit i fr memorie, care combinate cu efectele filtrelor de transmisie i recepie devin neliniarit i cu memorie Semnalele transmise sunt afectate de diferite distorsiuni neliniare, atenu atenuri, ri, zgomot aditiv, interferen intersimbol, intersimbol, interferen cu canalele adiacente, etc

Tehnica de reconstrucie a simbolurilor transmise este egalizarea de canal Deoarece canalele de comunicaii sunt variabile n timp, timp, egalizoarele trebuie s fie adaptive, adaptive, pentru a urmri variaiile n timp ale rspunsului n frecven al canalului RN abordeaz problema egalizrii ca o problem de clasificare RN pot genera regiuni de decizie arbitrare cu o mare precizie. O certitudine superioritatea egalizoarelor neuronale comparativ cu cea a egalizoarelor tradiionale, n special n condiiile distorsiunilor neliniare mari i a semnalelor rapid variabile n timp. Implementarea prin RN ofer avantajul unei viteze de procesare deosebite, n timp real, absolut necesar pentru comunicaiile viitorului.

Caracterizarea i predicia traficului


Asigur controlul rapid i exact al traficului, n condiiile supra suprancrcrii reelei
RN este capabil s nvee funcia distribuie de probabilitate a traficului, s selecteze parametrii semnificativi statistici i s estimeze valorile previzibile ale lor caracterizarea, clasificarea i predicia traficului reprezint o aplicaie direct a RN Aplicaiile uzuale - cu reele multistrat antrenate cu metoda retropropagrii erorii i reelele neuronale pe baz de funcii radiale .

Controlul admiterii conexiunii

una dintre primele probleme rezolvate cu reele neuronale datorit abilit ii acestora de a se adapta la situaiile de schimbare a traficului. Controlul admiterii conexiunii - setul de aciuni luate de reea n timpul fazei de stabilire a apelului pentru a determina dac cererea de conexiune / cale virtual poate fi acceptat sau rejectat. O cerere de conexiune este acceptat doar dac sunt suficiente resurse disponibile pentru stabilirea apelului pe parcursul ntregii ci -la parametrii QoS solicitai -la parametrii de eficien ai utilizrii conexiunii i globali ai reelei -n condiiile meninerii parametrilor cilor existente. existente. Pentru aceasta trebuie evaluat gradul de disponibilitate curent a ncrcrii reelei i impactul adugrii de noi conexiuni.

CAC este practic implementat prin rutare, rutare, controlul admisiei legturii, turii, alocarea alocarea legturii i controlul comutrii Ideea principal este de a nv a RN o relaie ntre sosirea unei celule de la o anumit surs n cadrul unei ferestre i banda echivalent necesar pentru a suporta sursa Simulrile indic o reducere a ratei de pierdere a celulelor i o utilizare eficient a reelei de comunicaii n cazul controlului admisiei conexiunii cu reele neuronale.

Controlul fluxului i congestiei Apariia congestiei se poate datora mai multor cauze: -viteza de prelucrare a informaiilor de ctre procesoarele existente n nodurile reelei fiind limitat, se ajunge n situaia ca numrul celulelor retransmise pe cile de ieire s devin tot mai mic datorit timpului afectat operaiilor de administrare la nivelul nodului; -capacitatea de transport spre urmtorul nod poate fi dep it dac pe mai multe ci de intrare se recepioneaz date ce trebuie dirijate spre aceeai ieire;

O soluie este folosirea memoriilor tampon n nodurile intermediare pentru ca acestea s absoarb salturile traficului i s evite pierderea de celule - produce ntrzieri nedorite , care reprezint un impediment major n diferite tipuri de servicii, ca de exemplu o conferin multimedia. multimedia. mecanismelor de control ale congestiei Majoritatea dezvoltate pn n prezent sunt ineficiente. Gsirea unui mecanism de evitare a congestiei n timp real fr degradarea calit ii serviciilor este vital pentru comunicaiile moderne. RN au demonstrat c reprezint o soluie promitoare - o pierdere semnificativ redus a celulelor i reducerea timpului de reacie. Majoritatea aplicaiilor utilizeaz reele multistrat cu: - algoritmi de nv are cu control - algoritmi competitivi

Carenele procesrii neuronale


absena unei abordri teoretice unitare; unitare; generarea unei soluii particulare, adecvate numai n cazul unei aplicaii concrete, fiind dificil adaptarea comod pentru o alt aplicaie ; absena unor informaii referitoare la arhitectura necesar ntrntr-o aplicaie dat, date sub forma unor reguli de construcie clar (de exemplu numrul de straturi, num numrul de neuronineuroni-strat, reea cu sau fr reacie). Majoritatea Majoritatea implementrilor au evoluat experimental, prin metoda trial and error, strict strict orientate spre gsirea soluiei ntrntr-o aplicaie concret;

structurile obinute sunt n general masive, ridicnd probleme deosebite n implementare, mai ales dac este necesar nv area n timp real. Depanarea este practic imposibil, deoarece calculul este distribuit n toat masa reelei i nu este posibil localizarea componentei care duce la funcionare eronat la un moment dat; dat; dei nu neaprat un dezavantaj, dezavantaj, unele reele neuronale nu sunt plauzibile biologic (de exemplu cele cu nv are supravegheat); datorit calculului distribuit reele neuronale nu pot rspunde la ntrebri referitoare la modul de procesare;

COMPONENTELE UNEI R.N.


unit ile de procesare; starea de activare a neuronilor (starea (starea curent); o ieire pentru fiecare unitate; interconexiunile dintre unit i, crora le sunt asociate ponderi; o regula de propagare prin reeaua de conexiuni; o funcie de activare care combina intrarea cu starea curenta a unei unit i pentru a genera o nou stare de activare; o regul de nv are care modific ponderile interconexiunilor prin experien; un mediu n care opereaz sistemul; sistemul;

Modele pentru neuron

net j =

w
i =1

ji

.x i

oj = f(

w
i =1

ji x i

j )

Simbolurile unui neuron

2.2 Unit ile de procesare


n R.N. R.N. mici entit i, de tip caracteristic i pot reprezenta: -caracteristici, caracteristici, -litere, litere, -cuvinte, cuvinte, -concepte, concepte, -elemente abstracte asupra crora pot fi definite modele cu anumite semnificaii. Toate unit ile proceseaz n acelai timp, n paralel.
Exist trei tipuri de unit i: de intrare, de ieire si ascunse. Unit ile de intrare primesc semnale de la sursele externe sistemului. Aceste intr intrri pot fi de tip senzorial sau pot proveni din alte pri ale unui sistem mai mare, n care este ncadrat reeaua. Unit ile de ieire transmit semnale spre ieirea sistemului. Semnalele de ieire pot aciona asupra altor sisteme. Unit ile ascunse primesc i transmit semnale n cadrul sistemului modelat. Ele nu sunt "vizibile" din exteriorul sistemului.

2.3 Starea de activare


Starea unit ii ui la momentul t este caracterizat de starea sa de activare ai(t). Starea unei reele neuronale este dat de un vector de N numere reale, n care fiecare element reprezint starea de activare a unei unit i la un moment dat t. Evoluia RN n timpul procesrii este reprezentat prin strile de activare ale unit ilor sale n timp. Valorile de activare pot fi analogice sau discrete. Valorile analogice pot fi orice numr real sau ntrntr-un interval mrginit. rginit. Valorile discrete pot fi binare, bipolare sau orice set mic de valori. O activare de 1 are semnificaia c unitatea este activ, 0 (sau -1) are semnificaia c unitatea este inactiv. Uneori seturi de valori discrete, ca de exemplu: ((-1,0,1), (1,2,3, ...,9).

10

Potrivit descoperirilor neurologice creierul uman este un calculator analogic - Dezbateri intre abordarea logic sau discret Argumentul major n favoarea abordrii analogice este viteza superioar recunoscut a calcului analogic, analogic, la la care se adaug lipsa necesit ii sincronizrii (obligatorie la RN digitale sincrone) dificil de realizat la reelele mari. Avantajul principal al abordrii discrete este precizia calculelor, important important mai ales n cazurile n care parametrii reelei sunt supui unor restricii severe, de exemplu referitoare la condiii de simetrie. Posibilitatea memorrii pe o durat de timp a unor valori numerice utile reprezint un alt avantaj. O problem nesoluionat satisfctor pn n prezent este rezoluia necesar procesrii ntrntr-o aplicaie dat. Exist reele care folosesc semnale cu mai multe nivele de cuantizare al semnalelor, care pot proveni din utilizarea unor funcii de activare multinivel, multinivel, sau pot avea intrinsec un asemenea caracter, ca n cazul utilizrii unor coduri multinivel. multinivel.

2.4 Ieirea unit ilor

Unit ile unui sistem interacioneaza ntre ele prin intermediul ieirii. Uzual ieirea unit ii este dat de starea ei de activare

2.5 Interconexiunile reelei

Unit ile sunt conectate ntre ele prin interconexiuni crora li se asociaz ponderi. ponderi. Modelul Modelul de interconexiune reprezint "ceea ce tie sistemul" si va determina modul n care el rspunde la o intrare arbitrar. n majoritatea cazurilor, fiecare unitate are o contribuie aditiv la intrarea unit ilor la care este conectat.

net j =

w
i

ij . x i

O pondere pozitiva reprezint o intrare excitatoare. excitatoare. O pondere negativa reprezint o intrare inhibitorie. inhibitorie. Adesea este convenabila reprezentarea modelului de conexiune printrprintr-o matrice pondere W. n cazul cel mai simplu, intrrile excitatorii si inhibitorii ponderate sunt nsumate algebric. Dac intrrile sunt supuse unei reguli mai complexe dect simpla nsumare algebrica, este necesar definirea unei matrici separate We pentru intrrile excitatorii si Wi pentru cele inhibitorii. n cazul general este necesar un model mai complex. O unitate poate primi intrri de diferite tipuri, tipuri, care sunt nsumate separat. Pentru fiecare tip de conexiune este recomandabil s avem o matrice de conexiune separat.

11

2.6 Regula de propagare Regula de propagare combin vectorul o(t) o(t) al ieirilor cu matricea de conexiune pentru a produce intrarea net , pentru fiecare tip de intrare ntrntr-o unitate. Fie netij intrarea net de tipul i in unitatea uj. Dac exist un singur tip de conexiune se suprim indicele i, deci intrarea intrarea net in uj va fi netj. Regula de propagare este n general de tip nainte, adic dinspre intrarea RN spre ieirea acesteia.. Intrarea net este uzual suma ponderat a intrrilor ntrntr-o unitate:

net e = We .o( t )

net i = Wi .o( t )

Funcia de activare

determinist, uzual neliniar probabilistic. Exemple: xemple: funcia Heaviside, Heaviside, (cunoscut (cunoscut n reelele neuronale i sub numele de hardhard-limitatoare): unipolar (t) (treapt (treapt unitate) unitate) sau sau bipolar sgn(t), sgn(t), dat de relaia:

1 daca net i (t) 0 yi (t +1)= sgn( neti (t)) 1 dac net i (t) < 0

Funcia Heaviside Uneori intrarea net trebuie s depeasc o valoare numit prag pentru determinarea unei noi activri:
y i (t + 1) = f i ( wij a j (t ) i (t ))
j

O funcie semiliniar unipolar poate fi definit printr-o relaie de forma:


0, pentru net (t ) net (t ) + y (t + 1) = f (net ) = , pentru < net < i 2 1 , pentru net (t )

12

Pentru varianta bipolar se poate utiliza relaia:

f b (net ) = 2 f (net ) 1
Adesea funcia de activare trebuie s fie o funcie neliniar, nedescresctoare, ca de exemplu:

1 dac net i (t ) > i y (t + 1) = net (t ) dac net (t ) = i i i i 0 n rest

Funcii de activare pentru neuron a) comparatoare bipolar cu prag; prag; b)liniar b)liniar cu saturaie; ie; c)sigmoidal c)sigmoidal bipolar

Uzual funcia de activare este o funcie neliniar. Un exemplu este funcia logistic numit i sigmoid:

1 y ( t + 1) = net i ( t ) i 1+ e
Unde este o constant aparinnd intervalului de valori (0,1). Funcie de activare probabilistice -probabilitatea ca neuronul s fie activ este:

p ( y i ( t ) 1) = 1+ e

net i (t ) T

unde T este o constant, numit temperatur, d panta curbei de probabilitate.

13

Funcii de activare nonmonotone

Alte tipuri de funcii, unele cunoscute din teoria aproximriiperformane superioare n diferite aplicaii. Din analiza Fourier :
f (x) =

[a
n=0

n . cos(nx ) +

b n . sin(nx)]

f ( x) = a 0 +

c
n =1

n . sin(nx

+ n )

n n an Interpretaren ca o aproximare implementat cu o RN de tip spre nainte un neuron de intrare; un neuron de ieire a0 corespunde pragului neuronului de ieire, cn ponderilor dintre neuronul ascuns n i neuronul de ieire n neuroni ascuni n corespunde pragului neuronului ascuns n cu funcia de activare sin(neti);

c = a2 + b2

n = arctg

bn

14

Ieirea unei RN antrenate BKP s aproximeze funcia f(x)=sin(2x).sin(x), ce utilizeaz funcia de activare sinus

Ieirea unei RN antrenate n aceleai condiii ca n cazul a), dar o funcie de activare sigmoid;

Reguli de nv are

Configurarea interconexiunilor unei reele neuronale trebuie fcut astfel nct aplicarea unui set de intrri s genereze un set de ieiri dorite Prin regula de nv are se modific ponderile interconexiunilor n funcie de experiena RN. Exist RN: RN: - cu ponderi fixe ( ca de exemplu RN Hopfield i RN Hamming) Hamming) -cu ponderi adaptabile. adaptabile.

Diferite metode: fixarea explicit, utiliznd informaie apriori referitoare la particularit ile i eventual restriciile la care este supus aplicaia considerat. Astfel de consideraii conduc la sisteme specializate, de dimensiuni reduse, uor de manipulat ; determinarea ponderilor prin antrenare, genernd reelei modele de nv at i lsndsnd-o s-i modifice ponderile conform unei reguli de nv are, n mod iterativ ; O condiie esenial este ca algoritmul de antrenare s fie convergent, convergent, adic adic la un moment dat ponderile s rmn constante, constante, indiferent indiferent de intrrile aplicate.

15

Clasificarea RN n funcie de modalit ile de nv are:


RN cu nv are supravegheat (cu control) Se genereaz reelei un set de perechi de modele de intraremodele de ieire dorite, cu ajutorul crora se calculeaz eroarea e(t) n funcie de diferena dintre valoarea real curent a ieirii y(t) i cea dorit d(t)

e (t ) = d (t ) y (t )

Exemple
1.RNM cu propagarea informaiei "spre nainte " care utilizeaz: regula Delta, algoritmul retropropagrii erorii i variantele sale, cuantizarea vectorial cu control, control, 2. RN recurenterecurente- nv area n timp real

RN cu nv are nesupravegheat (fr control) control)

RN extrage singur caracteristicile eseniale ale modelelor de intrare, formeaz formeaz reprezentri interne distincte ale acestora i realizeaz gruparea modelelor pe baza unui criteriu de similaritate. RN utilizeaz un gen de competiie ntre neuronii elementari, care are ca efect modificarea ponderilor conexiunilor neuronului care a ctigat ntrecerea, eventual i a ponderilor neuronilor nvecinai, restul ponderilor interconexiunilor rmnnd neafectate. neafectate. n unele modele apare un parametru numit contiin, care care intr n funcie cnd unul dintre neuroni ctig prea des competiia.

16

Reprezentative pentru aceast categorie sunt: reelele neuronale auto-organizatoare Kohonen, RN cu cuantizare vectorial, RN pentru analiza componentelor principale. Aceste reele pot ncorpora i un mecanism de control care s permit o rafinare ulterioar a parametrilor.

RN cu nv are cu "critic "( cu "recompens "recompens i penalizare" Reeaua nu beneficiaz de un semnal dorit (ca n nv area supravegheat), ci de unul care apreciaz ct de bine funcioneaz sistemul. sistemul. Algoritmii aparinnd acestei categorii se bazeaz pe observaiile experimentelor cu animale i funcioneaz dup urmtorul principiu: principiu: dac dac aciunea unui sistem capabil s nvee are un efect favorabil, aceast aceast aciune este ncurajat, n caz contrar este inhibat.

17

Reguli de nv are uzuale


1.Regula lui Hebb
w = y x ij i j

2.Regula perceptronului

:
T w = [ d sgn( w x )]x ij i i j

unde x este vectorul intrrilor n neuronul j, x=[x1 x2 xj xN]

3.Regula Delta (sau regula WidrowWidrow-Hoff) Hoff)

w = [ d y )]x ij i i j
4. Regula Delta generalizat
w = [d y )] f ' ( net ) x ij i i i j

5. Regula de nv are a corelaiei


w = d x ij i j

6.Reguli de nv are de tip competitiv


w = x w mj j mj

w = d w ij i ij

Reele neuronale cu procesare de tip n sus


Organizarea ierarhic a R.N. R.N.

ntrntr-o numerotare a nivelelor de la intrare spre ieire unit ile nivelului i vor afecta doar unit ile de nivel superior lui i, adic adic straturile i+1, i+2 . informaia se propag spre nainte, de la intrare spre ieire. Uzual unit ile nivelului i nu afecteaz unit ile nivelului i+2.

18

Reele neuronale interactive (recursive) modele n care pot exista conexiuni n ambele sensuri, de la nivelele inferioare ctre nivelele superioare i invers. n cazul general aceste reele au i o reacie de la ieire nspre intrare. Orice element al matricii de conexiune poate fi diferit de zero. RN recursive au un potenial de procesare mai mare dect sistemele echivalente ierarhice, cu acelai numr de unit i ascunse.

2.10 Iniializarea

se refer la momentul de aplicare a regulii de activare. n initializarea initializarea sincron exista un cronometru central, care determin determin o evaluare simultan a activrii tuturor unit ilor din RN. n procedura asincron initializarea se face probabilistic, pentru fiecare unitate, n parte. Avantajul procedurii asincrone const n faptul c ntrntr-un interval de timp suficient de scurt este initializat o singur unitate. unitate. Aceasta mbunt este stabilitatea reelei, evitnd oscilaiile

19

2.11 Reprezentarea mediului


Este esential pentru dezvoltarea oricrui model s existe o reprezentare clar a mediului n care opereaz acesta. acesta. n R.N. R.N. mediul se reprezint ca o funcie stochastic, variabil n timp, n spaiul modelelor de intrare. Adic , la la un moment dat exist o probabilitate oarecare ca unul dintre modelele setului de modele posibile s fie aplicat la intrarea sistemului. Funcia de repartiie depinde att de istoria intrarilor ct i de ieirile sistemului. Tipic, mediul este caracterizat de o densitate de probabilitate stabil, independent independent de intrarile i rspunsurile anterioare ale sistemului. Adeseori R.N. sunt restricionate de tipurile modelelor de intrare. Unele R.N. sunt capabile sa rspund corect doar dac vectorii de intrare formeaza un set liniar independent de vectori, altele doar dac vectorii de intrare sunt ortogonali, ortogonali, altele sunt capabile s nvee s rspund la modele de intrare arbitrare.

3 Reele cu propagarea informaiei spre nainte 3.1 Neuronul Mc CullochCulloch-Pitts

Neuronul Mc CullochCulloch-Pitts

realizat de Mc CullochCulloch-Pitts n 1943 1943 este este discret, cu intrrile xi[k], la momentul k, valori binare 0 sau 1. Funcia de activare este de tip comparator cu prag.
a[k + 1] = o[k + 1] = sgn( w i .x i [k ] )
i

1 dac net sgn( net ) = 1 n rest


Funcia de ieire - funcia identitate. Ponderile wi pot lua valoarea valoarea +1, dac efectul intrrii corespunztoare este excitator respectiv valoarea -1 dac dac efectul este inhibator.

20

permite implementarea funciilor logice elementare I NU, SAU NU, pe pe baza crora se pot sintetiza funcii logice complexe. orice funcie logic combinatorial poate fi sintetizat utiliznd funciile NU i SAU

Exemple de funcii logice implementate cu neuronul Mc CullochCulloch-Pitts

Fig.2c prezint o celul de memorare cu o intrare excitatoare +1 i una inhibatoare -1, care menine ieirea constant pe timp nedeterminat, n absena unei noi intrri.

Restricia la valori binare a intrrii i mai ales a ponderilor, ponderilor, tipul funciei de activare, precum i necesitatea de funcionare sincron a reelelor realizate cu astfel de neuroni constituie limitri majore ale modelului. modelului. Mc Culloch si Pitts au abordat problematica invarianei n percepia imaginilor i a sunetelor, deschiznd o noua etap n aplicaiile RN n recunoaterea formelor ( Pitts si Mc Culloch 1947). Modelele lor sunt ns fr nv are. Formalismul lui Mc CullochCulloch-Pitts a marcat att evoluia calculatoarelor digitale (conform memoriilor lui von Neumann), ct si nceputul dezvoltrii hard a R.N. R.N. Mueller, Mueller, Martin si Pultzrath (1962) (1962) au proiectat circuite care modeleaz neuronul Mc CullochCulloch-Pitts. Pitts. Ei i-au extins analiza si asupra unor circuite analogice, similare, pentru recunoaterea semnalelor acustice.

21

3.2 Perceptronul

Ideea adaptrii ponderilor apare pentru prima oar, n studiile lui Caianello (1961) i ulterior n ale lui Rosenblat (1962). structura neuronului Mc Culloch, Utiliznd Culloch, admind date de intrare i ponderi de valori oarecare (nu numai binare) i introducnd o regula de modificare a ponderilor, Rosenblat a pus bazele unei clase largi de modele neuronale, numite perceptroane (1962). Ieirile perceptroanelor sunt binare (1 i 0) date de funcia de activare Heaveside sau bipolare (1 i o[k + 1] = f ( w i .x i [k ] ) 1) date de funcia signum: signum:

Perceptronul cu corecia erorii prin cuplare invers

apare ideea adaptrii ponderilor proporional cu un semnal de eroare: eroare:

e = d o

Ponderile vor probabilistice

fi

modificate

conform

unei

legi

w[k + 1] = w[k ] + .(d o )

Rosenblat a dezvoltat i demonstrat teorema de convergen a perceptronuluiperceptronului- valorile ponderilor converg ntrntr-un numr finit de pai:

w[k+1]= w[k+2]= w[k+3]= w[k+4]= pentru un numr de iteraii finit.

22

Rosenblatt Mark I Perceptron

Se pot face urmtoarele observaii n legtur cu algoritmul de antrenare: numrul de iteraii necesar asigurrii unei clasificri corecte depinde de viteza de antrenare i de succesiunea datelor folosite n etapa de antrenare; coeficientul de adaptare este constant; ponderile se modific doar dac apar clasificri greite; Se fundamenteaz teoretic capabilitatea de asociere a perceptroanelor bazat pe similaritate (modele similare de intrare se transform n modele similare de ieire). Aplicaiile posibile sunt: sunt: clasificare ( (n recunoaterea formelor) implementare de funcii logice.

Funcii logice implementate de perceptron

23

Negarea logic

Sau logic

24

Reprezentarea geometric n spaiul modelelor de intrare

Limitele perceptronului

Un neuron adaptabil (perceptronul) perceptronul) nu poate discrimina dect clase liniar separabile. separabile. Dou categorii sunt liniar separabile dac pot fi separate printrprintr-o dreapt. Funciile logice I, SAU i NU implic clasificri separabile printrprintr-o dreapt. Ele sunt liniar separabile, separabile, deci perceptronul le poate implementa Clasele distincte se pot separa prin aa zise suprafee de decizie. Pentru determinarea suprafeelor de decizie trebuie evaluat un set de funcii de discriminare. Dou clase se numesc liniar separabile dac funciile de discriminare au forma urmtoare: toare: N
g i (x) = a o +

unde a0, a1,an sunt constante.

a
n

.x n

Dou categorii liniar separabile


x2

Categoria C2

Categoria C1 Dreapt de decizie w1. x1+ w2 .x2-=0

x1

25

Cel mai cunoscut caz de separabilitate nonliniar este cel al funciei SAU EXCLUSIV (XOR). Ieirea este dat de relaia .

x 1 . x 2 + x 1 .x 2
Tabelul de adevr al funciei este urmtorul
x1 0 0 1 1 x2 0 1 0 1 XOR 0 1 1 0

Spaiul modelelor de intrare pentru problema lui SAU EXCLUSIV


(0,1) Categoria C2 (1,1)

Intrarea x2 Categoria C1

Categoria C2 (0,0) (1,0)

Intrarea x1

Limitele de nv are ale unei reele neuronale cu un singur strat de neuroni adaptivi nu sunt date de algoritmul de nv are ci de topologia reelei, care permite divizarea spaiului de intrare doar n dou semiplane. semiplane. Funcia SAU EXCLUSIV poate fi implementat cu un perceptron, perceptron, dac dac este codat adecvat x3= x1 x2 Asocierea corect pentru un perceptron cu pragul zero este generat de urmtoarele ponderi: ponderi: w1=1 , w2=1 , w1=w1=-2 .
x1 0 0 1 1 x2 0 1 0 1 x3 0 0 0 1 XOR 0 1 1 0

1 f ( net ) = 0

dac daca

net > 0 net 0

26

Acest exemplu demonstreaz c o problem de separabilitate nonliniar poate fi transformat ntrntruna de separabilitate liniar, printrprintr-o formalizare adecvat a problemei. problemei. n practic este chiar mai important reprezentarea adecvat a problemei dect arhitectura RN . O alt metod de rezolvare a problemelor nonseparabile liniar este utilizarea RN cu mai multe straturi. straturi. Deci pentru limite de decizie mai complexe sunt necesare mai multe straturi de neuroni. Pentru SAU EXCLUSIV sunt necesare dou straturi de neuroni adaptabili. adaptabili.

Dou reele pentru nv area funciei logice SAU EXCLUSIV

1 f( net ) = 0

dac

net > 0

daca net 0

Alegerea ponderilor nu este unic. O RN cu dou straturi poate forma regiuni de decizie convexe obinute prin intersecia semiplanelor de decizie ale neuronilor primului strat. Fiecare neuron al stratului ascuns genereaz un hiperplan de separare. Neuronii stratului de ieire genereaz regiuni de decizie mai complicate, formate prin intersecia semiplanelor primului strat RN cu dou straturi este capabil s identifice orice fel de regiuni convexe, dac dac numrul neuronilor din stratul ascuns este suficient i ponderile sunt adecvat adaptate.

27

Regiuni de decizie pentru o RN cu dou straturi de neuroni

Un clasif clasificator fr eroare dac nr.neuronilor este suficient de mare

A B

Regiuni de decizie pentru o RN cu dou straturi de neuroni

O RN cu trei straturi poate implementa regiuni de decizie arbitrare, complexitatea complexitatea fiind limitat de numrul de neuroni. S-a demonstrat c precizia unei clasificri neliniare de ctre o RN cu trei straturi (2 ascunse ) poate fi fcut arbitrar de bun.

28

O RN cu trei straturi este capabil s proceseze orice transformare neliniar continu cu o precizie arbitrar de bun.

3.3 ADALINE i MADALINE


n 1960 Widrow si colaboratorii si au realizat reelele ADALINE i MADALINE , RN cu control. ADALINE acronim pentru ADaptive LInear Combiner, care are un singur neuron adaptiv la ieire MADALINE pentru RN cu mai multi neuroni adaptivi (din englez englez more ADALINE). ADALINE). ADALINE conine un set de rezistene controlabile conectate ntrntr-un circuit care nsumeaz curenii determinai de tensiunile de intrare. Uzual blocul de nsumare este urmat de un cuantizor a crui ieire este +1 sau -1, n funcie de polaritatea intrrii. rii. Alteori ieirea o este analogic.

Dac se noteaz conductanele de intrare cu wi


a[k + 1] = o[k + 1] =

w .x [k ] +
i i i

29

Bernard Widrow i Ted Hoff regula LMS sau Widrow Hoff

Ieirea analogic confer circuitelor ADALINE un potenial de procesare mai mare dect a perceptronului. perceptronului. Se pune problema determinrii ponderilor wi astfel nct dac la intrarea circuitului se aplic setul de valori xip la ieirea sa s se obin dp, rspunsul dorit, dorit, pentru pentru un numr mare p de modele arbitrare.
x p = [ x p1 x p 2 ...x pi ...x pn ]

Ponderile se modific conform regulii de nv are delta delta cunoscut i sub numele de regula WidrowWidrow-Hoff Hoff:
pw
i

= .( d p o p ). x pi

este o constanta n intervalul (0,1), numit vitez de nvare Algoritmul minimizeaz eroarea ptratica medie pentru toate modelele de intrare ire, adic : 1 si modelele 2de ieire,
E= 2

(d
p

op )

Din acest motiv, algoritmul se numete si LMS (least (least mean square), square), adic cu cea mai mic eroare ptratic medie. Se poate demonstra c, alegnd o viteza de nv are suficient de mic, sistemul converge spre o funcie de eroare minima, gsind setul de ponderi optim. La fiecare iteraie eroarea scade cu , sistemul converge spre un minim al funciei de eroare, gsind setul de ponderi optim.

30

Se demonstreaz c regula delta implementeaz un gradient descendent n spaiul erorilor.


pw
i

= .

E P w i

E P E P oP = = wi o p wi (d
p

1 (d P o p )2 ( 2 o p

w i . x pi [ k ] ) wi =

o p ). x pi = q . e . d

ntruct au un singur neuron adaptiv reelele ADALINE pot implementa doar funcii separabile linear. Reelele MADALINE (Fig.3.12 (Fig.3.12 ) au au mai intrri, ri, mai muli neuroni adaptivi i la ieire circuite logice de tip SAU, I sau MAJORITATE. Cu ponderile potrivit alese, MADALINE pot implementa i funcii logice nonlinear separabile.

Fig.3.12 Structura Structura MADALINE care implementeaz funcia logic cu tabelul de adevr alturat

x1 +1

x2 +1 -1 -1 +1

Ieire +1 -1 +1 -1

Ieire

+1 -1 -1

Fig.3.13 Regiunile de separare implementate de structura din Fig.3.12

Linii de separare

31

Cursul 3 Dou reele pentru nv area funciei logice SAU EXCLUSIV

1 f( net ) = 0

dac

net > 0

daca net 0

Alegerea ponderilor nu este unic. O RN cu dou straturi poate forma regiuni de decizie convexe obinute prin intersecia semiplanelor de decizie ale neuronilor primului strat. Fiecare neuron al stratului ascuns genereaz un hiperplan de separare. Neuronii stratului de ieire genereaz regiuni de decizie mai complicate, formate prin intersecia semiplanelor primului strat RN cu dou straturi este capabil s identifice orice fel de regiuni convexe, dac dac numrul neuronilor din stratul ascuns este suficient i ponderile sunt adecvat adaptate.

Un clasif clasificator fr eroare dac nr.neuronilor este suficient de mare

A B

Regiuni de decizie pentru o RN cu dou straturi de neuroni

O RN cu trei straturi poate implementa regiuni de decizie arbitrare, complexitatea complexitatea fiind limitat de numrul de neuroni. neuroni. SS-a demonstrat c precizia unei clasificri neliniare de ctre o RN cu trei straturi (2 ascunse ) poate fi fcut arbitrar de bun.

O RN cu trei straturi este capabil s proceseze orice transformare neliniar continu cu o precizie arbitrar de bun.

3.3 ADALINE i MADALINE

n 1960 Widrow si colaboratorii si au realizat reelele ADALINE i MADALINE , RN cu control. ADALINE acronim pentru ADaptive LInear Combiner, care are un singur neuron adaptiv la ieire MADALINE pentru RN cu mai multi neuroni adaptivi (din englez englez more ADALINE). ADALINE). ADALINE conine un set de rezistene controlabile conectate ntrntr-un circuit care nsumeaz curenii determinai de tensiunile de intrare. Uzual blocul de nsumare este urmat de un cuantizor a crui ieire este +1 sau -1, n funcie de polaritatea intrrii. rii. Alteori ieirea o este analogic.

Dac se noteaz conductanele de intrare cu wi


a[k + 1] = o[k + 1] =

w .x [k ] +
i i i

Bernard Widrow i Ted Hoff regula LMS sau Widrow Hoff

Ieirea analogic confer circuitelor ADALINE un potenial de procesare mai mare dect a perceptronului. perceptronului. Se pune problema determinrii ponderilor wi astfel nct dac la intrarea circuitului se aplic setul de valori xip la ieirea sa s se obin dp, rspunsul dorit, dorit, pentru pentru un numr mare p de modele arbitrare.
x p = [ x p1 x p 2 ...x pi ...x pn ]

Ponderile se modific conform regulii de nv are delta delta cunoscut i sub numele de regula WidrowWidrow-Hoff Hoff: este o constanta n intervalul (0,1), numit vitez de nvare Algoritmul minimizeaz eroarea ptratica medie pentru toate modelele de intrare si modelele de ieire, ire, adic :
E= 1 2
pw
i

= .( d p o p ). x pi

(d
p

op )2

Din acest motiv, algoritmul se numete si LMS (least (least mean square), square), adic cu cea mai mic eroare ptratic medie. Se poate demonstra c, alegnd o viteza de nv are suficient de mic, sistemul converge spre o funcie de eroare minima, gsind setul de ponderi optim. La fiecare iteraie eroarea scade cu , sistemul converge spre un minim al funciei de eroare, gsind setul de ponderi optim.

Se demonstreaz c regula delta implementeaz un gradient descendent n spaiul erorilor.


pw
i

= .

E P w i

E P E P oP = = wi o p wi (d
p

1 (d P o p )2 ( 2 o p

w i . x pi [ k ] ) wi =

o p ). x pi = q . e . d

ntruct au un singur neuron adaptiv reelele ADALINE pot implementa doar funcii separabile linear. Reelele MADALINE (Fig.3.12 (Fig.3.12 ) au au mai intrri, ri, mai muli neuroni adaptivi i la ieire circuite logice de tip SAU, I sau MAJORITATE. Cu ponderile potrivit alese, MADALINE pot implementa i funcii logice nonlinear separabile.

Fig.3.12 Structura Structura MADALINE care implementeaz funcia logic cu tabelul de adevr alturat

x1 +1

x2 +1 -1 -1 +1

Ieire +1 -1 +1 -1

Ieire

+1 -1 -1

Fig.3.13 Regiunile de separare implementate de structura din Fig.3.12

Linii de separare

3.4. Aplicaiile ADALINE 3.4.1 Filtrarea adaptiv

Exist mai multe tipuri de filtre adaptive, adaptive, ce ce caut s obin zerourile i polii funciei de transfer. Acest Acest filtru realizeaz zerourile funciei de transfer. Structura lattice prezentat converge n anumite condiii mai rapid dect orice alt filtru, este este simpl i robust. Filtrul adaptiv LMS este cel mai des utilizat filtru adaptiv.

Structura filtrului adaptiv

Modelarea unui sistem necunoscut

n urma adaptrii ponderilor, ponderilor, diferena dintre ieirea sistemului i a filtrului adaptiv va fi minim. F.A. va modela sistemul necunoscut.

Predicia statistic
Ponderile filtrului adaptiv se adapteaz pentru a genera cea mai bun estimare n medie ptratic ntre semnalul ntrziat cu iteraii i semnalul de intrare curent (care, (care, la rndul su reprezint o predicie a intrrii peste eantioane).

Egalizor de canal
La ieirea circuitului cuantificator se obine un semnal binar, care poate fi utilizat ca rspuns dorit pentru algoritmul adaptiv. Ponderile sunt iniializate la zero. Semnalul de ieire este iniial afectat de zgomot. n timp ponderile se adapteaz pentru a elimina diferena dintre rspunsul dorit i ieirea curent. Sporadic pot apare erori de adaptare, dar n medie filtrul funcioneaz corect. corect. Egalizorul adaptiv are un rspuns plat ca nivel i liniar ca faz. Fr egalizator canalul de telecomunicaii transmite semnalul cu o eroare de aproximativ 10 1 . Odat ce filtrul ssa adaptat eroarea de transmisie este de ordinul 10-6. Prin utilizarea unor modemuri cu egalizoare ncorporate viteza de transmisie ss-a multiplicat cu patru. Discriminarea ntre semnale la recepie este clar +1 sau 1.

Reelele neuronale multistrat

RNM (multilayer (multilayer perceptrons) perceptrons) au au un strat de intrare, un numr de straturi intermediare, intermediare, numite ascunse i un strat de ieire, format format fiecare dintrdintr-un numr de neuroni. neuroni. Cnd informaia se propag prin reea de la intrare nspre ieire, aceste reele se numesc de tip "spre nainte" (feed (feedforward) forward) Uzual, zual, funcia de activare este aceeai, pentru toi neuronii aparinnd aceluiai strat. Pentru neuronii stratului de ieire utilizarea unei funcii de activare f(net) liniare, cel mult semiliniare, semiliniare, este este satisfctoare din punctul de vedere al performanei realizate, pentru majoritatea aplicaiilor:
0 , pentru net ( t ) < net ( t ) + o ( t + 1) = f (net ) = , pentru < net < 2 1, pentru net ( t ) >

Pentru a se dep i performanele reelelor cu un strat, este ns necesar ca funcia de activare a neuronilor ascuni s fie cel puin semiliniar. Uzual, ea este o funcie sigmoid, dat dat de relaia:

o pj = 1+ e

1 w ji x pi ( t ) + j )
i

unde este un factor de proporionalitate, aparinnd intervalului (0,1). Avantajul unei astfel de funcii este calculul simplu al derivatei:
f ' ( x) = f ( x)[1 f ( x)]

Adesea se utilizeaz i funcia tangent hiperbolic, deoarece are valori n intervalul [[1, 1]: x x 4 d tanh(x) e e 2
tanh( x) = e x + ex
dx = [sech( x)] = (e x + ex )2

4.2 Algoritmul cu retropropagarea erorii

RPE ("back -propagation error") ("backerror") a fost fundamentat independent de mai muli cercettori din domeniul analizei numerice (Bryson (Bryson & Ho, 1969) i al statisticii (Werbos (Werbos n 1974) 1974) pn pn n cel al RN (Parker 1982 , Le Cun 1986, Rumelhart, Rumelhart, Hinton & Wiliam 1986). Algoritmul este o nv are cu control n dou etape i este cunoscut i sub denumirea de "regula "regula delta generalizat", denumire introdus n 1986 de grupul de cercetare creat de Rumelhart i Mc Clelland, Clelland, ntrntro carte de referin n domeniul RN, "Parallel "Parallel Distributed Processing" , 86]. Processing" [D.E.Rumelhart [D.E.Rumelhart,

Algoritmul are 2 etape: -prima n care informaia se propag prin reea din strat n strat, de la intrare pn la ieire -a doua, n care erorile se propag de la ieire nspre intrare, determinnd actualizarea parametrilor RNM.

Prima etap
- numrul intrrilor n RN (care este dimensiunea modelelor de intrare); Nh - numrul neuronilor stratului ascuns; ascuns; Nout - numrul neuronilor stratului de ieire;
net pj =
N

w
i =1

ji

x pi + j

i=1,2, .N

o pj = f ( w ji x pi + j )
i =1

j=1,2, .Nh

o pk = f (

w
j =1

Nh

kj pj

o + k )
N

unde net pk =

w
j =1

Nh

kj pj

o + k

k=1,..,Nout

o pk = f ( wkj f ( w ji x pi + j ) + k )
j =1 i =1

Nh

pk = ( d pk o pk ) f ' ( net pk )
Etapa a doua n etapa a doua, erorile se propag de la ieire spre intrare, din strat n strat determinnd modificarea ponderilor conexiunilor n sensul minimizrii erorii la nivelul fiecrui neuron n parte.

p wkj = pk o pj

pj = pk wkj f ' (net pj ) k

p w ji = pj o pi

Dac n RN exist mai multe straturi ascunse, ascunse, erorile erorile se evalueaz pentru fiecare strat cu relaia i apoi se determin noile ponderi dintre stratul anterior i cel succesiv. n reea pot exista i ponderi fixe. Dac exist neuroni de ieire i n straturile ascunse, acetia nsumeaz dou tipuri de erori: erori: -erori rezultate din compararea ieirii cu rspunsul dorit i -erori obinute prin propagare, de la neuronii de ieire spre neuronii cu care sunt cuplai. Algoritmul cu retropropagarea erorii minimizeaz eroarea ptratic medie n fiecare iteraie. Studiile arat c RN converge n general spre un minim local, care reprezint n unele cazuri o soluie acceptabil. n literatura de specialitate sunt prezentate mai multe metode pentru evitarea minimelor locale, aspect care va fi abordat n cele ce urmeaz.

n literatur se demonstreaz [S.Haykin, S.Haykin, 94] 94] c algoritmul cu retropropagarea erorii implementeaz un gradient descendent al erorii totale n spaiul ponderilor, adic adic este satisfcut relaia: dE w(t + 1) = w(t ) dw unde dE/ dE/dw este gradientul aleatoriu necunoscut al erorii totale dintre modelele de intrare i modele de ieire dorite. White a demonstrat c relaia este o aproximare stochastic Algoritmul presupune -o etap de antrenament, antrenament, -una de testare -cea de utilizare Crearea bazei de date i selectarea datelor de antrenament, respectiv de testare, au o influen major n succesul sau eecul funcionrii unei RN. RN.

n timpul antrenamentului, fiecare pereche (xp , dp) de model de intrareintrare-model de ieire dorit este prezentat repetat. repetat. Necesitatea unei prezentri repetate a modelelor n timpul antrenamentului reprezint una dintre carenele algoritmului cu retropropagarea erorii, deoarece conduce la un timp ndelungat afectat antrenamentului RN. n timpul testrii se aplic doar modelele de intrare, intrare, verificnduverificndu-se statistic corectitudinea funcionrii. rii. n cazul n care performana obinut este acceptabil, RN RN poate fi utilizat n practica curent.

10

Aspecte importante ale algoritmului cu retropropagarea erorii


3.1 Crearea bazei de date solicit cel mai ndelungat efort n dezvoltarea unei aplicaii i are o importan major n succesul sau eecul acesteia: adunarea datelor; analiza datelor; alegerea variabilelor; preprocesarea variabilelor de intrare, astfel nct RN s poat nv a eficient; Din practica curent specialitii afirm c 9/10 din dezvoltarea unei aplicaii este soluionat prin colectarea datelor adecvate. adecvate. Selectarea datelor de intrare implic adesea alegerea dintre mai multe variabile, astfel nct familiaritatea cu domeniul aplicaiei este de nepreuit. Specialitii n RN colaboreaz cu experii n domeniul aplicaiei pentru dezvoltarea RN.

Analiza datelor de intrare se face din perspectiva tehnicilor statistice. Corelaia dintre o anumit intrare i o anumit ieire poate sugera includerea sau excluderea variabilei. O corelaie puternic dintre dou variabile poate duce la eliminarea uneia dintre ele. Dup alegerea celor mai semnificative intrri se pune problema examinrii distribuiei lor i n general se elimin valorile n afara distribuiei tipice. Este de dorit ca perechile de date intrareintrare-ieire folosite n procesul de antrenare s fie ct mai diferite, diferite, pentru ca reeaua s aib la dispoziie un numr de "scenarii" ct mai mare pentru problema concret considerat. n setul de antrenare se insereaz cteodat (n special atunci cnd baza de date este redus sau puternic redundant) i date provenind din suprapunerea unor nivele de zgomot peste valorile originale, ceea ce are ca efect mbunt irea capacit ii de generalizare a reelei.

Analiza datelor poate duce la identificarea de tendine, cicluri sau alte relaii care pot fi extrase prin preprocesare. Preprocesarea transform datele astfel nct ele s poat fi mai uor nv ate de RN. Preprocesarea poate implica calculul de sume, diferene, derivate, puteri, radicali, medii, transformate Fourier sau extragere de caracteristici. O RN poate pregti datele de intrare pentru o alt RN, RN, realiznd de exemplu o grupare, nainte de o clasificare mai rafinat. Cantitatea datelor suficiente este o problem complex, adeseori afectat de consideraii practice, ca de exemplu costul colectrii datelor. datelor. Datele de antrenament trebuie s asigure un eantion reprezentativ i suficient pentru un antrenament corect. Seturi mari de date reduc riscul subeantionrii funciei de nv at, dar n acest caz RN necesit un timp ndelungat de antrenare. Seturi mici de date implic o antrenare rapid, dar reeaua poate eua n faza de utilizare.

11

Suficiena datelor depinde de mai muli factori, ca de exemplu: -mrimea RN -distribuia intrrilor i ieirilor -cerinele testrii Din practica curent ss-a ajuns la concluzia c pentru un antrenament eficient sunt suficiente aproximativ zece modele pentru fiecare interconexiune a reelei. O alt regul empiric apreciaz c trebuie s existe urmtoarea relaie ntre dimensiunea bazei de date considerate D, folosite n procesul de nv are, num numrul ponderilor Nw i valoarea final a erorii ptratice E(): N

D=

mprirea judicioas a bazei de date, date, ntrntr-un set de antrenare i altul de validare, este este hotrtoare n obinerea unor performane de generalizare satisfctoare .

E ( )

Rezultate teoretice justific alegerea dimensiunii setului de date de antrenament la aproximativ 90% i a celui de validare la aproximativ 10% din baza baza de date original. Modalit i de antrenare uzual antrenarea RN multistrat offoff-line, cu date disponibile n baza de date. Exist Exist dou metode de antrenare offoff-line Modul model cu model ( pattern by pattern mode) const n modificarea setului de ponderi dup cte o prezentare a unei singure perechi de date model de intrareintraremodel de ieire dorit. -o prezentare aleatoare a datelor de antrenament, pentru a evita ca reeaua s considere, considere, n mod eronat, c acestea au un caracter periodic, intrinsec. -indicaii empirice c viteza de convergen a algoritmului este mai mare n acest caz. Modul tampon (batch mode) n care ponderile sunt ajustate dup prezentarea ntregului set de date de antrenament.

Aplicarea datelor de antrenament o singur dat se numete epoc de antrenare. antrenare. Varianta optim de antrenare depinde de aplicaia concret.

Antrenarea n timp real, onon-line, este este mai apropiat de condiiile reale de utilizare a RN. Datele de antrenare sunt obinute n timp real, din msurtori curente ale procesului de modelat i determin modificarea imediat a parametrilor RN. RN. Dezavantajul const n faptul c n urma unei modificri radicale a parametrilor, la prezentarea unei perechi model de intrare - model de ieire dorit, RN i poate pierde capacitatea de interpolare a unor date ulterioare. Dac Dac dimpotriv, noua noua asociere este prea aproape de cea anterioar, modificarea modificarea parametrilor poate fi nesemnificativ.

12

3.3 Criterii de oprire a nv rii


Dup un numr de iteraii predefinit, predefinit, dar dar exist riscul ca eroarea s nu scad suficient; suficient; La o valoare impus a erorii, erorii, dar dar numrul de iteraii ar putea fi prea mare; La o valoare dat a variaiei erorii pentru dou iteraii consecutive. Metoda este este inadecvat pentru situaiile n care eroarea are paliere dede-a lungul crora se modific foarte puin, dei n valoare absolut este considerabil. Validarea prin intersecia datelor (crosscross-validation). RN se antreneaz cu datele de antrenament, antrenament, timp n care eroarea descrete continuu. Se verific funcionarea RN cu datele de testare, timp n care eroarea descrete, apoi crete din nou. Se nghea ponderile la valoarea erorii minime. minime.

Evoluia erorii n funcie de numrul de iteraii pentru faza de antrenament, respectiv testare
Eroare Test

Supraantrenare

Antrenament

Numr optim

Iteraii

Fenomenul de supranvare

13

3.4 Generalizarea
A generaliza, conform dicionarului explicativ, nseamn a formula principii sau concluzii din detalii obinute prin experien. Abilitatea unei RN de a generaliza se refer la identificarea de reguli cece-i permit s fac predicii corecte asupra unor date necunoscute. Capacitatea de generalizare a unei RN se verific pe setul de date de testare. Factorii care o influeneaz sunt: sunt: -numrul eantioanelor de date, -complexitatea problemei, -mrimea reelei.

Exist studii care stabilesc limita inferioar i superioar a capacit ii de generalizare a unei RN (m (msur cunoscut sub denumirea de dimensiunea VapnikVapnik-Cervonenkis), n funcie de dimensiunea modelelor de intrare, num numrul neuronilor ascuni, numrul total al neuronilor RN, num numrul ponderilor RN

3.5 Funcia de activare

Utilizarea unei funcii de activare neliniare confer unei RN avantajul unui potenial de procesare superior comparativ cu cazul utilizrii unei funcii liniare. Astfel o RN cu o funcie de activare neliniar va necesita un numr mai mic de neuroni ascuni, chiar de straturi, dect o RN cu o funcie de activare liniar pentru a rezolva o aceeai problem. Uzual, funcia de activare a unui neuron este o funcie neliniar bipolar sau unipolar funcii de inspiraie biologic:

f ( x) = tanh(ax) =

1 e ax 1+ e

ax

f ( x) =

1 ax 1+ e

S-au observat creteri semnificative ale vitezei de convergen n cazul utilizrii unei funcii de activare bipolare. Ajustarea parametrului a, cu valori n intervalul (0,1), (0,1), respectiv scderea sa n timp, are efecte benefice n special n faza iniial a procesului de nv are. Un avantaj major al acestor funcii l constituie simplitatea obinerii derivatelor de ordinul I cu relaia care permite evaluarea rapid a erorilor n algoritmul RPE. Gsirea tipului adecvat de neliniaritate pentru o aplicaie dat confer for de calcul superioar unei reele neuronale. n aplicaiile de clasificare se utilizeaz adeseori funcia denumit softmax, softmax, care permite interpretarea ieirilor reelei neuronale ca probabilit i condiionate.

f ( xi ) =

e
j

xi xj

14

Derivata funciei de activare are un efect semnificativ asupra vitezei de convergen. Observaia conform creia variaia ponderilor, direct proporional cu derivata funciei de activare, care este neglijabil pentru semnale mari (pentru care derivata se anuleaz) a impus creterea artificial a valorii derivatei. derivatei. Prin adugarea unei constante de 0.1 ss-a redus n unele situaii timpul de procesare la jumtate. tate.

3.6 Funcia de eroare

Ptr.RNM, Ptr.RNM, funcia de eroare este o funcie multidimensional neliniar, ai ai crei parametrii sunt valorile interconexiunilor i pragurile neuronilor. Un algoritm de antrenare oarecare urmrete modificarea acestor parametrii n sensul minimizrii erorii. erorii. ntrntr-o form general, pentru o RN cu N neuroni, funcia de eroare poate fi dat de relaia:
E = o pj ( X p ;W ) d pj
p j =1 N R

Pentru R=2 se obine eroarea medie ptratic.

Cazul liniar

Cazul nonliniar

15

Observaii:

Eroarea ptratic medie este extrem de sensibil la prezena unor erori individuale mari, nafara valorilor tipice ("outliers "). Performane superioare se obin pentru alte ("outliers"). tipuri de distane metrice, ca de exemplu, pentru distana Manhattan, Manhattan, care are R=1. Funcia de eroare definit anterior este specific modului de antrenare de tip tampon" ) (ajustarea parametrilor tampon" (batch (batch) reelei se face dup fiecare prezentare integral a bazei de date disponibile). Reprezentarea geometric a funciei de eroare pune n eviden existena unui minim global i a mai multor minime locale Este important de observat c aspectul funciei de eroare este independent de algoritmul de nv are. Pentru unele aplicaii, oprirea ntrntr-unul dintre minimele locale reprezint o soluie a problemei, din moment ce eroarea obinut este acceptabil. Un exemplu n acest sens l reprezint implementarea funciei SAU EXCLUSIV.

Aspect tipic al funciei de eroare


Minime locale E(w)

Minim global

woptim

16

Observnd natura statistic a algoritmului retropropagrii erorii, White a propus tehnici de optimizare ale statisticii robuste pentru a crete insensibilitatea RN la perturbaii. Eroarea se poate nlocui cu o funcie de eroare, ca de exemplu:

n alegerea funciei de eroare se apeleaz adesea la metoda ncercrii. rii.

Tehnicile de optimizare utilizate n prezent se ncadreaz ntrntr-una dintre urmtoarele dou categorii: a) Metode n care funcia de eroare descrete sau rmne constant de la o iteraie la alta, fr posibilitatea de a crete temporar. Dezavantajul acestora este imposibilitatea de a "evada" din minimele locale. Exemple Exemple din aceast categorie sunt algoritmul RPE de tip gradient conjugat, algoritmul RPE de tip quasiquasi-Newton, Newton, precum i varianta pachet" pachet" a algoritmului RPE cu scdere dup gradient. b) Metode n care eroarea evolueaz n medie ctre valoarea minim, permind creteri temporare ale valorii acesteia. Din aceast aceast categorie sunt varianta "model cu model" a algoritmului RPE cu scdere dup gradient i varianta RPE cu impuls.

3.7 Iniializarea ponderilor i pragurilor

Valorile iniiale ale ponderilor i pragurilor se aleg cu atenie pentru a pre prentmpina saturarea prematur a neuronilor i deci scderea vitezei de convergen a algoritmului. algoritmului. De obicei acestea se aleg aleatoriu, eventual uniform distribuit ntrntr-un interval de valori: [-2,4/Fi ; 2,4/Fi]

unde Fi este numrul total de intrri n neuron.

17

3.8 Viteza de nv are

Viteza iteza de nv are aparine intervalului de valori (0,1) O vitez de nv are mare n intervalul (0.2 (0.25, 0.5 0.5) , asigur o convergen rapid, dar poate determina oscilaii ale reelei; O vitez de nv are mic, n intervalul (0.05, (0.05, 0.25) are ca efect mrirea timpului de procesare i poate duce la mpotmolirea n minime locale cu o probabilitate mai mare; pentru a mri convergena algoritmului de antrenare este necesar creterea constantei de nv are.

Metoda impulsului
p wij (t +1) = pj .opi + p wij (t )
unde este o constant, numit impuls ("momentum"), ce aparine intervalului (0,1) ce determin efectul variaiei anterioare a ponderilor asupra variaiei curente.

Convergena algoritmului de antrenare a) pentru o vitez mic de nvare; b) pentru o vitez mare de nvare; c) pentru o vitez mare de nvare i un termen de impuls;

Metoda netezirii

Este o generalizare a metodei impulsului

p wij (t +1) = [b p wij (t ) + (1 b) pjopi ]


Dac: constanta b=0, atunci relaia este forma standard a algoritmului RPE ; b=1, atunci ponderile rmn neschimbate; b aparine intervalului (0,1) atunci variaia ponderii este netezit cu constanta b;

Metoda vitezei de nv are variabile


Pentru a evita oscilaiile RN, care pot apare n jurul soluiei optime, se poate alege o vitez de nvare descresctoare n timp. Descreterea rapid poate fi asigurat de condiia : lim ([n]) 2 <
n n =1

18

Dac descreterea vitezei de nv are este prea rapid, exist exist riscul ca ponderile s uite modelele deja nv ate. Astfel nct viteza de nv are trebuie s descreasc suficient de lent, lent, satisfcnd relaia: 2
n

lim ([n]) =
n =1

Dac [n]=1/n condiiile sunt simultan satisfcute. cute. O RN trebuie s satisfac dou condiii contradictorii, ce formeaz aa numita dilem stabilitate plasticitate 1. Trebuie s fie suficient de stabil pentru aa-i aminti modelele anterior nv ate ; 2. Trebuie s fie suficient de plastic pentru a putea nv a modele noi ; Satisfacerea celor dou condiii menionate anterior nu garanteaz convergena algoritmului RPE, ci asigur doar o comportare "rezonabil "rezonabil".

3.9 Problema minimelor locale


Exist mai multe metode pentru evitarea minimelor locale: locale: schimbarea constantei de nv are; schimbarea ponderilor iniiale; modificarea numrului de neuroni ascuni;

Adugarea unor valori aleatoare mici ponderilor, ponderilor, procedur procedur cunoscut sub numele de "scuturarea reelei", permite RN ieirea dintrdintr-un minim local. Dac noua stare este suficient de ndeprtat de minimul local, local, procesarea procesarea se poate desf ura ntrntr-o nou direcie, fr a exista riscul revenirii n minim. Dac performana obinut ntrntr-un minim local este acceptabil, acesta poate fi considerat o soluie a problemei.

3.10 Arhitectura

Prin alegerea adecvat a arhitecturii reelei se poate diminua probabilitatea apariiei unor minime locale ale funciei de eroare. Pentru alegerea arhitecturii optime exist doar reguli empirice. Numrul neuronilor trebuie s fie suficient de mare pentru a genera o configuraie a regiunilor de decizie suficient de complex, pentru pentru o problem dat. Dimensiunea RN trebuie judicios aleas astfel nct s nu fie subdimensionat sau supradimensionat. O reea neuronal prea mic nu va fi capabil s generalizeze n mod adecvat. O reea neuronal prea mare ar putea fi prea capabil, prezentnd dezavantajul manipulrii greoaie. greoaie. Num Numrul conexiunilor ar fi n acest caz foarte mare i pentru determinarea ponderilor ar fi necesar un numr foarte mare de date, respectiv un timp ndelungat de antrenament.

19

Metode de obinere a structurii optime 1. Se construiete cea mai mic reea posibil pentru aplicaia n cauz i apoi i se adaug treptat neuroni, neuroni, pn pn cnd performana realizat este satisfctoare; toare; 2. Se construiete o reea mare i apoi se elimin treptat neuronii inutili, verificndu -se de fiecare dat performana verificndureelei ; Se apreciaz c numrul de neuroni din primul strat ascuns, ascuns, trebuie s fie de trei ori mai mare dect numrul neuronilor din al doilea strat ascuns n general structura unei RN multistrat trebuie s fie una de tip compresie, de de la un numr mai mare de neuroni spre un numr redus de neuroni. neuroni. n cazul n care problema de instruire presupune divizarea spaiului vectorilor de intrare n m clase, clase, RN RN trebuie s aib m ieiri, fiecare ieire corespunznd unei clase.

Egalizoare

Canalele de comunicaie au, n cazul cel mai general, caracteristici de faz i amplitudine neliniare i variabile n timp, datorit datorit neliniarit ilor intrinseci, condiiilor meteo de propagare, zgomotelor aditive din mediul nconjurtor i zgomotului termic al dispozitivelor electronice. Amplificatoarele care lucreaz n mod uzual n apropierea punctului de saturaie introduc i ele neliniarit i fr memorie, care combinate cu efectele filtrelor de transmisie i recepie devin neliniarit i cu memorie. n consecin, semnalele transmise sunt afectate de diferite distorsiuni neliniare, atenu atenuri, ri, zgomot aditiv, interferen intersimbol, intersimbol, interferen cu canalele adiacente, adiacente, etc.

Tehnica de reconstrucie a simbolurilor transmise este egalizarea de canal. n cazul unei dispersii mari a valorilor datelor de intrare, egalizoarele liniare se confrunt cu problema instabilit ii numerice. Deoarece, n general, canalele de comunicaii sunt variabile n timp, egalizoarele trebuie s fie adaptive, adaptive, pentru pentru a urmri variaiile n timp ale rspunsului n frecven al canalului. canalului. n cazul distorsiunilor neliniare, generate de canalele variabile n timp, egalizoarele liniare nu au performane bune. Singura soluie n cazul distorsiunilor neliniare i severe ale canalelor de comunicaie o reprezint egalizoarele neliniare. neliniare. Abordnd problema egalizrii ca o problem de clasificare, clasificare, reelele neuronale pot genera regiuni de decizie arbitrare cu o mare precizie.

20

superioritatea egalizoarelor neuronale comparativ cu cea a egalizoarelor tradiionale, n special n condiiile distorsiunilor neliniare mari i a semnalelor rapid variabile n timp. avantajul unei viteze de procesare deosebite, n timp real, absolut necesar pentru comunicaiile viitorului. Comunicaiile viitorului se vor baza pe transmisiile eficiente din punct de vedere spectral, ca ca de exemplu cele care utilizeaz semnale modulate n cuadratur Semnalele modulate n cuadratur, avnd avnd anvelop variabil, sunt mai puternic afectate att n faz, ct i n amplitudine, de neliniarit ile introduse n transmisie. Pentru a elimina distorsiunile semnalelor modulate n faz i n cuadratur sunt necesare egalizoare pentru semnale complexe. Egalizoarele cu RN pentru semnale complexe sunt extensii directe ale celor pentru semnale reale, obinute prin nlocuirea parametrilor relevani, ca de exemplu, intrrile, rile, ieirile, ponderile, pragurile i/sau funciile de activare, cu mrimi complexe

Exist diferite tipuri de egalizoare neliniare, neliniare, -variante clasice, -variante hibride care ncorporeaz i tehnica neliniar a reelelor neuronale -variante care folosesc exclusiv reele neuronale.

Egalizoarele hibride sunt uzual combinaii ntre un filtru liniar transversal i diferite tipuri de reele neuronale, cu cu sau fr reacie invers. Filtrul liniar transversal elimin distorsiunile liniare, liniare, ca de exemplu interferena intersimbol, intersimbol, astfel nct reeaua neuronal se poate ocupa exclusiv de distorsiunile neliniare. neliniare.

Egalizoare adaptive neuronale cu: RN multistrat de tip spre nainte, antrenate cu un algoritm de tip gradient descendent, ca de exemplu algoritmul retropropagrii erorii reele neuronale cu legturi funcionale reele neuronale cu funcii de baz radiale reele neuronale celulare reele neuronale recurente

21

Problema egalizrii

n proiectarea unui egalizor trebuie luai n considerare urmtorii factori: factori: tipul canalului, zgomotul introdus de receptor n special datorit amplificrii interferena intersimbol. intersimbol.

Canalul de comunicaie poate fi fix sau variabil n timp, de faz minim sau nu. nu. Un canal este de faz minim dac toate zerourile funciei de transfer H(z) sunt coninute n interiorul cercului unitate din planul z. Interferena intersimbol este determinat de distorsiunile liniare. Amplificatoarele, convertoarele i mediul de propagare introduc n special distorsiuni neliniare. Egalizorul trebuie s realizeze cel mai bun compromis ntre eliminarea interferenei intersimbol i amplificarea zgomotului la receptor.

22

Cursul 4 O clasificare a egalizoarelor adaptive

Egalizoare adaptive

Egalizoare supravegheate

Egalizoare oarbe

Egalizoare cu estimarea secvenei

Egalizoare cu estimarea simbolului

Eg.MLSE Egalizoare liniare Egalizoare neliniare

Eg.cu Eg. ZF ZF Eg. MMSE MMSE Eg. MBER Wiener Eg.MBER Wiener Eg.LMS LMS Eg.RLS RLS

Eg. Bayes ZF Eg. MMSE Volterra Eg.cu MBER RN Eg.Mahalanobis Wiener Eg.fuzzy LMS RLS

Egalizorul supravegheat

Pentru compensarea caracteristicii canalului de comunicaii necunoscut, este necesar necesar adeseori excitarea periodic a sistemului cu un semnal cunoscut sau cu un semnal pilot, ce ntrerupe transmisia informaiei utile. O copie a acestui semnal este disponibil i la receptor i egalizorul l compar cu rspunsul ntregului sistem de transmisie pentru aa-i re rennoi parametrii. Constrngerile asociate cu unele sisteme de comunicaie, ca ca de exemplu televiziunea digital sau radioul digital, digital, nu nu ofer ns cadrul pentru folosirea unui semnal cunoscut pentru antrenamentul egalizorului. n aceast situaie egalizorul utilizeaz metode nesupravegheate sau cu autorecuperare pentru aa-i adapta parametriiparametrii- egalizorul nesupravegheat "orb" orb".

Egalizarea supravegheat : -prin estimarea blocului (secvenei) de date -prin estimarea simbolului

Egalizorul de bloc de date folosete o secven a eantioanelor recepionate pentru refacerea ntregii secvene a simbolurilor de date transmise. Egalizorul de secvene optim este cel care se bazeaz pe criteriul plauzibilit ii maxime (MLSE maximum likehood sequence estimator) i poate fi eficient implementat cu algoritmul Viterbi de plauzibilitate maxim (MLVA maximum likehood Viterbi algorithm). algorithm).

Egalizoarele cu estimarea simbolului

necesit implementri simple, simple, sunt folosite n mod uzual, chiar chiar dac performanele lor sunt mai slabe dect cele ale clasei de egalizoare cu decizia blocului sunt de asemenea preferate n cazul n care canalul este variabil n timp, ca de exemplu n comunicaiile mobile. realizeaz detecia i decizia simbolului recepionat n fiecare perioad a acestuia. acestuia.

Exist dou modalit i de implementare a funciei de decizie: decizie: -cea care utilizeaz tehnicile liniare -cea care utilizeaz tehnicile neliniare. neliniare.

O abordare liniar pentru funcia de decizie a egalizorului simbol cu simbol ofer simplitatea implementrii calculelor, calculelor, dar cu costul unei performane inferioare. Forma convenional a egalizorului liniar se bazeaz pe teoria filtrului adaptiv liniar, ale crui ponderi sunt adecvat ajustate de un algoritm ce minimizeaz eroarea dintre simbolurile de ieire i cele recepionate. Diferite criterii de optimizare - utilizate pentru proiectarea egalizoarelor liniare : criteriul erorii medii ptratice minime (MMSE minimum mean square error), error), criteriul erorii pe bit minime (MBER minimum bit error rate) criteriul distorsiunii de amplitudine.

n cazul criteriului MMSE este necesar necesar cunoaterea exact a caracteristicilor canalului.

n practic, egalizarea egalizarea liniar este o filtrare liniar antrenat cu un algoritm adaptiv. Uzual - algoritmul erorii medii ptratice minime (LMS least mean square). square). Ali algoritmi sunt: - algoritmul recursiv al celor mai mici ptrate (RLS recoursive least square) square) -algoritmul RLS rapid (fast RLS) -algoritmul rdcinii ptrate RLS (square root RLS) -algoritmul RLS de tip gradient (gradient (gradient RLS)

n absena zgomotului aditiv i n cazul canalelor de faz minim, egalizorul egalizorul liniar opereaz ca i un sistem invers canalului, furniznd furniznd o transmisie fr distorsiuni. distorsiuni.

Implementarea neliniar include dou tipuri de structuri: structuri: -una fr reacie -cu decizie pe baza reaciei inverse.

Egalizorul Bayes este cel care ofer performana optim din punctul de vedere al erorii pe bit Funcia de decizie a egalizorului Bayes se bazeaz pe criteriul probabilit ii aposteriori maxime (MAP maximum a posteriori probabilitiy), probabilitiy), derivat din teoria lui Bayes. Bayes.

Exemplu Comparaia performanei de decizie a egalizorul liniar MMSE i cea a egalizorul neliniar optim, Bayes, Bayes, pentru pentru pentru canalul H ( z ) = 0.3482 + 0.8704 z 1 +0.3482 z 2 d=1 i m=4

Un model clasic de egalizor neliniar -egalizorul egalizorul cu decizie pe baza reaciei inverse (decision (decision feedback equaliser DFE ). Egalizorul DFE utilizeaz pentru reconstrucia semnalului util semnalul recepionat i ca reacie deciziile sale anterioare DFE utilizat mai ales atunci cnd interferena intersimbol este mare, avnd, la o aceeai complexitate, performane superioare filtrelor liniare transversale. Datorit reaciei, funcia de transfer a DFE este o funcie neliniar a semnalului recepionat.

Alte egalizoare neliniare: -egalizoarele bazate pe seriile Volterra -egalizoarele bazate pe distana Mahalanobis -egalizoarele cu reele neuronale.

Egalizarea ca o problem de clasificare

Obiectivul - separarea semnalelor recepionate n spaiul modelelor n situaiile realereale- o clasificare optim este neliniar. Datorit propriet ii lor de aproximatoare universale RN sunt capabile s proceseze regiuni de decizie neliniare, neliniare, cu cu o precizie remarcabil. Viteza deosebit a RN datorat procesrii paralele, paralele, este nc un argument pentru utilizarea lor n implementarea egalizoarelor adaptive. Funcia egalizorului este n acest caz s asocieze fiecare eantion recepionat cu regiunea de decizie corect.

n cazul unor semnale complexe clasificarea trebuie realizat n spaiul complex. Astfel pentru semnale modulate n cuadratur 4-QAM , constelaia intrrilor posibile este: este:
x (1) = 1 + j ( 2) x = 1 + j x[n] = xR + jxI = ( 3) x = 1 j ( 4) x = 1 j

Un model al problemei egalizrii

Un canal liniar dispersiv cu rspuns finit la impuls (FIR) poate fi modelat cu un filtru FIR de ordinul k, cu valori reale i nenule ale coeficienilor a0, a1, ..., ak-1
y[n] = ai x[n i ]
i =0 k 1

r[n] = y[n] + w[n] = ai x[n i ] + w[ n]


i =0

k 1

Problema egalizrii const n determinarea unei estimri ct mai exacte a semnalului de intrare x[n], utiliznd informaia reprezentat de semnalul recepionat, r[n] i semnalul ntrziat cu d iteraii, x[n-d]. Performana egalizorului poate fi evaluat prin probabilitatea clasificrilor eronate n funcie de raportul semnal pe zgomot (RSZ), dat de relaia
k 1 2 2 s ai = i=0 RSZ = 2 e

a
i=0 2 e

k 1

2 i

unde s2 =1 este dispersia simbolurilor transmise i e2 este dispersia zgomotului alb.

Modelul canalului de comunicaie


x[n]
L

[n]
NL

y[n]

Uzual, partea liniar este modelat cu un filtru liniar transversal, cu valori reale i nenule ale coeficienilor a0, a1, ..., k 1 ak. y[n] = ai x[n i ]
i =0

Pentru semnale complexe se utilizeaz modele de canal complexe. Modelul de mai jos este complex, neliniar i genereaz ieirea conform relaiei:
y[ = (0.34 0.27 j ) x[ n] + (0.87 + 0.43 j ) x[ n 1] + (0.34 0.21 j ) x[ n 2]
y[n] = y[n] + 0.1( y[n]) + 0.05 ( y[n])
2 3

y[ n ] = ( 0 .7409 0 .7406 j ) x[ n ] ( 0 .8890 0 .2961 j ) x[ n 1] + ( 0 .1556 0 .0223 j ) x[ n 2 ]

y[n] = y[n] 0.055 ( y[n]) + 0.14 ( y[n])

Modelarea unui canal neliniar variabil n timp, ca de exemplu un canal ai crui coeficieni variaz n timp se poate face cu urmtoarea funcie de transfer:
H ( z ) = ao [n] + a1[n]z + a2 [n]z + ... + an [n]z
1 2 n

unde coeficienii ai[n] variaz variaz cu timpul discret n i pot fi generai prin trecerea unui zgomot gaussian printrprintr-un filtru Butterworth

Coeficienii unui canal de comunicaie variant n timp

Un dispozitiv activ neliniar, ca de exemplu tubul cu und progresiv, poate poate fi modelat utiliznd o amplificare complex, dat dat de relaia:

G ( p ) = A( p )e j ( p )

unde p2 este puterea momentan a semnalului. semnalului. Pentru exprimarea amplitudinii, respectiv a fazei, se folosete modelul lui Saleh dat de ecuaiile:

A( p ) =

2 1+ p2

( p ) =

4.0033 p 2 2 1 + 9.104 p

Egalizor pentru semnale reale implementat cu o reea neuronal

Pentru semnale complexe 44- QAM stratul de ieire va avea un neuron pentru partea real, respectiv respectiv unul pentru partea imaginar. Ieirea egalizorului se compar cu semnalul dorit, dorit, adic adic semnalul de intrare ntrziat. Funcia de activare este uzual o funcie neliniar de tip sigmoid. Pentru determinarea coeficienilor filtrului liniar transversal i a reelei neuronale se utilizeaz n mod uzual algoritmul retropropagrii erorii. n cazul unor semnale complexe este necesar pentru antrenare o variant complex a algoritmului cu retropropagarea erorii (CBKP "complex backpropagation"), backpropagation"), care are i el aceleai carene ca i varianta clasic, real real. Algoritmii de tip gradient, prezint prezint dezavantajele timpului ndelungat de antrenare i a atragerii soluiei n minimele locale ale funciei eroare, adesea adesea nesatisfctoare din punctul de vedere al preciziei realizate.

Structura unui egalizor complex implementat cu o reea neuronal multistrat

1. 2.

O alt problema n CBKP este selecia funciei de activare. n cazul semnalelor reale, funciile de activare sunt reale i mrginite. rginite. n cazul semnalelor complexe, cu excepia constantelor, toate funciile de activare uzuale ar putea fi nemrginite Pentru a satisface situaia conflictual ntre mrginirea i difereniabilitatea unei funcii complexe au fost dezvoltate dou variante ale algoritmului CBKP: CBKP: una care utilizeaz o funcie de activare complet complex BKPBKP-FCBKP ("fully ("fully complex activation function") function") cu funcii de activare separate pentru cele dou pri ale semnalului, real real i imaginar SCBKP ("split ("split complex activation function"). function"). Pentru a rezolva problema convergenei lente a fost introdus un alt algoritm de antrenament complex resilient propagation (CRPROP). CRPROP are performane comparabile cu CBKP, dar n condiiile unei convergene mult mai rapide i cu o capacitate de procesare semnificativ redus

Evoluia erorii medii ptratice la ieirea unui egalizor implementat cu o reea neuronal multistrat cu 15 neuroni ascuni cu o funcie de activare tangent hiperbolic o funcie e activare de ieire liniar , antrenat 350 de epoci cu metoda retropropagrii erorii. erorii. S-au folosit 100 semnale de intrare, un canalul de comunicaie neliuniar complex i o valoare a dispersiei zgomotului alb aplicat semnalului la ieirea canalului de comunicaie de 2=0.01.

Reelele neuronale pe baz de funcii radiale


1. 2.

RBFR au focalizat interesul cercetrii internaionale avnd n vedere carenele reelelor neuronale multistrat: multistrat: timpul ndelungat de antrenare posibilitatea blocrii n minimele locale ale funciei de eroare RBFR sunt capabile s aproximeze orice funcie neliniar ntrntr-un spaiu multidimensional, cu o complexitate de procesare semnificativ redus n comparaie cu cea a altor reele neuronale. Ca i RNM, reeaua RBFR este o reea cu procesarea informaiei "spre nainte". Spre deosebire de RNM care are poate avea mai multe straturi ascunse, RBFR are un singur strat ascuns.

Caracteristicile RBFR, n comparaie cu RNM:


1.

2. n RBFR, neuronii stratului ascuns sunt neliniari i neuronii stratului de ieire sunt liniari. RNM utilizeaz neuroni neliniari att n stratul ascuns ct i n cel de ieire atunci cnd funcioneaz ca i clasificatoare. 3. 3.n stratul ascuns, RBFR utilizeaz funcii de activare radiale, de tip canal, al cror rspuns neliniar (uzual exponenial) este localizat ntrntr-o regiune restrns a spaiului modelelor de intrare. Ca i RNM, RBFR sunt aproximatoare universale. universale. RNM realizeaz o aproximare global a transformrii neliniare intrareintrare-ieire, n timp ce RBFR, datorit utilizrii funciilor radiale, implementeaz implementeaz aproximri locale. locale. Acesta este motivul pentru care RBFR nva mai rapid i sunt mai robuste, respectiv mai puin sensibile la ordinea prezentrii datelor de intrare, dect RNM. 4. Funcia de activare este real i pentru procesarea unor semnale complexe, nu ca n cazul RNM, o funcie complex. Atunci cnd semnalul de intrare este complex, partea partea real i cea imaginar sunt prelucrate separat, separat, n aceeai manier.

Arhitectura unei reelele neuronale pe baz de funcii radiale

Ieirile RBFR se determin cu relaia:


Nh y = w + , x c j ji i i j i =1 j = 1, N o

Fiind dat vectorul x de intrare, x=[x1 x2 ... xN]T, aparinnd spaiului RN, distana euclidian :
x = x1 + x2 ..... + x N
2 2 2

= x x

( )
T

1 2

Parametrii RBFR sunt vectorii centru {ci} i vectorii pondere {wj}. Fiecare dintre neuronii stratului ascuns calculeaz o distan ntre vectorul de intrare al reelei x i vectorul su centru ci. Aceasta poate fi o distan metric oarecare, oarecare, uzual uzual cea euclidian

Cu ct un centru este mai aproape de vectorul de intrare cu att distana neuronului corespunztor va fi mai mic. Rezultatul este trecut printrprintr-o funcie de activare neliniar, real real, continu continu , numit numit funcie radial ce d i denumirea reelei neuronale. Rspunsul acestei funcii este simetric fa de centru. centru. Funcia radial depinde i de un parametru, numit raz sau mpr tiere a funciei. Astfel, RBFR este capabil de o modelare local a datelor de intrare. Pentru fiecare vector de intrare, una sau mai multe funcii radiale ale neuronilor ascuni va avea o ieire diferit de zero. zero. n cazul extrem o singur funcie radial se folosete pentru fiecare vector de intrare, astfel nct vectorii centru vor fi identici cu cei de intrare.

Funcii de activare radiale

Funcia Gaussian

( x c ) 2

( x) = e

Funcia radial Gauss cu centrul c=0 c=0 i raz 1 Uzual se alege raza proporional cu dispersia centrului 2 , respectiv

2 = 2 2

monoton descresctoare cu distana fa de centru

Funcia radial multiptratic cu centrul c=0 i raz 1


1

( x ) = [( x c ) + ] 2
Studiile teoretice i practice demonstreaz c tipul neliniarit ii funciei radiale nu este esenial pentru performanele RBFR

Funcia radial invers multiptratic cu centrul c=0 i raz 1


( x ) = 1
1

[( x c ) 2 + 2 ] 2

10

Funcia radial Cauchy pentru centrul c=0 i raz 1


( x) = 1 [( x c) 2 + 2 ]

Algoritmi de determinare a centrilor i a ponderilor conexiunilor stratului de ieire


Aplicaiile iniiale RBFR - modelare i identificare de sisteme neliniare Aceasta a necesitat structuri mari, cu muli neuroni, deoarece erau necesare suficiente neliniarit i pentru a permite modelarea i identificarea oricrui sistem neliniarneliniar-toate datele de intrare au fost folosite ca centri. Uzual numrul datelor de intrare disponibile este foarte mare Pentru aplicaiile de procesare a semnalelor, (RBFR (RBFR utilizat ca i un estimator) -tehnici de selecie pentru reducerea dimensiunii. Antrenarea unei RBFR const n determinarea parametrilor si: i: a numrului centrilor poziiei i razei centrilor funciilor radiale ponderilor conexiunilor stratului de ieire

1.

2.

Unii algoritmi abordeaz aceti pai separat, alii genereaz toi parametrii simultan. Algoritmii de determinare a parametrilor RBFR, constau de obicei: dintrdintr-un algoritm fr control pentru determinarea vectorilor centru ai stratului ascuns al reelei unul cu control pentru determinarea vectorilor pondere ai interconexiunilor stratului de ieire Proiectarea i antrenarea reelelor RBFR depind esenial de modul de alegere a centrilor.

11

Principalele strategii care ss-au impus n practic: alegerea aleatoare a unor centri fici din baza de date algoritmul standard competitiv algoritmul sensibil la frecvena de ctigare a competiiei algoritmul competitiv cu penalizarea rivalului algoritmul competitiv cu penalizarea dinamic a rivalului alegerea unui subset din datele de intrare prin metoda celor mai mici ptrate ortogonale (orthogonal least squares) squares) selecia supervizat a centrilor

a)Izolarea neuronului al crui vector pondere a fost iniializat prea departe de modelele de intrare b)Apropierea vectorului pondere ndeprtat de modelele de intrare, prin mecanismul cu "contiin"

a) b) Cu cerculee cu stelu s-au reprezentat modelele de intrare i cu cercule cu punct s-au reprezentat vectorii pondere.

Exemplul 1
600 de date complexe de intrare x(n) au fost obinute n jurul a 3 puncte din spaiul complex prin suprapunerea unui zgomot gaussian cu dispersie =0.36 : (1; j) , (1; 5j) i (5; 5j). Cei ase centrii ai RBFR au fost iniializai n mod aleator . S-au obinut urmtoarele puncte (0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (5.2045; 5.1298j),(1.9193; 5.4489) i (5.5869; 5.1937j); Figurile urmtoare reprezint strile dorite (cele 3 puncte), strile afectate de zgomot x(n), poziiile iniiale i finale ale centrilor RBFR c(n), dup 100 epoci de antrenare cu algoritmul competitiv sensibil la frecven (ACSF), algoritmul cu penalizarea rivalului (ACPR) i algoritmul cu penalizarea dinamic a rivalului (ACPDR) ACSF a euat n determinarea poziiilor dorite ale centrilor ACPR i ACPDR au determinat centrii dorii ACPDR a convers mai rapid i s-a apropiat mai mult de poziiile dorite

12

Strile dorite , st strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale centrilor c[n] n cazul unei dispersii a zgomotului de =0.36, dup 100 iteraii, utiliznd a) algoritmul ACSF ACSF

b) algoritmul ACPR

c) algoritmul ACPDR

13

Exemplul 2

1600 de date complexe de intrare x(n) au fost obinute n jurul a 16 puncte din spaiul complex prin suprapunerea unui zgomot gaussian cu dispersie =0.1 RBFR a avut 20 de centri iniializai aleator Figurile urmtoare reprezint strile dorite, strile afectate de zgomot x(n), poziiile iniiale i finale ale centrilor RBFR c(n), dup 30 epoci de antrenare cu algoritmul competitiv sensibil la frecven (ACSF), algoritmul cu penalizarea rivalului (ACPR) i algoritmul cu penalizarea dinamic a rivalului (ACPDR) ACSF a euat n determinarea poziiilor dorite ale centrilor, pentru c nu poate aborda probleme n care numrul gruprilor este necunoscut ACPR i ACPDR au determinat centrii dorii ACPDR a convers mai rapid i s-a apropiat mai mult de poziiile dorite

Strile dorite, dorite, st strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale centrilor c[n] n cazul unei dispersii a zgomotului de =0.1, dup 30 iteraii, utiliznd: a) algoritmul ACSF

b) algoritmul ACPR

14

c)algoritmul ACPDR

O combinaie ntre un filtru liniar transversal i un egalizor neliniar.

Semnalul corespunztor de la ieirea canalului de comunicaie neafectat de zgomot este vectorul y[n]=[y[n] y[n-1] y[n-m+1]]T

Egalizorul const dintrdintr-un filtru pentru implementarea funciei de decizie i un dispozitiv de cuantificare a funciei de ieire f(r[n]) a acestuia ntrntr-unul din simbolurile posibile transmise. n cazul n care alfabetul transmis este format din simbolurile {1,{1,-1} cuantificatorul poate fi implementat prin funcia sgn( sgn( ). n cazul n care semnalul transmis este 44-QAM zgomotul aditiv se consider i el un semnal complex, cu partea real wR[n] independent independent de cea imaginar wI[n] - dou circuite de cuantificare, unul pentru partea real i unul pentru partea imaginar. Performanele egalizorului sunt determinate de funcia de decizie. Se tie c funcia de decizie optim este funcia de decizie Bayes Ea este o funcie neliniar astfel nct i funcia de decizie a egalizorului trebuie s fie neliniar.

15

Implementarea funciei de decizie Bayes folosind o reea neuronal pe baz de funcii radiale

Atunci cnd canalul de comunicaie este cunoscut i zgomotul aditiv introdus n transmisie este gaussian, gaussian, egalizorul Bayes conduce la o eroare medie pe simbol minim, ntruct el realizeaz o clasificare neliniar a semnalelor recepionate cu o probabilitate minim a erorilor. erorilor. De aceea se pune problema implementrii egalizorului Bayes cu o reea neuronal, capabil capabil s funcioneze i atunci cnd canalul i perturbaiile care afecteaz transmisia sunt necunoscute. Din acest punct de vedere, prezint prezint interes reeaua neuronal pe baz de funcii radiale Considerm funcia de decizie a egalizorului implementat cu o RBFR cu o funcie de activare radial gaussian.

Rspunsul egalizorului implementat cu o RBFR poate fi scris N i sub forma 2


f (r ) = wi ( r ci / 2 )
h

i =1

f (r) este funcia de decizie a unui neuron de ieire a RBFR wi, este ponderea conexiunii dintre neuronul ascuns i i neuronul de ieire; ci reprezint vectorul centru al neuronului ascuns i; reprezint distana euclidian, dat dat de relaia:
r[n] ci [n] = r[n] ci [n] + ..... + r[n m + 1] ci [n m + 1]
2 2

Nh este numrul neuronilor din stratul ascuns; ascuns; 2 este mpr ierea (raza funciei radiale);

Pentru implementarea egalizorului Bayes, Bayes, folosind reeaua RBFR, st strile canalului , devin devin centri RBFR. Num Numrul neuronilor ascuni Nh este dat de numrul strilor posibile la ieirea canalului de comunicaie, respectiv de NS=4k+m-1. Similaritatea cu egalizorul Bayes impune ca parametrul de mpr tiere s fie dat de relaia 2=2e2, unde e2 este dispersia zgomotului dat de relaia: 2 2
e = E r[ n ] ci [n ]

norma poate fi de diferite tipuri, dar de obicei este folosit distana euclidian. Ponderile wi fie sunt fixe, fie pot fi determinate printrprintr-un algoritm supervizat, (ex. LMS)

16

Egalizor complex cu RBFR

Egalizorul conine un filtru liniar transversal de ordinul m i o RBFR. Canalul de comunicaie este modelat utiliznd un filtru transversal de ordinul k. Fie vectorul semnalului de la ieirea canalului de comunicaie y[n] afectat de zgomotul aditiv complex w[n], care poate fi un zgomot gaussian. gaussian. Semnalele y[n] i w[n] sunt considerate necorelate. Partea Partea real wR[n] i cea imaginar wI[n] a zgomotului se consider secvene mutual independente. Ieirea canalului de comunicaie se aplic la intrarea egalizorului complex. Vectorul semnalului recepionat aplicat la intrarea RBFR este secvena r[n], r[n]=[r[n] r[n-1] .r[n-m+1]]T. Pentru c acesta presupune m termeni ai semnalului de intrare, vor trebui considerate NS combinaii posibile ale secvenei de intrare n canalul de comunicaie +m-1 de forma NS=4 k+mx[n]=[x[n] x[n-1] x[n-m-k+2]]T.

Semnalul corespunztor de la ieirea canalului de comunicaie neafectat de zgomot este vectorul y[n]=[y[n] y[n-1] y[n-m+1]]T ce are de asemenea NS stri. Sarcina egalizorului este de a reconstitui semnalul transmis ct se poate de exact genernd o estimare , pe baza vectorului semnalului recepionat r[n] i a semnalului ntrziat x[n-d].
H Partea real respectiv a semnalului respectiv cea imaginar , 1 i complex Nh i = (r[n] ci [ n]) (r[ n] ci [ n]) 4-QAM este prelucrat n mod independent, n aceeai manier.

17

Exemplul 1

Un numr de 70 de centrii au fost iniializai aleator, aleator, n spaiul modelelor de intrare Pentru determinarea centrilor egalizorului RBFR au fost aplicate N=1000 de secvene de intrare : x[n]=[x[n] x[n-1] x[n-2]] i canalul
y = (0.34 0.27 j ) x (n) + (0.87 + 0.43 j ) x (n 1) + (0.34 0.21 j ) x (n 2)

y (n) = y (n) + 0.1[ y (n)]2 + 0.05[ y (n)]3

Algoritmul ACS a euat n gsirea centrilor dorii datorit problemei "unit "unit ilor moarte ". Algoritmul ACSF a eliminat problema "unit "unit ilor moarte ", dar nu a gsit nici el toi centrii dorii, datorit faptului c numrul iniial al centrilor a fost diferit de numrul claselor cutate. utate. Algoritmul ACPR a reuit s orienteze centrii RBFR ctre strile dorite, dorite, ieirile neafectate de zgomot ale canalului de comunicaie. Centrii nedorii au fost eliminai nafara spaiului strilor posibile astfel nct ss-a obinut o structur simplificat a egalizorului RBFR. RBFR.

Semnalele de la ieirea canalului de comunicaie, semnalele recepionate afectate de zgomot r[n], poziiile iniiale i finale ale centrilor reelei RBFR c[n], n cazul unui RSZ=13 dB, dB, dup dup 100 de iteraii - strile de intrare zgomotoase; (Legend zgomotoase; " "" (Legend: "o" "o" - Strile dorite; dorite; "*" "*"poziiile iniiale ale centrilor; "+" poziiile finale ale centrilor)

18

Evoluia erorii medii ptratice n funcie de numrul de epoci de antrenare pentru un RSZ= 5 dB, dB, pentru centrii determinai cu algoritmul competitiv cu penalizarea rivalului i canalul neliniar complex din m=1 i d=1

Regiunile de decizie ale egalizorului RBFR, pentru un canal neliniar complex n cazul: RSZ= 5 dB, m=1 i o ntrziere d=1

Exemplul 2

Pentru antrenarea centrilor RBFR a fost utilizat un numr de N=7000 de secvene de intrare x(n). Simulrile au fost realizate utiliznd modelul de canal dat de relaiile:
y = ( 0 . 7409

0 . 7406

j ) x ( n ) ( 0 . 8890

0 . 2961

j ) x ( n 1) + j) x(n 2)

+ ( 0 . 1556

0 . 0223

y ( n) = y ( n) 0.055 [ y ( n)]2 + 0.14 [ y ( n)]3

Un numr de 70 de centrii au fost iniializai aleator, departe de strile posibile dorite ale canalului de comunicaie, n jurul punctului (5, 5j) Cele mai bune rezultate au fost obinute pentru urmtoarele constante de nv are: are: =0.09, constanta de nv are a neuronului ctigtor, tor, =0.003 constanta de nv are a rivalului i =0.01 constanta de nv are a ponderilor n stratul de ieire, ire, cu algoritmul LMS.

19

Fig.6.26 Semnalele de la ieirea canalului de comunicaie, semnalele afectate de zgomot recepionate r(n), poziiile iniiale i finale ale centrilor reelei RBFR c(n), n cazul unui raport semnal pe zgomot de RSZ=13dB, RSZ=13dB, dup dup 100 de iteraii utiliznd: a) algoritmul ACS; b) algoritmul ACSF; c) algoritmul ACPR; (Legend - strile de intrare zgomotoase; (Legend: "o" "o" - Strile dorite; dorite; "*" "*"zgomotoase; " "" - poziiile iniiale ale centrilor; "+" poziiile finale ale centrilor; " "" evoluia centrilor)

Concluzii

Cele mai bune rezultate au fost obinute pentru urmtoarele constante de nvare: =0.05, constanta de nvare a neuronului ctigtor pentru toi cei trei algoritmi testai, =0.0001 constanta de nvare a rivalului i =0.01 constanta de nvare a ponderilor n stratul de ieire, cu algoritmul LMS. Algoritmul ACS a euat n gsirea centrilor dorii datorit problemei "unitilor moarte ". Algoritmul ACSF a eliminat problema "unitilor moarte ", dar nu a gsit nici el toi centrii dorii, datorit faptului c numrul iniial al centrilor a fost diferit de numrul claselor cutate.

Algoritmul ACPR a reuit s orienteze centrii RBFR ctre strile dorite, dorite, ieirile neafectate de zgomot ale canalului de comunicaie. Centrii nedorii au fost eliminai nafara spaiului strilor posibile. n plus centrii determinai cu algoritmul ACPR au avut poziii mai apropiate de strile dorite dect centrii determinai cu algoritmul ACSF. Prin penalizarea neuronului rival convergena ACPR este mai bun dect a algoritmului ACSF. ACSF.

20

Evoluia comparativ a erorii ptratice medii a egalizorului RBFR , n timpul antrenamentului, pentru un raport RSZ =13 dB i ordinul m=1 al filtrului LT (cu (cu linie continu algoritmul ACSF; cu linie ntrerupt - algoritmul ACPR)

Evoluia erorii medii ptratice n funcie de numrul de epoci de antrenare (Legend (Legend: linie linie continu - m=1, RSZ=5dB; linie ntrerupt - m=1, RSZ=5dB; linie punctat - m=1, RSZ=10dB; linie punct - m=2, RSZ=10dB)

Regiunile de decizie neliniar ale egalizorului RBFR

21

Performanele egalizoarelor cu RBFR sunt superioare performanelor egalizoarelor liniare i a egalizoarelor implementate cu RNM. Algoritmii competitivi elimin dezavantajele egalizoarelor cu RNM menionate anterior. De remarcat algoritmul competitiv cu penalizarea rivalului ce determin eficient centrii RBFR, recompensnd neuronul ctigtor i penaliznd rivalul -este simplu, genereaz regiuni de decizie puternic neliniare i are o convergen rapid. n comparaie cu algoritmul ACS nu are problema "neuronilor mori". n comparaie cu algoritmul ACSF are o convergen mai rapid i centrii determinai au poziii mai apropiate de poziiile dorite. Algoritmul ACPR este adecvat pentru egalizarea adaptiv a semnalelor complexe rapid variabile n timp, afectate de distorsiuni liniare i neliniare. Performana obinut, o eroare ptratic medie de 10-2, pentru un RSZ de 5 dB este similar cu cea a altor egalizoare neuronale cu RBFR raportate n literatur, testate n aceleai condiii.

Pentru a mbunti performana egalizorului RBFR ar trebui mrit ordinul filtrului liniar transversal, ceea ce ar duce ns la creterea complexitii structurale i a calculelor. O alternativ este introducerea reaciei de la ieire spre intrare, respectiv implementarea unui egalizor cu o reea neuronal recurent. Reelele neuronale recurente (RNR) (RNR sunt cazul cel mai general de RN, avnd fiecare neuron conectat cu toi ceilali neuroni ai reelei-complet conectat. Neuronii RNR au funcii de activare neliniare i o comportare dinamic complex, astfel nct aceste RN sunt n mod special recomandate pentru aplicaiile n timp real. Ieirea unui neuron la un moment dat depinde nu numai de intrrile externe i de ieirile altor neuroni, ca n cazul RNM i RBFR, dar i de ieirile sale anterioare. RNR cu o aceeai structur au comportri dinamice diferite n funcie de algoritmul de antrenament. n consecin o RNR este complet definit prin specificarea att a arhitecturii ct i a algoritmului de antrenament.

Algoritmul uzual pentru antrenarea unei RNR capabile s proceseze semnale complexe este nvarea recurent complex n timp real (Complex Real Time Recurrent Learning CRTRL ) Acest algoritm se bazeaz pe o procedur de minimizare a erorii medii ptratice de tip gradient descendent, astfel nct se caracterizeaz printr-o vitez redus de convergen i poate fi afectat de o condiionare numeric defectuoas. Complexitatea numeric a calculelor este de ordinul N4, unde N este numrul neuronilor reelei. Dimensiunea redus a RNR n comparaie cu a RNM i RBF pentru o aceeai performan sunt principalul argument pentru utilizarea n aplicaiile de reconstrucie a semnalelor afectate de neliniariti rapid variabile n timp.

22

Structura unei reele neuronale recurente obinute prin: a) combinaia unui filtru liniar transversal (FLT) cu o RBFR b) combinaia unui filtru liniar transversal (FLT) cu o reea competitiv

Curbele de separare implementate de trei tipuri de egalizoare cu RN, pentru semnale 16 QAM combinaie dintrdintr-un filtru LT i o reea neuronal de tip multistrat cu dou straturi ascunse (LF(LF-NLN), prin combinaia dintrdintr-un FLT i o reea competitiv (LTE(LTE-SOM) respectiv prin combinaia dintrLTEdintr-un FLT i o reea pe baz de funcii radiale LTERBFR

Eroarea pe bit n funcie de raportul semnal pe zgomot exprimat n dB pentru diferite egalizoare (LF(LF-NLN)

23

Concluzii

RNR sunt reele neuronale recomandate n mod special procesrii de semnale n timp real. Deoarece RNR dep esc performanele egalizoarelor tradiionale i ale celorlalte egalizoare neuronale atunci cnd canalul de telecomunicaii este variabil n timp i are distorsiuni neliniare, este previzibil previzibil o evoluie a cercetrii n direcia aplicrii n telecomunicaii a acestor reele. n mod deosebit prezint interes reelele neuronale recurente cu o structur de tip filtru liniar transversaltransversal- reea neuronal pe baz de funcii radiale, care mbin avantajele RBFR, simplitatea structurii i robusteea de procesare, cu avantajele algoritmilor competitivi, respectiv convergena rapid i precizia.

24

Caracterizarea i predicia parametrilor traficului


Se poate face fie utiliznd modelele analitice ale surselor de trafic i ale componentelor BB-ISDN traficului la nivelul fie procesnd parametrii msurai ai acestor componente. Deoarece tehnicile analitice se bazeaz pe operaii de convoluie care devin prea complexe pentru traficul real sunt de preferat RN deoarece pentru ele predicia este o aplicaie direct. Modelarea componentelor traficului BB-ISDN, adic adic a nodurilor de comutare i a legturilor de transmisie, transmisie, se poate face cu registre buffere n care celulele sunt citite conform principiului primul intrat primul ieit FIFO.

Caracteristicile nodurilor de comutare i ale legturilor de transmisie sunt: sunt:


-lungimea registrului de deplasare; -capacitatea global a nodului de comutare (throughput capacity) capacity) -rata de pierdere a celulelor; -ntrzierea minim introdus Anumite noduri care genereaz apeluri ncorporeaz i un set de parametrii pentru a controla generarea conexiunilor i a celulelor. Tabelul de rutare din nodul de comutare pointeaz: pentru fiecare conexiune ctre conexiunea de ieire a apelului; fiecare legtura de transmisie ctre legtura pentru destinaie;

Toate nodurile i legturile de transmisie monitorizeaz traficul curent i caracteristicile sale statistice, adic : -numrul celulelor i al conexiunilor fiecrui serviciu ; -ocuparea bufferelor, bufferelor, respectiv respectiv ocuparea minim i maxim ; -ntrzierea, variaia ntrzierii i rata de pierdere a celulelor ; Arhitectura RN pentru caracterizarea i predicia traficului -multistrat, de tip feedforward, feedforward, cu cu dou straturi de neuroni ascuni -Straturile de intrare ascunse au o funcie de activare sigmoid. -Stratul de ieire are o funcie de activare liniar. -Intrrile n RN sunt eantioanele ntrziate ale traficului. -Algoritmul de antrenare al RN poate fi algoritmul retropropagrii erorii.

Timpul de predicie trebuie aleas adecvat, adecvat, n coresponden cu mediul de operare BISDNBISDN-de acelai ordin de mrime cu constantele de timp ale surselor de trafic i fereastra de msurare a parametrilor QoS ai serviciilor. Viteza de nv are poate fi adaptiv. Dac Dac dE/ dE/dw variaia erorii n raport cu ponderile i schimb semnul de la o iteraie la alta, viteza de nv are scade cu o valoare mic, constant; dac dac nu crete. Faza de nv are dureaz cteva sute de epoci pentru cteva mii de modele de antrenare. Ea Ea este urmat de faza de operare. Rezultatele simulrilor arat c funciile de activare bipolare simetrice dau o precizie mai bun dect funcia sigmoid unipolar. Astfel, pentru funciile arctangent i tangent hiperbolic eroarea ptratic medie scade la 1/10 din eroarea obinut n cazul utilizrii funciilor unipolare.

Cerinele unei RN n caracterizarea i predicia traficului Exist dou modalit i de antrenament al unei RN : OFF LINE cu date eantionate din traficul msurat sau cu date obinute din simulri pe computer ; ON LINE, n timp real, cu date obinute din traficul monitorizat curent ; Dac am ales un set de date de antrenament bun i un bun model pentru comportamentul bufferului se poate utiliza RN fr antrenament on line. De obicei antrenamentul on line se folosete pentru rafinarea ponderilor obinute dup antrenarea off line, line, deoarece deoarece exist diferene ntre traficul real i cel simulat. Viteza de calcul este dat de numrul cererilor de setset-up care sosesc ntrntr- o secund. Tipic 1 ms este necesar pentru manipularea a 1000 de cereri cereri pe secund. Timpul de antrenament este important doar pentru procesarea n timp real.

O alt cerin a antrenamentului n timp real este controlul "sigur- cere ca parametrii QoS s fie estimai pentru un caz mai defavorabil dect cel curent. Estimarea QoS trebuie s aibe deci o marj de eroare fa de traficul curent. curent. Dac Dac controlerul de trafic supraapreciaz parametrii QoS i accept mai multe conexiuni, atunci toi utilizatorii care folosesc acelai buffer vor avea parametrii QoS mai slabi dect cei cerui i nici unul dintre ei nunu-i poate continua comunicaia. Acceptarea unui numr mai mic dect posibil de conexiuni este mai bun dect cazul anterior expus. expus. Variabilele de antrenare trebuie alese corespunztor cu cerinele procedurii de control al fluxului. Parametrii de calitate ai serviciilor unui nod de comunicaie sunt determinai de combinaia parametrilor de trafic ai tuturor conexiunilor care trec prin el. Cnd numrul conexiunilor este mare estimarea acestor parametrii QoS nu este deloc uoar.

O problem este i diferena dintre valorile curente i cele declarate ale QoS. QoS.

Valorile declarate sunt valorile QoS n condiiile de trafic maxim. Traficul curent este ns n general mai redus dect cel maxim estimat. Cnd Cnd numrul conexiunilor este mare i diferena este mare. Intrarile ntrntr-o RN pot fi parametrii care caracterizeaz starea registrului i ieirile din RN, adic parametrii de trafic QoS estimai. Numrul ntrrilor n RN este numrul categoriilor de parametrii de trafic. Un numr practic este mai mic dect o sut. Num Numrul ieirilor este numrul parametrilor QoS. QoS.

Pentru starea unui registru exist mai multe modalit i de definire, dintre care numrul conexiunilor este uor de manipulat. Conexiunile pot fi clasificate n grupuri, n funcie de parametrii de trafic. Cea mai simpl modalitate de clasificare este n comunicaii video nV, comunicaii audio nA i date numerice nD. Fiecare grup ar putea fi sub submprit la rndul su n altele mai mici, n funcie de modalitatea de codare, de caracteristicile de generare a celulelor. RN estimeaz deci parametrii QoS ca o funcie de numrul acestor conexiuni i matricea ponderilor :

q = f (n A , n V , n D , W )

O alt modalitate simpl de caracterizare a traficului este prin numrul celulelor care sosesc ntrntr-o perioad de timp Tm. [H (i + m)] = f ([H (i )], [W ]) Se estimeaz: unde H(i) este un vector cu dimensiune m, care care reprezint valorile instantanee ale ratei de bit n ultima perioad Tm msurat pn n momentul curent i. Valorile ratei de bit sunt obinute prin eantionarea procesului de sosire a celulelor dup fiecare perioad TS de eantionare.

Tm = mTs

Alegerea Tm este important, trebuie s ofere o fereastr de predicie rezonabil. TS se alege astfel nct H(i) s capteze caracteristicile traficului n timp ce se menine un numr rezonabil m al eantioanelor. (deoarece de m depinde i dimensiunea RN).

Metoda tabelului

Uzual perioada de antrenare a unei RN pentru predicia parametrilor traficului este foarte scurt pentru c starea registrelor se schimb schimb continuu, deci num numrul datelor obinute este foarte mare. Un tabel de modele este o memorie mare utilizat pentru a nmagazina o cantitate foarte mare de date, care la un moment dat ss-ar putea umple. Dac se observ date noi n trafic o intrare n tabel este aleas aleatoriu i vechea informaie este suprascris cu cea nou, astfel nct se pot pierde date utile antrenamentului. pentru antrenarea unei RN sunt necesare att exemple bune ct i exemple proaste, dar situaiile n care parametrii QOS sunt nesatisfctori sunt mai rare dect cele n care parametrii QOS sunt adecvai. Se recomand utilizarea de tabele separate pentru exemplele "bune" i cele "rele", pentru a preveni nlocuirea n tabel a unor exemple "rele" cu cele "bune". "bune". Avantajul metodei const n faptul c raportul exemplelor bune i a exemplelor proaste poate fi uor ponderat prin rata de selecie a tabelului corespunztor n timpul antrenamentului.

Reele cu reacie (feedback)


Au ca inspiraie diferite idei preluate din fizica statistic. Cteva din caracteristicile comune tuturor acestor RN sunt: neuroni neliniari; conexiuni simetrice; reacie de la ieire la intrare; Pot fi implementate ca i sisteme dinamice continue:

& ( t )=FW ( x ( t ), u ) x
sau discrete (recursive): (recursive):

x[n + 1]=FW ( x[n ], u )


-x este starea sistemului; sistemului; x este derivata strii sistemului; -u este intrarea, care poate fi independent sau aplicat ca o condiie iniial x(0), x(0), respectiv x[0].

Exemple de reele cu reacie :


1.Reeaua Hopfield - n 1981, are un singur strat n care fiecare dintre neuroni este conectat cu toi ceilali. Aplicaiile sunt de memorie asociativ i de optimizare combinatorial. 2. Maina Bolzmann (Hinton i Sejnowski 1983) este o generalizare a reelei Hopfield care combin caracteristicile reelelor multistrat cu cele a reelei Hopfield . Are deci o structur multistrat cu neuroni ascuni i conexiuni simetrice. Principiul care st la baza funcionrii este rcirea simulat, n care energia sistemului considerat scade cu temperatura. Denumirea a fost aleas n memoria lui Bolzmann care a fost primul care a observat c micarea aleatorie a moleculelor unui gaz are o energie legat de temperatur.

3. MeanMean-field theory (Peterson i Anderson 1987) - derivat din maina Bolzmann i funcioneaz pe baza metodei aproximrii cmpului mediu (meanmean-field approximation). approximation). Pentru a reduce excesiva capacitate de procesare ss-au nlocuit neuronii binari aleatorii a mainii Bolzmann cu unit i deterministe analogice. Noiuni teoretice generale: ntrntr-o baz de date (memorie) implementat pe un calculator clasic, memorarea memorarea se face sub form de liste imbricate. imbricate. Apelul unui model din memorie se face secvenial, ceea ceea ce implic un timp ndelungat de acces, dependent dependent de numrul elementelor memorate. n memoriile asociative neuronale apelul unei informaii din memorie se face printrprintr-un proces de relaxare, de minimizare a unei funcii de cost.

Timpul de acces nu depinde de numrul modelelor memorate, memorate, ci este o caracteristic a arhitecturii reelei. Acest mecanism de cutare reprezint avantajul major al memoriilor asociative neuronale fa de cele clasice . El este similar recunoaterii de modele n sistemele nervoase biologice i explic de ce timpul necesar recunoaterii figurilor familiare este acelai la vrsta de cinci, douzeci i cinci , sau cincizeci de ani. Memoriile asociative implementeaz o transformare neliniar ntre o mulime de modele aparinnd spaiului de intrare Fx i o mulime de modele aparinnd spaiului de ieire Fy Ori de cte ori la intrare se aplic un model particular , la ieire se obine modelul asociat acestuia. Un caz particular este autoasocierea, autoasocierea, cnd un model aplicat la intrare este asociat cu el nsui la ieirea reelei neuronale Scopul procesrii este completarea de model sau eliminarea zgomotului, asociinduasociindu-se modelul de intrare incomplet sau afectat de zgomot cu el nsui la ieire.

Structura unei memorii heteroasociative

Fx

Fy

Structura unei memorii autoasociative

Modalit i de proiectare a reelelor neuronale ca i memorii asociative, care asigur asigur convergena nspre: puncte de echilibru stabil - uzual; soluii periodice; traiectorii haotice; Rezultate promitoare n memorarea informaiei ca oscilaii periodice stabile i nestabile (generate de sisteme haotice). Cercetrile neurologice (n special n simul mirosului) din ultimii ani vin s confirme ipoteza c modul procesare al informaiei n creierul uman este de tip haotic haotic. Se tie foarte puin despre proiectarea unui sistem haotic care s memoreze modele dorite - Exploatarea potenialului de procesare deschide noi perspective MA. Implementarea unei memorii asociative are loc n dou faze: faze: nv area celor p perechi de modele de asociat; aplicarea la intrarea reelei a oricruia dintre modelele memorate va genera la ieire modelul asociat (recall ); (recall);

Metode de implementare a unei memorii asociative cu puncte de echilibru stabil: regula Hebb ( reeaua Hopfield, Hopfield, memoria bidirectional associativ a lui Kosko), Kosko), decompunerea n valori singulare (proprii) a modelelor de nmagazinat, metoda pseudoinversei regula delta generalizat reguli de tip probabilistic ( n teoria armoniei, maina Bozmann) Bozmann)

Cerine eseniale

O capacitate de memorare ct mai mare. Capacitatea de memorare este numrul modelelor distincte pe care sistemul le poate nv a cu precizie i rememora, deci coda i decoda. O bun capabilitate de corecie a erorilor. Dac Dac se aplic la intrarea reelei unul dintre modelele de intrare, afectat de zgomot, reeaua ar trebui s convearg ctre modelul asociat dorit ( n condiiile unei erori ct mai mari); Evitarea modelelor nedorite (spurious patterns) patterns) Un model nedorit este un model parazit, pe care reeaua i-l amintete dei el nu a fost codat. Parametrii reelei trebuie ajustai astfel nct reeaua s memoreze doar modelele dorite, dorite, nu i altele, parazite; Un numr redus de interconexiuni. Sunt de dorit interconexiuni de ordinul nti, tiut fiind faptul c cele de ordin superior genereaz probleme n implementrile VLSI; VLSI; Un algoritm de determinare a ponderilor interconexiunilor rapid i aditiv n cazul necesit ii ncorporrii unui model nou. nou.

O memorie asociativ a) a) cu cu o bun performan b) cu cu o slab performan

a)

b)

Modelele care reprezint informaia util sunt reprezentate prin cercuri goale, iar cele nedorite prin cercuri pline. Este de dorit, ca n cazul n care modelele nedorite nu pot fi evitate, ele s fie ct mai ndeprtate de punctele n care se memoreaz informaia util.

Aglomerarea modelelor memorate poate afecta precizia clasificrii, rii, deoarece modelele similare pot avea bazine de atracie care se suprapun. Se tie c dimensiunea reelei trebuie s dep easc numrul de modele pe care dorim s le memorm, m, pentru pentru ca sistemul s nu nvee modele noi cu preul uitrii altora .

Funcia de energie a unei RN


O memorie asociativ poate fi interpretat ca un sistem gravitaional n dimensional, n care se poate localiza orice numr de corpuri de mas egal n indiferent ce punct. Fora gravitaional a fiecrui corp se exercit asupra tuturor corpurilor mai apropiate. Plasnd un corp ntrntr-un punct dorit al sistemului (starea iniial) i imprimnduimprimndu-i un impuls (regula de nv are) el va fi atras de corpul care exercit asupra lui cea mai mare for (de obicei cel mai apropiat). O interpretare elegant pentru comportamentul unei RN, introdus introdus de Hopfield n 1982 este de aa-i asocia o funcie de energie (o funcie Lyapunov). Lyapunov).

Funcia de energie Lyapunov asociat unei reele neuronale Pentru o memorie asociativ modelele
memorate se gsesc n minimele energetice locale. locale.

Funcia de energie Lyapunov se poate reprezenta printrprintr-un relief de energie n spaiul intrrilor. rilor. DintrDintr-o stare iniial reeaua se deplaseaz n sensul minimizrii funciei de energie pn atinge un minim local. local.Dac starea iniial a RN este Q, Q, reeaua va evolua nspre cel mai apropiat bazin de atracie, Pi, independent independent de numrul bazinelor de atracie. Procedura de nv are va amplasa modelele dorite n minimele funciei de energie, respectiv n P1, P2, ....Pi, .... PN. Dac RN evoleaz nspre un minim care nu a fost nv at n procesul de codare, modelul respectiv care reprezint i un punct de echilibru stabil se numete model nedorit (spurious). spurious). Evoluia reelei dintrdintr-o stare iniial se numete traiectorie i are loc nspre un minim local, nspre o vale, nspre cel mai apropiat atractor. atractor.

Spaiul tuturor strilor posibile ale reelei se numete spaiul de faz (phase space), space), terminologie preluat din fizic. Minimele locale ale funciei de energie sunt punctele de echilibru stabil, adic adic punct din care RN nunu-i mai schimb starea. Aceste puncte stabile se numesc atractori, atractori, deoarece fiecare atractor exercit influen n jurul su ntrntr-un domeniu numit bazin de atracie. Din acest motiv reelelor cu reacie cu conexiuni simetrice se numesc i reele cu atractori. atractori.

Stabilitatea unei RN Un system dinamic este stabil (Elbert 1984) 1984) dac dac i se poate gsi o funcie de energie care s-l caracterizeze (funcia Lyapunov) Lyapunov) descresc descresctoare dede-a lungul tuturor traiectoriilor posibile:

L<0

Un system dinamic este asimptotic stabil dac


L0

n echilibru stabil traiectoria reelei poate trece pe lng punctul de echilibru fr aa-l atinge. n echilibru asimptotic stabil traiectoria reelei atinge punctul de echilibru exponenial de rapid. Condiia de existen a unei funcii de energie Lyapunov este suficient, dar dar nu necesar ca o reea s fie asimptotic stabil. Se poate demonstra, c datorit conexiunilor simetrice, o reea de tip cu reacie invers este global stabil.

Optimizarea
-

o tehnic pentru rezolvarea unor probleme ce implic minimizarea unei funcii de cost asociate n raport cu nite constrngeri impuse, ntrntr-un mod similar asocierii energiei sistemelor fizice . Funcia de cost este funcia de energie asociat RN. Prin Prin minimizare RN converge ctre o stare stabil producnd o soluie optim (sau lng optim). n problemele de optimizare se urmrete gsirea minimului global al funciei de energie asociate. asociate.

a)Relieful a)Relieful funciei de enrgie asociate unei reele cu reacie b) Traiectoriile posibile pentru RN din fig. a) c) Dinamica unei reele cu reacie Cu linie plin s-au figurat dealurile i cu linie punctat vile. ile. Fiecare contur, contur, curb de nivel, nivel, corespunde unei aceleiai valori a energiei. energiei.

10

Reeaua Hopfield

Reeaua Hopfield este o reea neuronal cu reacie, n care starea fiecrui neuron la un moment dat depinde i de ieirile tuturor celorlali neuroni la momentul anterior.

Are un singur strat de neuroni, complet interconectai, adic fiecare neuron este conectat cu toi ceilali. Ieirile neuronilor sunt binare 0 i 1, sau bipolare -1 i +1 . Matricea ponderilor este simetric wij=wji. Autoreacia est nul wii=0 (fenomen observat de alfel i n neuronii biologici). Aceasta mbunt ete performanele obinute cu modele bipolare. Exist dou modalit i de implementare a unei reele neuronale Hopfield n funie de aplicaia n care este utilizat: -ca sistem discret pentru o memorie asociativ -ca sistem continuu pentru o problem de optimizare.

1.1 Reeaua neuronal Hopfield ca memorie asociativ


n funcionarea unei reele neuronale ca memorie asociativ exist dou faze: faze: de nmagazinare a informaiilor; de regsire a informaiei dorite din memorie (recall (recall sau retrieval); retrieval); nmagazinarea informaiilor Fie un set de p modele 1. (bipolare) X1, X2, X3, XP, de de dimensiune N, pe care dorim s le memorm, m, numite numite modele prototip sau fundamentale. Ponderile interconexiunilor se determin cu o generalizare a regulii lui Hebb, Hebb, regula bipolar hebbian: p
k =1

w ij = X ki X kj

Sau matricial

W =

X
k =1

T k

.X k

11

innd cont i de faptul c autoreacia trebuie s fie nul wii=0

W = XT k .X k p.I
k =1

N este dimensiunea reelei Hopfield i a modelelor de memorat este matricea unitate de dimensiune N x N ; p este numrul modelelor memorate; memorate; Xk este model prototip Xk =[ X k1 X k2 X k3 X kN]; termenul p.I a fost introdus pentru anularea ponderilor de autoreacie; ie;

De exemplu pentru codarea modelului bipolar [1,[1,-1] ntrntr-o reea cu doi neuroni se obine matricea W: W:
w 12 w 22

1 1 0 1 1 1 0 0 1 w 11 1 .[1 1] 1.0 1 = 1 1 0 1 = 1 0 = w 21

Pentru a simplifica formalismul matematic al regsirii informaiei se poate utiliza i un termen de proporionalitate
W= 1 P T p.I X k .X k N N k =1

Regsirea informaiei dorite din memorie Un model de intrare (bipolar) x =[ x1 x2 x3 xN] , N dimensional, este impus ca stare a RN Hopfield . Tipic, acesta acesta este o versiune incomplet sau afectat de zgomot a unui model memorat. Se actualizeaz starea neuronilor n mod asincron, adic un singur neuron i schimb starea la un moment dat, dat, n conformitate cu funcia de activare. Intrarea net a acestui neuron depinde de ieirile tuturor N celorlali: net i [k + 1] = w ji . x j [ k ] + I i (5) j= 1

xj este starea de activare a neuronului j; Ii este o intrare constant, numit numit curent de polarizare ; N este numrul neuronilor reelei ;

12

Se aplic apoi funcia de activare care poate fi o funcie bipolar cu prag , dat de relaia
1 dac net i [k ] > i f (net i [k + 1]) = f (net i [k ]) dac net i [k ] = i 0 dac net [k ] < i i
(6)

sau funcia signum: signum:

f ( net i [ k + 1] = sgn(net i [k ]))

La o nou iteraie un alt neuron i schimb starea n conformitate cu regula de actualizare. Se determin pentru acesta intrarea net cu relaia (5) i apoi noua stare cu relaia (6). n final RN ajunge ntrntr-o stare invariant n timp, care satisface condiia de stabilitate, adic ntrntr-unul dintre atractori.

Observaii
1.Un artefact al codrii bipolare hebbiene este faptul c prin memorarea modelului bipolar X se memoreaz implicit i modelul complementar Xc , care este un model nedorit. Fie de exemplu modelul X= [1,1] aplicat ca stare iniial a reelei care a memorat modelul [1 1] (anterior introduse). PrintrPrintr-o actualizare asincron un singur neuron i schimb starea. Fie acesta acesta neuronul unu. Doar prima coloan a matricii pondere este implicat (ponderile neuronului unu ctre neuronul doi). doi). Starea neuronului 2 rmne 1.
0 X .W1 = [1 1]. 1 1 = [ 1 1] 0

Observaii Aplicnd reelei modelul [[-1,1] prin W i actualiznd neuronul 2 se obine aceeai stare a reelei Hopfield [-1,1] . Deci dei ss-a dorit memorarea doar a modelului [1 1] , prin codarea bipolar hebbian a fost memorat i modelul nedorit [[-1,1 ] . 2.Reeaua Hopfield este stabil. Indiferent care este starea iniial a reelei Hopfield anterior construite ea va evolua nspre unul dintre modelele memorate care reprezint atractorii, atractorii, adic adic punctele de echilibru stabil

13

3. Actualizarea asincron permite interpretarea informaiei procesate de reeaua Hopfield ca un proces aleator. Pentru actualizarea neuronilor uneori se stabilete o schem de actualizare astfel nct n medie fiecare neuron s fie actualizat de acelai numr de ori. ori. Actualizarea asincron dup o lege probabilistic permite caracterizarea statistic a reelei Hopfield (ancorarea ei n fizica statistic). Evoluia strilor reelei Hopfield n spaiul {0,1}N sau{sau{1,1}N nu este n mod unic definit de o anume stare iniial, ea depinde de schema de actualizare. 4. Contribuia cea mai important a lui Hopfield este introducerea unei funcii de energie n analiza comportamentului RN. Aceasta permite abordarea RN ntrntr-o manier similar sistemelor fizice. fizice. Fie funcia ce caracterizeaz reeaua Hopfieldn n n E ( x ) = w ij .x i .x j + 2 i .x i
i =1 j=1 i =1

Se poate demonstra c de fiecare dat cnd un neuron i schimb starea, starea, E(x) descrete, adic adic reprezint un sistem stabil 5.Capacitatea de memorare a reelei Hopfield este cea mai mare dintre toate memoriile asociative cunoscute. Capacitatea de memorare este numrul modelelor distincte pe care sistemul le poate nv a cu precizie i rememora, deci coda i decoda. Pentru determinarea capacit ii de memorare se poate folosi i o relaie empiric aproximativ C=0,15N.
C= N log 2 N

Exemplu

14

Reeaua Hopfield continu


Reprezint o generalizare a RN Hopfield discrete. Este o RN dinamic asimptotic stabil. Evoluia reelei n spaiul de faz este continu n timp, n sensul minimizrii funciei de energie asociate E(x(t))E(x(t))- de unde denumirea de RN Hopfield de tip gradient. n final, reeaua se va stabiliza ntrntr-unul dintre atractorii spaiului strilor posibile, posibile, ntrntr-un minim energetic. Dac funcia de energie asociat RN este o funcia de cost supus unor constr constrngeri ntrntr-o problem de optimizare, optimizare, starea final a reelei va fi soluia problemei. Astfel nct pentru reeaua Hopfield optimizarea este o aplicaie direct. Prin minimizarea funciei asociate RN converge ctre o stare stabil producnd o soluie optim (sau lng optim). O RN de tip gradient poate fi complet descris printrprintr-un set de ecuaii difereniale neliniare cu termeni constani

Optimizarea este o tehnic pentru rezolvarea unor probleme ce implic minimizarea unei unei funcii de cost asociate n raport cu nite constrngeri impuse . O problem celebr de optimizare este problema comis voiajorului. Acesta trebuie trebuie s viziteze N orae , trecnd o singur dat prin fiecare ora. Comis voiajorul cunoate distana dintre oraele pe care trebuie s le viziteze, viziteze, problema este de a determina traseul optim ( (n ce ordine s treac prin fiecare ora) , astfel nct distana pe care o parcurge s fie minim. Aceasta este o problem de tip combinatorial, combinatorial, num numrul traseelor posibile fiind N!=1x2x3x N!=1x2x3x.xN. Dintre acestea 2N au originea n cele N orae, n cele dou direcii posibile avand lungimi identice. identice. Deci Deci exist practic (N(N-1) !/ !/2 trasee trasee distincte ce trebuie evaluate. Num Numrul este relativ comod pentru valori mici ale lui N , dar crete exponenial cu valoarea lui N. se spune spune c este o problem de tip NPNPcomplet . (vezi fiierul word Hopfield continu)

Aplicaiile RN Hopfield continue


n toate problemele de optimizare: -comutarea de pachete -controlul admisiei conexiunii -rutare Comutarea de pachete n reelele de comunicaii de mare vitez poate apare fenomenul de congestie atunci cand dou sau mai multe pachete intr n competiie ptr. ptr. acelai nod de comutare. Pentru controlul comutrii de pachete se folosesc metodele cozilor de ateptare: -la intrare -la ieire Metoda cozii de ateptare la ieire asigur cea mai bun performan din punctul de vedere al ntarzierii sau al capacit ii globale, dar comutatorul de dimensiune NXN trebuie s opereze de N ori mai repede dect regis registrul de ieire i necesit mai multe registre ptr. ptr. fiecare port de ieire

15

Metoda cozii de ateptare la intrare este mai simpl i pot fi atinse performane comparabile cu metoda cozii de ateptare la ieire dac se rezolv problema blocrii la cap de linie (head of line blocking) blocking) Blocarea la cap de linie este fenomenul prin care un pachet dintrdintr-o coad de ateptare care funcioneaz pe baza principiului primul intrat primul ieit FIFO nu poate accesa portul de ieire deoarece pachetul din faa lui n registru este blocat la intrarea n portul de ieire. Datorit Datorit acestui fenomen capacitatea global a unui comutator de tip crossbar NXN scade pan la 0,58 din capacitatea disponibil pentru valori mari ale lui N. Metoda bypass poate soluiona problema permind i altor pachete, nafara primului din coada de ateptare s fie transmise, atunci cnd primul este blocat. Folosind i un controler neuronal pentru programarea pachetelor capacitatea global a comutatorului va fi maximizat

Comutare de pachete cu controler neuronal


Fereastr j=1.....F Porturi de intrare 1
2

Porturi de ieire Reea de comutare

1 2

Controler neuronal

Controlerul neuronal va programa transferul pachetelor de date astfel nc nct capacitatea global a comutatorului s fie maximizat Cozile de bypass sunt amplasate la intrarea reelei de comutare. Lungimea F a ferestrei este relativ mic fa de lungimea cozii de ateptare. Toate pachetele din fereastra F sunt n competiie ptr. ptr. destinaie n fiecare slot. slot. Este selectat un set de pachete nonblocante astfel nct s fie maximizat numrul de pachete selectate cu condiia ca s fie evitat transmisia nafara succesiunii

16

Trebuie satisfcute urmtoarele constrngeri 1. n fiecare rand, rand, din din fereastr, este este selectat ptr. ptr. transmisie cel mult o celul 2. fiecare celul selectat ntrntr-un slot trebuie s aibe o adres destinaie distinct 3. celulele cu o aceeai adres destinaie sunt programate succesiv

Reeaua neuronal va avea un numr de NxF neuroni, unde N este numrul registrelor de intrare i F este dimensiunea ferestrei din care se face selecia celulelor ptr. ptr. transfer. Deci fiecare neuron va corespunde unei celule din fereastr.

Prin minimizarea funciei de energie, n fiecare rnd, respectiv respectiv coloan, va fi activ un singur neuron. Fiecare neuron are doi indici i pt registrul de intrare i j pentru poziia celulei pe ca care o reprezint n fereastr. Dac un neuron este activ, activ, celula celula corespunztoare este selectat pentru transfer n slotul curent. Ponderile interconexiunilor dintre neuroni sunt determinate n timpul fiecrui slot, slot, prin identificarea cu funcia de energie general a reelei Hopfield. Hopfield. Ele codeaz constrngerile impuse transferului.

Funcia de activare a neuronilor este:


0 ij =

1 1+ e
net ij

oij este ieirea netij este intrarea net este un parametru de ctig

17

Din cele 3 constrangeri se formuleaz urmtoarea funcie de energie


E= A B oiq ) 2 + t ij, pq oijo pq C (D ij )oij (Iij 2 i =1 j=1 2 i =1 j=1 p =1 q =1 i =1 j =1 q =1
pi N F F N F N F N F

A,B,C,D sunt constante positive. positive. Iij sunt intrri externe cu valoarea 1 dac dac poziia j a registrului i conine o celul i 0 n rest ij este pragul neuronului j Matricea T cu elemente tij,pq tij,pq este o matrice mpr tiat, dependent dependent de modelul de trafic i desemneaz conectivitatea dintre neuronul ij i neuronul pq 1 dac celula ij i celula pq au aceeaceeatinain
t ij,pq = 0 n rest

A oiq ) 2 (Iij 2 i =1 j=1 q =1


Primul termen este minimizat dac un singur neuron este activ n fiecare rand. rand. Iij va fora neuronul ij pe ON dac poziia corespunztoare a registrului este ocupat de o celul Al doilea termen este nul, minim, doar dac nu exist blocare, blocare, adic adic nu exist celule selectate ptr. ptr. transfer cu aceeai destinaie. N F N F B t ij,pq o ijo pq 2 i =1 j=1 p =1 q =1
p i

Al treilea termen foreaz transmisia n succesiune. Pragurile neuronilor ij sunt dependente de poziia neuronului n fereastr. N F

C (D ij )oij
i =1 j =1

Toi neuronii din aceeai coloan au acelai prag i neuronii cei mai din stnga au cele mai mici praguri j ij = (1 j F) F Termenul al treilea are valoare minim dac suma pragurilor tuturor neuronilor activi este maximizat. D este un termen de polarizare cu rol de a mri convergena. Includerea a astfel de termeni este important, dar este doar o chestiune de experien..

18

Prin minimizarea funciei de energie n final n fiecare rnd, respectiv respectiv coloan, va fi activ un singur neuron . Strile neuronilor reprezint un set optim de celule nonblocante n timpul unui slot. slot. O problem care poate apare este oprirea ntrntr-un minim local i nu ntrntr-unul global dorit. Experimentele arat c oprirea ntrntr-un minim local atrage doar o degradare uoar a calit ii soluiilor i nu o violare a constrngerilor problemei.

Figura 5 arat c probabilitatea de pierdere a celulelor este mai mic cu controlerul neuronal pentru o aceeai mrime registrului, a ferestrei i ncrcare a traficului, dect cele obinute prin metoda cozii de ateptare la ieire i cea metoda secvenial bypass (convenional).

Figura 6 prezint variaia raportului ntre capacitatea global obinut cu controlerul cu RN i cea obinut prin cutarea exhaustiv, n funcie de mrimea comutatorului N. Cutarea exhaustiv genereaz soluii globale optime. Ptr. N=128 i F=8 capacitatea maxim obinut prin cutarea exhaustiv a fost 0,973. Raportul dintre capacitatea obinut pentru controlerul neuronal i cea prin cutarea exhaustiv a fost peste 0,98 pentru valori mari ale lui N. Practic s- a nregistrat o scdere de 2% fa de soluiile optime globale.

19

Reele neuronale autoorganizatoare (cu nv are competitiv)

Reelele neuronale abordate n capitolele precedente nva s implementeze o transformare , din perechile de modele intrare {xp}- modele de ieire dorite {dp}. Exist ns probleme n care nu dispunem de setul de modele dorite ci doar de modelele de intrare. Reeaua neuronal trebuie s gseasc singur informaia relevant din exemplele {xp} care i se aplic la intrare, intrare, pe pe baza similarit ii acestora. Dac exist i modelele de ieire dorite, acestea pot fi folosite ulterior la o rafinare a parametrilor reelei autoorganizatoare. autoorganizatoare.

Cteva probleme din aceast categorie sunt urmtoarele: toarele:


Gruparea n categorii RN trebuie s gseasc singur criteriul de clasificare i s realizeze gruparea modelelor de intrare. intrare. Cuantizarea vectorial RN trebuie s determine discretizarea optim a spaiului continuu de intrare. Intrarea n sistem este modelul x, n dimensional, iar ieirea este o reprezentare discret a spaiului de intrare. Reducerea dimensiunii Modelele de intrare sunt grupate ntrntrun subspaiu care are dimensiune mai redus dect dimensiunea spaiului de intrare. Sistemul Sistemul neuronal trebuie s nvee transformarea optim astfel nct cea mai mare parte din distribuia modelelor de intrare s se regseasc la ieire. Extragerea de caracteristici. RN trebuie trebuie s extrag trsturile caracteristice eseniale ale datelor de intrare. Adesea Adesea aceasta implic i o reducere a dimensiunii.

Arhitectura unei reele neuronale cu nv are competitiva

Unitile unui strat se mpart n grupri (bazine), care nu se suprapun. Numrul de uniti poate varia de la o grupare la alta. Fiecare unitate primete conexiuni excitatorii de la toate unitile din stratul anterior i transmite conexiuni inhibitorii ctre toate unitile gruprii (stratului) din care face parte. Unitile unei grupri intra n competiie pentru a rspunde unui model de intrare dat.

Vectorii pondere sunt iniializai aleator, de obicei la valorile unui subset de modele de intrare. n majoritatea reelelor autoorganizatoare att modelele de intrare ct i vectorii pondere sunt normalizai, avnd acelai numr de N elemente. elemente. Astfel att modelele de intrare ct i vectorii pondere au aceeai lungime i pot fi interpretate ca i puncte pe o sfer N dimensional La aplicarea unui model de intrare fiecare neuron proceseaz intrarea net: N

net j = w ji x i = x T .w j
i =1

Se determin starea de activare a neuronilor prin trecerea intrrii nete prin funcia de activare. Se selecteaz apoi neuronul ctigtor printrprintr-una dintre cele dou modalit i posibile:

Neuronul ctigtor este declarat neuronul cu cea mai mare stare de activare ac.

a j a c j = c

Neuronul ctigtor este declarat neuronul cu cea mai mic intensitate de intrare Ij definit de relaia:

I J = D( w j , x )
unde D este o distan metric oarecare Cteva distane metrice, uzual utilizate, utilizate, sunt sunt urmtoarele: toarele: Norma euclidian, dat dat de amplitudinea vectorului diferen : d = ||x||x-v || =|| || = ( T )1/2
x-v =

(x

v1 )2 + (x 2

v 2 )2 ..... + (x n

v n )2

Ptratul amplitudinii vectorului diferen, o simplificare fa de cazul anterior. anterior. d = ||x||x-v ||2 =|| || 2 = ( T ) Distana Manhattan, Manhattan, care care este o sum a valorilor absolute ale p coordonatelor vectorului diferen: d = | i |

j =1

Proiecia lui x pe v - cea mai simpl msur a asemnrii vectorilor normalizai: d = vT x = || v |||| x ||cos

Se recomand ca cei doi vectori s fie normalizai nainte de msurare: surare: || x ||=|| v ||=1. Distana Hamming: Hamming:
d=

| x == v | = 1
j j

0 pentru x = v pentru x v

Exemplu: fie vectorii x = [1 1 -1 1] i v = [1 -1 -1 -1]. distana eulidian = sqrt(02 + 22 + 02 + 22) = 2.83 distana Manhattan = 0 + 2 + 0 + 2 = 4 distana Hamming = 0 + 1 + 0 + 1 = 2 distana ca produs = [1 1 -1 1][1 -1 -1 -1]T = 0

Odat selectat neuronul ctigtor nv area are loc prin modificarea ponderilor, conform unei strategii de tip competiie, cunoscute n literatura sub numele de "ctigtorul ia totul ". Din acest motiv RN autoorganizatoare se numesc i RN competitive. Neuronul ctigtor, tor, cu cu intrarea net maxim (minim (minim) tinde tinde ctre valoarea de activare maxim, adic adic 1, n timp ce toi ceilali tind ctre valoarea minim, zero, printrprintr-un proces iterativ de inhibiie lateral maxnet (minnet). minnet). n decursul anilor, mai muli cercettori au elaborat RN competitive, avnd la baza diferite funcii de activare i reguli de nv are: Kohonen, Kohonen, von der Malsburg (1973), Grossberg (1972, 1976), Fukushima (1975), Bienenstock , Cooper i Munro (1980), Rumelhart i Ziepser (1985).

Interpretarea geometric

Modelele de intrare i vectorii pondere normalizai pot fi reprezentai prin puncte pe o sfer N dimensional. Conform regulii de nv are de fiecare dat cnd un neuron ctig competiia, vectorul vectorul su pondere se ndreapt nspre modelul de intrare x, deplasare ilustrat n figura igura alturat

nv area grupelor de modele n cazul unei RN formate din trei neuroni

2a

2b

2c

Dac exist n RN mai muli neuroni de ieire dect numrul gruprilor modelelor de intrare, intrare, pe pe msur ce RN nva, vectorii pondere devin mai dei acolo unde modelele de intrare sunt mai dese i mai rari, sau chiar abseni acolo unde modelele de intrare sunt mai puine. RN se adapteaz pentru a msura funcia densitate de probabilitate a modelelor de intrare.

Estimarea funciei densitate de probabilitate Se dorete ca vectorii wj s se aranjeze n spaiul RN astfel nct s nvee funcia densitate de probabilitate a modelelor de intrare. Aproape toate informaiile referitoare la date din unele domenii ca de exemplu teoria informaiei, recunoaterea formelor , statistic statistic se regsesc n funcia distribuie de probabilitate.

Dar regula de nv are (competitiv (competitiv standard) standard) Kohonen nu asigur, n general, un set de vectori pondere echiprobabili. Fiind dat un model de intrare x din spaiul RN, n conformitate cu funcia densitate de probabilitate, echiprobabilitatea se refer la probabilitatea ca x s fie cel mai aproape de wj s fie egal cu 1/N j=1,2,...N. Pot apare urmtoarele probleme: probleme: ca unele regiuni, acolo unde densitatea de probabilitate este mic, s nu fie reprezentate; reprezentate; regiunile cu densitate de probabilitate mare s fie supraeantionate; antionate;

Soluii pentru rezolvarea acestor probleme sunt 1.Metoda radial sprouting este adecvat pentru distana euclidian i alte msuri similare Vectorii pondere sunt iniializai la zero i modelele de intrare x sunt multiplicate cu b (un num numr pozitiv mic, mic, 0 < b1). Procesul de nv are ncepe cu o valoare sczut a lui b , aproape de zero. Astfel toi vectorii pondere sunt aproape de vectorii de intrare. Pe msur ce reeaua neuronal nva b crete, vectorii pondere sunt forai s se ndeprteze de zero i s urmeze modelele de intrare. intrare. Civa vectori pondere pot rmne n urm i sunt irosii n procesul de clasificare. Dezavantajul metodei const din faptul c procesul de nv are este ncetinit.

2. O alt soluie a fost de a aduga vectori de zgomot uniform distribuii intrrilor, rilor, n scopul pozitivrii funciei densitate de probabilitate. Iniial nivelul zgomotului este mult mai mare dect valoarea modelelor de intrare. n timp puterea zgomotului scade. nv area n prezena zgomotului este ns i mai lent dect n cazul metodei "radial sprouting". sprouting". 3. Adugarea unui termen numit "contiin" pentru pentru fiecare neuron , care monitorizeaz numrul de situaii succesive n care acesta a ctigat competiia. Aceast Aceast metod rezolv problema echiprobabilit ii vectorilor pondere . Conceptul de baz al mecanismului de nv are cu contiin este de a ine o eviden a timpului fi n care neuronul i a ctigat competiia:
f i [k + 1] = f i [k ] + .(o i - f i [k ])
o este ieirea 0 sau sau 1 a neuronilor dup ce ss-a terminat competiia; este o constant pozitiv mic, cu cu o valoare tipic de 0,0001; Curentul de polarizare (pragul) determin conform relaiei: pragul) ci se determin

1 ci = fi N

unde este o constant pozitiv, tipic de valoare 10. reprezint cantitatea prin care Termenul ci frecvena de ctigare a competiiei de ctre neuronul i este sub nivelul de echiprobabilitate 1 N. wi) -ci] Neuronul cu cea mai mic diferen min[D(x, min[D(x,w este declarat ctigtor i i va modifica ponderile conform regulii de nv are, apropiinduapropiindu-se de modelul de intrare. Spre deosebire de cazul uzual cnd un singur neuron ii modific ponderile i ceilali neuroni i modific ponderile ndeprtndurtnduse de intrare.

Elementele de procesare care ctig prea des competiia au valori ci negative mari. Cele care nu ctig prea des competiia au valori de polarizare pozitive astfel nct ele sunt favorizate de relaia de declarare a neuronului ctigtor n final vectorii pondere se vor distribui ntrntro configuraie aproape echiprobabil Metoda este cunoscut i sub denumirea de nv are competitiv sensibil la frecven "frequency competitive learning" learning" .

Algoritmi competitivi
1.Algoritmul 1.Algoritmul competitiv standard (k (k- means) means) Algoritmul competitiv standard (ACS) calculeaz calculeaz o distan ntre vectorii de intrare i vectorii pondere ai neuronilor. neuronilor. Aceast distan poate fi de mai multe tipuri, tipuri, dar dar uzual este folosit distana euclidian. Vectorul pondere al neuronului j avnd distana minim fa de vectorul de intrare este declarat ctigtor
j = arg min x[ n] - w i [ n] , i = 1, N h

(1) (2)

w i [ n + 1] = w i [n] + [x[n] w i [ n]]

Nh este numrul neuronilor din stratul competitiv

Viteza de nv are, aparinnd intervalului (0,1), (0,1), poate poate fi constant sau variabil, de de exemplu, dat de relaia:

[ n + 1] = [ n]

1 Nh

(3)

Vectorii pondere sunt iniializai aleator, uzual la valori ale vectorilor de intrare. Ecuaiile (1), (2) i (3) (3) sunt aplicate iterativ pn cnd algoritmul converge, converge, adic atunci cnd viteza de nv are atinge o valoare foarte mic sau zero, zero, sau "nghea" atunci cnd se atinge un numr de iteraii predefinit. predefinit. Deficiena major a algoritmului este necesitatea cunoaterii apriori a numrului de grupri k ale modelelor de intrare. n cazul n care acest numr este necunoscut clasificarea eueaz. Din Din pcate, cate, n aplicaiile practice numrul k al gruprilor este adesea necunoscut. necunoscut. O alt problem ce poate apare n procesarea algoritmului ACS este aa numita problem a "unit "unit ilor moarte".

Izolarea neuronului al crui vector pondere a fost iniializat prea departe de modelele de intrare
unitate "moart"

n cazul n care un vector pondere este iniializat prea departe de datele de intrare, n comparaie cu ceilali vectori pondere, este posibil ca acesta s nu ctige niciodat competiia, deci deci s nu se adapteze, adapteze, astfel nct practic el este mort din punctul de vedere al nv rii. rii.

2. Algoritmul competitiv sensibil la frecven


Pentru a evita problema "unit "unit ilor moarte " ss-a introdus algoritmul competitiv sensibil la frecven (ACSF) [S.C.Ahalt, S.C.Ahalt, 90], numit i algoritm "cu contiin". n ACSF fiecare neuron ine evidena situaiilor n care a ctigat competiia i i reduce viteza de nv are invers proporional cu numrul acestora. acestora. Astfel sunt crescute ansele neuronilor care nn-au ctigat niciodat competiia, n raport cu ceilali neuroni. neuroni. Algoritmul este o extensie a algoritmului ACS Frecvena relativ i a vectorul pondere wi se definete cu relaia urmtoare: toare:

j = arg min i x[n] w i [n] , i = 1,N h


si

(4)

si este numrul situaiilor n care neuronul

competiia. :

i a ctigat

i =

si

(5)

i =1

Dup selectarea neuronului ctigtor, tor, vectorul su pondere se actualizeaz cu relaia (2) ntrntr-un mod similar algoritmului ACS, ajustnduajustndu-se i parametrul si cu relaia:

si [n + 1] = si [n] + 1

(6)

Prezena "contiinei" evit evit apariia neuronilor mori i garanteaz c toi neuronii vor ctiga odat competiia. Figura urmtoare prezint modul de apropiere a vectorului pondere al unei unit i, n cazul algoritmului competitiv sensibil la frecven. Algoritmul ACSF distribuie ntotdeauna cei Nh vectori pondere n spaiul modelelor de intrare, fr problema "unit "unit ilor moarte", dar dar necesit cunoaterea exact a numrului k al gruprilor. rilor. Cteva dintre aplicaiile n care algoritmul ACSF a avut rezultate remarcabile sunt: extragerea de caracteristici , 05]. [H.C.Card, [C.H.Chang, H.C.Card, 98] i compresia imaginilor [C.H.Chang

Apropierea vectorului pondere ndeprtat de modelele de intrare, prin mecanismul cu "contiin"

3.Algoritmul competitiv cu penalizarea rivalului Algoritmul competitiv cu penalizarea rivalului (ACPR) realizeaz o grupare adecvat fr a cunoate apriori numrul gruprilor modelelor de intrare El determin nu numai neuronul ctigtor j, cu relaia (4) ci i urmtorul cel mai apropiat, numit rival r, cu relaia: r= arg min i x[n] - w i [n] , i = 1,N h i j Vectorul pondere al neuronului ctigtor este mutat nspre vectorul de intrare cu o vitez de nv are , aparinnd intervalului (0,1). Vectorul pondere al rivalului este ndeprtat de vectorul de intrare cu o vitez de nv are , mult mult mai mic dect , uzual cu dou ordine de mrime. rime. Toi ceilali vectori pondere rmn neschimba i. w [ n ] + [ x [ n ] w [ n ]] dac i= j (8)
i i w [ n + 1] = w [ n ] [ x [ n ] w [ n ]] i i i w [ n ] dac i j i i dac i r i=r

Dac viteza de nv are este mult mai mare dect , cu cel puin dou ordine de mrime, rime, reeaua va determina automat numrul claselor semnalelor de ieire. Altfel Altfel spus, presupunnd c numrul claselor este necunoscut i c numrul neuronilor din stratul ascuns Nh este mai mare dect numrul claselor, claselor, atunci vectori pondere vor converge nspre centrii gruprilor semnalelor de intrare. intrare. Algoritmul competitiv cu penalizarea rivalului va ndeprta n fiecare iteraie cel mai apropiat rival i va converge mult mai rapid dect algoritmii ACS i ACSF, anterior menionai. Vectori pondere n exces, al cror numr este dat de diferena dintre Nh i numrul de clase k vor fi ndeprtai din spaiul modelelor de intrare. Dac numrul neuronilor din stratul ascuns este mai mic dect numrul claselor, claselor, atunci reeaua va oscila n timpul antrenamentului, indicnd necesitatea creterii numrului neuronilor ascuni.

Algoritmul realizeaz gruparea modelelor de intrare fr problema unit ilor moarte i fr a fi necesar cunoaterea apriori a numrului de clase, clase, ndeprtnd vectorii pondere n exces din spaiul modelelor n mod automat. Algoritmul ACPR este simplu i are o mai bun convergen dect algoritmul ACSF. ACSF. Algoritmul ACPR a fost aplicat cu succes n egalizarea canalelor de comunicaie [C. Botoca, Botoca, 04], segmentarea color a imaginilor [L.T. Law, Law, 03] i n extragerea de caracteristici [T. Nakamura, Nakamura, 98]. Dezavantajul acestui algoritm este sensibilitatea la alegerea vitezei de nv are a rivalului, care care trebuie s fie cu cteva ordine de mrime mai mic dect cea a neuronului ctigtor. tor.

4.Algoritmul competitiv cu penalizarea dinamic a rivalului

Algoritmul competitiv cu penalizarea dinamic a rivalului (ACPDR) este o variant a algoritmului ACPR care elimin dependena convergenei de alegerea vitezei de nv are a rivalului. Comparativ cu ACPR, algoritmul competitiv cu penalizarea dinamic a rivalului introduce un parametru, parametru, numit putere de penalizare, pentru pentru penalizarea dinamic a vectorul pondere al rivalului:
p( w i ) = min( x[n] w w [n] , w w [n] w r [n] w w [ n] w r [ n]

(9)

unde ww[n] este vectorul pondere al neuronului ctigtor i wr[n] este vectorul pondere al rivalului. Viteza de nv are a vectorului pondere rival, din ecuaia (8) devine:

= p( w i )

(10)

Se poate observa c valoarea puterii de penalizare a rivalului p(wi) din relaia (10) este ntotdeauna ntre 0 i 1, astfel nct poate fi privit ca o probabilitate. probabilitate. Dac x[n] w [n] w [n] w [n]
w w r

atunci rivalul va fi complet penalizat cu viteza de nv are . n caz contrar, rivalul va fi penalizat cu viteza de nv are p(wi), care este gradual atenuat pe msur ce distana dintre vectorul pondere ctigtor i rivalul su crete. Astfel algoritmul ACPDR este de fapt o generalizare a algoritmului ACPR, care permite ndeprtarea rivalului cu o vitez de nv are mai mare dect acesta, deci are o convergen mult mai rapid nspre vectori pondere dorii.

Mecanismul de control al penalizrii ACPDR. ACPDR. Se Se poate observa c: (a) dac f( f(mr,mc)>f(X )>f(Xt,mc), adic distana dintre vectorul pondere al neuronului castigator i cel al rivalului este mai mare decat cea dintre vectorul de intrare i vectorul pondere al neuronului catigator, tigator, penalizarea rivalului descrete gradual pe msur ce distana dintre ctigtor i rival creste. (b) n ca contrar, f(m )<f(Xt,mc), se aplica o penalizare maxima f(mr,mc)<f(X rivalului mr, adic adic fora penalizrii atinge valoarea

Exemplul 1 Au fost generate 600 de date de intrare complexe, utiliznd un zgomot gaussian n jurul a trei puncte: (1; j), (1; 5j) i (5; (5; 5j) Datele de intrare au format trei grupri aa cum se poate vedea n figurile Cei ase vectori pondere alei au fost urmtorii: torii: (0.2580; 0.2849j), (1.4659; 5.1359j ), (0.3893; 5.3331j), (5.2045; 5.1298j), (1.9193; 5.4489) i (5.5869; 5.1937j).

Strile dorite , st strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale vectorilor pondere n cazul unei dispersii a zgomotului de =0.36, dup 100 iteraii, utiliznd a) algoritmul ACS

10

b) algoritmul ACPR

c) algoritmul ACPDR

Exemplul 2

Au fost generate 600 de date de intrare x[n] obinute n jurul a 16 16 puncte puncte din planul complex, reprezentnd reprezentnd strile dorite, dorite, peste care ss-a suprapus zgomot alb cu o dispersie de =0.1 [C. Botoca, , 06]. Au fost ini ializa i 20 de vectori pondere n Botoca mod aleatoriu n mulimea datelor de intrare. Figurile urmtoare a), b) i c) reprezint rezultatele simulrilor dup 30 de iteraii, utiliznd algoritmii ACSF, ACPR i ACPDR. n figura a) algoritmul ACSF a euat n determinarea strilor dorite. Ceilali doi algoritmi, ACPR i ACPDR au reuit s orienteze corect vectori pondere nspre strile dorite. dorite. Este Este de remarcat faptul c algoritmul ACPDR a ndeprtat mult mai rapid vectori pondere n exces dect algoritmul ACPR i a gsit poziii mai apropiate de cele dorite, n acelai numr de iteraii, deci convergena sa este mai bun.

11

Algoritmii ACPR i ACPDR recompenseaz vectorul pondere ctigtor i penalizeaz urmtorul vectorul pondere ctigtor, tor, numit rival. Comparativ cu algoritmul competitiv standard cei doi elimin problema unit ilor moarte. Dac se compar cu algoritmul competitiv sensibil la frecven, algoritmii ACPR i ACPDR nu necesit cunoaterea numrului de grupri i n plus elimin vectori ponderei n exces n afara spaiului modelelor, asociind asociind cte un singur vectorul pondere fiecrei categorii. categorii. Ambii algoritmi sunt adecvai pentru clasificarea adaptiv a semnalelor complexe afectate de zgomot. Algoritmul competitiv cu penalizarea dinamic a rivalului elimin dezavantajul seleciei destul de delicate a vitezei de nv are a rivalului, controlndcontrolnd-o n mod dinamic, n funcie de distana fa de vectorul pondere ctigtor. tor.

Strile dorite, dorite, st strile de intrare zgomotoase x[n], poziiile iniiale i cele finale ale vectorilor pondere n cazul unei dispersii a zgomotului de =0.1, dup 30 iteraii, utiliznd: a) algoritmul ACSF

b) algoritmul ACPR

12

c)algoritmul ACPDR

Exemplul 3 S-a folosit imaginea unei mese de biliard cu o rezoluie de 128x128 pixeli pixeli dup cum apare n figura 1. a). Pentru fiecare algoritm ss-au folosit 16 vectori prototip a cror poziie a fost aleasa aleatoriu n spaiul de culoare RGB. Pentru segmentarea imaginii ss-au aplicat pe rnd algoritmi ACS (k-means), means), ACPR si ACPDR. ACPDR. Dup Dup convergenta algoritmilor, dup dup 35 de epoci, imaginile reconstituite din imaginea segmentata sunt prezentate n figura 1. b)b)- d), n care se poate vedea c bila neagra a fost total omisa de algoritmul. Putem vedea deci c rezultatele k-means sunt mai proaste att dect rezultatele ACPR cat si ACPDR. ACPDR. Rezultatele ACPR si ACPDR au fost similare. Totui, algoritmul ACPR a ndeprtat doar 5 vectori redundani de setul datelor de intrare, restul de 11 vectori grupndugrupndu-se n jurul centrilor unor grupri. ri. n contrast, algoritmul ACPR a ndeprtat 6 vectori de setul datelor de intrare n timp ce ceilali 10 10 vectori vectori rmai au fost mutai n centrii corespunztori celor 10 grup grupri. ri.

a)imaginea originala

b)ACS (k-means)

13

c)ACPR

d)ACPDR

ACPR a ndeprtat doar 5 vectori redundani de setul datelor de intrare, restul de 11 vectori grupndugrupndu-se n jurul centrilor unor grupri. ri. n contrast, algoritmul ACPR a ndeprtat 6 vectori de setul datelor de intrare n timp ce ceilali 10 10 vectori vectori rmai au fost mutai n centrii corespunztori celor 10 grup grupri. ri.

Exemplul 3 S-a folosit o imagine a unei case de rezoluie 128x128 pixeli pixeli pentru a compara rezultatele segmentrii obinute cu cei 3 algoritmi studiai. Imaginea originala este prezentata n figura 2.a). 2.a). Numrul de vectori prototip este 30. Performantelor algoritmilor sunt prezentate dup 100 epoci sunt reprezentate n figura 2. b)b)- d). Algoritmul ACPR nu a reuit se ndeprteze nici un vector redundant de setul datelor de intrare. n contrast ACPDR a mpins 12 vectori departe de setul datelor de intrare. Acest experiment arata c algoritmul ACPR este foarte sensibil la alegerea ratei de dezv are. n acest exemplu performantele k-means si ACPR sunt comparabile, dar mult mai slabe dect ale ACPDR. . Se e ACPDR S poate vedea c att n imaginea segmentat cu ACPR ct si n cea segmentata cu kmeans textura zidului rou nc a rmas n timp ce n imaginea segmentata cu ACPDR textura a fost ndeprtat cu succes.

a)imaginea originala

b) k-means

14

c)ACPR d) ACPDR Figura 2. a)imaginea originala; b)imaginea segmentata cu k-means unde textura zidului este nc prezenta; c) imagine segmentata cu ACPR cu 30 de vectori prototip, textura zidului e nc vizibila; d) imaginea segmentata cu ACPDR avnd doar 18 vectori, n urma segmentrii rezulta un zid solid

Reeaua MAXNET

n reeaua MAXNET fiecare neuron este cuplat cu el nsui excitator i i inhib pe toi ceilali
pentru i j wij = pentru i = j 1

unde = 1 /N< 1 este este o constant pozitiv mic, iar iar N numrul de neuroni din RN Relaia se poate scrie ca o matrice de dimensiune NxN: NxN:
1 1 WN = ... ... ... ... ... 1

Modelul de intrare este activ doar n momentul iniial x[0]. x[0]. Fiecare neuron proceseaz intrarea sa net

net[0] = WN .x[0]

Apoi se determin ieirea aplicnduaplicndu-se funcia de activare intrrii nete: nete: o[ k + 1] = f ( net[ k ])
net[k ] pentru net[k ] f (net[k ]) = 0 pentru net[k ] <

Ieirile tuturor neuronilor la momentul k se folosesc pentru a determina intrarea net n neuroni la momentul urmtor de timp k+1. k+1. Se Se aplic succesiv relaiile urmtoare: toare:

net[k + 1] = WN .o[k ]

o[ k + 1] = f ( net[k ])

15

Se poate demonstra c aplicnd n mod recursiv relaiile anterioare, reeaua MAXNET va converge nspre o situaie n care doar neuronul cu cea mai mare intrare net iniial va rmne activ n timp ce toi ceilali vor converge spre activarea zero. Din acest motiv reeaua MAXNET se numete i reea de tipul (" ctigtorul ia totul " n englez winnerwinner-takestakes-all). all). O reea similar este MINNET, MINNET, care la ieire va avea un singur neuron activ, acela acela cu cea mai mic stare de activare iniial.

Exemplu
Tipic o reea neuronal competitiv este alctuit din dou straturi de neuroni: stratul de msurare al distanei; stratul competitiv, de tip MAXNET sau MINNET; MINNET;

x(n)

D(x,W)

d(n)

Strat Maxnet

y(n)

Regul de nvare

Fie un clasificator neuronal de caractere, implementat cu o reea Hamming ca prim strat i o reea Maxnet ca al doilea strat. Literele C, I, T sunt modelele prototip . RN va selecta clasa creia i aparine modelul aplicat la intrare, respectiv clasa la distana Hamming cea mai mic fa de acesta. Stratul Hamming va avea la ieire un neuron cu cea mai mare stare de activare , dac dac distana Hamming dintre modelul de intrare i categoria reprezentat de neuron este minim. Stratul Stratul MAXNET suprim ieirile tuturor neuronilor cu excepia celui care a avut cea mai mare stare de activare iniial.

16

Fie modelul prototip pentru o clas m. m.


m m s m = [s1 s2

... s m N]

Matricea ponderilor pentru stratul Hamming care realizeaz o clasificare n p categorii este dat de relaia:
(1) s1 1 ( 2) W H = s 1 2 (p) s1

s (21) 2) s( 2 p) s( 2

1) L s (N ( 2) L sN p) L s (N

Pentru litera C, modelul prototip, conform imaginii de mai jos, are structura s1=[1 1 1 1 -1 -1 1 1 1 1]. pentru litera I modelul prototip este s2=[=[-1 1 -1 -1 1 -1 1 -1 1 ] i pentru litera T modelul prototip este s3=[1 1 1 -1 1 -1 -1 1 -1 ].

Matricea ponderilor pentru reeaua Hamming este:


WH = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1

Intrarea net pentru reeaua Hamming este dat de relaia

1 m T N s x + 2 2 net m = N HD( x , s ( m ) ) net m =


unde HD este distana Hamming, Hamming, adic numrul de poziii n care cei doi vectori difer. Practic net ne d numrul de poziii n care cei doi vectori x i modelul prototip sm se aseamn.

Ieirile reelei Hamming se obin trecnd intrarea net prin funcia de activare.
f ( net m ) = 1 net m N

Ieirile reelei Hamming sunt intrri pentru reeaua Maxnet la momentul 0 , adic adic x[ x[0] Se consider pragul neuronilor Maxnet de valoare zero. zero. Se alege =0.2 (care respect condiia <1/3) A se vedea ptr. ptr. continuare fiierul word

17

Optimizarea traficului ATM

Se propune o metod de planificare a celulelor din memoria tampon a unui nod de comunicaie, ce ce utilizeaz un algoritm competitiv cu contiin. Sistemul de comunicaii controlat de planificatorul neuronal din figur are surse multiple la intrare i o singur ieire. Sursele genereaz date n perioade ONON-OFF independente, dup o distribuie exponenial. Fiecare intrare a nodului de reea are cte o memorie tampon de aceeai capacitate maxim xb. Numrul celulelor dintrdintr-o coad particular ss-a notat cu xi. Numrul celulelor ntrntr-o coad particular a nodului variaz n timp dup o distribuie Poisson. Poisson. RN selecteaz celulele de la intrri pentru transferul optim la ieire. Reeaua neuronal are trei straturi: straturi: unul unul de intrare, unul unul ascuns care determin o distan metric i unul de ieire de tipul "ctigtorul ia totul" totul" .

Primul strat formeaz componentele vectorului de intrare x=[x1,x2,...,xN]T, unde prin xN se reprezint numrul de celule la un moment dat din memoria tampon N. Al doilea strat conine neuroni adaptivi care calculeaz distana metric D(x, wi) ntre vectorul de intrare i propriul D(x,w vector pondere wi = [wi1, wi2, ...,w ...,wiN ]T. Distana poate fi de tipul distan euclidian, distan Manhattan, Manhattan, distan Minkovski sau altele . Ultimul strat este competitiv de tipul "ctigtorul ia totul". totul". Neuronul cu diferena minim [D(x,w [D(x,wi)-ci] dintre distana D(x,w D(x,wi) i pragul su ci, este declarat ctigtor i din coada de ateptare xi este selectat o celul pentru transfer spre ieire. Ieirea se calculeaz cu relaia urmtoare: toare:

1 pentru D(wi, x) - ci = min(D(wi, x) - ci) zi = 0 n rest

18

Elementul de procesare declarat ctigtor i va modifica ponderile n conformitate cu regula de nv are competitiv standard:

w i (k + 1) = w i (k ) + a w .(x w i (k )). z i

unde aW este viteza de nv are cu valori ntre 0 i 1; i neuronii care au pierdut competiia i modific ponderile, ponderile, dar cu o constant aL mai mic dect a neuronului ctigtor: tor:

w i (k + 1) = w i (k) + a L .(x w i (k)).(1 zi ) 0 < aL < aW < 1


Astfel, toi vectorii pondere se deplaseaz spre vectorii de intrare cu fraciuni diferite, ca n figur. Vectorii pondere vor deveni mai dei acolo unde modelele de intrare sunt mai dese i mai rari sau chiar abseni acolo unde modelele sunt mai puine.

Rotirea vectorului pondere spre vectorul de intrare att a neuronului m ctigtor ct i a neuronului p nvins.

Regula de nv ) nu are ACS (Kohonen (Kohonen) nu asigur, n general, un set de vectori pondere echiprobabili i exist riscul ca odat ce un neuron este declarat ctigtor, tor, el el s rmn ctigtor. tor. Problema echiprobabilit ii vectorilor pondere se poate rezolva introducnd pentru fiecare neuron un termen numit "contiin" care care monitorizeaz numrul de situaii succesive n care acesta a ctigat competiia. Prezena "contiinei" evit i apariia neuronilor mori. Neuronii mori au ponderile prea ndeprtate de intrri, ri, astfel nct ei nu au ansa de a ctiga vreodat competiia. Mecanismul de nv are cu contiin ofer anse i acestora i garanteaz c toi neuronii vor ctiga odat competiia. Dac un neuron ctig prea des competiia , de mai multe ori dect valoarea medie 1/N, contiina l elimin din competiie mrindurindu-i distana metric fa de intrare. intrare. Fraciunea fi de timp n care care neuronul i a ctigat competiia este dat de relaia :
f i (k + 1) = f i ( k ) + b.[z i f i (k )] 0 < b <1

19

unde b se determin conform relaiei:

N -1 k -1 b = 1- N
d

termenul kd reprezint numrul de situaii n care un neuron a ctigat succesiv competiia; Aceast evaluare se face n pasul imediat urmtor al terminrii competiiei. Pentru fraciunea fi se calculeaz apoi un termen de polarizare care se sustrage din distana iniial D( D(wi,x):
ci = g ( 1 f i + q i i (x i )) N

unde g este o constant, de acelai ordin de mrime ca i D, care se determin n fiecare slot cu relaia: ia:1 N
g= D(wi, x) N i =1

a) Izolarea neuronului cu vectorul pondere deprtat de modelul de intrare b)Apropierea vectorului pondere cu ajutorul mecanismului cu contiin.

Termenul qi ofer posibilitatea de a acorda priorit i cozilor de ateptare. Termenul (xi) depinde de lungimea cozii de ateptare xi.
i [k] = 1 x i 1 + 1 k + 0.001 x i [k ]

Toi termenii xi sunt normai la capacitatea maxim a cozii de ateptare xb, astfel nct valoarea maxim a lui xi este 1. Constanta 0.001 evit evit situaia de mprire la zero, dac dac xi este aproape de 1. Termenul k este intervalul de timp corespunztor transferului unei celule, celule, adic adic un slot. slot. Primul termen al relaiei anterioare permite creterea polarizrii pentru neuronul corespunztor cozii celei mai lungi. lungi. Rolul celui de al doilea termen este de a implica i rafalele n algoritmul de programare.

20

Se observ n relaia c pragul ci crete cu lungimea cozii de ateptare, astfel nct el determin descreterea diferenei [D(x,w De fiecare dat cnd un neuron ctig [D(x,wi)-ci]. competiia fi crete, n consecin ci descrete i diferena D(x,w D(x,wi)-ci] va crete. Se observ c un neuron care ctig des competiia are un prag negativ semnificativ. Acest prag l ndeprteaz de ceilali neuroni concureni. Un neuron care ctig rar competiia are un prag pozitiv , ceea ce determin creterea probabilit ii ca el s ctige competiia. Regula implementat de RN este c va fi deservit coada de ateptare cea mai lung, asigurnd transferul eficient de celule spre ieire i evitnd dep irea capacit ii.

Observaii
1) Un punct slab al controlerului neuronal l reprezint determinarea empiric a coeficienilor b i g. 2.)Problema stabilitii n cazul n care vectorii de intrare nu sunt iniializai adecvat i viteza de nvare este mare, aplicarea unui vector de intrare face ca s se modifice configuraia acestora, deci sistemul s nu mai ajung ntrntr-o stare stabil ci s evolueze continuu ca n figur

Rezultatele simulrii

Pentru a testa RN propus ss-au utilizat trei surse independente de tipul ONON-OFF, cu o distribuie Poisson a generrii celulelor. celulelor. Rata de vrf a celulelor a fost (3, 3, 1) celule pe slot, slot, n perioadele active. Factorii corespunztori au fost (100/237, 307/167, 57/121) sloturi. sloturi. Registrele de intrare au funcionat pe baza principiului primul venit, primul plecat (FIFO)i au avut o capacitate de xb=100 de celule. Figurile reprezint cozile de ateptate de la intrare xi generate de cele trei surse ntrntr-un interval de timp de 550 sloturi. sloturi. Se observ c ele reprezint condiii relativ dificile pentru transferul ctre o singur ieire.

21

Cozile de ateptare ptr. ptr. planificatorul de celule cu algoritmul round robin i ptr. ptr. cel cu RN

Rata de pierdere a celulelor

Sumele cumulative ptr. ptr. ocuparea celulelor ptr. ptr. planificatorul cu RN i cu algoritmul round robin

22

Autocorelaia dintre datele transmise ctre urmtorul nod de comunicaie cu algoritmul round robin i cu controlerul neuronal

23

Reea neuronal celular cu trei straturi

VECINTATEA unei celule pentru r=1,r=2,r=3, r=1,r=2,r=3, ntrntr-o reea bidimensional

STRUCTURA UNEI REELE NEURONALE CELULARE A UNEI CELULE I FUNCIA DE IEIRE

Reele neuronale celulare analogice


Ecuaia de stare (t) =- 1 (t) + Cx i,j x i,j Ai,j;k,l y k,l (t) + B i,j;k,l u k,l (t) + I Rx Ck, l Nr (i, j) Ckl N r(i, j) pentru 1 i, k M si 1 j, l N
Ec ua ia de int ra re : u i ,j = E i ,j

Ecuaia de iesire: yi,j (t) =

1 (| x i, j(t) + 1| - | x i,j (t) - 1 |) 2

Condiii de stare: | yi,j (0)| 1 ; |u i,j| 1


Condiii asupra parametrilor: Ai,j;k,l = A k,l;i,j; C 0, Rx 0

SCHEMA BLOC A ECUATIEI DE STARE

AVANTAJELE REELELOR NEURONALE CELULARE


Localitatea conexiunilor Structura geometric regulat Programabilitatea Posibilitatea implementrii VLSI Vitez de procesare fr precedent Potenialul de procesare Maina universal RNC

Localitatea conexiunilor
de inspiraie biologic, reprezint caracteristica esenial a RNC i a fost practic determinat de necesitatea implementrii VLSI. Fiecare procesor elementar (celul) interacioneaz cu celelalte procesoare din reeaua neuronal, ntr-o vecintate finit . Raza vecintii este mult mai mic dect numrul celulelor din reea. Matricea de interconexiuni se numete cloning template . n majoritatea aplicaiilor aceasta este aceeai pentru toate procesoarele, proprietate cunoscut sub numele de invarian n spaiu. Marele avantaj fa de alte RN este c depanarea , n cazul RNC cu matrici de interconexiune invariante n spaiu, este uor de realizat , datorit aciunii locale a operatorilor.

Structura geometric regulat


Toate procesoarele sunt identice ca structur electric, i pot fi specificate n mod unic prin civa parametrii, cel mult 19 numere reale [86]. Funcionarea unei RNC de orice dimensiune poate fi controlat prin modificarea a 19 parametrii a unui singur tip de circuit. Independena de dimensiune este cheia programabilitii att din punct de vedere soft, ct i hard.

Programabilitatea
Din punct de vedere soft , cele 19 numere pot fi interpretate ca un program ce implementeaz un anumit tip de funcionare a neuronului, un anumit algoritm. Implementarea aceluiai algoritm pe un computer digital convenional ar necesita scrierea unui program cu mii de instruciuni.

Dac lum n considerare faptul c aceti parametrii se pot permuta ntre ei de 19! ori, fiecare situaie corespunznd unei RNC distincte, compresia este impresionant, fa de cazul instruciunilor unui computer digital Von Neumann. Din punct de vedere hard sunt necesare doar 19 conexiuni spre exteriorul chip-ului. Acestea permit programarea extern ,fr restricii datorate mrimii reelei. Fa de calculatoarele clasice seriale, unde timpul de procesare depinde exponenial de mrimea numrului de procesoare , timpul de stabilizare al unei RNC depinde liniar n multe dintre cazuri. De fapt, pentru multe aplicaii timpul de procesare este independent de dimensiunea reelei.

Posibilitatea implementrii VLSI


Prin localitatea conexiunilor i structura geometric regulat, RNC sunt un concept natural pentru implementrile VLSI . Acesta reprezint avantajul major al RNC fa de celelalte arhitecturi neuronale. Datorit proprietii de invarian n spaiu este posibil construirea de reele mari prin potrivirea condiiilor la limit, dintre chip-uri. Aceasta nseamn c mrimea unei RNC nu este restricionat de numrul neuronilor ce pot fi implementai ntr-un chip. Performana realizat, de 0.3 Terra operaii analogice pe secund, ptr un chip cu o suprafa de 1 cm2, reprezint o vitez de procesare fr precedent, care nu face dect s confirme supoziiile teoretice. Implementrile optice sunt n faz experimental, capabile de procesri cu viteze superioare.

Potenialul de procesare
Programabilitatea interconexiunilor de control, reacie i de polarizare le confer RNC un potenial de procesare deosebit, permindu-le o comportare variat i complex, inclusiv ca oscilator sau simulator de haos, n aplicaii ce necesit o deosebit capacitate de procesare (ca de exemplu probleme de optimizare global, de sortare ,de numrare, de filtrare median). RNC pot simula unde autogeneratoare (autowaves) pot produce Turing pattern-uri Pattern - starea staionar de curent continuu obinut prin comportarea dinamic difereniat a unor elemente identice, cuplate ntr-o distribuie spaial regulat. Altfel spus: celulele unei RNC genereaz pattern-uri dac au ieiri inegale n starea de curent continuu.

Fenomene similare care implic o rupere a simetriei sunt studiate n biologie (modelele morfogenetice), biochimie (modelul de difuzie ntre membranele celulare), fizic, ecologie, electronic. Evident comportarea reelei depinde de condiiile iniiale, de condiiile la limit, de structura geometric i de dimensiunile domeniilor spaiale n colaborare cu neurologii a fost elaborat modelul retinei umane. Comportarea deosebit de complex a RNC a permis i generarea modelului difuziei chimice dintre dou membrane celulare, a unor modele morfogenetice. Astfel prin RNC se elaboreaz modele cu plauzibilitate biologica, ce permit o mai bun nelegere att a anatomiei creierului, ct i a procesrii cunoaterii umane. n acelai timp modelele RNC ofer un cadru experimental al degradrii funciilor biologice la deteriorrile

Maina universal RNC


-combin abordarea analogic cu cea digital . Ea este singura reea neuronal cu o dinamic similar funciilor de tip analogic implementate n emisfera dreapt a creierului i a funciilor de tip discret implementate n emisfera stng a creierului uman. Cu alte cuvinte, maina universal RNC este o prim ncercare grosolan a implementrii asimetriei a creierului uman. S-a demonstrat c maina universal RNC este o main Turing analogic ea fiind capabil s rezolve orice problem ce poate fi soluionat cu un calculator clasic. Dezvoltarea unor algoritmi de nvare adaptivi i utilizarea tehnologiilor optice, electromagnetice i cuantice n implementarea pe scar industrial deschid

Scheme of Aladin Visual Computer


camera

Hosting industrial or desktop PC Pentium class PC motherboard Framegrabber card

Aladin Visual Computer Stack

DSP module

ACE4K platform

Platform bus PCI bus

The Aladdin Visual Computer Desktop version Industrial version

GENERALIZAREA MODELULUI LUI CHUA (cu interconexiuni invariante in spaiu)


RNC discrete in timp RNC cu interconexiuni neliniare RNC cu diferite neliniarit i RNC cu ntrziere n timp RNC cu vecint i multiple RNC cu diferite tipuri de vecint i

Instruciunile RNC universale funcionnd ca un procesor n timp real sunt succesiuni de matrici de interconexiune - templates Se pot defini algoritmi spaio-temporali un template opereaz ntr-un anumit interval de timp, apoi altul opereaz asupra datelor generate la ieirea RNC, .a.m.d. Exist i posibilitatea de nvare prin adaptarea ponderilor Nu exist o strategie eficient ptr. a nva templates-urile adecvate ptr o aplicaie Strategia uzual este metoda trial and error

REELE NEURONALE CELULARE DISCRETE

x i, j[n + 1] =

C k, l N r (i, j)

A i, j;k,l y k,l [n] +

C k, l N r (i, j)

B i, j;k,l u k,l [n] + I

ptr. 1 i M ; 1 j N

1 dac x[n ] 1 y[n + 1] = f ( x[n]) = 1 dac x[n] 1

Metode de determinare a matricilor de conexiune 2 direcii clare, distincte:


1. Ca operatori spaiali 2. Ca memorii asociative Algoritmi pentru convergena la puncte fixe Metode de tip gradient, pentru nv are de traiectorii prescrise pentru reelele neuronale celulare analogice Metode de nv are de traiectorii prescrise n reelele neuronale celulare discrete Algoritmi globali pentru reelele neuronale celulare discrete Algoritmi orientai spre implementarea hard Algoritmi genetici

A. PRELUCRRI DE IMAGINI STATICE


extragere de contur, filtrare, halftoning, skeletonizare, sortare de obiecte n funcie de orientare sau dimensiune, detecie de minime i maxime, mrire i micorare de imagine; extragerea unui anumit model din imagine (detecia gurii i a ochilor pe imaginile faciale n micare, detecia mnerelor de u din imagini pentru protezarea orbilor); reconstrucie de obiecte tridimensionale prin interpolare i aproximare, rotaia obiectelor 3D; mbuntirea imaginilor prin eliminarea zgrieturilor, prin accentuare, prin mrirea contrastului (n microscopie, neurologie, analiza amprentelor digitale); recunoaterea caracterelor scrise ( latine i japoneze);

PRELUCRRI DE IMAGINI STATICE


compresia i decompresia imaginilor; recunoaterea bancnotelor (copiatoare inteligente); segmentarea imaginilor, detecia defectele din textura materialelor, din realizarea cablajelor; stereograme;

Average

spatial averaging of pixel intensities over r=1 convolutional window


0 0 0 0 1 0 A = 1 2 1 B = 0 0 0 I = 0 0 0 0 0 1 0

Diagonal component detector


1 0 0 A= 2 0 0 0 1 0 0 0 0 B= 0 0 0 I = 0 0 0 0

Halftoning - spatial averaging of pixel intensities


over r=1 convolutional window converts the grey scale input image to black and white, still presearving the main features of the picture

a 0.2
y kl y ij

0 a 0 a 1 a A= 0 a 0

B=0

I =0

Maximum detection

Object reconstruction based on signature: (a) the original image; (b) the signature; (c) reconstructed object

Romanian Bank-Notes Recognition


Input image
Color filtering Size classification

CNN can be used to avoid counterfeiting banknotes in color copiers. Any document except a bank-note can be copied and transmitted

Objects with one hole extraction

Objects containing many holes extraction

Sum of subresults

Objects group selected for recognition

Reconstruction

Final image

The flow chart of the recognition program for the 10.000 lei banknote

The steps of color filtering : a)input image; b)prefiltering result; c) Objects with a greater value than the minimum value color of interest ; d) Objects with a greater value than the maximum value color of interest; e)XOR between image c) and d); f) output
Prefiltering
Objects extraction with a greater value than the minimum value of the interest interval Objects extraction with a greater value than the maximum value of the interest interval

XOR
Reconstruction

The color filtering flow chart

Steps of size classification: a) input image; b) image with n pixels levels deleted; c) image with m-n pixels levels deleted; d) reconstruction of the image b); e) reconstruction of the image c); f) XOR application to d) and e)

The two images obtained at the output are applied as image a) and b) to the reconstruction subroutine

10

Reconstrucia obiectelor tridimensionale tridimensionale prin interpolare i aproximare


dv = .gradE( v ) dt
E( v ) = 1 C(ij, kl) v ( i , j) v ( k ,l ) , r = 2 2 ( i , j) ( k ,l )N r ( i , j)
E = C(ij, kl) v ( k ,l ) , r = 2 v ( i , j) ( k ,l )N r ( i , j)

(1) (2) (3)

C( ij, kl) =

2E v ( i , j) v ( k ,l )

(4) (5)

A ij,kl = C( ij, kl ) + 1

Interpolarea
Starea iniial i cea fix pentru interpolarea unei suprafee plane

Intrarea i ieirea RNC dup 100 de iteraii

Intrarea i ieirea RNC dup stabilizare

11

Suprafaa interpolat

Interpolarea unei piramide de 7x7


Intrarea, Intrarea, starea iniial i cea fix a RNC

Intrarea i ieirea RNC dup 17 iteraii

Intrarea i ieirea RNC dup stabilizare

12

Suprafaa interpolat dup stabilizare

Suprafaa piramidal de dimensiune 20x20 interpolat interpolat

Aproximarea
Suprafaa piramidal de dimensiune 20x20 aproximat cu w=2

13

Suprafaa piramidal de dimensiune 20x20 aproximat cu w=0.5

Rotaia obiectelor Structura unei RNC care realizeaz rotaia obiectelor


Strat de Control Aritm etic local

Funcie de decodare Strat de Referin Matrice de interconexiune variant n spaiu

Starea iniial a RNC n timpul rotaiei unui pixel

14

Cteva stri intermediare ale RNC n timpul rotaiei unui pixel

PRELUCRRI DE IMAGINI DINAMICE


analiza i detecia micrii; rii; detecie de inte multiple i urmrire; rire; navigare ntrntr-un mediu necunoscut; monitorizarea traficului i detecia coliziunii; stereograme;

Analiza i detecia micrii


Probleme din punctul de vedere RNC: P.1 Determinarea existenei micrii avnd o vitez dat ntrdirecie; ntr-o anumit P.2 Detecia existenei micrii cu o valoare absolut a vitezei ce se ncadreaz ntrntr-un domeniu dat (direcia deplasrii nu conteaz); P.3 Estimarea vitezei micrii dup o direcie dat (orizontal (orizontal sau vertical); P.4 Estimarea componentelor vx respectiv vy atunci cnd obiectul se deplaseaz ntrntr-o direcie oarecare; P5 Separarea prilor mobile respectiv a celor statice ale imaginilor n micare.

15

Metoda de determinare a matricilor de conexiune pentru separarea prii statice a imaginilor ce conin obiecte in micare
1 x i,j (t) + A i,j;k,l yk,l (t) + B i,j;k,l u k,l (t) + R C k,l N r (i,j) C kl N r (i,j) A (i,j;k,l) yk,l (t - ) + B i,j;k,l u k,l (t - ) + I

Cx i,j (t) =-

C k, l N r (i,j)

C kl N r (i,j)

Tabelul de adevr pentru separarea prilor statice a imaginilor care conin obiecte n micare
P(t-)/ uij(t-) -1 1 -1 1 P(t)/ uij(t) -1 1 1 -1 Pd / yij() -1 1 -1 -1

0 0 0 A = 0 1 0 , 0 0 0 c c B = c d c c

a a a B = a b a , I, A =[0] a a a c c , a, b, c, d, I constante c

Selectarea prii statice a unui ceas, n micare, n dou momente de timp diferite
Soluiile obinute : a=0.125, b=3.2, c=c=-0.125, d=3.2., I=I=-3.

16

Selectarea prii mobile a imaginii unui ceas, n dou momente de timp diferite

Selectarea prii mobile a imaginii unui ceas, n dou momente de timp diferite

Image enhancement with hysteretic activation function

17

18

We combined two promising technologies. The first one is the Panoramic Annular Lens (PAL) system which projects the 360 degrees field of view into a single disc-shaped image (Fig. 1.). The second technology is the Aladdin Visual Computer which is powered by the ACE4K 64x64 array size CNNUM chip . The combination of the panoramic imaging device and the large computational power of the CNN technology leads to a realtime, 360 degrees view angle, single camera monitoring system

19

20

Memorii asociative
Memoriile asociative implementeaz o transformare ntre o mulime de modele aparinnd spaiului de intrare i o mulime de modele aparinnd spaiului de ieire. Ori Ori de cte ori la intrare se aplic un model particular, la ieire se obine modelul asociat acestuia. Un caz particular este autoasocierea, autoasocierea, cnd un model este asociat cu el nsui.

Modele de intrare reprezentnd cele 5 modele memorate, afectate cu un zgomot gaussian de medie nul i dispersie =0.9

Modelele de intrare, reprezentnd cele 5 modele memorate, afectate cu o eroare binar de 25% i cele de ieire dup stabilizarea unei RNC de dimensiune 10x10

21

Modelele ideale memorate reprezentnd 25 de ideograme chinezeti

Modele de intrare reprezentnd cele 25 de ideograme chinezeti afectate cu un zgomot gaussian de medie nul i dispersie =0.3

Algoritm rapid cu un numr redus de conexiuni


Ai, j;k,l = b. ( y kl y kl )( y ij y ij )
q q q =1 P q q

(1) (2) (3) (4) (5) (6)

A ij,kl (k + 1) = A ij,kl (k ) + d q ij .A ij ,kl ( 0)


q =1

q I ij (k + 1) = I ij (k ) + d q ij .y ij q =1

q dn ij = .( E E ij )
q q q Eq ij = A ij,kl .y kl .y ij + I ij .y ij klN r

1 > E > jqi E

22

Ideogramele chinezeti cu un un zgomot gaussian cu medie nul i dispersie =0.7

Combinaii ale modelelor memorate afectate de o eroare =0.7

Ghidarea automat a unui vehicul Schema bloc a unit ii de control a vehiculului automat
Senzori
Unitatea analogic de control RNC Memorie asociativ (filtru) filtru) Interpretor (DCC) Unitatea de control digital

23

Modelele ideale memorate

Modelele de intrare afectate cu un zgomot gaussian cu medie nul i dispersie =0.6

Intrarea digitizat, ieirea primului i a celui dede-al doilea strat a unit ii de control cu RNC

24

Memorii asociative obinute prin metoda descompunerii n valori singulare Cele 20 modele ideale memorate

Cteva dintre cele 20 de modele afectate cu un zgomot gaussian cu medie nul i dispersie =1.3

Memorii asociative obinute prin metoda pseudoinversei


Modelele ideale afectate cu un zgomot gaussian cu medie nul i =0.6

25

Memorie asociativ pseudoinvers complet stabil A ij,kl = A kl ,ij

TELECOMUNICAII
Egalizoare Avantaje
datorit de timp Procesarea n timp real; Se elimin problemele de convergen, stabilitii RNC; Viteza de procesare depinde de constantele ale circuitului i nu de ordinul filtrului;

Faxuri, scannere i copiatoare cu funcii multiple Controlul admisiei apelului i al congestiei n reelele de comunicaii mbuntirea parametrilor globali de eficien

MODELE MORFOGENETICE
implementarea unor modele biologice pentru percepia vizual (modelul retinei), pentru fenomenul de difuzie ntre membranele celulelor, pentru morfogeneza blnii mamiferelor, pentru deplasarea n mediu

Rezolvarea ecuaiilor pariale difereniale:


U = F( U ) + D 2 U t
2 = 2 2 2 + + x 2 y 2 z 2

26

SIMULAREA BLANII GHEPARDUL REGAL

TELECOMUNICAII
Egalizoare Avantaje
datorit de timp Procesarea n timp real; Se elimin problemele de convergen, stabilitii RNC; Viteza de procesare depinde de constantele ale circuitului i nu de ordinul filtrului;

Faxuri, scannere i copiatoare cu funcii multiple Controlul admisiei apelului i al congestiei n reelele de comunicaii mbuntirea parametrilor globali de eficien

MODELE MORFOGENETICE
implementarea unor modele biologice pentru percepia vizual (modelul retinei), pentru fenomenul de difuzie ntre membranele celulelor, pentru morfogeneza blnii mamiferelor, pentru deplasarea n mediu

Rezolvarea ecuaiilor pariale difereniale:


U = F( U ) + D 2 U t
2 = 2 2 2 + + x 2 y 2 z 2

27

MEDICIN diagnostic asistat de computer


ecocardiografie ultrasonic n timp real mamografie n diagnosticare interactiv a cancerului mamar tomografie detecia carcinoamelor bronhogenetice analiza cromozomial i microanaliza DNA, toolkit pentru partiia, identificarea i analiza defectelor

28

Fig. 5. (a) The input mammogram is shown; and (b) presents the MVF global frequency correction with window Here the microcalcifications are being visible after processing.

ROBOII WORMBOT, LAMMPBOT I HEXABOT

MODELUL RETINEI

29

CONCLUZII
aspecte teoretice i practice ale paradigmei RNC
APLICAII N:

procesarea de imagini; modelare neliniar i optimizare; modelare spaio- temporal controlul structurilor distribuite n spaiu Cea mai recent realizare hard, computerul analogic este prima ncercare de simulare a modului de operare analogico -logic al creierului.

30