SISTEME NEURO - FUZZY

Capitolul 2 Sisteme neuro-fuzzy

2.1 Noiuni introductive
Cel mai important dezavantaj al sistemelor fuzzy l reprezint dificultatea parcurgerii etapei de construire a bazei de reguli care, de regul, este consumatoare de timp. Suplimentar, este necesar o continu adaptare a bazei de reguli n scopul achiziiei unor reguli consistente. Aceasta determin necesitatea proiectrii unei componente adaptive a sistemului fuzzy care s modifice baza de reguli astfel nct s fie descris ct mai bine aplicaia supus ateniei [Ayoubi, 1996a]. Pe de alt parte, reelele neuronale artificiale reprezint o abordare complementar sistemelor fuzzy relativ la reprezentarea informaiilor. n cazul reelelor neuronale, informaiile sunt reprezentate sub form numeric, prin intermediul ponderilor reelei. Capacitatea reelelor neuronale de a-i adapta ponderile folosind un set de date de antrenare este unanim recunoscut ca fiind asemntoare procesului de nvare uman. Totui, modul n care reele neuronale realizeaz transferul intrare-ieire nu este transparent, din acest motiv acestea fiind considerate modele de tip "cutie neagr". Mai mult dect att, cunotinele apriorice ale expertului uman nu se pot folosi n scopul unei mai bune iniializri a parametrilor reelei care ar conduce la o mbuntire a convergenei i scderii duratei de antrenare. n ultimii ani s-a manifestat un interes deosebit n ceea ce privete integrarea celor dou abordri, sisteme fuzzy i reele neuronale. Ceea ce se urmrete este de a combina transparena oferit de sistemele fuzzy, cu proprietatea reelelor neuronale de a se adapta. Exist o serie de abordri n care se combin cele dou tehnici, grupate n patru mari categorii [Ayoubi and Isermann, 1997]:

162

SISTEME NEURO - FUZZY

modele neuronale bazate pe sisteme fuzzy; procedur de antrenare a unei reele neuronale bazat pe sisteme fuzzy; sisteme fuzzy completate de reele neuronale; adaptarea sistemelor fuzzy bazat pe folosirea reelelor neuronale. 2.1.1 Proiectarea reelelor neuronale folosind sisteme fuzzy O posibilitate de a combina cele dou tehnici este de a folosi cunotinele expertului uman la proiectarea i antrenarea reelei neuronale, mbuntind astfel proprietile reelei neuronale. Modele neuronale bazate pe sisteme fuzzy Ideea de baz a abordrilor ce se ncadreaz n aceast categorie este de a extinde modelul standard al neuronului artificial astfel nct s fie capabil s proceseze informaii reprezentate prin intermediul mulimilor fuzzy. Regula de transformare implementat de neuronul standard este dat de:
y = ( w p x p ) ,
p =1 P

(III. 6)

unde suma ponderat modeleaz funciunea sinaptic, iar funcia neliniar modeleaz funciunea somatic a neuronului biologic. Parametrul reprezint pragul ce trebuie depit de suma ponderat a stimulilor unui neuron biologic astfel nct acesta s devin activ. Neuronul fuzzy este proiectat s funcioneze similar cu neuronul standard, diferena constnd n faptul ca acesta este capabil s prelucreze att intrri exacte, ct i intrri exprimate sub forma mulimilor fuzzy. La neuronul fuzzy, funcia sinaptic este implementat fie s determine gradul de apartenen al fiecrei intrri (considerat a fi exact) la o mulime fuzzy dat (caracterizat de o anumite funcie de apartenen), fie s evalueze o relaie fuzzy dintre mulimile fuzzy aplicate la intrarea neuronului. Funcia somatic este, de regul, implementat sub forma unuia din operatorii norma-T sau conorma-T.

163

SISTEME NEURO - FUZZY

Reelele neuronale formate din neuroni fuzzy se numesc reele fuzzy-neuro. Antrenarea acestor reele urmrete determinarea parametrilor funciilor de apartenen. Procedura de antrenare a unei reele neuronale bazat pe sisteme fuzzy n acest caz, obiectivul principal este de a mbunti procedura de antrenare a reelei neuronale folosind sisteme fuzzy proiectate de experi umani implicai n antrenarea reelelor neuronale, aa cum este ilustrat principial n figura III. 15.
Sistem fuzzy pentru mbuntirea procedurii de antrenare a RNA

intrri

Reea neuronal artificial (RNA)

ieiri

Fig. III. 15 Adaptarea reelelor neuronale cu ajutorul sistemelor fuzzy

A fost, astfel, elaborat regula fuzzy-delta de antrenare care reprezint o extensie a procedurii de antrenare cu propagare napoi a erorii aplicat n cazul reelelor de tip perceptron multi-strat. n plus, sistemele fuzzy au fost folosite i pentru a obine valori iniiale ale parametrilor reelei care s conduc la o accelerare a procedurii de antrenare i la o mbuntire a convergenei sale. Astfel, pentru antrenarea unei reele neuronale de tip RBF poate fi folosit un algoritm fuzzy de grupare n scopul determinrii numrului de neuroni radiali, precum i a valorilor parametrilor acestora (centrii i deviaiile standard n cazul neuronilor cu funcie de activare de tip Gauss). Un astfel de algoritm [Chiu, 1994; Mirea and Marcu, 2001] consider c toate datele de intrare sunt poteniali centri. Astfel, numrul punctelor ce urmeaz a fi evaluate este egal cu cel al datelor de intrare ale reelei neuronale. Avantajul acestui algoritm de grupare fuzzy l constituie viteza i robusteea, deoarece nu implic optimizri neliniare iterative. De asemenea, volumul de calcul crete doar liniar odat cu dimensiunea problemei. 164

SISTEME NEURO - FUZZY

Se consider o colecie de N date de intrare ale reelei neuronale, dintr-un spaiu P-dimensional, u (i), i = 1, N . Fr a afecta caracterul de generalitate, se face presupunerea c datele de intrare au fost normalizate pe fiecare dimensiune, astfel nct acestea sunt mrginite de un hipercub unitar. Fiecare dat de intrare este reprezentat, n acest spaiu, de ctre un punct. Se consider c fiecare punct, u (i), i = 1, N , este un potenial centru i se definete o msur a potenialului acelui punct ca fiind:
Pi = e || u (i ) u ( j)|| 2 ,
j =1 N
2

(III. 7)

unde =

4 ra2

i ra este o constant real pozitiv. Astfel, msura potenialului

unui punct depinde de distanele de la acel punct la restul punctelor. O punct avnd n vecintatea sa un numr mare de puncte, va fi caracterizat de un potenial ridicat. Constanta ra reprezint, astfel, raza unei vecinti. Punctele din afara vecintii vor avea o influen mult mai mic asupra potenialului punctului considerat. Dup ce a fost calculat potenialul fiecrui punct, se alege primul centru drept punctul cu cel mai mare potenial. Se consider c c1 este primul centru selectat i P1* este valoarea potenialului su. Se recalculeaz potenialul fiecrui punct din cele rmase dup extragerea primului centru folosind relaia:
* Pi = Pi P1 e || u (i ) c1 || 2 ,
2

(III. 8)

unde =

4
2 rb

, iar rb este o constant pozitiv. Astfel, punctele aflate mai aproape

de acest prim centru vor avea un potenial redus, probabilitatea de a fi selectate pentru urmtorul centru fiind mic. Constanta rb reprezint raza vecintii unui centru n care punctele vor avea potenialul diminuat. Pentru a evita obinerea unor centri apropiai, se impune condiia rb > ra . Se recomand ca rb = 1.5 ra . Dup ce au fost recalculate toate potenialele punctelor rmase, se alege punctul cu cel mai mare potenial dintre cele rmase ca fiind urmtorul centru. Apoi se

165

SISTEME NEURO - FUZZY

reduce n continuare potenialul datelor rmase n funcie de distana lor pn la al doilea centru selectat. n general, dup selectarea celui de al k-lea centru, potenialul datelor rmase se recalculeaz folosind relaia:
* Pi = Pi Pk e || u (i ) c k || 2 .
2

(III. 9)

Pentru a accepta, respectiv pentru a respinge un centru, se folosete urmtoarea procedur:

* dac ( Pk > P1* ) punctul c k este acceptat ca centru; * altfel dac ( Pk > P1* ) punctul c k este repins.

altfel calculeaz d min - distana minim dintre c k i toi centrii gsii anterior.
* d min Pk + * 1) dac ( ra P1

c k este acceptat ca fiind centru i algoritmul continu. altfel c k este respins, iar potenialului su i se atribuie valoarea 0; este selectat urmtoarea dat cu potenialul cel mai ridicat, ca fiind noul c k , i se testeaz din nou condiiile. stop stop n inecuaiile de mai sus, reprezint limita superioar pentru funcia potenial care determin acceptarea punctelor considerate drept centri, iar este limita inferioar a funciei potenial care determin respingerea punctelor considerate. Procedeul de selectare de noi centri se continu pn cnd potenialele datelor rmse sunt mai mici dect P1* i nu mai poate fi selectat nici un centru. Rezult n final un set de centri {c1 , c 2 ,K, c K } n spaiul P-dimensional al datelor de intrare ale reelei.

166

SISTEME NEURO - FUZZY

Pentru fiecare din datele de intrare ale reelei neuronale se calculeaz gradul de apartenen la fiecare din gruprile obinute (caracterizate de centrii selectai), utiliznd relaia [Bezdek and Pal, 1992; Marcu, 1996; Mirea and Marcu, 2001]:
k,i = 1 || u (i) c k ||2 || u (i) c j || 2 j =1
K 2

, i = 1, N, k = 1, K

(III. 10)

Corespunztor centrilor obinui se pot calcula i deviaiile grupurilor [Bezdek and Pal, 1992; Marcu, 1996]:
k, p =
i =1

( k , i ) 2 (u p (i) c k , p ) 2
i =1

( k , i )

, p = 1, P, k = 1, K

(III. 11)

u (i) = [u p (i)]p =1, P ; c k = [c k , p ]p =1, P

2.1.2 Proiectarea sistemelor fuzzy folosind reele neuronale artificiale A doua modalitate de a integra reelele neuronale cu sistemele fuzzy este de a extinde structura sistemelor fuzzy folosind reelele neuronale. Exist dou abordri principale i anume: sistemul fuzzy i reeaua neuronal sunt conectate ntr-o configuraie serie sau paralel, fr a se face o echivalen topologic a celor dou tehnici; reeaua neuronal este topologic proiectat astfel nct s copie structura unui sistem fuzzy. Sisteme fuzzy completate cu reele neuronale Aceast abordare se refer la o combinare de tip bloc-orientat a reelelor neuronale cu sistemele fuzzy, aa cum este ilustrat n figura III. 16. Practic, reeaua neuronal completeaz sistemul fuzzy printr-o nseriere sau conectare n paralel cu acesta, fr a fi necesar o coresponden din punct de vedere structural ntre cele dou sisteme.

167

SISTEME NEURO - FUZZY

intrri Sistem fuzzy (a) Sistem fuzzy Reea neuronal ieiri

intrri

ieiri

Reea neuronal (b)

Fig. III. 16 Sisteme fuzzy completate de reele neuronale n configuraie serie (a) i paralel (b)

Conectarea n serie a reelei neuronale cu sistemul fuzzy se face atunci cnd este necesar o prelucrare preliminar a datelor de intrare. Prin aceasta se urmrete obinerea unei reduceri a setului de date de intrare, a unor grupri a datelor de intrare sau reducerea zgomotului ce afecteaz datele de intrare. Conectarea n paralel a reelei neuronale cu sistemul fuzzy se face atunci cnd se dorete: completarea ieirilor furnizate de ctre sistemul fuzzy cu cele obinute folosind reeaua neuronal; aplicarea procedurilor de optimizare neuronal pentru determinarea parametrilor sistemului fuzzy. Adaptarea sistemelor fuzzy bazat pe folosirea reelelor neuronale n ultimii ani, atenia cercettorilor s-a concentrat n mod deosebit asupra dezvoltrii unui tip special de reele neuronale a cror topologie s fie echivalent cu structura regulilor "dac atunci" ale sistemelor fuzzy. n acest fel, reeaua neuronal ar putea emula mecanismul de inferen al unui sistem fuzzy. Altfel spus, sistemul fuzzy este transformat ntr-o reea neuronal, pornindu-se de la echivalena lor structural. Astfel de reele neuronale se numesc sisteme neuro-fuzzy i au urmtoarele avantaje: posed o structur transparent; 168

SISTEME NEURO - FUZZY

exist o coresponden direct ntre ponderile sistemului neuro-fuzzy i parametrii regulilor fuzzy; cunotinele expertului uman pot fi folosite pentru a iniializa sistemul neurofuzzy n scopul accelerrii procedurii de antrenare; regulile extrase pot fi urmrite de ctre expertul uman pentru a le examina plauzabilitatea i pentru a le interpreta. n cele ce urmeaz se prezint dou tipuri de sisteme neuro-fuzzy, avnd n vedere arhitectura lor i modul n care se face antrenarea, i anume: sisteme neuro-fuzzy adaptive; sisteme neuro-fuzzy co-active.

2.2 Sisteme neuro-fuzzy adaptive

Sistemele Neuro-Fuzzy Adaptive (limba englez: Adaptive Neuro-Fuzzy System - ANFIS) sunt reele neuronale adaptive echivalente funcional cu sisteme fuzzy de tip Sugeno sau Tsukamoto. Spre deosebire de sistemele fuzzy, sistemele neuro-fuzzy au capacitatea de a se adapta pe parcursul unui proces de nvare. n felul acesta, aplicnd o metod de optimizare, pot fi adaptate att funciile de apartenen ale mulimilor fuzzy ce apar n partea de premiz a regulilor, ct i parametrii prilor de consecin ale regulilor fuzzy. Funcia criteriu de minimizat poate fi de tipul erorii medii ptratice dintre ieirea actual a sistemului neuro-fuzzy i ieirea dorit a acestuia. 2.2.1 Arhitectura sistemelor neuro-fuzzy adaptive Se consider un sistem fuzzy Sugeno de ordin nti ce are dou mrimi de intrare, x i y, i o mrime de ieire, z. Baza de reguli a sistemului fuzzy se consider a fi format din dou reguli de forma: regula1: dac x este A1 i y este B1 atunci z este z1 = p1 x + q1 y + r1 , regula1: dac x este A2 i y este B2 atunci z este z 2 = p 2 x + q 2 y + r2 .

169

SISTEME NEURO - FUZZY

n figura III. 17 (a) este ilustrat, intuitiv, modul n care se realizeaz raionamentul n cadrul sistemului fuzzy considerat. Figura III. 17 (b) prezint structura sistemului neuro-fuzzy adaptiv (ANFIS) corespunztor sistemului fuzzy considerat. Sistemul neuro-fuzzy adaptiv este format din cinci straturi, prezentate n continuare [Chao and Teng, 1995; Jang and Sun, 1995; Jang, et al., 1997]. Se noteaz prin Ol,i ieirea nodului i din stratul l al ANFIS.
A1 B1 min sau produs

w1 X Y

z1 = p1 x + q1 y + r1

A2

B2

z 2 = p 2 x + q 2 y + r2
w2 x X y Y

z=

w1 z1 + w2 z 2 w1 + w2

sau

z = w1 z1 + w2 z 2

(a)
A1 x A2 B1 y B2 Strat 1 Strat 2 Strat 3 Strat 4 Strat 5 w2 N w2 x y
w 1z1

x w1 N w1

y
w 1z1

z1 = p1x + q1y + r1

z2 = p2x + q2y + r2

(b) Fig. III. 17 Sistem fuzzy Sugeno de ordin nti (a) i ANFIS asociat (b)

Stratul 1. Fiecare nod i al acestui strat are funcia de activare: 170

SISTEME NEURO - FUZZY

O1, i = Ai ( x ), i = 1,2 , O1, i = Bi 2 ( x ), i = 3,4 ,

unde x este mrimea de intrare n nodurile 1 i 2, iar y este mrimea de intrare n nodurile 3 i 4. Altfel spus, funcia ataat fiecrui nod al primului strat este funcia de apartenen a uneia din mulimile fuzzy A1, A2, B1 sau B2 (care apar n partea de premiz a regulilor). Funcia de apartenen poate avea una din formele prezentate n subcapitolul 1.1.3 al acestei pri, cum ar fi, de exemplu, funcia "clopot generalizat":
A (x) = 1 x ci 1+ ai
2 bi

unde {ai, bi, ci} reprezint setul de parametri ai respectivei funcii de apartenen. Parametrii acestui strat vor fi numii, n cele de urmeaz, parametrii premizei. Stratul 2. Fiecare nod al acestui strat este un nod fix, a crui ieire este dat de produsul semnalelor sale de intrare:
O 2, i = w i = Ai ( x ) Bi ( y), i = 1,2 .

Fiecare nod reprezint puterea de activare a unei reguli. n general, se poate folosi pentru acest strat, orice operator de tip norma-T ca fiind funcia de activare a unui nod. Stratul 3. Fiecare nod al acestui strat este un nod fix la nivelul cruia se calculeaz raportul dintre puterea de activare a regulii i i suma puterilor de activare ale tuturor regulilor:
O 3, i = w i = wi , i = 1,2 . w1 + w 2

Ieirile acestui strat sunt numite puteri de activare normalizate. Stratul 4. Fiecare nod al acestui strat este adaptiv, avnd funcia de activare:
O 4, i = w i z i = w i (p i x + q i y + ri ), i = 1,2 ,

171

SISTEME NEURO - FUZZY

unde w i este puterea de activare normalizat a regulii i, iar {p i , q i , ri } este mulimea parametrilor acestui nod, numii n cele ce urmeaz parametrii consecinei. Stratul 5. Acest strat este format dintr-un singur nod fix notat cu , care calculeaz ieirea ANFIS ca fiind suma tuturor semnalelor sale de intrare:
z = O 5,1 = w i z i = i =12
i =1 2

w i zi
i =1

wi

n acest fel se poate construi o reea neuronal echivalent cu un sistem fuzzy Sugeno de ordin nti. Structura rezultat a ANFIS nu este unic, putndu-se combina, de exemplu, straturile 3 i 4 n unul singur rezultnd o reea cu 4 straturi. Un ANFIS proiectat pentru un sistem fuzzy Sugeno poate fi extins imediat la sisteme fuzzy Tsukamoto. n acest caz, consecina fiecrei reguli este dat de puterea de activare a regulii i de funcia de apartene a prii de concluzie a regulii. 2.2.2 Algoritm de antrenare a sistemelor neuro-fuzzy adaptive Conform arhitecturii ANFIS prezentat n figura III. 17 (b) se observ c atunci cnd parametrii premizei sunt fixai, ieirea ANFIS poate fi exprimat ca o combinaie liniar a parametrilor consecinei, {p1 , q1 , r1 , p 2 , q 2 , r2 } :
z= w1 w2 z1 + z 2 = w1 (p1 x + q1 y + r1 ) + w 2 (p 2 x + q 2 y + r2 ) = w1 + w 2 w1 + w 2 .

= ( w1 x ) p1 + ( w1 y) q1 + ( w1 ) r1 + ( w 2 x ) p 2 + ( w 2 y) q 2 + ( w 2 ) r2

Se noteaz cu vectorul parametrilor ANFIS. Acesta poate fi descompus n doi subvectori 1 i 2 care conin parametrii premizei i, respectiv, parametrii consecinei:
= [1 M 2 ] .

172

SISTEME NEURO - FUZZY

Ieirea ANFIS este dependent neliniar de parametrii premizei i liniar de parametrii consecinei:
z = (1 ) 2 ,

(III. 12)

unde este vectorul de regresie liniar care depinde neliniar de parametrii premizei 1 . Fixnd parametrii premizei, atunci ieirea ANFIS rmne dependent numai de parametrii consecinei, aceast dependen fiind liniar. n cazul unei antrenri n bloc (adaptarea parametrilor se face dup ce au fost aplicai sistemului toi vectorii setului de antrenare), supervizate, cnd se dorete ca ieirea ANFIS s se apropie ct mai mult de o anumit ieire dorit, z d , rescriind relaia (III. 12) pentru toi vectorii setului de antrenare se obine sistemul:
2 = z d ,

care poate fi rezolvat n sensul celor mai mici ptrate obinndu-se un set de valori optimale pentru parametrii concluziei:
* = + z d , 2

unde + este pseudo-inversa Moore-Penrose a matricii . Mai departe, fixnd parametrii consecinei la valorile optimale determinate anterior, atunci ieirea ANFIS depinde neliniar numai de parametrii premizei. Pentru determinarea acestora, se poate aplica un algoritm de gradient care s conduc la minimizarea erorii medii ptratice, E, dintre ieirea actual a ANFIS i ieirea dorit:
nou = vechi + ; = E 1 ; E = (z d z) 2 , 2

(III. 13)

unde este unul din parametrii premizei, iar este un parametru responsabil de viteza cu care algoritmul converge ctre punctul de minim. Astfel, se poate aplica un algoritm de antrenare hibrid care const din dou etape [Garcia, et al., 1997; Jang and Sun, 1995]:

173

SISTEME NEURO - FUZZY

etapa propagrii nainte: intrrile sunt propagate nainte pn la stratul 4, considernd parametrii premizei (parametrii primului strat) fixai; se determin parametrii consecinei (parametrii stratului 4) aplicnd metoda celor mai mici ptrate i apoi se continu propagarea nainte pn la ieirea reelei, calculndu-se eroarea dintre ieirea obinut i ieirea dorit a ANFIS; etapa propagrii napoi a erorii n care parametrii consecinei rmn cu valorile determinate n etapa propagrii nainte; se determin parametrii premizei aplicnd o procedur de gradient. Figura III. 18 ilustreaz intuitiv modul n care se realizeaz antrenarea hibrid a ANFIS.
Metoda de gradient

intrri

Strat 1

Strat 2

Strat 3

Strat 4

Strat 5

eroare

Metoda celor mai mici ptrate

ieire dorit

Fig. III. 18 Antrenarea hibrid a ANFIS

Parametrii consecinei astfel determinai sunt optimali n condiiile n care parametrii premizei sunt fixai. n mod corespunztor, antrenarea hibrid converge mai repede dect antrenarea bazat pe propagarea napoi a erorii aplicat tuturor parametrilor ANFIS. Aceasta se datoreaz faptului c spaiul parametrilor este micorat prin determinarea unora dintre acetia printr-o metod ntr-un singur pas, de tipul celor mai mici ptrate. n cazul sistemelor ANFIS de tip Tsukamoto, pentru a putea aplica acest tip de antrenare hibrid, funcia de apartenen a prii de concluzie a regulilor este aproximat printr-o funcie liniar pe poriuni cu doi parametri, aa cum este ilustrat n figura III. 19. n felul acesta, ieirea ANFIS se poate exprima ca o

174

SISTEME NEURO - FUZZY

combinaie liniar a parametrilor consecinei, putnd fi aplicat antrenarea hibrid prezentat anterior.
1 1

Fig. III. 19 Aproximarea prin funcii liniare pe poriuni a funciilor de apartenen monotone

2.3 Sisteme neuro-fuzzy co-active

Sistemele Neuro-Fuzzy Co-active (limba englez: Co-active Neuro-Fuzzy System - CNFS) extind conceptul de sistem neuro-fuzzy adaptiv la sisteme neuro-fuzzy cu mai multe ieiri i cu reguli fuzzy neliniare. n cadrul CNFS, ambele tehnici, reelele neuronale i sistemele fuzzy, joac un rol activ n ceea ce privete obinere unei anumite mrimi de ieire dorite. 2.3.1 Arhitectura sistemelor neuro-fuzzy co-active O modalitate de a construi un sistem neuro-fuzzy adaptiv cu mai multe ieiri este de a juxtapune attea ANFIS cte ieiri sunt necesare, aa cum este ilustrat n figura III. 20. n aceast figur este prezentat un sistem neuro-fuzzy cu dou intrri i dou ieiri. n aceast caz, cele dou ANFIS juxtapuse au seturi de reguli independente, fcnd dificil deducerea unor corelaii ntre cele dou ieiri ale sistemului neuro-fuzzy n ansamblu. Totodat, numrul parametrilor de adaptat crete considerabil, cele dou ANFIS neavnd nici unul din parametri comun. O alt modalitate de a construi un sistem neuro-fuzzy cu mai multe ieiri consider c regulile fuzzy ale ANFIS componente au aceeai parte de premiz [Jang, et al., 1997], aa cum este prezentat n figura III. 21. n acest caz, regulile fuzzy se construiesc astfel nct funciile de apartenen din partea de premiz a

175

SISTEME NEURO - FUZZY

regulilor s exprime corelaiile dintre ieirile sistemului neuro-fuzzy n ansamblu. O astfel de abordare st la baza construirii sistemelor CNFS.
x A1 A2 x x y B1 B2 D1 D2 x E1 E2 g2 y g2C22 gi x g1 y g1C12 / z2 w2 w2C21 wi y / w1 w1C11 z1 y

Fig. III. 20 ANFIS cu dou ieiri format prin juxtapunerea a dou ANFIS cu o ieire
x x A1 A2 x y B1 B2 x y w1C12 x y w2C22 wi / z2 w2 w2C21 y / w1 w1C11 z1 y

Fig. III. 21 CNFS cu dou ieiri

Fie un sistem fuzzy Sugeno de ordin nti cu dou intrri, o ieire i dou reguli de forma: 176

SISTEME NEURO - FUZZY

Regula 1: dac x este A1 i y este B1 atunci z este C1 = p1 x + q1 y + r1 , Regula 2: dac x este A2 i y este B2 atunci z este C 2 = p 2 x + q 2 y + r2 , aa cum este reprezentat intuitiv n figura III. 22 (a). Acest sistem este echivalent funcional cu un ANFIS reprezentat n figura III. 22 (b). Acest ANFIS poate fi privit ca fiind un CNFS cu o singur ieire i cu reguli fuzzy liniare. n figura III. 22 (c) este reluat arhitectura ANFIS, n care straturile 4 i 5 ale ANFIS sunt reprezentate sub forma unei reele neuronale de tip perceptron multistrat (MLP), rezultnd astfel un CNFS. Astfel, stratul intern al reelei MLP corespunde stratului 4 al ANFIS, iar stratul de ieire al reelei MLP corespunde stratului 5 al ANFIS. Adugarea mai multor neuroni n stratul intern al reelei MLP este echivalent cu adugarea mai multor reguli n sistemul fuzzy Sugeno. Ponderile ataate sinapselor dintre neuronii stratului intern i neuronul de ieire corespund puterilor de activare normalizate ale ANFIS. n cazul unui sistem ANFIS, funciile de activare corespunztoare neuronilor reelei MLP ce nlocuiesc straturile 4 i 5 ale ANFIS, sunt liniare. Folosind funcii de activare neliniare, se obin sisteme neuro-fuzzy cu partea de consecin neliniar. Dac funcia de activare a neuronilor interni (funciile f 2 i f 3 din figura III. 22 (c)) este de tip sigmoid, atunci partea de consecin a regulii, C non este neliniar fiind dat de:
C non = 1 . 1 + exp[(p1 x + q1 y + r1 )]

Astfel de reguli se numesc reguli sigmoidale.

177

SISTEME NEURO - FUZZY

A1 B1 min sau produs

w1 X Y

z1 = p1 x + q1 y + r1

A2

B2 z 2 = p 2 x + q 2 y + r2 w2

z=

w1 z1 + w2 z 2 w1 + w2
x

sau

z = w1 z1 + w2 z 2

(a)
A1 x A2 B1 y B2 w2 N x y w 1C1 z w1 N y w 1C1

w1

C1 = p1x + q1y + r1

w2

C2 = p2x + q2y + r2

(b)
A1 x A2 B1 y B2 C1 2 (f2) C2 1 3 (f3) w2 1 (f1) w1 z C1 = f 2 (p1 x + q1 y + r1 ) C 2 = f 3 (p 2 x + q 2 y + r2 ) z = f1 ( w 1 C1 + w 2 C 2 ) w2 N w2 w1 N w1

(c) Fig. III. 22 Sistem fuzzy Sugeno de ordin nti (a) implementat sub forma unui ANFIS (b) sau a unui CNFS cu reguli neuronale (c)

178

SISTEME NEURO - FUZZY

Dac partea de consecin a unei reguli se obine prin intermediul unei reele neuronale, atunci acea regul se numete regul neuronal, aa cum se poate observa n figura III. 23.
x A1 A2 B1 B2 regula neuronal 1 C1 1 w1 N w1

w2

w2

w1
O1 C2

x y 1 1

w2
regula neuronal 2 regula neuronal 3

C3 1 C4 1

w1 O2

w2

regula neuronal 4

Fig. III. 23 CNFS cu dou ieiri i dou reguli neuronale pe fiecare ieire

Cnd dou astfel de reguli neuronale sunt combinate pentru a forma o nou regul neuronal numit expert local, atunci se obine o structur asemntoare unei arhitecturi modular conectate, aa cum se poate observa n figura III. 24. Ieirile celor dou reele neuronale de tip expert local sunt mediate prin intermediul unei uniti de integrare care, n cadrul sistemelor neuro-fuzzy coactive, este format din primele trei straturi corespunztoare ANFIS. n ceea ce privete funcia de activare a neuronilor stratului de ieire al reelei MLP (funcia f1 din figura III. 22), aceasta este liniar n cazul ANFIS, ns ea poate fi i neliniar (de exemplu funcie de tip sigmoid). n cazul n care funcia 179

SISTEME NEURO - FUZZY

de activare a neuronilor stratului de ieire a reelei MLP este de tip sigmoid, reeaua nu reuete s nvee valori extreme, apropiate de extremitile domeniului n care funcia sigmoid ia valori. Astfel, se propune folosirea unei funcii de tip sigmoid modificat, f mod sau folosirea unei aproximri liniare pe poriuni a funciei sigmoidale, f lpp . Aceste funcii se implementeaz astfel:
MIN, daca x MIN f lpp ( x ) = MAX, daca x MAX , x , daca MIN < x < MAX MIN, daca f ( x ) MIN , f mod ( x ) = MAX, daca f ( x ) MAX f ( x ), daca MIN < f ( x ) < MAX

unde f(x) este funcie sigmoidal de forma:

f (x) = 1 . 1 + exp( x )

n felul acesta, ieirea neuronului este meninut n domeniul dorit [MIN, MAX]. De regul, se consider MIN = 0.1 i MAX = 0.9 . Pentru a putea folosi astfel de funcii sigmoidale modificate, trebuie realizat o scalare a ieirii dorite a reelei neuronale n domeniul [MIN, MAX]. Pentru astfel de funcii sigmoidale transformate se asociaz pseudo-derivate. n cazul funciei sigmoidale modificat, fmod, aceasta este de forma:
MIN (1 MIN), daca f mod ( x ) = MIN f pseudoderiv ( x ) = MAX (1 MAX), daca f mod ( x ) = MAX , f ( x ) (1 f ( x )), daca f mod ( x ) = f ( x )

unde f(x)(1-f(x)) este derivata funciei sigmoidale. Acest mod de calcul al pseudo-drivatei face ca aceasta s fie ntotdeauna mai mare dect o anumit valoare, avnd, astfel, un impact pozitiv n nvarea valorilor extreme i accelerarea procesului de nvare.

180

SISTEME NEURO - FUZZY

x y Sistem fuzzy de integrare w1 w2 expert local 1

w1

O1

1 w2

O2

expert local 2

Fig. III. 24 Sistem neuro-fuzzy cu dou reele neuronale de tip expert local

2.3.2 Adaptarea parametrilor sistemelor neuro-fuzzy co-active Parametrii unui CNFS se determin n dou moduri: adaptnd, independent, parametrii reelei neuronale ce modeleaz partea de premiz a regulilor fuzzy i cei ai reelei neuronale ce modeleaz partea de consecin a regulilor fuzzy; pentru fiecare tip de parametri n parte se adopt un algoritm de gradient; adaptnd att parametrii reelei neuronale ce modeleaz partea de premiz a regulilor fuzzy, ct i parametrii reelei ce implementeaz partea de consecin concomitent, utiliznd un algoritm cu propagare napoi a erorii. n cele ce urmeaz se prezint, principial, algoritmul cu propagare napoi a erorii pentru antrenarea CNFS care furnizeaz att parametrii consecin, ct i parametrii premiz ai sistemului neuro-fuzzy [Jang, et al., 1997]. Fie O i i Fj ieirea j i, respectiv, funcia de activare a neuronului j din stratul de ieire al CNFS (fig. III. 25). Corespunztor notaiilor fcute, se pot scrie urmtoarele relaii:

181

SISTEME NEURO - FUZZY

O j = Fj ( NETj ) , NETj =

Wm Act mk
m

Wm
m

Act mk = f mk (net mk ) , net mk = wm kl act ml ,

l

n care Wm sunt puterile de activare normalizate ale regulilor ce determin ieirea j, f mk sunt funciile de activare ale neuronilor interni, act ml sunt intrrile reelei MLP ce modeleaz straturile 4 i 5 ale ANFIS i wm kl sunt ponderile corespunztoare neuronilor interni (parametrii consecin ai CNFS).
Fj actml M actmi M regula m Fig. III. 25 Graful de asociere a regulii m cu ieirea j prin intermediul unui expert local neuronal wmkl fmk Actmk Wm Wm
m

Oj tj

Se noteaz prin E eoarea medie ptratic dintre ieirea O j i ieirea dorit corespunztoare t j . Atunci, adaptarea parametrilor wm ki se face astfel:
( wm ki ) nou = ( wm ki ) vechi + wm ki , wm ki = wm = wm NETj E E = wm = wm ki NETj wm ki E O j NETj Act mk net mk = O j NETj Act mk net mk wm ki

Wm E ' = wm Fj ' ( NETj ) f mk (net mk ) O j wm ki Wm

m

, wm kl act ml = l

= wm [( t j O j )] Fj ' ( NETj )

Wm ' f mk (net mk ) act mi Wm

m

182

SISTEME NEURO - FUZZY

unde wm este viteza de nvare corespunztoare parametrilor concluziei, wm ki . n mod corespunztor, adaptarea parametrilor premizei, notai generic cu , se face astfel:
nou = vechi + ,

unde nou i vechi sunt noua i, respectiv, anterioara, valoare a parametrului , iar
reprezint valoarea cu care se adapteaz parametrul considerat. Aceasta din

urm se calculeaz folosind relaia:

= E E O j E O j NETj Wm = = a = O j NETj Wm O j

Wm Act mk Wm E ' m = Fj ( NETj ) = O j Wm Wm m Act mk NETj Wm = [( t j O j )] Fj' ( NETj ) Wm

m

unde este viteza de nvare corespunztoare parametrilor premizei, .

183