INTELIGEN

ARTIFICIAL
Universitatea Valahia din Targoviste
Anul universitar 2012-2013
Otilia Elena DRAGOMIR

CURS NR. 7

Curs nr. 7
Sisteme hibride
Utilitatea sistemelor neuro-fuzzy
Modele neuronale bazate pe sisteme fuzzy
Modele fuzzy bazate pe retele neuronale
ANFIS
CNFS, NEFCON, NEFPROX, SANFIS.

7.1.Utilitatea sistemelor neuro-fuzzy

Logica fuzzy

Retele neuronale
Avantaje/ Dezavantaje
+ pot invata fara nici o informatie initiala
+ exista mai multe paradigme de invatare, potrivite
diverselor situatii
+ exista o multitudine de algoritmi de invatare disponibili
- sunt "cutii- negre" sub-simbolice: realizeaz transferul
intrare-ieire netransparent
- nu pot utiliza cunostinte apriori n scopul unei mai bune
iniializri a parametrilor reelei care ar conduce la o
mbuntire a convergenei i scderii duratei de antrenare
- necesita algoritmi de invatare complecsi
- nu garanteaza ca invatarea converge spre solutie
- prezinta dificultati in extragerea cunostintelor structurale

+ incorporeaza cunostinte predefinite bazate pe

reguli
+ sunt interpretabile (reguli IF- THEN)
+ ofera o implementare simpla
+ cunostintele sunt disponibile in orice moment
-

Necesitati

nu pot invata
trebuie sa dispuna de reguli stabilite a priori
nu exista metode formale pentru ajustarea
regulilor
construirea bazei de reguli este consumatoare
de timp
necesar o continu adaptare a bazei de reguli
n scopul achiziiei unor reguli consistente.

Necesitatea proiectrii unei componente adaptive a sistemului fuzzy care s modifice baza
de reguli astfel nct s fie descris ct mai bine aplicaia supus ateniei, combinand in
acest fel transparena oferit de sistemele fuzzy, cu proprietatea reelelor neuronale de a
se adapta

NEURO FUZZY

7.1.Utilitatea sistemelor neuro-fuzzy

Definitii si abordari

Un sistem neuro-fuzzy este definit de urmatoarele caracteristici:

este un sistem fuzzy antrenat printr-un algoritm de nvatare (euristic), derivat din
tehnicile specifice retelelor neuronale;
poate fi reprezentat printr-o arhitectura de retea neuronala feadforward;
poate fi oricnd interpretat n termenii regulilor fuzzy daca -atunci;
procedura de antrenare ia n calcul semantica modelului fuzzy pentru a conserva
interpretabilitatea sa lingvistica ;
poate realiza (cazuri speciale) aproximare functionala
Exist o serie de abordri n care se combin cele dou tehnici, grupate

n patru mari categorii:

modele neuronale bazate pe sisteme fuzzy;

procedur de antrenare a unei reele neuronale bazat pe sisteme fuzzy;
sisteme fuzzy completate de reele neuronale;
adaptarea sistemelor fuzzy bazat pe folosirea reelelor neuronale.

7.2. Modele neuronale bazate pe sisteme fuzzy

Reelele neuronale formate din neuroni fuzzy se numesc reele fuzzy-neuronale.

Ideea: extinde modelul standard al neuronului artificial astfel nct s fie capabil s
proceseze informaii reprezentate prin intermediul mulimilor fuzzy.
Neuronul fuzzy este proiectat s funcioneze similar cu neuronul standard,
diferena constnd n faptul ca acesta este capabil s prelucreze att intrri
exacte, ct i intrri exprimate sub forma mulimilor fuzzy.
Aici funcia sinaptic este implementat fie s determine gradul de apartenen
al fiecrei intrri (considerat a fi exact) la o mulime fuzzy dat (caracterizat
de o anumite funcie de apartenen), fie s evalueze o relaie fuzzy dintre
mulimile fuzzy aplicate la intrarea neuronului.
Funcia somatic este, de regul, implementat sub forma unuia din operatorii
norma-T sau conorma-T.

7.2. Modele neuronale bazate pe sisteme fuzzy

Antrenarea acestor reele urmrete determinarea parametrilor funciilor de
apartenen
Regula fuzzy-delta de antrenare reprezint o extensie a procedurii de antrenare
cu propagare napoi a erorii aplicat n cazul reelelor de tip perceptron multistrat.
In plus, sistemele fuzzy au fost folosite i pentru a obine valori iniiale ale
parametrilor reelei care s conduc la o accelerare a procedurii de antrenare i la
o mbuntire a convergenei sale.
Reele neuronale de tip RBF folosesc un algoritm fuzzy de grupare n scopul
determinrii numrului de neuroni radiali, precum i a valorilor parametrilor
acestora (centrii i deviaiile standard n cazul neuronilor cu funcie de activare de
tip Gauss). Un astfel de algoritm consider c toate datele de intrare sunt
poteniali centri. Astfel, numrul punctelor ce urmeaz a fi evaluate este egal cu
cel al datelor de intrare ale reelei neuronale.
Avantajul acestui algoritm de grupare fuzzy l constituie viteza i robusteea,
deoarece nu implic optimizri neliniare iterative. De asemenea, volumul de
calcul crete doar liniar odat cu dimensiunea problemei.

7.3. Modele fuzzy bazate pe retele neuronale

A doua modalitate de a integra reelele neuronale cu sistemele fuzzy este de a

extinde structura sistemelor fuzzy folosind reelele neuronale

Exist dou abordri principale i anume:

sistemul fuzzy i reeaua neuronal sunt conectate ntr-o configuraie

serie sau paralel, fr a se face o echivalen topologic a celor dou
tehnici;

reeaua neuronal este topologic proiectat astfel nct s copie structura

unui sistem fuzzy.

7.3. Modele fuzzy bazate pe retele neuronale

Sisteme fuzzy completate cu reele neuronale

Aceast abordare se refer la o combinare de tip bloc-orientat a reelelor

neuronale cu sistemele fuzzy
Conectarea n serie a reelei neuronale cu
sistemul fuzzy se face atunci cnd este necesar
o prelucrare preliminar a datelor de intrare. Prin
aceasta se urmrete obinerea unei reduceri a
setului de date de intrare, a unor grupri a datelor
de intrare sau reducerea zgomotului ce afecteaz
datele de intrare.
Conectarea n paralel a reelei neuronale cu
sistemul fuzzy se face atunci cnd se dorete:
completarea ieirilor furnizate de ctre
sistemul fuzzy cu cele obinute folosind
reeaua neuronal;
aplicarea procedurilor de optimizare
neuronal pentru determinarea parametrilor
sistemului fuzzy.

7.3. Modele fuzzy bazate pe retele neuronale

Adaptarea

Adaptarea sistemelor fuzzy bazat pe folosirea reelelor neuronale s-a concentrat n

mod deosebit asupra dezvoltrii unui tip special de reele neuronale a cror
topologie s fie echivalent cu structura regulilor "dac - atunci" ale sistemelor fuzzy.
Reeaua neuronal ar putea emula mecanismul de inferen al unui sistem fuzzy.

Sistemul fuzzy este transformat ntr-o reea neuronal, pornindu-se de la

echivalena lor structural. Acestea au urmtoarele avantaje:

posed o structur transparent;

exist o coresponden direct ntre ponderile sistemului neuro-fuzzy i
parametrii regulilor fuzzy;
cunotinele expertului uman pot fi folosite pentru a iniializa sistemul neuro-fuzzy
n scopul accelerrii procedurii de antrenare;
regulile extrase pot fi urmrite de ctre expertul uman pentru a le interpreta.

7.3. Modele fuzzy bazate pe retele neuronale

Exemple

Retele fuzzy neuronale

Sisteme neuronale/ fuzzy

simultane

FALCON

NEFCON

Modele neuro- fuzzy

cooperative

Combinatii

Modele neuro- fuzzy

hibride

ANFIS

SANFIS

GARIC

NEFPROX

NEFCLASS

In cele ce urmeaz se prezint dou tipuri de sisteme neuro-fuzzy, avnd n vedere

arhitectura lor i modul n care se face antrenarea, i anume:

sisteme neuro-fuzzy adaptive;

sisteme neuro-fuzzy co-active.

7.4. ANFIS

Structura propusa de J.- S. Roger Jang in 1992

Sistemele Neuro-Fuzzy Adaptive (limba englez: "Adaptive Neuro-Fuzzy
System" - ANFIS) sunt reele neuronale adaptive echivalente funcional cu sisteme
fuzzy de tip Sugeno sau Tsukamoto. Spre deosebire de sistemele fuzzy, sistemele
neuro-fuzzy au capacitatea de a se adapta pe parcursul unui proces de nvare.

Se creaza un arbore de decizie in vederea clasificarii datelor de intrare in 2n sau

p*n modele de regresie liniare in vederea minimizarii erorii medii patratice
asociate (SSE)
Funcia criteriu de minimizat poate fi de tipul erorii medii ptratice dintre ieirea
actual a sistemului neuro-fuzzy i ieirea dorit a acestuia

Unde
ej este eroarea dintre iesirea dorita si cea
actuala
p este numarul de partitii fuzzy asociate
fiecarei variabile
n este numarul variabilelor de intrare

7.4. ANFIS
Arhitectura

Stratul 1. Fiecare nod i al acestui strat are o funcie de activare. Parametrii acestui
strat vor fi numii parametrii premisei.

7.4. ANFIS
Arhitectura

Stratul 2. Fiecare nod al acestui strat este un nod fix, a crui ieire este dat de
produsul semnalelor sale de intrare. Fiecare nod reprezint puterea de activare
a unei reguli, n general, se poate folosi pentru acest strat, orice operator de tip
norma-T ca fiind funcia de activare a unui nod.

7.4. ANFIS
Arhitectura

Stratul 3. Fiecare nod al acestui strat este un nod fix la nivelul cruia se calculeaz
raportul dintre puterea de activare a regulii i i suma puterilor de activare ale tuturor
regulilor. Ieirile acestui strat sunt numite puteri de activare normalizate.

7.4. ANFIS
Arhitectura

Stratul 4. Fiecare nod al acestui strat este adaptiv, avnd cate o funcie de activare.
Mulimea parametrilor acestui nod sunt numii parametrii consecinei.

7.4. ANFIS
Arhitectura

Stratul 5. Acest strat este format dintr-un singur nod fix notat cu D, care calculeaz
ieirea ANFIS ca fiind suma tuturor semnalelor sale de intrare.

7.4. ANFIS
Arhitectura

Se consider un sistem fuzzy

Sugeno de ordin nti ce are
dou mrimi de intrare, x i y, i o
mrime de ieire, z. Baza de
reguli a sistemului fuzzy se
consider a fi format din dou
reguli de forma:

Regula 1: dac x este A1 i y

este B1 atunci z este z1 = p1
x + q1 y + r1,
Regula 2: dac x este A2 i y
este B2 atunci z este z2 = p2
x + q2 y + r2,

7.4. ANFIS
Adaptarea

Se poate aplica un algoritm de antrenare hibrid care const din dou etape:

etapa propagrii nainte: intrrile sunt propagate nainte pn la stratul 4,

considernd parametrii premisei (parametrii primului strat) fixai; se determin
parametrii consecinei (parametrii stratului 4) aplicnd algoritmul celor mai mici
ptrate- LMS cu invatare off-line i apoi se continu propagarea nainte pn la
ieirea reelei, calculndu-se eroarea dintre ieirea obinut i ieirea dorit a
ANFIS;
etapa propagrii napoi a erorii n care parametrii consecinei rmn cu valorile
determinate n etapa propagrii nainte; se determin parametrii premisei aplicnd o
procedur de gradient descendent- BackPropagation.
Metoda de antrenare hibrida
parametri
neliniari

parametri
liniari

Partitionarea spatiului intrarilor

Translateaza cunostinte in
structura de retea
si alegere fc. app

Avantaje si dezavantaje
Primele 3 straturi ale retelei
nu sunt complet conectate

Alg BP are mai putine

directii de dezv.

Ordinul de marime
este conservat

Sensibilitate la nr. initial

de partitii fuzzy Pn

O mai rapida convergenta

decat in cazul RN de tip ff

Setul de antrenare mai mic

Oscilatii in jurul punctelor finale
din cauza nr mare de partiii fuzzy

Sensibilitate la nr. initial

de variabile de intrare nm

Complexitate
exponentiale Pn

Utilizeaza date pt det

premiselor regulilor
Implementarea
retelei dupa structura
Takagi- Sugeno

Pierderea partiala a legaturii

regulii
cu aspectul "spatial"

Modelul este mai compact

(dpdv al nr de reguli)

Semnul coeficientiilor nu este mereu

relevant pentru descrie
monotonia functiei

Avantaje si dezavantaje
Imposibil a
reprezenta relatiile
monotone cunoscute
Utilizeaza LMS pt det
coeficientilor polinomiali

Utilizarea partitiilor fuzzy

pentru
evidentierea efectelor
Acordarea automata
a parametrilor FLC
Exista o "presiune" in sensul
modificarii doar a valorilor
straturilor
nu si a structurii lor

Utilizeaza alg. BP pt
adaptarea partitiilor
fuzzy

Considerarea aspectului
simetric pentru erori induce
erori in ordinul de marime al
acestora si in met. de
analiza

Nu este posibila utilizarea fc.

Trapezoidale sau a met. de
inferenta "min"

Utilizeaza mecanismul
de inferenta
al FLC pentru
interpolarea regulilor

Interpolarea este
folosita liniarizare
(smoothness)

"Premiaza"
interpolarea formelor
de semne diferite

7.4. ANFIS
Oportunitati

Modificarea ANFIS in sensul scaderii complexitatii sale

Utilizarea de legaturi de tipul "nu influenteaza" in cadrul constructiei regulilor (fara

conexiune intre nodurile de pe straturile "valorice" si cele de constructie a regulilor)
Utilizarea unui subset de vectori de stare in cadrul partitionarilor, in timpul evaluarii
functiilor liniare
Utilizarea unei partitionari eterogene si granulare (cate o fc. de apartenenta pentru
fiecare stare distincta)

Modificarea ANFIS in sensul extinderii aplicabilitatii sale

Utilizarea altor functii cost (in locul SSE) pentru evidentierea valorilor utile pentru
utilizatori (eroare asimetrica, efecte de saturare)
Utilizarea altor tipuri de functii de agregare (in locul sumarii ponderate)

Aplicatii

Modelarea proceselor caracterizate doar de "date monitorizate" in vederea:

Diagnozei proceselor
Predictiei evolutiei viitoare

Matriser l'erreur de prdiction moyen terme

ANFIS tude exprimentale
leviers d'action dans la construction d'un ANFIS
systme prdictif
algorithme d'apprentissage

situation (t)

X Y

A1
X
A2

Ens.
Appr.

inf. floue

B1
Y
B2

situation (t+prv)

x5,1

R
X Y

architecture (nb. nuds, fonct. dappartenance)

prtraitement donnes (slection, normalisation)
Maitrise de lerreur ?
leviers d'action

base dapprentissage (taille, chantillonnage...)

algorithme dapprentissage

Matriser l'erreur de prdiction moyen terme

ANFIS Etude exprimentale Analyse de rsultats
horizon de prd.
t+1 t+10
t+20 t+ 40

protocole de tests- benchmark Box Jenkins

ANFIS
Algorithme dapprentissage
situation (t)
Ens.
Appr.

appren/ test
145 /145

y(t-a)
u(t-b)

ANFIS

y(t-a)
u(t-b)

ANFIS

A2

B1

B2

Modle 1

y(t+1)

ANFIS

y(t+prv)

situation (t+prev)

X Y

A1

y(t+prv)

ANFIS
ANFIS
ANFIS

Modle 3

x5,
1

mesures
RMSE, MAPE
PDF

X Y

y(t-a)
u(t-b)
u(t-c)

ANFIS

y(t-a)
u(t-b)

ANFIS

Modle 2

u(t+prv/2-c)
Modle 4

y(t+prv)

y(t+prv/2)

ANFIS

y(t+prv)

Matriser l'erreur de prdiction moyen terme

densit de probabilit

ANFIS tude exprimentale Analyse de rsultats

a) t+1

densit de probabilit

c) t+20

0.2

0.2

0.15

0.15

0.15

0.1

0.1

0.1

0.05

0.05

0.05

b) t+10

0.2

-5

10

-5

10

Observations
bonnes prdictions court
terme
un bon compromis entre la
prcision court terme et la
stabilit moyen terme

-5

10

% erreur de prediction

0.3

a) t+1

b) t+10

0.25

Remarques

c) t+20

0.03

0.03

0.02

0.02

0.01

0.01

leurs performances se
dgradent rapidement
mesure que l'horizon de
prdiction augumente

intrt limit dans le cadre

du pronostic industriel

0.2
0.15
0.1
0.05
0
-1

-40 -20

20

% erreur de prediction

-20

-10

10

Matriser l'erreur de prdiction moyen terme

ANFIS tude exprimentale Analyse de rsultats
ANFIS en cascade - RMSE et MAPE
de l'erreur de prdiction

Observation

1,2
1,0042
0,9235

0,9328

0,9545

RMSE et MAPE

0,95
0,7152

0,8745

0,9118

1,0316

0,9278

0,9622

l'erreur de prdiction semble

se stabiliser pour un horizon
moyen terme

0,9812

Remarque

0,7

0,6534
0,462

0,45

leurs performances se
dgradent rapidement
mesure que l'horizon de
prdiction augumente

0,4021

0,2

Modle 3
t+1

t+2

t+4

t+10

prv

t+20

t+40

t+50

RMSE
MAPE

Matriser l'erreur de prdiction moyen terme

ANFIS tude exprimentale Analyse de rsultats
prsent
pass
futur prog.

prdire

tat futur

- sollicitations (profil de mission)

- interventions programmes

u(t-a)
y(t-b)

ANFIS1

Modle 4
y(t+prev/2)

y(t+prev/2)
y(t+prev/2-v)

ANFIS2

y(t+prev)

Matriser l'erreur de prdiction moyen terme

ANFIS tude exprimentale Analyse de rsultats
0.12

densit de probabilit

a) t+1

0.12

b) t+10

0.2
0.15

c) t+20

0.1

0.1

0.08

0.08

0.06

0.06

0.04

0.04

0.02

0.02

0.1
0.05
0
-1

0
-20

-10

10

0
-20

-10

10

% erreur de prdiction

Observations

Remarque

tendance de croissance de l'erreur moyen terme est

rduite.

lcart type et la moyenne de pdf des prdictions dune

part et les valeurs de MAPE et RMSE dautre part
soutiennent la matrise de lerreur moyen terme

un processus de prdiction stable

gagnera aussi en confiance parmi les
industriels parce que reflte une
qualit amliore de l'approche
propose

Modle 4

7.6. SANFIS
y1

ym

y1

ym

ym

y1

x
x
a12 am1

x
a11

x
am 2

R1

R2

RJ-1

RJ

R1

R2

RJ-1

RJ

R1

R2

RJ-1

RJ

R1

R2

RJ-1

RJ

R1

R2

RJ-1

RJ

R1

R2

RJ-1

RJ

x1

xn

SANFI
S_I

x1

xn

SANFIS
_II

Fig.IV.7 Les trois diffrents types du SANFIS

Cele 3 tipuri de SANFIS

x1

SANFIS
_III

xn

7.5. CNFS
Sistemele Neuro-Fuzzy Co-active
(limba englez: "Co-active NeuroFuzzy System" - CNFS) extind
conceptul de sistem neuro-fuzzy
adaptiv la sisteme neuro-fuzzy cu
mai multe ieiri i cu reguli fuzzy
neliniare.
n cadrul CNFS, ambele tehnici,
reelele neuronale i sistemele fuzzy,
joac un rol activ n ceea ce privete
obinere unei anumite mrimi de
ieire dorite.

7.5. CNFS

Adaptarea parametrilor sistemelor neuro-fuzzy co-active- CNFS

adaptnd, independent, parametrii reelei neuronale ce modeleaz partea de
premiz a regulilor fuzzy i cei ai reelei neuronale ce modeleaz partea de
consecin a regulilor fuzzy
pentru fiecare tip de parametri n parte se adopt un algoritm de gradient;
adaptnd att parametrii reelei neuronale ce modeleaz partea de premiz a
regulilor fuzzy, ct i parametrii reelei ce implementeaz partea de consecin
concomitent, utiliznd un algoritm cu propagare napoi a erorii.

7.6. NEFCON, Nefprox (Neuro Fuzzy

function apPROXimator )

R
1

X
1

R
2

R
3

R4

R
5

X
2

NEFCON cu 2 intrari, 5 reguli, o iesire

R
1

X1

R
2

R3

R4

R
5

X
2

NEFPROX a cu 2 intrari, 5 reguli, 2 iesiri

7.6. FALCON, GARIC, ANFIS, NEFCLASS

y1

y1\

ym

ym\

C1
x2

x2

x1

x1
N

R1

R2

X1

x1

x2
(a) FALCON

R3

N
R1 R2

R4

A11 A12

A21 A22
X1

X2

x3

x1
(b) GARIC

(d) ANFIS

C1

R3

R4 R5

X2

x2
(c) NEFCLASS

CONCLUZII

RNF- utilizeaza avantajele RN ( invatarea, robustete, paraleleism) impreuna cu

cele ale sismelor fuzzy ( trasabilitate, rationament asemanator oamenilor)

Sistemele hibride neuro- fuzzy

Cele mai utilizate la ora actuala
Logica fuzzy asigura structura in care poate fi exploatata capacitatea de
invatare a retelelor neuronale
Poate fi reprezentat printr-o retea neuronala feed-forward
Poate fi oricand interpretat in termenii regulilor fuzzy daca-atunci