RETELE NEURONALE

ARTIFICIALE
 Aparitia ANN a fost generata de necesitatea
rezolvarii unor probleme atipice

Probleme “tipice”: Probleme “atipice”:

- Exista un model formal asociat
problemei
- Exista un algoritm de rezolvare
Exemplu:
Clasificarea angajaţilor unei
companii in doua clase in funcţie de
venitul acestora (venit mai mic
respectiv mai mare decât un prag
dat)
Rezolvare:
Folosirea metodelor algoritmice si a
calculatoarelor electronice
- Dificil de formalizat
- Se cunosc doar exemple nu si
un model general
- Metodele clasice nu pot fi
aplicate
Exemplu:
Clasificarea angajaţilor unei
companii in doua clase in funcţie
de credibilitatea privind
acordarea unui împrumut
bancar
Rezolvare:
Folosirea metodelor de calcul
paralel si a reţelelor neuronale
 Diferenţele dintre calculul secvenţial – calculatoare si
calculul paralel - ANN
Calculatoare
Retele neuronale
• Calcul deductiv: se aplica datelor de
intrare reguli de rezolvare cunoscute • Calcul inductiv: pornind de la
cu scopul obţinerii rezultatelor. perechi cunoscute de date de
intrare-iesire se determina regulile
• Calculul este centralizat, sincron si
secvenţial. de rezolvare.
• Memoria utilizata este compacta, • Calculul este dezcentralizat,
stocata in locaţii identificabile prin asincron si paralel.
adresa. • Memoria este distribuita, stocata in
• Nu sunt acceptate erori hard sau locaţii identificabile prin conţinut.
soft. La prim eroare secvenţa de • Erorile sunt tolerate, datorita
calcul se blochează. redundantei sistemului de calcul.
• Precizie foarte ridicata. • Precizia este relativ scăzuta.
• Conexiunile de lucru sunt fixe. • Conexiuni de lucru dinamice.
• Aplicabile in cazul problemelor • Aplicabile in cazul problemelor
rezolvabile prin utilizarea unor reguli pentru care nu exista reguli de
precise datelor de intrare .
rezolvare sau cu date de intrare
rezolvare sau cu date de intrare
incomplete.
 Scurt istoric

• Noţiunea de Perceptron a fost introdus de McCulloch and Pitts in 1943,

ca fiind un model simplificat al neuronului biologic.

• Datorita mijloacelor de implementare rudimentare ramane la stadiul de

teorie

• La mijlocul anilor ’80, datorita dezvoltării mijloacelor de calcul

electronic, revin in forţa si se dezvolta noi teorii cum ar fi fnctii de
transfer non-liniare si antrenarea prin Back-propagation
 Creierul uman - model biologic pentru ANN
Constituit din unitati elementare interconectate - neuroni

Functioneaza pe baza informatiilor acumulate prin invatare

 Neuronul artificial – unitate de baza pentru ANN

X1 Directia fluxului informational

w1
X2 w2
I f V = f(I)
..
.
wp
Xp
I = w1X1 + w2X2 + w3X3 +… + wpXp
Functii de transfer
Funcţia de transfer cea mai utilizata - Funcţia Sigmoidala

1
y hid (u )  u
1 e

Sigmoid
 Arhitecturi de retele neuronale – “feed forward multilayer perceptron”

O retea neuronala este alcatuita din mai multe unitati de calcul – neuroni –
organizati in grupuri umite “straturi”

X1 X2 X3 X4 Stratul de intrare
- Fiecare neuron are cate o
singura intrare, conectata la
exterior si mai multe iesiri

Straturi ascunse
- Neuronii au legaturi multiple
cu ceilalti din straturile de
intrare, ascunse sau iesire

Stratul de iesire
- Fiecare neuron are cate o
singura iesire conectata la
y1 y2 exteriorul retelei
 Antrenarea retelelor neuronale – Back propagation

• Are la baza propagarea inversa a erorii, in

X1 X2 X2 scopul minimizarii acesteia

Back Propagation •Se porneste cu valori aleatoare pentru ponderi.

Feed forward

• Se executa un ciclu de transfer informational prin retea

X1 Retea V1 ; Eroarea = (Y1 – V1)2
Y1 valoarea dorita a iesirii

• Se ajusteaza valorile ponderilor pentru o valoare minima

a erorii

V1 • Se repeta procedura pana eroarea se inscrie in limitele

impuse
E =  (Yi – Vi) 2
Antrenarea retelelor neuronale – elemente de reglare
Rata de antrenare – Learning Rate - LR
- După un ciclu de antrenare, ponderile din reţea sunt modificate cu o valoare
egala cu produsul dintre eroare si LR.
-O valoare LR mare poate duce la antrenări rapide dar cu riscul apariţiei oscilaţiilor
sau divergentei
- Valori intre 0.1 – 10, recomandat 0.6

Momentul – Momentum - M
- Reprezintă un factor de persistenta a modificărilor in valorile ponderilor pe
parcursul a mai multe cicluri de antrenare.
- Are un efect de “netezire” a oscilaţiilor generate de rate mari de antrenare
- Valori intre 0 – 0.9, recomandat 0.8

Eroarea tinta – Target Error - TE

-Este valoarea erorii acceptate dupa finalizarea etapei de antrenare.
- Reprezinta “eficienta” antrenarii retelei
- Valori intre 0 – 0.9, peste 0.2 fiind retele sub-antrenate, sub 0.0001 fiind retele
supra-antrenate
 Probleme ce pot fi rezolvate prin folosirea ANN

• In principiu, ANN pot rezolva orice problema tipica sau atipica. Singura
diferenta fata de un calculator algoritmic rezida in precizia rezultatelor
obtinute.

• In practica, ANN sunt deosebit de utile in cazul problemelor atipice, cum ar

fi clasificarile si aproximarile ce nu pot fi incadrate intr-un model algoritmic,

• ANN sunt limitate la domeniul incadrat de datele folosite pentru antrenare

 Exemplu de utilizare ANN – problema XOR
x1 x2 y Se utilizeaza o retea cu un singur strat
ascuns, cu trei neuroni, cu toate functiile de
Example 1 0 0 0 activare sigmoidale
Example 2 0 1 1
Example 3 1 0 1
Example 4 1 1 0

x1 x2 y

Example 1 0 0 0.0824

Example 2 0 1 0.9095

Example 3 1 0 0.9470

Example 4 1 1 0.0464
Exemplu de utilizare ANN – recunoasterea caracterelor

Problema: recunoasterea caracterelor reprezentate prin bitmap-uri

Exemple de reprezentari ale cifrei 1

Dupa antrenare va
0 0 1 0 0 0 0 1 0 0
recunoaste si
0 1 1 0 0 0 1 1 0 0 reprezentarea:
1 0 11 0 0 1 0 11 0 0
0 0 11 0 0 0 0 11 0 0
0 11 11 11 0 0 0 11 0 0 0 0 1 0 0

0 0 1 0 0 0 1 1 0 0

0 1 1 0 0 Reteaua invata aceste exemple 0 0 11 0 0

0 0 11 0 0 0 0 11 0 0

0 0 11 0 0 0 0 11 0 11

0 11 11 11 0
Simulatoare software pentru crearea si manipularea ANN

• Sunt programe ce permit construirea arhitecturii retelei, alegerea

functiei(lor) de transfer, introducerea datelor de intrare, antrenarea
retelei, validarea rezultatelor si utilizarea retelei.
• Pot fi gratuite sau nu, cu interfata grafica sau nu, de sine statatoare
sau module incluse in pachete mai complexe.
• Presupun pregatirea datelor, in general in format excel sau text
EasyNN