Curs 5

Modelul Neuronului Artificial

Neuronul cu o singura intrare

Intrarea (scalara) in neuron este inmultita cu ponderea scalara w pentru a

forma unul din termenii care intra in sumator, iar celalalt este o valoare constanta
numita prag (de activare) care poate fi vazut ca o intrare cu valoarea permanenta 1
inmultita cu valoarea pragului b (b de la engl. Bias = prag). In engleza se mai
folosesc denumirile de offset sau threshold pentru prag. Iesirea sumatorului
considerat ca intrarea in reteaua neuronala intra intr-o functie de transfer (numita si
functie de activare de la fenomenul biologic al activarii neuronilor vii). Ponderile
corespund intensitatii conexiunii sinapselor dintre neuroni vii iar iesirea semnalul
dat in axonul neuronului.

Neuron cu o singura intrare

Iesirea neuronului este calculata cu functia:

a = f (wp + b)
si depinde de tipul functiei de transfer alese dintre cele care se vor exemplifica in
continuare. Ponderea si pragul sunt parametrii scalari ai retelei si se vor ajusta pe
parcursul procesului de instruire al retelei neuronale pentru indeplinirea unui
obiectiv stabilit.
 Exemple Functii de activare neuronale
1. Functia treapta unitate
- Folosita in probleme care presupun clasificarea obiectelor in 2 clase sau
decizii binare asociate celor 2 valori posibile de iasire 0 sau 1.

Functia treapta unitate Iesirea unui neuron cu pondere si prag bazat pe

functia treapta unitate

2.Functia liniara

Iesirea functiei de iesire liniara este:

a=n

Functia liniara Iesirea unui neuron cu pondere si prag bazat pe functia

liniara
3.Functia sigmoidala logaritmica

Aceasta functie preia intrarea n si o transfera in domeniul 0 1 conform relatiei

Este utilizata in retele multistrat instruite cu algoritmul backpropagation unde

calculul erorii se face prin derivare expresia fiind derivabila.

Functia sigmoidala Iesirea unui neuron cu pondere si prag bazat pe functia

sigmoidala
Tipuri de functii de activare disponibile in Matlab
Functia de transfer Numele functiei in Expresia functiei
Matlab
Treapta unitate hardlim

Treapta unitate simetrica hardlims

Liniara purelin

Liniara saturata satlin

Liniara saturata satlins

simetrica

Sigmoidala logaritmica logsig

Sigmoidala tangenta tansig

hiperbolica

Liniara pozitiva poslin

Competitiva compet a = 1 pt neuron cu max n

a = 0 pt toti ceilalti neuroni
Neuronul cu mai multe intrari
In mod tipic un neuron are mai multe intrari pentru rezolvarea problemelor cu mai
multe date de intrare.

Neuronul cu mai multe intrari

Intrarile p1, p2, … sunt ponderate cu ponderile w1, w2,… si apoi li se adauga
pragul b:

W va reprezenta matricea ponderilor neuronale (in cazul nostru un sir) iar p sirul
intrarilor. Si astfel se poate scrie matriceal:

n = Wp + b
In aceasta scriere iesirea neuronului va fi data de:

a = f (Wp + b)
Folosind scrierea matriceala se poate reprezenta mai simplificat neuronul cu mai
multe intrari inlocuind vizualizarea tuturor conexiunilor cu o conexiune de la sirul
intrarilor de dimensiune R x 1 la matricea de ponderi (tot sir aici) dar de
dimensiune 1 x R.
Reprezentarea matriceala a neuronului cu mai multe intrari

Arhitecturi de retea –
Un strat de neuroni
In practica se folosesc mai multi neuroni in paralel plasati intr-un strat
pentru rezolvarea problemelor reale.
In aceasta conexiunne fiecare dintre cele R intrari sunt conectate prin
ponderi la fiecare din cei S neuroni din strat astfel incat ponderile
reprezinta in acest caz o matrice W de dimensiune S x R. Sigur ca
numarul intrarilor R nu are o legatura directa cu numarul de neuroni S si
frecvent S este diferit ( in general mult mai mic) decat R.
Un singur strat de neuroni artificiali

Matricea ponderilor in acest caz este:

Cu observatia ca notatia w S,1 se refera la ponderea aplicata de intrarea 1

catre neuronul S din strat!
Reprezentarea simplificata a mai multor neuroni (S) plasati intr-un singur strat cu R
intrari reprezentate in sirul p

Mai multe straturi de neuroni

In practica se folosesc retele cu mai multe straturi de neuroni care sunt
conectate si rezolva probleme complexe. Aceste straturi vor avea fiecare
intrari, matrice de ponderi, siruri de praguri, iesiri. Pentru reprezentarea
schematica se vor folosi indice sus pentru matricea ponderilor primului
strat W1, celui de al doilea W2, etc. la fel si pentru praguri B1, B2 Ultimul
strat reprezinta si iesirea finala a retelei neuronale create astfel iar
celelalte se vor numi straturi ascunse. Reteaua va avea S1 neuroni pe
primul strat S2 neuroni pe al doilea, etc.
 Reprezentarea unei retele cu 3 straturi de neuroni

Reprezentarea simplificata, matriceala a retelei cu 3 straturi de neuroni

Retele recurente
Pentru reprezentarea retelelor neuronale recurente se utilizeaza blocul de intarziere
care reprezinta iesirea ca intrarea la momentul anterior cu mentiunea ca acesta
trebuie initializat la momentul t = 0, prin intrarea separata a (0)
Bloc de intarziere

Functia de transfer:
a(t) = u (t-1)

Si a blocului de integrare :
La acest bloc iesirea este data de urmatoarea relatie in legatura cu
intrarea:

Retelele recurente sunt retele cu reactie (feedback) si au unele iesiri conectate la

intrari. In urmatorul exemplu de retea recurenta avem intrarile p introduse doar la
momentul 0 adica a(0) =p iesirile sunt calculate succesiv in timp.

Retea recurenta