Tipuri de retele neurale

Dupa cum a fost mentionat anterior, exista mai multe tipuri de retele neurale. Ele pot fi clasificate dupa tipul lor ( feedforward sau feedback ), si dupa algoritmul de antrenare pe care il folosesc. Tipul de RN indica faptul in care neuronii de pe layere sunt conectati intre ei. Feedforward RN permit doar conectarea neuronilor de pe layere diferite intr-un singur sens ( de la layerul de intrare spre layerul de iesire ), in timp ce RN de tip feedback permit conexiuni intre neuronii aceluiasi layer si pot permite aparitia buclelor ( se pot construi deci retele foarte complexe, dinamice ). In continuare vor fi descrise cateva dintre cele mai folosite RN :

Perceptronul
Perceptronul a fost prima data introdus de catre F.Rosenblatt in 1958. Este o RN foarte simpla, care poate lucara cu intrari binare sau reale. Procesul prin care se antreneaza este unul supravegheat. Antrenarea supravegeata este o antrenare bazata pe modificarea ponderilor, deci a comportarii RN, pe baza erorii dintre iesirea dorita in cazul unor intrari stabile, de antrenare, si iesirea reala in cazul acelor intrari. O astfel de RN este capabila sa rezolve operatii logice de baza ca OR sau AND. Operatii logice mai complicate ( ca XOR ) nu pot fi rezolvate cu aceasta RN.

Caracteristici perceptron Exemplu de structura

Tip Layere Tipul valorilor de intrare Functia de activare Metoda de antrenare Algoritmul

Feedforward 1 layer Binare sau reale (continue)

Functie de tip limitator supravegheata Algoritmul Hebb de antrenare

de antrenare Folosire Operatii logice simple Clasificarea paternuri

Multi-Layer-Perceptron

Multi-Layer-perceptronul a fost introdus prima data de M.Minsky and S.Papert in 1969. Este o extensie a Perceptronului si are una sau mai multe layere ascunse de neuroni intre layerele de intrare si cele de iesire. Datorita structurii sale mai complexe el este capabil sa rezolve toate operatii logice, inclusiv problema XOR.

Caracteristicile Multi-Layer-Perceptronului Exemplu de structura

Tip Layere

feedforward 1 layer de intrare 1 sau mai multe layere ascunse

1 layer de iesire Tipul valorilor de intrare Binare sau continue Functia de activare Functie de tip limitator sau sigmoid Metoda de antrenare Supravegheata Algoritmul de antrenare Alg. delta de antrenare Folosire backpropagation Operatii logice complexe Clasificarea paternurilor

10

Retea de tip Backpropagation

Reteaua de tip Backpropagation a fost prima data introdusa de catre G.E.Hinton, E.Rumelhart si R.J.Wiliams in 1986 si este una dintre cele mai puternice tipuri de RN. Are aceeasi structura ca Multi-Layer-Perceptronul insa aici se foloseste algoritmul de antrenare de tip backpropagation tot timpul.

Caracteristicile retelei de tip Backpropagation

11

Exemplu de structura

Tip Layere

feedforward 1 layer de intrare 1 sau mai multe layere ascunse

1 layer de iesire Tipul valorilor de intrare Continue Functia de activare Functie de tip sigmoid Metoda de antrenare Supravegheata Algoritm de antrenare Alg. backpropagation Folosire Operatii logice complexe Clasificare paternuri Analiza vocala

Retele de tip Hopfield

Retelele de tip Hopfield au fost prima data introduse de catre fizicianul J.J.Hopfield in 192 si apartin RN numite modele termodinamice.

12

Este alcatuita dintr-un set de neuroni, set in care fiecare neuron este conectat cu toti neuronii. Nu exista diferente intre neuroni de intrare si neuroni de iesire. Ponderile sint simetrice, adica w ij = w ji , unde wij reprezinta ponderea legaturii nodului i cu nodul j. Cel mai des se folosesc acest tip de retele la recunoasterea paternurilor ( de exemplu al imaginilor ).

Caracteristicile retelelor Hopfield Exemplu de structura

Tip Layere Tipul valorilor de

feedback 1 matrice Binare

intrare Functia de activare Functia logica nivel sau functia limitator Metoda de Nesupravegheata antrenare Algoritmul de antrenare Folosire Regula delta Recunoastere paternuri; probleme de optimizare

13

Retele de tip Kohonen

Retelele de tip Kohonen au fost prima data introduse de catre profesorul finlandez Teuvo Kohonen in 1982. Este probabil el mai folosit tip de retele neuronale , daca vrem sa simulam modul de invatare al creierului uman. Feature-mapul este baza acestui tip de retele in care neuronii se reorganizeaza in functie de anumite valori de intrare.Aceste retele sunt atat de tpul feedforward ( layerul de intrare ) cat si de tip feedback.

Caracteristicile retelelor de tip Kohonen

14

Exemplu de structura

Tip Layere Tipul valorilor de

Feedforward / feedback 1 layer de intrare 1 multime de neuroni Binare sau continue ( reale )

intrare Functia de Functie sigmoid activare Metoda de Nesupravegheata antrenare Algoritmul Autoorganizarea de antrenare Folosire Clasificarea paternurilor Problemele legate de optimizare Simulari

Exemple de functii de activare

Functia de activare poate fi de forma:

15

f h(x) +1 +1

f t (x) +1

f s (x)

0 -1 Functie limitator

Functie logica nivel

Functie sigmoid

16