CURS 3

PERCEPTRONUL MULTISTRAT

Caracteristici


Este una dintre cele mai cunoscute i utilizate arhitecturi feedforward, i folose te nv are supervizat de tipul corectare a erorii. Fiecare neuron din re ea are asociat o func ie de activare nelinear , diferen iabil (de exemplu, func ia logistic ). n afara stratului de intrare i a celui de ie ire, re eaua con ine i unul sau mai multe straturi ascunse de neuroni, care au rolul de a extrage caracteristici din ce n ce mai relevante ale vectorilor de intrare.

Poate modela suprafe e de decizie nelineare (spre deosebire de perceptron); ex.:

Unitatea de baz procesatoare pentru pecreptronul multistrat

Trebuie s aib drept ie ire o combina ie nelinear a intr rilor, care s fie i diferen iabil (pentru a aplica gradient descendent).  Func ia de activare: func ia logistic (sigmoidal ).


Func ia log-sigmoidal

cadrul algoritmului de antrenare (backpropagation) se ntlnesc dou tipuri de semnale: propagarea nainte a semnalelor calculate pe baza func iilor de activare a neuronilor, i propagarea napoi a semnalelor de eroare, pe baza c rora ponderile re elei sunt ajustate folosind regula Delta (gradient descendent n spa iul ponderilor).

1.

2.

Regula Delta generalizat este baza pentru algoritmul backpropagation.

Backpropagation

Probabilit i i clasificare bayesian

Perceptronul multistrat bayesian

i clasificarea

Convergen a algoritmului


ntruct suprafa a de eroare poate avea mai multe minime locale, algoritmul poate converge la unul dintre acestea, n loc de minimul global.

Exemple
Problema cu iri ii.  Cum se testeaz .