Sunteți pe pagina 1din 23

PSIHOLOGIE COGNITIV

PARADIGMA REELELOR NEURONALE

ISTORIA PARADIGMEI
Spre

deosebire de paradigma clasic simbolic,


paradigma reelelor neuronale a aprut mult mai
trziu i pornete de la principii fundamental diferite.

Cteva

tentative de introducere a reelelor neuronale


au fost nregistrate n anii 60 ai secolului 20 (de ex.
Modelul perceptronului, 1958, Rosenblatt; Pitts i
McCullogh, 1943).

Criticile

aduse de Minsky (1961) i Minsky i Papert


(1969) au fcut ca majoritatea fondurilor de cercetare
ce fuseser alocate iniial n aceast direcie s fie
redirecionate n domenii mai promitoare.

ISTORIA PARADIGMEI (cont.)


1981

- o echip de cercettori de la
Universitatea San Diego California,
condus de McClelland i Rumelhart model de recunoatere a paternurilor IAM (Interactive Activation Model), bazat
pe o reea neuronal trinivelar.

1986

- McClelland, Rumelhart and the


PDP Reseach Group Parallel
Distributed Processing ( Biblia
Conexionismului).

MIEZUL PARADIGMEI
Activitatea

cognitiv poate fi cunoscut i explicat


prin intermediul unor modele de inspiraie
neuronal.
Informaia este reprezentat de sistemul cognitiv
uman prin valori i patternuri de activare ale unor
uniti simple, numite neuromimi.
Toate aceste uniti formeaz reelele
neuromimetice.
Regulile de baz din reele sunt de modificare sau
propagare a valorilor de activare.
Aceste reguli nu sunt formal-logice, ca n cazul
paradigmei clasice, ci constau n ajustarea reciproc
a patternurilor de activare dintre unitile reelei.

Retea neuronala - imagini

Retele neuronale imagini

ELEMENTELE REELEI
NEURONALE
unitile
starea

de activare
regula de activare
funcia output / ieire
patternul de conexiuni dintre
uniti
regulile de nvare
mediul sau ambiana reelei

UNITILE
Se

mai numesc neuromimi (n sensul n care


ele mimeaz doar funcionarea neuronilor,
nu i structura lor), uniti cognitive, noduri.
Ele preiau partea funcional (adic salvele
activatoare sau inhibitoare de impulsuri i
ideea de sinapse) a neuronilor.
Valoarea de activare este cuprins ntre [-1,
+1].
Sunt dou tipuri de uniti:
unitile vizibile (input i output) i
unitile ascunse (hidden)

UNITI (cont.)
Sunt

semantic opace, adic nu


simbolizeaz stri de lucruri
cunoscute (spre deosebire de
modelele clasic-simbolice, care sunt
semantic transparente) iar nodurile
nu au o semnificaie n sine.
Exist totui i cteva excepii reelele localizaioniste (unde un
nod al reelei este, n fapt, un
concept).

STAREA DE ACTIVARE
Este

cuprinsa, de regul, ntre [-1,


+1]. Valoarea strilor de activare
crete sau scade n timp, funcie de
stimularea primit de nodul
respectiv.
Dispune de o proprietate important:
rata degradrii (decay rate) - dac
nodul nu este stimulat o perioad
mai lung de timp, valoarea sa de
activare scade progresiv, spontan.

REGULA DE ACTIVARE
Este

o funcie ce modific valoarea de


activare a unitilor ntr-o reea. Aceast
regul permite calculul netinputului.

Netinputul

este suma ponderat a


triilor sinapselor, nmulit cu valoarea
strii de activare a unitilor cu care
este conectat unitatea respectiv, la
care se adaug restul de activare al
neuromimului.

REGULA DE ACTIVARE (cont.)


Netinput= wij*uai+ra,

Unde:
wij = tria sinapsei (ponderea
legturii) dintre dou noduri (i i j)
uai = valoarea de activare a nodurilor

cu care este conectat nodul a


ra = restul de activare (valoarea
iniial de activare) a nodului a

FUNCIA OUTPUT (IEIRE)


Stabilete

relaia dintre valoarea de


activare a unitii i output-ul pe care ea l
transmite celorlalte uniti.
Pot aprea dou situaii:
1. cea n care funcia output este egal cu
valoarea de activare a unitii respective,
i
2. cea n care funcia este determinat de
un nivel prag (peste nivelul prag se emite
funcia output, iar sub nivelul prag unitatea
respectiv nu descarc impulsuri).

PATTERNUL DE CONEXIUNI NTRE


UNITI
Reprezint

legturile dintre neuromimi. n limba


englez, termenul folosit este de
weight(pondere sau conexiune, n limba
romn) iar notaia standard este wij, care se
citete ponderea legturii dintre unitatea i i
unitatea j.

Reelele

pot fi:
- unidirecionale (conexiunile funcioneaz doar
dinspre input spre output) i
- bidirecionale (sau interactive; n acest caz, nu
este obligatoriu ca wij s fie egal cu wji).

PATTERNUL DE CONEXIUNI NTRE


UNITI (cont.)
Legturile pot fi, de asemenea:
stimulatoare sau pozitive cu valori cuprinse
ntre (0, +1],
inhibitoare sau negative cu valori cuprinse
ntre [-1, 0).
n afar de aceste legturi, care se stabilesc
ntre neuroni aflai la nivele diferite ale
reelei, n reelele neuronale apare i
fenomenul de inhibiie lateral, ntre
uniti aflate la acelai nivel (acest fenomen
st la baza nvrii competitive).

REGULILE DE NVARE
Sunt algoritmi sau ecuaii care guverneaz schimbarea
ponderilor conexiunilor dintr-o reea, echivaleni
regulilor de manipulare simbolic din paradigma clasicsimbolic.
Exemple de reguli de nvare: Hebb, delta, delta
generalizat etc.
Regula lui Hebb
Ponderea conexiunii dintre doi neuroni, i i j, se modific
n funcie de produsul valorilor lor de activare. Astfel,
tria sinapsei dintre doi neuroni crete dac n
momentul stimulrii ei se afl n aceeai stare de
activare (pozitiv sau negativ), i scade dac se afl n
stri diametral opuse.
Wij= lr*ai*aj,
Unde:

lr

= learning rate sau rata nvrii (este stabilit de


constructorul reelei)

REGULILE DE NVARE (cont.)


Regula delta (Widrow-Hoff)

Wij = lr*(du-au)*aj,
Unde:
lr = learning rate sau rata nvrii (este stabilit de
constructorul reelei)
du = nivelul de activare dorit pentru nodul i
au = nivelul de activare actual al nodului i
aj = nivelul de activare actual al nodului j

n momentul n care du = au, atunci Wij devine 0 iar


reeaua a terminat de invatat.

MEDIUL/AMBIANA REELEI
Este mediul n care se scald
reeaua.
Se prezint sub forma unor biai
care pot influena desfurarea
activitii reelelor.

Avantajele utilizrii reelelor


neuronale n nelegerea cogniiei
Explic

modul n care mintea


poate procesa informaie
incomplet sau degradat
(flexibilitate)

Pot

explica funcionarea a mai


multe procese mentale percepie,
raionament, limbaj, memorie
(priming etc).

Avantajele utilizarii retelelor


neuronale (in general)

Invatarea

adaptativa (capacitatea de a

efectua sarcini in baza datelor existente sau a


experientei initiale)
Auto-organizarea (o retea se poate autoorganiza chiar in timpul invatarii)
Operarea in timp real (procesarile
informationale pot fi realizate in paralel)
Toleranta

la eroare prin codarea


informatiei redundante (distrugerea
partiala a retelei afecteaza corespunzator
performanta ei. Unele abilitati ale retelei pot sa
se conserve chiar si daca reteaua este grav
afectata)

Limitele utilizrii reelelor


neuronale n nelegerea cogniiei
Nu

explic felul n care reinem


evenimente singulare
Nu explic felul n care restructurm
rapid o informaie iniial, cnd se
modific criteriile de evaluare
EXIST

DOU SISTEME DE
NVARE N CREIER/MINTE
(MCCLELLAND et al., 1997)

Utilitatea retelelor
neuronale
Predictia

comportamentelor (pe

baza detectarii regularitatilor)


Controlul

procesului de productie
industriala
Cercetari privind consumatorii
Validarea datelor
Managementul riscului