PSIHOLOGIE COGNITIV

PARADIGMA REELELOR NEURONALE

ISTORIA PARADIGMEI
Spre deosebire de paradigma
clasic simbolic, paradigma
reelelor neuronale a aprut
mult mai trziu i pornete de
la principii fundamental diferite.

Cteva tentative de introducere

a reelelor neuronale au fost
nregistrate n anii 60 ai
secolului 20 (de ex. Modelul
perceptronului, 1958,
Rosenblatt; Pitts i McCullogh,
1943).

Criticile aduse de Minsky

(1961) i Minsky i Papert*
(1969) au fcut ca majoritatea
fondurilor de cercetare ce
fuseser alocate iniial n
aceast direcie s fie
redirecionate n domenii mai
promitoare.

*Perceptrons. Minsky, Marvin; Papert,

Seymour, Oxford, England: M.I.T.
Press Perceptrons.(1969)
ISTORIA PARADIGMEI (cont.)
1981 - o echip de
cercettori de la
Universitatea San Diego
California, condus de
McClelland i Rumelhart -
model de recunoatere a
paternurilor - IAM (Interactive
Activation Model), bazat pe o
reea neuronal trinivelar.

1986 - McClelland,
Rumelhart and the PDP
Reseach Group Parallel
Distributed
Processing (=Biblia
Conexionismului).
MIEZUL PARADIGMEI
Activitatea cognitiv poate fi cunoscut i explicat prin
intermediul unor modele de inspiraie neuronal.
Informaia este reprezentat de sistemul cognitiv uman
prin valori i patternuri de activare ale unor uniti
simple, numite neuromimi.
Toate aceste uniti formeaz reelele neuromimetice.
Regulile de baz din reele sunt de modificare sau
propagare a valorilor de activare.
Aceste reguli nu sunt formal-logice, ca n cazul
paradigmei clasice, ci constau n ajustarea reciproc a
patternurilor de activare dintre unitile reelei.
Retea neuronal - exemple
Reele neuronale imagini
 https://www.youtube.com/watch?
v=DG5-UyRBQD4
ELEMENTELE REELEI
NEURONALE
unitilereelei (neuronii);
starea de activare a unitilor;
regula de activare a unitilor;
funcia output / ieire;
patternul de conexiuni dintre uniti;
regulile de nvare;
mediul sau ambiana reelei.
UNITILE
Se mai numesc neuromimi (n sensul n care
ele mimeaz doar funcionarea neuronilor, nu
i structura lor), uniti cognitive, noduri;
Ele preiau partea funcional (adic salvele
activatoare sau inhibitoare de impulsuri i
ideea de sinapse) a neuronilor;
Valoarea de activare este cuprins ntre [-1,
+1];
Sunt dou tipuri de uniti:
unitile vizibile (input i output) i
unitile ascunse (hidden).
UNITI (cont.)
Suntsemantic opace, adic nu
simbolizeaz stri de lucruri cunoscute
(spre deosebire de modelele clasic-
simbolice, care sunt semantic
transparente) iar nodurile nu au o
semnificaie n sine;

Existtotui i cteva excepii - reelele

localizaioniste (unde un nod al reelei
este, n fapt, un concept).
STAREA DE ACTIVARE
Estecuprins, de regul, ntre [-1, +1].
Valoarea strilor de activare crete sau
scade n timp, funcie de stimularea
primit de nodul respectiv;

Dispunede o proprietate important:

rata degradrii (decay rate) - dac
nodul nu este stimulat o perioad mai
lung de timp, valoarea sa de activare
scade progresiv, spontan.
REGULA DE ACTIVARE
Este o funcie ce modific valoarea de
activare a unitilor ntr-o reea;

Permite calculul netinputului;

Netinputul = suma ponderat a triilor

sinapselor, nmulit cu valoarea strii de
activare a unitilor cu care este conectat
unitatea respectiv, la care se adaug
restul de activare al neuromimului.

REGULA DE ACTIVARE (cont.)

Netinput= wij*uai+ra,

Unde:
wij = tria sinapsei (ponderea legturii)
dintre dou noduri (nodul i i nodul j),
uai = valoarea de activare a nodurilor
cu care este conectat nodul a,
ra = restul de activare (valoarea iniial
de activare) a nodului a.
 FUNCIA OUTPUT (IEIRE)
Stabilete relaia dintre valoarea de activare a
unitii i output-ul pe care ea l transmite
celorlalte uniti;
Pot aprea dou situaii:
1. cea n care funcia output este egal cu
valoarea de activare a unitii respective,
i
2. cea n care funcia este determinat de
un nivel prag (peste nivelul prag se emite
funcia output, iar sub nivelul prag unitatea
respectiv nu descarc impulsuri).
 PATTERNUL DE CONEXIUNI NTRE
UNITI
Reprezint legturile dintre neuromimi;

n limba englez, termenul folosit este weight(=

pondere sau conexiune) iar notaia standard
este wij, care se citete ponderea legturii
dintre unitatea i i unitatea j;

Reelele pot fi:

- unidirecionale (conexiunile funcioneaz
doar dinspre input spre output) i
- bidirecionale (sau interactive; n acest caz,
nu este obligatoriu ca wij s fie egal cu wji).

PATTERNUL DE CONEXIUNI NTRE

UNITI (cont.)
Legturile pot fi:
stimulatoare sau pozitive cu valori cuprinse
ntre (0, +1],
inhibitoare sau negative cu valori cuprinse
ntre [-1, 0).

n afar de aceste legturi, n reelele

neuronale apare i fenomenul de inhibiie
lateral, ntre uniti aflate la acelai nivel*

*acest fenomen st la baza nvrii competitive

 REGULILE DE NVARE
Sunt algoritmi / ecuaii care guverneaz schimbarea ponderilor conexiunilor
dintr-o reea, echivaleni regulilor de manipulare simbolic din paradigma
clasic-simbolic.
Exemple de reguli de nvare: Hebb, delta, delta generalizat etc.
Regula lui Hebb
Ponderea conexiunii dintre doi neuroni, i i j, se modific n funcie de
produsul valorilor lor de activare. Astfel, tria sinapsei dintre doi neuroni
crete dac n momentul stimulrii ei se afl n aceeai stare de activare
(pozitiv sau negativ), i scade dac se afl n stri diametral opuse.
Wij= lr*ai*aj,
Unde:
lr = learning rate sau rata nvrii (este stabilit de constructorul reelei);
ai, aj = valorile de activare ale nodurilor i (input) i j (output).

REGULILE DE NVARE (cont.)

Regula delta (Widrow-Hoff)

Wij = lr*(di-ai)*aj,

Unde:
lr = learning rate sau rata nvrii (este stabilit de
constructorul reelei)
di = nivelul de activare dorit pentru nodul i
ai = nivelul de activare actual al nodului i
aj = nivelul de activare actual al nodului j

n momentul n care di = ai, atunci Wij devine 0 iar reeaua

a terminat de nvat.
MEDIUL/AMBIANA REELEI
- Este mediul n care se scald
reeaua.

- Se prezint sub forma unor biai

care pot influena desfurarea
activitii reelelor.
 Avantajele utilizrii reelelor neuronale
n nelegerea cogniiei

Explic
modul n care mintea poate
procesa informaie incomplet sau
degradat (flexibilitate);

Pot explica funcionarea a mai multe

procese mentale percepie,
raionament, limbaj, memorie (priming
etc).
 Avantajele utilizrii reelelor neuronale
nvarea adaptativ (capacitatea de a efectua sarcini
n baza datelor existente sau a experienei iniiale);

Auto-organizarea (o reea se poate auto-organiza chiar

n timpul nvrii);

Operarea n timp real (procesrile informaionale pot fi

realizate in paralel);

Tolerana la eroare prin codarea informaiei

redundante (distrugerea parial a reelei afecteaz
corespunztor performana ei. Unele abiliti ale reelei pot
sa se conserve chiar i dac reeaua este grav afectat).
Limitele utilizrii reelelor neuronale n
nelegerea cogniiei

Nuexplic felul n care reinem

evenimente singulare;

Nuexplic felul n care restructurm

rapid o informaie iniial, cnd se
modific criteriile de evaluare.
Utilitatea reelelor neuronale
Predicia comportamentelor (pe baza detectrii
regularitilor);

Controlul procesului de producie industrial;

Cercetri privind consumatorii;

Validarea datelor obinute prin alte metode;

Managementul riscului.