Sunteți pe pagina 1din 10

1.

sa se proiecteze o retea neurala care spune daca suma a 2 cifre(0<=cifra <=7) este mai
mare ca 8.(​perceptron cu 6 intrari? Trebuie calculate ponderile?​)
Aici nu sunt suficiente doar 2 intrari ?
Pai nu ar mai conta domeniul cifrei,dacă nu ar fi pe biți.

2. Care e conditia de convergenta la algoritmul de invatare al perceptronului? ​(liniar


separabilitatea)​(adica se updateaza weights-urile pana cand se ajunge la o clasificare
corecta sau numarul iteratiei a ajuns la o valoare maxima?) ​Dar la Hopfield?​ (wij==wji)
(Conditia de convergenta la Hopfield nu este cumva ca sablonul la momentul viitor (t+1)
sa fie acelasi ca sablonul la momentul t? curs 4, pag 28)
Cred ca intrebarea se refera cand stim ca ar converge dinainte de rulare. In acest
caz, la perceptron sigur e corecta liniar separabilitatea.
Atunci la Hopfield inseamna ca el converge daca M<0.138*N? (curs 4, pag 30)
M=nr de clase, N=numarul de input-uri
Stai sa vad ce sunt M si N si wtf. CONCLUZIE: cred ca da
La Hopfield converge daca functia de energie e functie Lyapunov (iar Hopfield a
demonstrat ca asta se intampla daca w_ii = 0 oricare i si w_ij = w_ji oricare i, j)

3. Care e diferenta intre TD si Q-learning? ​In cazul TD politica este fixa​.​ TD implica
invatare pasiva iar Q-learning invatare activa. Q-learning are o functie de explorare.

4. Care este legatura intre stabilizarea unei retele Hopfield si un proces de cautare?

Pentru regasirea unui sablon, este suficient sa se specifice numai o parte a acestuia, iar
reteaua gaseste automat intreg sablonul.
Totusi, una dintre limitarile majore ale alg. hopfield este cazul in care un sablon are mai
multe valori identice cu un alt sablon in exemple, caz in care sablonul poate fi instabil =
reteaua converge spre o stare diferita de cea asociata sablonului.
Procesul de relaxare paralela a retelei pentru a atinge o stare stabila poate fi vazut ca un
proces de cautare in spatiul starilor stabile ale retelei.O configuratie de intrare va forta
reteaua sa ajunga intr-o stare stabila ce reprezinta un minim local , starea stabila cea
mai apropiata.

5. Exprimarea unor atribute ca valori continue in ID3.


S1:
Partitioneaza in intervale (Ai + Ai+1)/2, fiecare interval o valoare si ordoneaza valorile
atributului din SI.
S2:
Pt fiecare Ai, i=1,m imparte obiectele in (-∞, Ai] si (Ai, + ∞) ⇒ partitie Pi
Pentru fiecare Pi calculeaza castigul informational si selecteaza partitia cu castig
informational maxim.

6. Ce inseamna fenomenul de overfitting si in ce contexte apare? De ce apare la retele


neurale?
(din curs 1, pag 27) “overfit”(overfitting) = ipoteza formata/gasita include zgomot sau
sabloane de date irelevante.
Un algoritm backpropagation poate ajunge sa calculeze un set de ponderi care nu
rezolva problema. Fenomenul de overfitting. Nr de ponderi care se invata / nr. de ponderi care
influenteaza o iesire particulara < nr. de exemple

7. Care este conditia de convergenta a algoritmului de invatare a perceptronului ?Dar in


cazul unei retele backpropagation ?
perceptron: set de invatare sa fie liniar separabil;
backpropagation: ? ​(eroarea cu care se intoarce sa fie minima?)
8. Care sunt aplicatiile cele mai importante ale unei retele Hopfield si pe ce principii se
bazeaza acestea ?
Aplicatia cea mai importanta a unei retele Hopfield este intelegerea memoriei umane
(​http://en.wikipedia.org/wiki/Hopfield_network​).
Aplicații unde este căutată soluția de cost minim.
9.
x1 x2 y
1 0 1
0 1 1
0 0 1
1 1 0

retea, ponderi, functie de activare


Un singur perceptron cu 2 intrari. w1 = -2; w2 = -2; teta = -3; f(x) = 1 daca x > teta si
invers fx = 0;
Sa se construiasca o retea neurala cu 3 intrari si 3 iesiri, care sa afle maximul intrarilor.

Explicatii:
-neuronul a cu wx1=1 si wx2=-1 si teta=0 are iesirea 1 daca x1>x2 si -1 altfel
-neuronul b cu wx2=-1 si wx3=1 si teta=0 are iesirea 1 daca x3>x2 si -1 altfel
-neuronul c cu wx1=1 si wx3=-1 si teta=0 are iesirea 1 daca x1>x3 si -1 altfel
-neuronul d cu wa=1 si wc=1 si teta=2 are functia de AND(a, c), deci e activat
cand max=x1
-neuronul e cu wa=-1 si wb=-1 si teta=2 are functia de AND(~a, ~b), deci e
activat cand max=x2
-neuronul f cu wb=1 si wc=-1 si teta=2 are functia de AND(b, ~c), deci e activat
cand max=x3
Exemplu: input: X=[0.3 0.5, -0.2]. Output: Y=[0, 1, 0]
10. Care este numarul de neuroni necesari pentru o retea cu n noduri de intrare si n noduri
de iesire ?
Minim n ca sa fie n iesiri diferite… Confirmare, pls?

UNDE DAM LUCRAREA? IN CE SALA? :D #optimal_brain_damage #yolo #swag


unde se face si cursul
Copy paste de la
https://docs.google.com/document/d/1gQi9HAm49OV-_71XrBJXjrQ8kyXDB7V25gv_6f5yqO4/e
dit

Link pentru cursuri merge-uite ​aici​.Sunt cam 250 de slide-uri. Dati download, Google docs nu
genereaza view.

Ca si data trecuta, ​bold​ pentru subiectele rezolvate.


Stiu ca sunt multe care nu s-au predat inca, dar le-am lasat aici ca o sa fie bune pentru
examenul final.

Teorie 

1.cascor. Retele cascade correlation (sunt in cursul 6, nu cred ca se dau -> de ce?
(doar cursurile 1-5 se dau)

9.un graf bipartit cu laturi cu cost, sa facem o retea hopfield...nu mai stiu exact ce
trebuia sa faca, era ceva cu laturi de cost minim. Curs 4, 38
Facem un graf de neuroni, N pe (N-1)/2
Dacă e legătură între i si j înseamnă că neuronul IJ e aprins. Dar nu poti să ai doua pe
coloana (să zicem) ca e rău. Deci restrictia
1. Suma după coloana de neuroni aprinsi = 1.
Si zicem că pot să fie oricati pe linie, dar noi vrem doi. Și pentru restrictiile astea punem
termenul 2 din H, chestia cu gamma pe 2. Nu prea pot să justific matematica aia că e târziu.
Cum se alege γ?
Cam de aceeasi marime cu d ij tipice ⇒ aceeasi prioritate de satisfacere a restrictiei cat si de a
avea legaturi scurte.
γ mica ⇒ solutii cu putine legaturi (violeaza restrictia de toate leg)
γ mare ⇒ nu cele mai scurte legaturi dar satisface restrictia
γ se modifica pe măsură ce se relaxează reţeaua: intai mic (relaxez
restr.) apoi gradual mai mare (fortez restrictia).

2.ciclu hamiltonian rezolvat cu Hopfield


Curs 4, 40
Stabiliti voi daca e de bold. Cititi 9 de mai sunt întâi
Se creeaza o matrice de neuroni, fiecare conectati cu fiecare, de dimensiune N*N. Neuronul se
aprinde daca daca orasul i e parcurs in pasul a == pe baza la matricea din cursul 4, pagina 40
avem ordinea BACD. Ca să meargă jegul ăsta ai nevoie de ca pe orice linie si orice coloana sa
fie FIX un neuron aprins. Pagina 41, restrictii, cu greseala la 2 zice fix asta:
2. Suma după coloana de neuroni aprinsi = 1
3. Sumă dupa rând de neuroni aprinsi = 1
Acum, cât căcat e distanța?
E ½ ( pentru că de fapt ăsta îți face toată bucla) din sumă după distanța dintre i și j *DACĂ* n de
i e aprins ( 1 ) și n de j e și el aprins ( 1 ). Daia ai sumă după 3 componente.

Funcția de cost e , odată distanța, după e un jeg de matematică care îți implementează
restrictiile. Din nou, e gresit ca dracu acolo, al doilea n de ia e de fapt n de ai dar iertăm. De ce
ridicăm la pătrat chestia aia? No idea, that’s why! E un jeg de artificiu matematic și mai sunt si
alte 20 de subiecte.

Bun. și care mai e faza cu y, gamma ăla? Păi dacă faci sumă pentru aceași linie sau coloană ți
se strică thresholdul. Restul sunt distanțe pe bune. Face sens?

3.constuirea unui graf pentru o clasificare y (+ sau -) si 2 atribute x1,x2. Pe un sist de


coord erau niste cerculete cu + si - in ele. Trebuia sa construim un arbore cu nr minim si
unul cu nr maxim de frunze.

cum se genereaza un astfel de arbore?


Pentru fiecare atribut îi calculezi câștigul informațional (e o formulă cu log-uri)
Pui ca nod atributul și ca muchii valori. Te duci în stânga și în dreapta cu datele care au valorile
ălea.

4.mutatie biti se dadeau 2 indivizi si 2 masti

5.4 biti cu probabilitate de mutatie 10%..care e probabilitatea de supravietuire a individului.

6....eliminearea elementului negativ....cu algoritmi genetici de decizie..? nu mai stiu exact cum
era formulat.

7.cum functioneaza algoritmul de reprezentare in spatiul versiunilor (sau ceva genul)

8.un set de invatare cu R exemple, M atribute binare pe baza caruia se construia un


arbore de decizie. Care este numarul maxim de frunze pe care il poate avea arborele?
min(R, 2^M)?
de unde ar veni 2^M? Păi dacă facem branching maxim posibil dau cam 2^M
frunze. Dar poate nu sunt atâtea exemple, daia e min ăla acolo

10. recombinare reala discreta, se dadeau 2 parinti si 2 sample-uri se cerea copii rezultati si de
specificat ce valori vin de la parintele1 + de explicat cum am facut.
11.selectie ruleta, se selectau 4 parinti dintr-un esantion de indivizi cu fitness 5,10, 15,20.care
este numarul estimat de selectii ale individului cu fitness 5?

12.cum functioneaza operatorul de inserare de exemple pozitive la alg genetici pt invatarea


regulilor de decizie.

13. Ce inseamna overfitting si in ce contexte apare? De ce apare la retele neurale?


(nu stiu daca mai trebuie)

Overfitting apare atunci cand un clasificator al datelor are o complexitate prea mare, astfel incat
acesta include si zgomotul sau seturi de date nerelevante.
In cazul retelelor neurale, un algoritm de backpropagation poate sa calculeze un set de ponderi
care nu revolva problema, fapt cauzat de fenomenul de overfitting.
De asemenea, in cazul retelelor neurale, overfitting-ul poate aparea si atunci cand numarul de
ponderi invatate > nr de ex (S).

14. Care este diferenta intre TD si Q-learning?


TD este o forma de Reinforcement Learning Pasiv, pe cand Q-Learning foloseste o functie f de
explorare. Q-Learning este RL Activ. Q-Learning invata perechi actiune-valoare in loc de utilitati,
ca in cazul TD.

(Mihai B - Q-Learn nu trebuie să știe modelul neapărat, vezi tema + în curs sunt slide-uri cu
formule pentru model complet, apoi slide-uri cu formule cu alfa în care nu mai știi T(s,a,s’))
(Vicentiu - TD nu foloseste modelul mediului deloc, iar Q-Learning nici el nu invata modelul sub
forma T(S, a, S_prim) ci il retine (oarecum) sub forma matricei Q[S, actiune])
Mihai B si Vicentiu au dreptate :)) Afirmatia anterioara (gresita) stearsa.

15. Legatura intre stabilizarea unei retele Hopfield si un proces de cautare

Pentru regasirea unui sablon, este suficient sa se specifice numai o parte a acestuia, iar
reteaua gaseste automat intreg sablonul.
Totusi, una dintre limitarile majore ale alg. hopfield este cazul in care un sablon are mai multe
wvalori identice cu un alt sablon in exemple, caz in care sablonul poate fi instabil = reteaua
converge spre o stare diferita de cea asociata sablonului.

Nu se intampla pentru nr noduri > 0.138 * nr forme

16.Exprimarea unor atribute cu valori continue in ID3


Atributele cu valori continue trebuie discretizate. Se determina mai multe praguri intre care se
vor afla valorile.

De exemplu, castigul anual al unei persone:


<10000
>10000, <20000
>20000, <30000
>30000, <40000
>40000

1. Se ordonează valorile și se împart în partiții cu aceeași clasificare:


1|2 3 6|4|57 8 9
d|n n n|d d|n n n
Clasifici după (-inf 1.5), (1.5 4.5), (4.5 6.5) - adică media aritmetică

2. Se ia fiecare valoare clasifici în < val și >= val. Calculezi câștigul informațional pe fiecare și
clasifici după val cu cel mai mare câștig informațional

3. Se tratează fiecare valoare ca un simbol și se calculează informația de (cu o formulă magică


din cursul 1)

17. Structura unui Q-Learning Classifier

Learning Classifier Systems se face dupa algoritmi genetici, cel putin la asta cred ca se refera,
deci skip it.

18. Sa se indice descendenti - pentru algoritmi genetici dati (skip it)

19. Selectia intr-un algoritm genetic (cum poate fi controlata) (skip it)

20. Indicati o retea neurala care sa poata recunoaste litera C?

Cursul 5, slide-ul 15 contine neuronul care se leaga la pixeli. In matrice sunt puse ponderile, iar
teta = nr min de pixeli care trebuie sa faca match ca reteaua sa intoarca un raspuns pozitiv.

Cum se descrie o retea neurala?

Număr de neuroni și dispunerea lor


- Hopfield
- Pe straturi

Apoi pentru fiecare neuron W-ul asociat.


Ex: Perceptron. Presupunem ca avem 9 pixeli:
xxx
x00
Xxx
Intrarile sunt fiecare pixel + o intrare legata la un -1 (adica omega din exemplul de mai jos)
Pentru pixelii care sunt 0 -> ponderea e -100
Pentru pixelii care sunt 1 -> ponderea e 1
Functia de activare este functia treapta (0 x < 0 else 1)

Ca sa dea 1 doar daca pixelii sunt aprinsi in forma de C, punem la legatura cu 1 -6


Astfel:
-Un pixel aprins gresit -> pondere negativa
-Toti pixelii aprinsi corect, iesirea este 7 - 6 = 1
-Un pixel din cei corecti stins, iesirea este 6 - 6 = 0

21. Dati un exemplu unde si in ce algoritm si cum se aplica euristica de alegere Q ipoteza
de invatare (cea mai simpla = cea mai buna) (ex. arbori de invatare)  
Probleme 
( in jpg scrie fara implementare, stie cineva?)
1.
x1 x2 y
101
011
001
110

retea, ponderi, functie de activare

poarta nand
w1 = 1; w2 = 1; (ponderile trebuie sa fie egale, sau cel putin suma in cazul (1, 1) trebuie sa
dea >= θ , iar in rest mai mic decat θ )
un neuron
θ = 1.5
functie de activare de tip treapta
f : x < 1.5 -> 1
x > 1.5 -> 0
done :P (pt andrei, cu drag)
de ce ???
formula nu e: x1*w1 + x2 * w2 - teta = y ?
daca inlocuiesti in a3a
-teta = 1; => teta = -1???

dude, e f(x1*w1 + x2*w1 - teta) = y, sau cum vrei sa o iei. Mai exact ajungi la chestia aia mai
mare sau mai mica decat teta. si y poate fi 1/0 in cazul asta sau 1/-1 in alte cazuri

2. o problema cu stari care se rezolva cu markov. se dadeau starile, recompensele si


posibilitatile de miscare(stanga, dreapta)

3 un bolnav a luat virusul x. virusul are 2 tulpini A si B


Se dadeau probabilitatile celor 2 tuplini.
Virusul pute fi luat din SUA (se dadea probabilitatea) si probabilitatea sa fi supravietuit calatoriei
din sua in ro era ...PX?(nu mai stiu datele exact)
Mai era o probabilitate ca virusul sa fi fost luat din ro, daca omul intrase in contact cu un anumit
animal. Aveam o probabilitate si pentru asta.
In final trebuia sa aflam modalitatea prin care bolnavul a luat virusul, trebuia sa facem o retea
bayesiana

4. ceva cu MDP se dadea un graf cu stari si actiuni si trebuia calculat U1(S1), U2(S2),
U(Sn), U(S1) + care era politica optima?

5.sa se proiecteze o retea neurala care spune daca suma a 2 cifre(0<=cifra <=7) este mai
mare ca 8.

Ponderi 1, 1 threshold 8

6.problema bursucilor aratosi cu blana frumoasa :


se da o populatie de 4 bursuci care stau intr-o galerie cu camere data de un graf neorientat(se
dadea matricea de adiacenta). fiecare bursuc locuieste in mai multe camere. cu cat camerele
sunt mai interconectate cu atat el are blana mai frumoasa si este mai aratos, ideal ar fi ca toate
camerele sa fie interconectate. cu cat un bursuc e mai frumos cu atat are mai multe sanse la
reproducere. sa se simuleze evolutia populatiei cu un alg genetic pe 3 generatii. se da selectie
prin ruleta si un generator de numere aleatoare care cicleaza o anumita secventa, restul se ia la
alegere.

7. Set de invatare. Sa se arate cum functioneaza ID3. Ce concept se invata?


ID3 - Clasificare

8. Se da un scenariu de invatare RL. Sa se arate modul in care se poate reprezenta o ecuatie.

9. Algoritmi genetici rezolvare problema de optica


10. Sa se proiecteze o retea neurala care are la intrare un numar intre 0-20 si se activeaza
la iesire pentru un numar >9 (sau cu doua iesiri, a doua iesire va avea un numar >9).
Intrari, iesiri, algoritm, functie de transfer, valoare threshold.

O intrare cu ponderea 1
Threshold = -9.ceva
x - 9 > 0 cand x > 9 deci functia treapta

Nu stiu daca am inteles la partea a doua dar (ia un numar mai mare ca noua si scoate un numar
mai mare ca noua) (ponderea e 1 functia de transfer e f(x) = x threshold e 0)