Documente Academic
Documente Profesional
Documente Cultură
DIN TRGU-MURE
FACULTATEA DE INGINERIE ELECTRIC
LUCRARE DE LICEN
Coordonator tiinific:
Prof. univ. dr. Clin Enchescu
Absolvent
Belean Cosmin Emilian
-20141
Coordonator tiinific
Prof. univ.dr. Clin Enchescu
Absolvent
Belean Cosmin Emilian
2014
4
CUPRINS
Cap.1 Introducere.....7
1.1 Obiectivele lucrrii.........7
1.2 Privirea de ansamblu asupra lucrrii.....7
1.3 Scurt istoric.8
Cap.2 Fundamente teoretice ale reelelor neuronale........10
2.1 Consideraii teoretice.....10
2.2 Modelul biologic....12
2.3 Neuronul artificial..14
2.3.1 Neuronul artificial..15
2.4 Arhitecturi ale reelelor neuronale.....18
2.4.1 Reele neuronale tip feeedforward....18
2.4.2 Reele neuronale de tip perceptron....21
2.4.3 Reele neuronale recurente...22
2.5 Tipuri de reele neuronale ..23
2.5.1 nvarea de tip supervizat24
2.5.2 nvarea de tip nesupervizat....24
2.5.3 nvarea prin ntrire....26
2.5.4 nvarea hebbian ........26
2.5.5 Reprezentarea cunoaterii..28
2.5.6 Algoritmi de nvare bazai pe corecia erorii......29
2.5.7 Algoritmi de nvare de tip Boltzman.....30
2.5.8 Algoritmi de nvare de tip competitiv....31
Cap.3 Serii cronologice de timp...32
3.1 Consideraii teoretice.....32
3.2 Componentele unei serii de timp.........36
5
CAP. 1. INTRODUCERE
1.1 OBIECTIVELE LUCRRII
Obiectivele acestei lucrri l reprezint implementare unei reele neuronale care s
poate realiza o predicie asupra unui set de date, n cazul de fa a unei serii de timp.
Reeaua neuronal va nva din experienele anterioare i va fi capabil s fac o
predicie cu o acuratee ct mai mare.
Un alt obiectiv important de studiat l reprezint comportamentul reelei neuronale
implementate cu numr diferii de neuroni pentru o seria de date, i respectiv
comportamentul ei cnd ntr-o serie de date avem nite valori neobinuite.
Widrow si Hoff au definit regula de nvare LMS (Least Mean Squares) care este mai
puternic dect regula de nvare a perceptronului i este bazat pe minimizarea erorii
medii ptratice.
ncepnd cu anul 1980, teoria calculului neuronal a fost reconsiderat i privit
cu mai mult interes.
Dezvoltrile majore au vizat tipul procesului de nvare, rezultnd multe
modele de reele neuronale, precum Grossberg (1980), Hopfield (1982), Kohonen (n
1984), McClelland (1986), etc.
10
Soma sau corpul celular formeaz partea central a celulei care realizeaz
majoritatea funciilor logice ale neuronului. Formeaz substana cenuie din nevrax si
ganglionii somatici si vegetativi extranevraxiali.
2.
transmite de obicei impulsuri de la soma (corpul celular) altor celule nervoase sau
organe efectoare (muchii sau glandele), dei impulsul poate fi uneori transmis i n
direcie opus .
Neuronul biologic
12
aciunea unor stimuli se produc n neuron anumite modificri fizico-chimice care stau
la baza generrii semnalului nervos.
Pentru a produce un impuls nervos, stimulul trebuie s aib o anumit intensitate
numit prag. Stimulii cu intensitate inferioar pragului nu produc un impuls nervos, iar
stimulii cu intensitate superioar pragului nu declaneaz un impus mai puternic dect
stimulii prag. Pentru a produce un impuls nervos, stimulul trebuie s acioneze cu o
anumit bruschee.
2.
prin axoni pn la terminaiile acestora, unde sunt transmise fie unui alt neuron, printro sinaps interneuronal, fie unui organ efector, producnd un raspuns caracteristic.
Neuronii comunic ntre ei prin sinapse. Transmiterea sinaptic a influxului nervos, de
la butonul terminal al neuronului presinaptic la dendrita neuronului postsinaptic se
realizeaz prin intermediul unor mediatori chimici.
Membrana neuronului este permeabil la diferii ioni i ea acioneaz n sensul
meninerii unei diferene de potenial intre fluidul intracelular i fluidul din exteriorul
celulei nervoase. Acest lucru se realizeaz n principal prin transportul ionilor de sodiu
n exteriorul celulei i al ionilor de potasiu n interiorul celulei.
Impulsurile nervoase excitatoare reduc diferena de potenial la nivelul
membranei celulare. Depolarizarea rezultat mrete permeabilitatea membranei
pentru ionii de sodiu. Drept consecin va apare un flux de ioni pozitivi de sodiu spre
interiorul celulei. Acest flux de ioni pozitivi va accentua depolarizarea. Rezultatul este
apariia unui potenial de aciune, care se va transmite prin intermediul axonului.
Neurotransmitorii difuzeaz prin jonciune i ating membrana postsinaptic a
unui receptor neuronal. Astfel neurotransmitorii activeaz toi neuronii cu care vin in
contact. Aciunea chimic la nivelul receptorului const n schimbarea permeabilitaii
membranei postsinaptice pentru anumite specii de ioni. Un aflux de ioni pozitivi n
neuron provoac o depolarizare. Efectul este excitator. Dac apare un aflux de ioni
negativi rezultatul este o supra-polarizare. Efectul hiperpolarizrii este inhibitor.
13
x1
Wk1
Wkj
xj
uk
WkN
xN
Neuronul artificial
14
yk
-1
-4
-2
15
funcia prag
f:RR{0,1},f(x)={
FUNCIA PRAG
1
-1
-4
-2
funcia sigmoid
f(x) =
FUNCIA SIGMOID
1
-1
-4
-2
-1
-4
-2
16
-1
-4
-2
-1
-4
-2
-1
-4
-2
17
2.
sigmoidali.
2.
3.
Neuroni dintr-un strat sunt direct conectati cu neuronii din stratul urmtor.
4.
5.
O reea neuronal feed-forward poate avea 0, 1 sau mai multe straturi ascunse.
O reea neuronal este total conectat dac fiecare nod din fiecare strat este conectat la
fiecare neuron din stratul precedent.
Daca nu exist anumite conexiuni sinaptice avem de-a face cu o reea neuronal parial
conectat.
Reelele neuronale total conectate au un caracter general, adic pot fi folosite n
rezolvarea unei game largi de probleme, dar asta nu nsemn c are i cele mai bune
rezultate.
18
19
Exemple de arhitecturi
intrri
strat de intrare
strat de ie ire
intrri
strat de intrare
strat de iesire
20
I
N
T
R
A
R
E
(v)
x1
w1
v
x2
+1
-1
wN
xN
-1
21
I
E
I
R
E
Scopul perceptronului simplu este de a clasifica n una din cele dou clase
disponibile (y=+1 sau y=-1) un set de stinuli exteriori.
Funcionarea sa poate fi descris prin urmtoarele ecuaii:
v=
y =(v) = sgn(v) = {
( )
( )
22
TIPURI DE INSTRUIRE
NESUPERVIZAT
(CU AUTOORGANIZARE)
SUPERVIZAT
CORECIA
ERORILOR
BOLTZMAN
(STOCHASTIC)
WIDROW-HOFF
(LMS SAU REGULA DELTA)
HEBBIAN
PRIN NTRIRE
COMPETITIV
ALGORITMI
PROPAGAREA NAPOI
A ERORII
23
RSPUNS
DORIT
SUPERVIZOR
VECTOR
DE INTRARE
+
SISTEM
SUPUS
NVRII
RSPUNS
ACTUAL
SEMNAL DE EROARE
Parametrii reelei neuronale sunt modificai sun influena combinat a vectorilor
de antrenament i a semnalului de eroare (diferena dintre rspunsul dorit i cel actual).
Scopul final al algoritmului de antrenament este ca reelei neuronale s
emulueze, optim n sens statistic supervizorul.
VECTOR
DE INTRARE
SISTEM
SUPUS
NVRII
25
2.
Pune la dispoziie informaii adiionale, altele dect semnalul de ntrire, prin care o
relaie de forma stimul-aciune trebuie nvat.
26
Daca
(n)+
(n)+
),
27
NTRIRE PRIMAR
MEDIUL
NCONJURTOR
CRITIC
NTRIRE EURISTIC
ELEMENT DE
NVARE
ELEMENT DE
NVARE
ACIUNI
ELEMENT DE
NVARE
SISTEM DE
NVARE
28
ieirea dorit pentru neuronul k i ceea ce furnizeaz n etapa actual de ctre acelai
neuron:
(n) =
(n)-
(n)
Scopul final al algoritmilor bazai pe corecia erorii este de a minimiza aanumita funcie de cost. Unul dintre criteriile frecvent utilizate n alegerea funciei cost
este cel al erorii ptratice medii, care urmrete minimizarea valorii medii ptratice
pentru suma erorilor ptratice aferente stratului de ieire a reelei neuronale:
J = E[
(n)
(n)
(n) = -
= ( )(
)= ( )
( )
Suprafaa erorii
inactiv).
30
={
31
Y: (
discret.
Evoluia unwi variabile n timp este reprezentat printr-un proces aleator.
Procesul aleator de timp discret este o secven de valori aleatoare (
Z, ordonate dup parametrul timp. Pentru fiecare moment de timp t,
) unde t
este o variabil
de trecut:
(
) modele univariabile
explicative).
Modelele explicative pot fi utilizate n previziune dar i pentru testarea empiric i
simularea unor politici economice sau pentru luarea unor decizii.
O serie cronologic se prezint sun forma a dou iruri paralele cu valori numerice
corespondentele: componentele unui ir sunt momentele sau intervalele succesive de
timp, iar cellalt ir indic valorile inregistrate de fenomenul de analizat n aceste
uniti de timp. De exemplu: evoluia PIB pe ani, evoluia desfacerilor de mrfuri ctre
populaie pe trimestre, evoluia ratei inflaiei pe luni, evoluia zilnic a cursului de
schimb, etc.
ntre valorile individuale care compun seria cronologic exist diferene de
mrime explicate prin aciunea comun a factorilor eseniali i ntmpltori.
Modalitatea concret de combinare a influenei acestor factori difer in timp,
determinnd variabilitatea formelor individuale de manifestare n dinamic a
fenomenului analizat. Gradul de variabilitate a termenilor seriei cronologice depinde
de fora cu care factorii aleatori produc abateri, dar i tendina de variaie impus de
factorii cu aciune sistematic.
Dincolo de aceste variaii individuale, seriile cronologice sunt omogene
deoarece termenii seriei au n comun categoria economic sau social pe care o
reprezint n momente sau intervale succesive de timp.
Omogenitatea valorilor seriei este dat de faptul c acestea sunt supuse aciunii
sistematice a acelorai factori eseniali, iar termenii seriei cronologice sunt obinui
prin aceeai metodologie de calcul i folosesc aceeai unitate de msur.
n timp ce trsturile de omogenitate i variabilitate sunt commune tuturor seriilor
statistice, o caracteristic specific seriilor cronologice o reprezint periodicitatea
termenilor. Acest trstur exprim continuitatea datelor din punct de vedere al
33
variaiei timpului. Termenii seriei reprezint valori ale unui fenomen dinamic,
inregistrate la momente sau interval de timpde regul egale, astfel nct s se asigure
continuitatea seriei. n funcie de scopul concret al analizei efectuate, de natura
fenomenului nregistrat i de posibilitile de obinere a datelor, unitile de timp pot fi
mai mici sau mai mari: minut( de exemplu, pentru nregistrarea pierderilor zilnice de
timp de lucru sau a ntreruperilor n funcionarea utilajelor), or, zi, sptmn,
decad, lun, trimestru, semestru, an, deceniu secol.
Interdependena termenilor seriilor cronologice este detreminat de
modalitatea de construire a acestora prin nregistrarea nivelurilor succesive ale unui
fenomen pentru aceei unitate statistic precizat (persoan,firm,zon geografic,
ar, etc.). Din aceast cauz, orice termen al seriei depinde de nivelurile precedente i
influeneaz mrimile urmtoare ale termenilor seriei.
Baza de date trebuie s fie adecvat cantitativ i calitativ.
n analiza seriilor cronologice este necesar ca lungimea perioadei observate sa
fie suficient de lung pentru a face posibil estimarea unui model adecvat calitativ,
care s surprind mecanismul real de generare al fenomenului, respectiv s permit
identificarea unor componente ale evoluiei n pe termen lung. De regul se impune
utilizarea unor serii cronologice de cel puin 15 termeni, respectiv pentru serii
sezoniere este de dorit ca perioada observat s acopere cel puin cinci cicluri
sezoniere.
n acelai timp datele trebuie s rmn comparabile n timp. Condiiile n care
evolueaz fenomenul necesar s rmn n esen aceleai. Astfel, nu este indicat a se
utiliza n elaborarea de modele, serii cronologice ce acoper perioade de schimbri
economice sau politice majore, rzboi, sau alte evenimente excepionale; n analiza
evoluiei majoritii indicatorilor economici pentru tara noastr este indicat ca datele s
nceap dup anul 1989.
nainte de aplicarea tehnicilor specifice de analiz i previziune, dac este necesar, unii
indicatori vor fi exprimai n preuri comparabile.
Cnd se analizeaz spre exemplu evoluia cifrei de afaceri sau a indicatorilor
macroeconomici de rezultate i ne intereseaz evoluia datelor neafectate de
schimbrile de pre, este indicat a se exprima datele n preurile unui an baz de
34
35
aditivi:
multiplicativ:
sau
=
respectiv
36
Y
.
S
37
. Exemple de serii
38
Luna
aprilie
mai
iunie
iulie
august
20,8
15,3
18,8
Tranzacii
(mld. lei)
11,2
11,1
9,8
23
24,2
t1
y1
...................
t2
y2
t(n-1)
y(n-1)
t1
t2
y1
y2
...................
39
t(n-1)
tn
y(n-1)
yn
Luna
aprilie
mai
iunie
iulie
august
778,6
1184,8
1260,6
1304
1260
1313
Indicele
BET
807,4
879,8
(puncte)
40
uniti fizice sau valorice), ncasrile lunare ale unui magazin, valoarea creditelor
anuale acordate de o banc, etc.
ciclic;
extrapolrii).
41
Indicatori absolui
Indicatorii absolui ai unei serii cronologice de interval exprim nivelul,
volumul agreat i modificrile(n mrime absolut) fenomenului snslizst n perioade
diferite de timp. Indicatorii absolui se exprim n unitatea de msur a caracteristicii
analizate(n uniti fizice, valorice, procente, etc.)
1.
al
cronologice de interval.
3.
unde
42
Indicatori relativi
Aceti indicatori se calculeaz sub form de raport i reflect proporia dintre
nivelurile absolute ale termenilor seriei cronologice de interval. Permit analiza
comparative a evoluiei unor fenomene diferite.
Indicele de dinamic este o mrime relativ care arat de cte ori s-a modificat
mrimea unui fenomen n timp. Se calculeaz ca raport ntre doi termeni diferii ai
seriei cronologice.
n funcie de alegerea unei baze de raportare constante sau variabile, se poate
determina indicele cu baz fix sau cu baz n lan:
, t=2,n
indicele cu baz n lan compar sub form de raport dou niveluri succesive
ale caracteristicii:
, t=2,n
Se exprim in procente.
Valori mai mari de 100% ale acestor indicatori arat creteri fa de perioada baz de
comparaie. Valorile sub 100% semnific scdere, reducere.
Produsul tuturor indicilor cu baz n lan este:
Ritmul de dinamic (de cretere sau scdere), numit i ritmul modificrii arat cu
ct s-a modificat procentual (a crescut sau a sczut) mrimea fenomenului ntr-o
anumit perioad de timp fa de o perioad de referin fix sau mobil. Se determin
ca raport ntre modificarea absolut (cu baz fix sau n lan) i nivelul fenomenului n
perioada aleas ca termen de comparaie. Are dou forme de calcul: ritmul de baz
fix i ritmul cu baz in lan.
*100 =
( )
*100 =
( )
Se exprim in procente.
Nu exist o relaie direct de trecere de la ritmurile cu baz fix la cele cu baz lan sau
invers. Aceast problem poate fi rezolvat numai dup trecerea la indicii de dinamic.
Valoarea absolut a unui procent de cretere sau de scdere arat mrimea
absolut a modificrii ce revine pe o unitate (un procent) din ritmul dinamicii. Se
calculeaz sub forma unui raport ntre modificarea absolut i ritmul modificrii i se
exprim n unitatea de msur a caracteristicii.
Acest indicator face legtura dintre indicatorii absolui i cei relativi: arat cte
uniti din modificarea absolut a fenomenului analizat i revin la un procent din
ritmul modificrii pe o anumit perioad de timp. Aadar indicatorul ofer valoarea
absolut a unui procent de modificare(cretere sau scdere).
Variante de calcul: cu baz fix i baz mobil (n lan).
45
Indicatori medii
Spre deosebire de indicatorii absolui sau relativi, care se determin sub forma
unui ir de valori care arat variabilitatea termenilor seriei cronologice de intervale,
indicatorii medii ofer o msur sintetic a tendinei de evoluie a ntregii serii.
Se pot calcula att medii de nivel, cum sunt media termenilor seriei i media
modificrilor absolute, ct i medii de dinamic: indicele mediu i ritmul mediu.
Nivelul mediu al termenilor seriei cronologice de intervale se calculeaz sub
forma mediei aritmetice simple a tuturor termenilor seriei cronologice analizate:
46
47
timp.
disponibile.
48
reale. Cu ajutorul acestei etape vom putea alege cea mai bun metod de realizare a
prediciei.
REEA NEURONAL
DATE DE INTRARE
(load)
- ANTRENARE (train)
- TESTARE PE BAZA AN TRENRII (sim)
PREDICIE
(output)
y(t) = f(y(t-1),y(t-2),....,y(t-
),u(t-1),u(t-2),...,u(t-
))
Un strat de intrare.
Un strat ascuns .
49
Un strat de ieire.
y(t) = f(y(t-1),y(t-2),....,y(t-
),u(t-1),u(t-2),...,u(t-
))
unde valoarea urmtoare a unui semnal de ieire dependent y(t) este regresat pe o
valoare anterioar al semnalului de ieire.
Reelele neuronale NARXNET au multe aplicaii. Cele mai importante aplicaii
sunt:
Predicii de semnale.
zgomot).
T
D
L
u(t)
REEA NEURONAL
FEED
FORWARD
y(t)
T
D
L
ARHITECTURA PARALEL
T
D
L
u(t)
REEA NEURONAL
FEED
FORWARD
y(t)
y(t)
T
D
L
ARHITECTURA SERIAL-PARALEL
51
Reeaua neuronal
Datele de intrare
Algoritmul de nvare
Parametrii de nvare
Algortimul de testare
Afiarea rezultatelor.
52
Date de
intrare
Parametrii de
nvare
utilizeaz
utilizeaz
Algoritm de
invare
REEAUA
NEURONAL
utilizeaz
furnizeaz
Rezultat
Relaia dintre entiti
Algoritm de
testare
utilizeaz
Reea Neuronal
Antrenat
furnizeaz
Rezultat
utilizeaz
Grafic
Relaia dintre entiti
53
furnizeaz
Funcii de
afiare
56
58
59
60
62
63
64
65
66
68
69
70
72
73
Eroare de antrenare
75
77
78
80
81
82
83
Dup cum s-a putut observa, lucrarea const n studierea reelelor neuronale
avnd numr diferii de neuroni i experimentnd cu date de antrenare originale,
nealterate, iar dup aceea experimentnd cu o serie de timp care are date eronate.
Dup cum s-a putut observa reeaua neuronal, a rspuns cu o acuratee mic la
datele de antrenament eronate i respectiv la rezultatelor reelei neuronale.
Cu ct intervalul de timp pe care se face estimarea propriu-zis crete cu att
crete i eroare reelei neuronale.
Notabil este acurateea reelei neuronale de predicie pe baza seriei de timp
nealterate care se apropie foarte mult de rezultatele corecte
Odat cu creterea numrului de neuroni, a durat mai mult timp ca reeaua
neuronal s se antreneze pe baza datelor de antrenament.
Aceast reea meuronal se preteaz pentru orice serie de date, din orice
domeniu(economie, statistic, inginerie) , serie care sa aib cele dou componente:
evoluia unei anumite valori pe baza factorului timp.
Ca o perspectiv de viitor a meniona imbuntirea reelelor neuronale i a
algoritmilor de antrenare, pentru a imbunti rezultatele reelei neuronale.
Acest tip de reele neuronale i anume NARXNET se pot utiliza cu succes prediciei
unor serii de timp din diferite domenii.
84
85
86
87