Modele de regresie

simplă, liniarizabile şi
neliniarizabile
 O funcţie de regresie neliniară poate fi funcţie polinomială,
exponenţială, logaritmică, serie de puteri, funcţie
trigonometrică, etc.
 Pro model polinomial: este de dorit atunci când scopul
modelării este să copiem comportamentul datelor, o curbă
polinomială fiind cu atât mai flexibilă cu cât creşte gradul
său.
 Contra model polinomial:
 un grad mare presupune şi un număr mare de coeficienţi
necunoscuţi care cresc eroarea.
 un model polinomial este bun pentru previziuni pe valori care
aparţin intervalului de date observate (intrapolare), dar din cauza
puterilor mari ale variabilei predictive X, dă erori mari la previziuni
pe valori care nu aparţin intervalului de date observate
(extrapolare).
 un model polinomial este abordat atunci când se caută un model
simplu pentru date care nu par a fi liniare, diverse fenomene reale
cerând prin însăşi natura problemei, o anumită formă a modelului,
bazată pe alte funcţii decât cele liniare, cum ar fi funcţia
exponenţială, funcţiile trigonometrice, etc.
Exemple de motivaţie a unui model de regresie
neliniară
 A. Corelaţia dintre viteza de reducere circumferenţială a ventriculului
stâng şi nivelul glucozei în sânge (problema 2, cursurile anterioare).

 Eşantion: 24 de bolnavi de diabet de tip I

 Variabile:
 dinamica nivelului glucozei în sânge - GS(mmol/l)
 viteza medie de reducere a circumferinţei ventriculului stâng -
VcV(%/sec),
 Problema de modelare: necesitatea predicţiei problemelor cardiovasculatorii
în funcţie de evoluţia glicemiei pe baza unui model statistic.
 Pentru regresia polinomială, se observă că polinomul de gradul I (modelul
liniar) nu e potrivit, o uşoară îmbunătăţire având loc de la gradul 3. Între
gradul 3, 4, 5 şi 6 diferenţele nu sunt semnificative, în ce priveşte lăţimea
intervalelor de încredere pentru previziune şi comportamentul reziduurilor, în
schimb intervalele de încredere pentru estimarea termenului liber, devin prea
mari începând cu gradul 4. De la gradul 7 începând polinomul este prost
condiţionat şi nu poate fi corect determinat. Prin urmare vom păstra gradul 3.
 Un polinom de grad mai mic
GS vsVcV, grad 9
nu va fi destul de flexibil pentru
6
date.
5
 Pentru un polinom de grad mai
mare nu vom avea suficientă 4
informaţie în date pentru a
estima cu destulă precizie 3
coeficienţii, fapt care se poate
observa şi în lăţimea excesivă
2
a intervalului de încredere
pentru previziune, pe porţiunile
1
unde nu avem date.
0
 Aceste aspecte se pot observa
spre exemplu, pe un polinom -1
de grad 9.
5 6 7 8 9 10 11
  Se observă totuşi că
2.4 cel mai bun model
2.2 polinomial (gradul 3)
nu este rezonabil
2 pentru aceste date,
1.8 prin urmare este
necesar să analizăm şi
1.6
ajustarea cu alte
1.4 modele cum ar fi
1.2
exponenţiale, putere,
etc.
1

0.8  Este indicat un studiu

0.6 comparativ pe mai
multe modele, inclusiv
4 6 8 10 12 14 16 18
cel polinomial.
 B. Corelaţia dintre rata de consumare a unui reactant
într-o reacţie chimică şi concentraţia reactantului.

 C. Corelaţia dintre coeficientul de dilatare termică a

cuprului şi temperatura din cuptorul de prelucrare, în
grade Kelvin.

 Observaţie: În timp ce prima problemă, ridică

necesitatea de a compara diverse modele, inclusiv cel
polinomial, în vederea alegerii modelului optim, pentru
ultimele două probleme, este din start, necesar un alt
model decât cel polinomial. Astfel, practica arată că
pentru problema B este de dorit un model bazat pe
funcţii putere, în timp ce, problema C reclamă un model
bazat pe funcţii raţionale.
Clasificări ale modelelor de regresie neliniară
 Model de regresie simplă neliniară este un model de forma
Y  f X , a 1 , a 2 ,..., a p    ,
unde funcţia de regresie are altă formă decât cea a funcţiei liniare.

 Dacă în urma unor transformări (logaritmare, substituţii), modelul se

poate reduce la un model de regresie liniară simplă sau multiplă,
atunci modelul se numeşte liniarizabil.

 Totuşi într-o bună parte din literatura de specialitate, dacă funcţia de

regresie este neliniară în variabila explicativă X, dar liniară în
coeficienţii, a1 , a 2 ,..., a p , atunci modelul este denumit generic, model
liniar.

 Din ultima categorie fac parte şi modelele polinomiale. Pentru astfel

de modele liniarizabile, se obţin aceleaşi rezultate, indiferent dacă
se ajustează direct modelul prin metoda celor mai mici pătrate sau
după liniarizarea modelului.
 Din punct de vedere al coeficienţilor din clasa modelelor neliniare, fac
parte acele modele, în care funcţia de regresie nu este liniară în coeficienţi.

 În general, pentru un astfel de model, în cazul când este liniarizabil,

ajustarea liniară făcută după liniarizare este de preferat, deoarece ajustarea
directă duce la un sistem de ecuaţii neliniare, care presupune de cele mai
multe ori, doar aproximare şi nu determinarea exactă a soluţiilor.

 Desigur, atunci când există un soft computaţional adecvat aproximării

numerice, se poate adopta şi ajustarea neliniară, de cele mai mici pătrate.
Obţinerea unor soluţii se face în acest caz, aplicând un algoritm iterativ de
aproximare, cum ar fi metoda Gauss-Newton. Se porneşte cu o
presupunere iniţială asupra coeficienţilor necunoscuţi, aceştia se introduc în
model, pe baza lor se calculează valorile prezise pentru Y . În următorul
pas, se introduc în model, valorile previzionate ale lui Y, pe baza valorilor
iniţiale ale coeficienţilor, pe post de valori observate şi se obţine prin
aplicarea ajustării liniare, de cele mai mici pătrate, un nou set de coeficienţi.
Pasul se reiterează până la îndeplinirea unui criteriu de suficienţă (spre
exemplu, diferenţa între coeficienţii obţinuţi în doi paşi consecutivi, să fie
mai mică decât o valoare dată).

 În concluzie, în ajustarea neliniară, aplicarea directă a criteriului celor mai

mici pătrate, nu mai asigură aceleaşi calităţi pentru estimatori şi de multe
ori, nu se ajunge la forma analitică a acestora, ei fiind doar estimaţi.
Studiul unui model de regresie oarecare

 Studiul unui model de regresie oarecare

presupune, la fel ca la modelul liniar,
următoarele aspecte:
 determinarea coeficienţilor şi a intervalelor de
încredere pentru aceştia;
 determinarea şi studiul repartiţiei reziduurilor;
 determinarea previziunii şi a intervalelor previzionale,
 reprezentarea grafică a curbei de regresie vizavi de
datele observate, împreună cu intervalele de
încredere pentru previziune;
 analiza cantitativă a calităţii regresiei pe baza unor
indicatori de calitate ai regresiei.
Analiza cantitativă comparativă a calităţii
regresiei prin statisticile adiţionale
 Pe lângă analiza grafică a mai multor modele de
regresie, se poate face şi analiza cantitativă, prin calculul
unor statistici de regresie – indicatori de calitate ai
regresiei
 În cazul când se doreşte alegerea modelului optim din
mai multe modele, după analiza statisticilor de regresie,
se va alege acel model care are cât mai multe statistici
optime.
 Statisticile de regresie frecvent utilizate:
 suma de pătrate reziduale
 coeficientul de corelaţie specifică
 coeficientul ajustat de corelaţie
 eroarea standard de regresie.
 Suma de pătrate reziduale (SSE) - măsoară
deviaţia totală a datelor observate faţă de
datele prezise prin model.

 Un model potrivit datelor trebuie să aibă o

SSE cât mai mică, apropiată de 0.

 Formula de calcul este

n
S Re z   ( y i  yˆ i ) 2
i 1
 Coeficientul de corelaţie specifică (R 2 ) - măsoară cât de mult este explicată
variaţia variabilei răspuns prin model.

 Interpretare: pătratul corelaţiei între valorile observate şi valorile prezise,

ale variabilei răspuns.
 Pentru un model liniar, această statistică este egală cu pătratul coeficientului de
corelaţie liniară a lui Pearson.

 Formula de calcul:
Vexplicata prin regresie Sexplicata prin regresie
R2   
Vtotal Stotal
n

(y i y
ˆi )2
 0,1
Stotal - Srezidual Srezidual
 R  1
i 1
 1
2
n
Stotal Stotal
(y
i 1
i  yi ) 2
 Un model bun are un R 2 cât mai mare, mai precis, cât mai aproape de 1.
 Spre exemplu, o valoare de 0,85 arată că un procent de 85% din variaţia datelor
este explicată prin model.

 Dezavantajul acestei statistici este acela că va creşte odată cu numărul de

parametri necunoscuţi, prin urmare nu prezintă siguranţă în selecţia unui
model de un anumit grad dintr-o clasă de modele de acelaşi tip.
 Spre exemplu, ea va creşte odată cu gradul polinomului de ajustare, dar asta nu
înseamnă neapărat că un grad mai mare e mai bun pentru anumite date.
 Coeficientul ajustat de corelaţie: Se obţine prin ajustarea statisticii
anterioare, cu gradele de libertate,v  n  p, unde p este numărul de parametri
necunoscuţi care intră în model şi care trebuie estimaţi, iar n, reprezintă
numărul de informaţii cu privire la model, adică numărul datelor obsevate.

 Avantaj: înlătură neajunsul statisticii precedente, aşa încât să nu mai

depindă de numărul de parametri necunoscuţi din model.

 Formula de calcul:
Srezidual  n - 1
R 2  1
Stotal  v 
 Interpretare: o valoare mare, apropiată de 1, indică o bună ajustare a
datelor, în timp ce o valoare apropiată de 0, indică o slabă ajustare.

 Este cel mai indicat criteriu numeric, atunci când vrem să introducem un
nou parametru în model, dintre două modele fiind de preferat modelul care
are un coeficient ajustat mai mare.
 Spre exemplu, in regresia polinomială, un grad mai mare presupune un nou
parametru care repezintă coeficientul puterii introduse prin acel grad şi dorim să
vedem dacă în acest fel s-a îmbunătăţit ajustarea.
 Eroarea standard de regresie: radicalul erorii medii pătratice.

 Formula de calcul:
Srezidual
E v n p
v ,

 Interpretare: O valoare apropiată de 0, indică o bună ajustare a

datelor, de către model.

 Concluzie: dintre toate modelele luate în calcul într-o astfel de

analiză, se va păstra modelul pentru care sunt satisfăcute cele
mai multe din cele patru condiţii şi anume
 cea mai mică sumă de pătrate reziduale;
 cea mai mică eroare standard;
 cel mai mare, coeficient de corelaţie specifică;
 cel mai mare coeficient ajustat.
Exemple de modele de regresie neliniare
A. Modele de regresie liniarizabile
 Modelul exponenţial: aparţine clasei modelelor neliniare (atât în x
cât şi în parametrii – liniar în raport cu a dar neliniar în raport cu b),
funcţia de regresie fiind dată prin
yˆ  f x   ab x

 Liniarizarea modelului exponenţial se face prin logaritmare şi

substituţie:
log yˆ  log a  x log b zˆ  log yˆ , A  log a, B  log b zˆ  A  Bx
Model liniar în
x şi z.
 Valorile noii variabile Z, rezultă din ecuaţia de substituţie, pe baza
valorilor variabilei Y. Odată determinaţi A şi B, din ecuaţiile de
substituţie vor rezulta şi valorile pentru a şi b, modelul fiind astfel
determinat.
 O variantă asemănătoare este dată de modelul care se
liniarizează tot prin logaritmare şi prin substituţie:

yˆ  ae bx ln yˆ  ln a  bx zˆ  ln yˆ A  ln a
zˆ  A  bx
 Modelele exponenţiale sunt cerute pentru modelarea
proceselor, în care rata de schimb a unei cantităţi este
proporţională cu o valoare iniţială legată de aceea
cantitate.
 Se utilizează frecvent în studiile epidemiologice, pentru a
modela răspândirea unei boli infecţioase pentru care nu
există tratament sau pentru a modela diverse creşteri în
populaţii biologice, care nu ţin cont de factorii externi
(creşteri exponenţiale).
 Modelul hiperbolic (regresia reciprocă - modelul face parte din
clasa modelelor neliniare dar liniare în parametri): yˆ  f x   b  a
x

1
z 
 Liniarizarea modelului se face prin substituţia, x , obţinându-se
modelul liniar, yˆ  bz  a , valorile noii variabile Z, fiind obţinute din
ecuaţia de substituţie, pe baza valorilor lui X, iar parametrii fiind
aceeaşi ca şi în modelul iniţial.

 Variantă asemănătoare (dar neliniară în parametri):

1 b
 a
yˆ x

 Se rezolvă cu substituţiile: 1 1
u , v̂ 
x ŷ
 Variante de modele combinate neliniare (în parametri)
între modelul exponenţial şi cel hiperbolic:

b
1
yˆ  ae x
yˆ
 be  x  a

b 1
ln yˆ  ln a  u  e  x , v̂  .
x ŷ

1
u , v̂  ln ŷ, A  ln a
x vˆ  bu  a

vˆ  A  bu
 Modelul logaritmic - face parte din clasa modelelor neliniare
(dar liniare în parametri):
yˆ  f x  a  b log x

 Liniarizarea modelului se poate face prin substituţia:

zˆ  log x yˆ  a  bz

 Atât modelul hiperbolic, cât şi modelul logaritmic, se aplică

atunci când datele iniţiale nu se pretează la o regresie liniară,
dar o anumită transformare a lor (inversul datelor, logaritmul
datelor), poate fi potrivită pentru o astfel de regresie.
 Modelul funcţiei putere face parte din clasa modelelor neliniare
(atât în raport cu x cât şi în raport cu parametrii, mai precis în
raport cu b):
yˆ  f x   ax
b

 Liniarizarea modelului se poate face prin logaritmare şi

substituţie:
log yˆ  log a  b log x u  log x, v̂  log ŷ , log a  A vˆ  A  bu

 Un exemplu de aplicare a unui astfel de model, este şi cel al

unei reacţii chimice, în care se ştie că rata la care se consumă
un reactant este în general, proporţională cu concentraţia
reactantului, ridicată la o anumită putere.
B. Exemple de modele care nu pot fi liniarizate - Pentru acest gen de
modele, se aplică tehnicile ajustării neliniare, bazate pe metode iterative.

 Model exponenţial-putere yˆ  bx a e cx .

 Model putere-logaritm yˆ  bx a  c log x

 Model dublu exponenţial yˆ  ae bx  ce dx

 Model bazat pe serii de puteri-exemplu cu doi termeni

yˆ  ax b  cx d
 Model bazat pe serii Fourier (folosit pentru a descrie un semnal
periodic, de frecvenţă w):
p
yˆ  a0   ai cos pwx  bi sin  pwx
i 1
 Model bazat pe funcţii raţionale
k 1

p x i
k 1i

yˆ  i 1
m
x   q i x m i
m

i 1

 Gradul polinomului la numărător este k, la numitor este m, acesta

având cea mai mare putere fără coeficient.

 Exemplu de model raţional, cubic/gradul 4:

p1 x 3  p 2 x 2  p3 x  p 4
yˆ  4
x  q1 x 3  q 2 x 2  q3 x  q 4
 Acest tip de modele se foloseşte ca şi modelele polinomiale, atunci
când se caută un model simplu, pentru date care cer flexibilitate dar
nu au o structură complicată. Probleme în aplicarea modelului apar
atunci când numărătorul are valori apropiate de zero.
Comentarii în analiza unui model de regresie
 Distanţarea mare a punctelor faţă de curba de regresie, arată că modelul nu
reuşeşte să ajusteze suficient de bine datele (subajustează datele).

 Obţinerea unor intervale largi de încredere pentru coeficienţii unui model

arată lipsa preciziei în estimarea coeficienţilor.

 Un interval larg de încredere pentru previziune, arată că modelul nu

prezintă siguranţă în previziune.

 Atunci când în zona datelor, intervalul pentru previziune este îngust, dar se
lărgeşte simptomatic, în zona în care nu există date, înseamnă că modelul
propus nu poate fi utilizat decât pentru previziune prin intrapolare, nu şi prin
extrapolare, datele de care dispunem nefiind suficiente pentru a le ajusta
cu un astfel de model (exemplu: modelarea datele printr-un polinom sau un
model raţional, de grad prea mare sau printr-o serie (Fourier, de puteri,
exponenţială) cu prea mulţi termeni (supraajustare).

 Existenţa unui anumit patern în alura reziduurilor proiectate faţă de axa y=0,
arată faptul că erorile nu sunt întâmplătoare şi este de dorit îmbunătăţirea
modelului sau studiul unui model mai bun. De asemenea, o prea mare
depărtare a reziduurilor faţă de axa orizontală, arată erori prea mari şi
reclamă îmbunătăţirea modelului sau schimbarea tipului de model
(subajustare).
Cazul particular al modelului dinamic

 Atunci când variabila factor este timpul, obţinem de fapt un caz

particular al modelului de regresie şi anume modelul dinamic.

 Modelele de timp au particularitatea că variabilele sunt mărimi care

evoluează în timp, iar în ecuaţia de regresie pot intra în calcul, ca
factori predictivi şi stările anterioare ale variabilei răspuns. Astfel de
modele se mai numesc şi modele dinamice sau predictive. Un
model simplu este acela în care variabila răspuns depinde doar de
timp.

 Justificări ale modelelor de timp: modelarea fluxului de călători

într-un aeroport, pe o perioadă de timp, modelarea temperaturii într-
o anumită lună a anului, pe perioada unui secol, modelarea
frecvenţei apariţiei unei boli, pe o anumită perioadă de timp,
modelarea evoluţiei unor analize medicale efectuate periodic,
modelarea evoluţiei ratei de schimb valutar, etc.
 În modelele de timp, pot apărea următoarele probleme:
 problema prognozei: evaluarea unor valori viitoare Y T  h, h  1 , pe
baza datelor cunoscute Y1  Y 1, Y2  Y 2,..., YT  Y T  . Pe lângă valoarea
prognozată se poate da şi un interval de prognoză, sub forma unui
interval de încredere.
 analiza trendului: modelarea componentei principale din variabila
răspuns, adică a tendinţei; atunci când se studiază două sau mai
multe variabile pe aceeaşi perioadă de timp, se poate observa un
trend asemănător, ceea ce implică determinarea cauzelor care au
dus la corelarea trendurilor.
 ajustarea sezonieră: se obţine un nou set de date numite
desezonalizate, după efectuarea anumitor corecţii asupra datelor
iniţiale, în vederea eliminării factorilor cu caracter sezonier, ce ţin
de anumite perioade temporale; eliminarea factorului sezonier
permite o mai bună evidenţiere a trendului.
 distincţia între observaţii pe termen scurt şi lung: acurateţea
unui model predictiv, bazat pe relaţii persistente în timp, observate
pe perioade mari, este mai bună decât cea a unui model predictiv
bazat pe relaţii conjuncturale, obţinute pe perioade scurte.
 relaţia de cauzalitate: se pot observa relaţii de cauzalitate între
două variabile studiate în timp; pentru astfel de relaţii este luat în
considerare şi efectul de defazare, între cauză şi efect.
 Câteva clase de modele dinamice

 Modele de ajustare Yt  f t ,  t 

 unde f este o funcţie care conţine anumiţi parametri necunoscuţi, t

reprezintă timpul, iar t este o variabilă aleatoare de medie 0, considerată ca
un factor perturbator sau rezidual. În general, un model simplu se bazează
pe componenta de tendinţă, fiind de forma x  T t    t  unde t ia valorile 1,
2, …N şi reprezintă timpul.

 Modele autopredictive Y  f Y , Y , ...,  

t t 1 t -2 t

 prezentul este influenţat de trecut, adică variabila răspuns se

bazează pe evoluţia anterioară a factorului răspuns:
 Cea mai largă clasă de modele autopredictive este dată de modelul
autopredictiv ARIMA(p, d, q) (auto-regressive integrated
moving average)-Box Jenkins.

 Exemplu: modelul ARIMA(1,1,1), este dat de ecuaţia

Y t     Y t  1  Y t  1  Y t  2   t  1

unde,Y t  reprezintă prognoza pentru seria temporală la

momentul t,  este o constantă,  este coeficientul de regresie,
 t  1 este eroarea la momentul t-1,  reprezintă coeficientul
erorii de decalaj a prognozei.

 Modele explicative Yt  f xt ,  t 

 x t este o variabilă explicativă, iar  t are aceeaşi semnificaţie ca
mai sus. Variabila xt , poate la rândul ei să conţină sau nu
informaţii din trecutul lui Y.