REGRESIA LINIAR SIMPL Adrian Dua Universitatea din Bucureti Facultatea de Sociologie i Asisten Social

ANALIZA DE REGRESIE

Regresia este folosit pentru analizarea unei ipoteze cu privire la relaia dintre o singur variabil Y, numit variabil dependent (sau variabil rspuns) i una sau mai multe variabile X1Xk numite variabile independente (sau predictori sau variabile explicative). Cu ajutorul regresiei, vom putea determina ct de mult se schimb (variaz) dependenta Y atunci cnd variabilele independente i schimb valorile (variaz). Altfel spus, vom putea determina ct de mult din variaia total a dependentei este influenat de variaia independentelor. Mai mult, vom putea estima (prezice) o valoare sau un interval de valori a dependentei pentru anumite valori ale independentelor. Spre exemplu, dorim s examinm relaia dintre venitul unei persoane i vrsta, educaia, sexul i vechimea n munc a acesteia. Pornim de la ipoteza c venitul persoanei este influenat de toate celelalte patru variabile. Fiind influenat de mai poate fi citit ca depinde de, ceea ce calific variabila venit ca variabil dependent. Vom denumi variabilele noastre astfel: VENIT VRST EDUCAIE SEX VECHIME venitul persoanei (msurat n lei, este o variabil raport, metric, discret dar care poate fi considerat continu din cauza numrului foarte mare de uniti) vrsta persoanei (msurat n ani mplinii, variabil raport, metric, discret) educaia persoanei (msurat n numr de ani de coal, este o variabil raport, metric, discret) sexul persoanei (variabil calitativ, nominal cu dou categorii: femei i brbai) vechimea n munc a persoanei (acelai tip de variabil ca VRSTA)

Ipoteza noastr mai poate fi scris astfel: VENIT depinde de VRST, de EDUCAIE, de SEX i de VECHIME Bineneles c predictorii propui n acest model nu vor reui s explice total sau s prezic perfect variaia veniturilor; de aceea, ne ateptm ca modelul s aib i o eroare, care reprezint de fapt efectul altor variabile care au fost omise din model.

VRST EDUCAIE VENIT SEX VECHIME

Figura 1. Modelul grafic al ipotezei cu privire la determinarea venitului.

EROARE

Modelul matematic general folosit pentru regresie este o simpl ecuaie matematic de gradul I: Y = + 1X1 + 2X2 + + kXk + (pstrnd notaia cu litere greceti pentru parametri) sau mai simplu: y = a + b1x1 + b2x2 + + bkxk + e (folosind notaiile pentru estimatorii calculai n eantion).

Adrian Dua Universitatea din Bucureti pag.2 din 28

Aceasta este ecuaia de baz a regresiei, pe care o vom discuta pe parcursul urmtoarelor dou capitole. Ea mai este denumit i model de regresie. Termenul a este numit termen liber, termenii b1k sunt numii coeficieni de regresie iar termenul e este numit eroare. Variabila dependent trebuie s fie ntotdeauna o variabil metric (n consecin, msurat la nivel interval ori raport). Variabilele independente pot fi att metrice, ct i variabile fictive (denumite dummy, variabile binare codificate 0 sau 1; explicaii pe larg la regresia multipl). IMPORTANT! O prim observaie pe care o putem face n acest moment este c termenul a este un estimator al parametrului , termenul b este un estimator al parametrului iar termenul e este un estimator al parametrului . Calcularea coeficienilor a,b i e se face ntotdeauna pe baza datelor dintr-un eantion.

Termenii din ecuaia de regresie au urmtoarea semnificaie (ei vor fi explicai pe larg n cele ce vor urma): Termenul liber este valoarea pe care o ia variabila dependent, atunci cnd efectul variabilelor independente este egal cu zero. Coeficientul de regresie este constanta (sau coeficientul) cu care se nmulete variabila independent pentru a genera un efect asupra variabilei dependente. Eroarea este efectul total (efectul tuturor fenomenelor care acioneaz asupra variabilei dependente) minus efectul variabilelor independente (cu alte cuvinte, partea din efectul total pe care variabilele independente nu o explic). Aceast eroare are dou componente care se nsumeaz: a) o component n care intr efectele altor variabile care au o influen semnificativ asupra dependentei, care nu au fost specificate n ecuaia de regresie i b) o component de efect haotic, generat de natura absolut imprevizibil a fenomenelor n general i a comportamentelor umane n particular (oamenii nu vor aciona niciodat cu toii dup acelai tipar). O concluzie la care putem ajunge, citind componena erorii, este urmtoarea: dac modelul de regresie include variabile independente cu un efect mic asupra dependentei, eroarea va fi mare. Dac modelul nostru ia n calcul (n varianta fericit) toate variabilele care influeneaz variabila dependent, atunci eroarea va fi foarte mic, ns niciodat egal cu zero, datorit componentei haotice. Astfel, eroarea variaz de la un minim la un maxim, astfel nct putem spune fr s greim c eroarea se comport ca o veritabil variabil. n exemplul nostru, ecuaia s-ar scrie aa: VENIT = a + b1VRST + b2EDUCAIE + b3SEX + b4VECHIME + e Putem s avem una sau mai multe variabile independente. Atunci cnd n ecuaia de regresie avem o singur variabil independent, regresia se numete simpl. (Exemplu: analizm ipoteza conform creia venitul unei persoane este influenat doar de educaia acesteia). Cnd dimpotriv, avem dou sau mai multe variabile independente, regresia se numete multipl. Cea mai important funcie a analizei de regresie este cea de predicie. Cu ajutorul regresiei, putem prezice valoarea pe care o ia variabila dependent, prin simpla manipulare a valorilor variabilelor independente.

Adrian Dua Universitatea din Bucureti pag.3 din 28

REGRESIA LINEAR SIMPL n acest capitol ne vom ocupa de studiul relaiei dintre dou variabile. Atunci cnd analiza noastr se rezum la dou variabile (una dependent, una independent), regresia se numete simpl (sau bivariat). Dei acest capitol se refer doar la regresia linear, aceasta nu nseamn c este singurul tip de regresie posibil. Exist i alte tipuri de regresie, care urmresc diferite tipuri de relaii ne-lineare ntre dou variabile.

A. Funcii lineare nelegerea corect a ecuaiei de regresie const n nelegerea relaiei dintre conceptul de linearitate i ecuaia de gradul I. De aceea, funciile lineare sunt un prim pas n ecuaia de regresie. Termenul de funcie trebuie interpretat astfel: dac o valoare a unei variabile y depinde de valoarea unei alte variabile x, astfel c pentru o anume valoare a lui x exist o singur valoare a lui y, atunci spunem c y este funcie de x. y = f(x) Un exemplu de astfel de funcie este y = 1,5x. Cnd x crete cu o unitate, y crete de 1,5 ori. Aici, valoarea lui y se obine prin nmulirea valorii lui x cu o constant egal cu 1,5.
Figura 2. Graficul funciei y = 1,5x
3.0

Figura 3. Graficul funciei y = -x

0.0 0.0 0.5 1.0 1.5 2.0 2.5 3.0

2.5

0.0

0.5

1.0

1.5 X

2.0

2.5

3.0 X

Cea mai simpl expresie a unei funcii lineare este expresia: y = bx, unde b este o constant. Putem calcula aceast constant, care este egal cu y/x. Graficul acestei expresii va arta ntotdeauna o linie dreapt care va trece ntotdeauna prin punctul de origine.

B. Panta (nclinarea) dreptei Dac y = 2x, de fiecare dat cnd x crete cu o unitate, y va crete cu dou uniti. Cantitatea cu care se schimb y pentru fiecare schimbare a lui x cu o unitate este dat de acelai raport y/x (n cazul acesta egal cu 2); aceasta se mai numete i panta dreptei. Cu alte cuvinte, panta dreptei este dat de valoarea coeficientului b, pentru orice pereche de puncte pe x i pe y. Nu toate funciile lineare trec prin punctul de origine. Urmtorul grafic prezint dou funcii care au aceeai pant, ns doar una din ele trece prin punctul de origine.

-3.0 -2.5 -2.0 -1.5 -1.0 -0.5

1.5

2.0

0.0

0.5

1.0

Adrian Dua Universitatea din Bucureti pag.4 din 28

Figura 4. Compararea a dou funcii lineare

3.0 2.5

y = 1,5 + 0,5x

1.0

1.5

2.0

y = 0,5x

0.0 0.0

0.5

0.5

1.0

1.5 X

2.0

2.5

3.0

Funcia y = 1,5 + 0,5x intersecteaz axa 0y n punctul 1,5; funcia y = 0,5x intersecteaz axa 0y n punctul de origine (0 , 0). Orice funcie de acest tip poate fi scris la modul general y = a + bx, unde a i b sunt constante. Constanta b, am vzut mai devreme, determin panta dreptei (ne arat cu ct se schimb y atunci cnd x se schimb cu o unitate). Deoarece constanta a determin punctul n care dreapta intersecteaz axa 0y, va fi denumit termen liber. n Figura 2 i Figura 4, toate dreptele sunt orientate n sus; aceasta nseamn c orice cretere cu o unitate a lui x este nsoit de o cretere cu o constant b a lui y. Funciile de acest tip sunt denumite funcii lineare cresctoare. Panta dreptei este pozitiv. Figura 3 arat o dreapt orientat n jos, astfel c orice cretere cu o unitate a lui x este nsoit de o scdere cu o constant b a lui y. Acest lucru se ntmpl din cauza semnului negativ al coeficientului (y = -1x). Funciile de acest tip se numesc i funcii lineare descresctoare. Panta dreptei este negativ. Coeficientul b poate lua deci, valori pozitive i valori negative. Mai exist i o a treia posibilitate, atunci cnd b = 0. S lum urmtorul exemplu:
2.5 0.0 0.0 0.5 1.0 3.0

Figura 5. Graficul funciei y = 1 + 0x

1.5

2.0

0.5

1.0

1.5 X

2.0

2.5

3.0

Cnd x = 1 => y = 1 + 01 = 1. Cnd x = 2 => y = 1 + 02 = 1. Oricare ar fi valoarea lui x, ntotdeauna y fi egal 1. Orice schimbare a lui x nu va produce nici un fel de schimbare a lui y. n acest caz, x i y nu au nici un fel de legtur ntre ele i spunem c avem o pant zero.

Adrian Dua Universitatea din Bucureti pag.5 din 28

C. Norul de puncte. Coeficientul de corelaie. Viaa social nu este aa de simpl ca o linie dreapt. Dac ar fi aa, am putea s prezicem ntotdeauna i cu certitudine maxim schimbarea lui y n funcie de schimbarea lui x. Avem spre exemplu urmtoarea ipotez: numrul de copii minori este mare n familiile cu un numr mare de membri. Cu ct numrul total de membri n familie este mai mare, cu att numrul de copii minori este mai mare. Unele familii au mai muli copii minori, altele mai puini. Numrul de copii variaz n funcie de mrimea gospodriei. Pentru exemplificare, vom utiliza baza de date a Barometrului de Opinie Public (mai 2003), efectund un nor de puncte (scatterplot) ntre variabilele Total membri n gospodrie i Numr copii ntre 0-14 ani (ultima variabil fiind construit n funcie de vrstele membrilor gospodriei). Norul de puncte nu este nimic altceva dect o modalitate de afiare grafic a tuturor perechilor de valori ale celor dou variabile; spre exemplu, perechea 5 membri n gospodrie din care 4 copii minori se reprezint printr-un punct la intersecia dintre valoarea 5 pe axa 0x i valoarea 4 pe axa 0y. Acelai lucru se face pentru fiecare pereche de valori existent n baza de date.
9

Dintre care copii intre 0 si 14 ani

Figura 6. Scatterplot (nor de puncte) ntre variabilele Total membri n gospodrie i Numr copii ntre 0-14 ani

Perechea x = 12 membri n gospodrie cu y = 3 copii minori

10 11 12 13 14

Total membri in gospodarie

Exist familii cu 5 membri care nu au nici un copil minor, altele care au 1 copil minor, de asemenea cu 2 i 3 copii minori. Exist deci o variaie pe axa vertical pentru fiecare valoare de pe axa orizontal. Ecuaia care descrie o astfel de relaie se modific, de la y = a + bx [1]

funcia linear care este un model determinist, care ofer o relaie exact ntre x i y; putem prezice cu certitudine maxim orice valoare a uneia cunoscnd valoarea celeilalte la y = a + bx + e [2]

ecuaia de regresie care este un model probabilist, care ofer o relaie probabil ntre x i y; certitudinea prediciei este mai mare sau mai mic n funcie de mrimea relaiei dintre cele dou. Distribuia datelor din Figura 6 nu mai permite o predicie perfect, ca n cazul funciilor lineare, ci una cu un grad mai mic sau mai mare de probabilitate. Predicia pe axa 0y depinde foarte mult de gradul de variaie al valorilor de pe axa 0x, i invers. Acest tip de predicie se bazeaz deci pe modul cum variaz una din variabile concomitent cu variaia celeilalte. Variaia comun a celor dou variabile se

Adrian Dua Universitatea din Bucureti pag.6 din 28

numete covariaie iar aceasta are o msur care se numete covarian (aa cum variana este o msur a variaiei). Covariana poate fi uor calculat cu urmtoarea formul:

(x x)(y y)
i i

cov(x,y) =

i=1

n2

[3]

Cu privire la problema prediciei, ne confruntm cu dou situaii: 1. ntr-o pereche de variabile, una este cauza celeilalte, iar variaia comun este generat de relaia cauz-efect; 2. exist variaie comun a celor dou variabile ns nici una nu este cauza celeilalte. Un exemplu pentru al doilea caz este urmtorul grafic:
Figura 7. Scatterplot ntre Vrsta soului i Vrsta soiei
90 Varsta sotiei 10 10 20 30 40 50 60 70 80

20

30

40

50

60

70

80

90

Varsta sotului

Graficul prezint vrstele a 150 de cupluri cstorite, eantionate aleator din baza de date a Barometrului de Opinie Public mai 2003. Norul de puncte descrie o form eliptic, alungit, care aproximeaz o funcie cresctoare (valorile lui y cresc odat cu cele a lui x). Mrimea numeric a covarianei nu are nici o semnificaie direct pentru persoana care analizeaz datele. Aceasta se ntmpl pentru c cele dou variabile au, n general, uniti de msur diferite. Pentru a elimina acest aspect neplcut, se poate calcula un alt coeficient, care utilizeaz ns valori standard ale variabilelor (dup cum tim, standardizarea se face cu ajutorul scorurilor z, prin mprirea cu abaterea standard). O msur care descrie variaia comun a dou variabile standardizate se numete corelaie.

(x x )(y y )
i i i=1

cov(x,y) = rxy = sx s y

n2 sx s y

(x x )(y y )
i i

i=1

sx sy (n 2)

[4]

Deoarece avem dou variabile standardizate, am mprit la produsul abaterilor standard ale celor dou variabile. Un alt mod de a scrie acelai lucru este: x y y xs s
i i i=1 x y n

rxy =

n2

unde

(x x )
i

sx =

i=1

n1

(y y )
i

sy =

i=1

n1

sx i sy fiind abaterile standard ale variabilelor x, respectiv y.

Adrian Dua Universitatea din Bucureti pag.7 din 28

Observai mprirea la (n-2), care se ntmpl pentru c pierdem dou grade de libertate prin calcularea mediilor celor dou variabile. O proprietate important a corelaiei este: rxy = ryx Cu alte cuvinte, corelaia dintre x i y este egal cu corelaia dintre y i x. Coeficientul de corelaie ne arat ct de puternic (intens) este relaia dintre dou variabile. Poate lua valori n intervalul [-1, +1], unde o corelaie egal cu 0 ne spune c nu exist nici un fel de relaie ntre cele dou (Figura 5), o corelaie de +1 arat o relaie perfect n sens cresctor (cnd una din variabile crete cu o unitate standard, cealalt va crete tot cu o unitate, vezi Figura 2), iar o corelaie de -1 arat o relaie perfect n sens descresctor (cnd una crete cu o unitate, cealalt scade cu o unitate, vezi Figura 3).

IMPORTANT! r (corelaia Bravais-Pearson) este un coeficient de corelaie linear. O valoare aproape de zero a lui r nu nseamn neaprat c ntre dou variabile nu exist (aproape) nici un fel de corelaie. Este posibil ca ntre cele dou s existe o corelaie puternic, dar ne-linear.

n practic, cele trei valori nu vor fi ntlnite niciodat, pentru c ele sunt specifice doar funciilor lineare, unde nu exist nici o variaie a lui y pentru o anumit valoare a lui x i nici variaie a lui x pentru o anumit valoare a lui y. Dup cum am vzut (vezi Figura 6), n realitate situaiile variaz, astfel c putem avea corelaii fie foarte aproape de +/- 1, fie foarte aproape de 0. Spre exemplu, o valoare a coeficientului de corelaie de +0,97 indic o relaie cresctoare aproape perfect a dou variabile; la fel, o valoare de 0,1 indic aproape o lips a oricrui fel de relaie ntre dou variabile. Problema corelaiei este strns legat de problema prediciei; nelegerea uneia presupune o nelegere a celeilalte. Un coeficient de corelaie diferit de zero ne spune c, dac tim ceva despre o variabil x atunci tim ceva i despre variabila y i vice-versa. Atenie ns: mrimea coeficientului de corelaie nu arat care variabil este cauz i care este efect, n cazul n care exist o relaie de cauzalitate ntre cele dou. n exemplul de la Figura 7, nici una dintre cele dou variabile nu este cauza celeilalte. Exist multiple alte perechi de variabile cu o relaie de tip cauz-efect. Care dintre ele este considerat variabil dependent (variabila efect) i care independent (variabila cauz) este o problem de interpretare teoretic. Oamenii de tiin sunt interesai de mult vreme de problema prediciei. Predicia se poate realiza atunci cnd avem informaii despre un fenomen. Studiul corelaiei este un prim pas n acest sens. Dac ntre dou variabile nu exist nici un fel de (co)relaie, nu putem prezice absolut nimic despre valoarea uneia folosind o valoarea a celeilalte. Dac dimpotriv, ntre cele dou variabile exist o corelaie, putem prezice cu o precizie mai mic sau mai mare valoarea uneia folosind-o pe cealalt. n cazul unei corelaii aproape de maxim (+1 sau -1) atunci putem face o predicie cu un grad nalt de precizie. Atunci cnd modelul teoretic arat care variabil este cauz i care este efect, predicia trece la un nou nivel, de la corelaie la regresie.

Adrian Dua Universitatea din Bucureti pag.8 din 28

D. De la corelaie la regresie Ecuaia unei regresii lineare simple este, dup cum am vzut la [2]: y = a + bx + e unde y este variabila dependent, x este variabila independent, a este termenul liber (pe axa 0y), b este panta dreptei, iar e este eroarea. S relum ipoteza cu privire la determinarea venitului; deoarece n regresia linear simpl avem doar o singur variabil independent, ipoteza noastr se reduce la VENIT depinde de VRST. Este clar c nu toi oamenii au acelai venit. Oamenii mai n vrst au n general un venit mai mare dect al celor mai tineri; chiar n cazul oamenilor de aceeai vrst se pot constata diferene. Ecuaia de regresia n acest caz arat astfel: VENIT = a + b1VRST + e unde factorul eroare este responsabil de variaia venitului pentru persoane cu aceeai vrst (dac nu ar exista acest factor, relaia dintre cele dou variabile ar fi perfect linear; nc nu tim de ce oameni de aceeai vrst au venituri diferite, pot exista i alte cauze pe care noi nu le-am inclus nc n model). IMPORTANT! O alt observaie pe care o putem face n acest moment este c regresia liniar simpl se poate utiliza dac i numai dac norul de puncte aproximeaz o form linear. Dac norul de puncte aproximeaz o form ne-liniar, se aplic alte tipuri de regresie. Aceasta este prima dintr-un ir de asumpii / condiii ale acestui tip de analiz, pe care le vom discuta n detaliu mai trziu.

Dei norul de puncte se supune ecuaiei de mai sus, n practic noi nu cunoatem niciodat mrimea numeric a erorii; putem doar s estimm ct de mare este efectul acesteia asupra variabilei dependente. ntrebarea natural care decurge este: Cum reuim s prezicem valoarea lui y, folosind ecuaia de regresie, dac nu cunoatem mrimea erorii? Rspunsul este simplu; vom prezice valoarea lui y folosind modelul determinist y = a + bx unde notm cu y valoarea prezis. Realitatea este descris de modelul probabilist, iar predicia noastr despre realitate va utiliza modelul determinist. Sigur c, deoarece modelele nu sunt echivalente, predicia noastr va fi n toate cazurile eronat. Nici nu putem avea pretenia ca predicia noastr s fie perfect n fiecare caz; tot ceea ce ne rmne de fcut este s ne asigurm c predicia va fi ct mai aproape de realitate. Dup cum am vzut, ecuaia [1] (ca i ecuaia [5] de altfel) descrie o linie. Aceasta nseamn c, ntotdeauna, valoarea prezis va fi gsit de-a lungul unei linii care merge n direcia norului de puncte. S lum urmtorul exemplu ipotetic care prezint situaia veniturilor i cheltuielilor (n milioane lei) a 10 gospodrii, pentru o lun oarecare. [5]

Adrian Dua Universitatea din Bucureti pag.9 din 28

Tabel 1. Situaia veniturilor i cheltuielilor a 10 gospodrii (milioane lei)

Venituri 1 2 3 4 5 6 7 8 9 10 2 1,3 3,7 5 2,7 3 1 4 4,6 1,7

Cheltuieli 2,7 1,7 3 3 1,8 2 1,2 2 3,8 1,3

Unele gospodrii cheltuiesc mai puin dect au ctigat, altele mai mult (folosind economii). Toate perechile de puncte sunt prezentate n graficele din Figura 8 de mai jos. Primul grafic prezint norul de puncte a acestor perechi, al doilea i al treilea prezint cte o dreapt posibil care aproximeaz acest nor (se observ c termenii liberi i pantele sunt diferite), iar ultimul grafic prezint mai multe drepte n acelai timp. ntrebarea fireasc este: Care dreapt aproximeaz cel mai bine norul de puncte?.

Cu alte cuvinte, cum putem s tim care sunt valorile lui a (termenul liber) i b (panta) ce definesc dreapta care aproximeaz cel mai bine norul?

Figura 8. Drepte posibile care aproximeaz norul de puncte

Cheltuieli

Cheltuieli

0 0

2 Venituri

2 Venituri

Cheltuieli

Cheltuieli 0 1 2 Venituri 3 4 5

0 0

2 Venituri

Adrian Dua Universitatea din Bucureti pag.10 din 28

E. Metoda celor mai mici ptrate Valorile cheltuielilor (de pe axa 0y) sunt valorile pe care le-am nregistrat n decursul unei cercetri. Ele se numesc valori observate (i se noteaz simplu cu y). Valorile pe care le prezicem cu ajutorul modelului [5] se numesc valori prezise (notate cu y). Acestea se mai numesc i valori ateptate sau teoretice (ateptate n ipoteza unei relaii lineare ntre variabile). Spuneam mai devreme c nici o predicie nu este perfect. n eantionul nostru, gospodria cu un venit de 2 milioane lei are cheltuieli de 2,7 milioane. Valoarea prezis de noi nu va fi egal cu valoarea observat n eantion. Diferena dintre valoarea prezis i valoarea observat se numete eroare. Urmtoarea figur prezint distanele de la fiecare punct (perechea de valori observate n eantion) la o dreapt care trece prin norul de puncte. Distanele sunt liniile de culoare albastr. Ceea ce se observ imediat este c unele valori observate sunt mai mari dect cele prezise iar diferenele sunt numere pozitive (liniile sunt deasupra dreptei) iar alte valori observate sunt mai mici dect valorile prezise iar diferenele sunt numere negative (liniile de sub dreapt).
Figura 9. Distanele de la valorile observate la dreapta de regresie
5 Cheltuieli 0 0 1 2 3 4

Venituri

Cea mai bun predicie este cea care d cele mai mici erori. Cu alte cuvinte, dreapta care aproximeaz cel mai bune norul de puncte este aceea n funcie de care distanele puncte la dreapt s fie cele mai mici posibile. Pentru a exprima acest lucru ntr-un singur numr, nu putem aduna pur i simplu erorile, pentru c unele au semn negativ iar altele au semn pozitiv; prin adunare ele se elimin reciproc iar suma acestora este ntotdeauna egal cu zero:

e = (y y) = 0
i i i=1 i=1

[6]

Nici adunarea diferenelor absolute (n modul) ntre valorile observate i prezise nu este cea mai bun soluie, pentru c nu accentueaz erorile mari. Este de preferat o dreapt de regresie care s aib erori mici, dect o dreapt care s aib unele erori foarte mici i altele foarte mari. Ridicarea la ptrat penalizeaz o dreapt care are erori foarte mari, chiar dac cele mai multe dintre erori sunt foarte mici. Dac ne uitm peste Figura 9, am putea s credem c o coborre a dreptei n jos ar micora suma erorilor pentru c cele mai multe din valorile observate se afl sub dreapt. n modul, o coborre a dreptei ar micora suma erorilor (comparativ cu dreapta prezentat), ns erorile de deasupra dreptei ar fi mai mari. Acest lucru face slbete predicia; de aceea este preferat ridicarea la ptrat a erorilor nainte de a le aduna.

Adrian Dua Universitatea din Bucureti pag.11 din 28

S ne reamintim ns de formula varianei, care elimina efectul semnelor negative i pozitive prin ridicarea la ptrat a distanelor de la valoare la medie. Vom aplica acelai principiu i n cazul regresiei: ridicm la ptrat toate aceste erori (distane) i le adunm, iar suma acestora trebuie s fie un numr minim.

i=1

e i2 =

(y y)
i i=1

[7]

Cea mai bun dreapt de regresie este aceea pentru care suma ptratelor erorilor este cel mai mic numr posibil (are o valoare minim). Exist o rezolvare matematic pentru acest gen de problem, care nu face parte ns din obiectul acestui curs. Mai jos sunt prezentate formulele pentru calcularea coeficienilor a i b, rezultate din acea rezolvare:

(x x )(y y )
i i

b=

i=1

i=1

[8] ( xi x ) 2

a = y b x

[9]

Acestea nu sunt singurele formule de calcul a coeficienilor. Mai exist i alte formule, derivate unele din celelalte. Spre exemplu, o formul mai simpl a lui b, bazat pe cunoaterea coeficientului de corelaie, este: sy b = rxy s x [10]

IMPORTANT! Coeficientul de regresie b nu este acelai lucru cu coeficientul de corelaie! Ambii indic o pant cresctoare sau descresctoare (au acelai semn), ns ei nu trebuie confundai. Coeficientul de corelaie indic o msur simetric a intensitii relaiei dintre dou variabile; indiferent care variabil ar fi considerat dependent, coeficientul de corelaie are exact aceeai valoare. Coeficientul de regresie b are o anumit valoare cnd y este dependent i o alt valoare dac x ar fi variabil dependent.

Din ecuaia [10] se poate extrage coeficientul de corelaie: sx rxy = b s y Dac am standardiza variabilele, abaterile standard sx i sy ale acestora ar deveni egale cu 1 iar: rxy = b de unde reiese concluzia: coeficientul de corelaie este un coeficient de regresie standardizat.

n practic, nimeni nu mai calculeaz valorile coeficienilor a i b n acest fel. Apariia calculatoarelor personale cu o putere de calcul extrem de mare a automatizat obinerea acestor cifre, astfel c pot fi obinute ntr-o fraciune de secund prin selectarea unei comenzi ntr-un program statistic cum este

Adrian Dua Universitatea din Bucureti pag.12 din 28

SPSS. Totui, dei calculele se fac automat, cunoaterea formulelor de baz este necesar pentru a nelege logica metodei i condiiile ei de aplicare. n cazul nostru, a = 0,89 iar b = 0,47 iar ecuaia de regresie devine: y = 0,89 + 0,47x Pentru fiecare gospodrie, valoarea real (observat) este obinut cu ecuaia [2]: y = a + bx + e De exemplu, pentru prima gospodrie: 2,7 = 0,89 + 0,472 + 0,9 Tabelul urmtor prezint cheltuielile prezise cu ajutorul ecuaiei de regresie, diferenele (pe coloana a patra) dintre valorile observate (coloana a 2a) i valorile prezise (coloana a 3a) precum i ptratele acestor diferene. Toate cifrele sunt prezentate rotunjit la o singur zecimal; eventualele neconcordane cu privire la nsumri sunt datorate acestei rotunjiri. Coloana a 4a reprezint variaia erorilor n jurul dreptei de regresie; este deci o variabil n sine.

Tabel 2. Obinerea sumei ptratelor erorilor (abaterilor de la dreapta de regresie) Venituri 1 2 3 4 5 6 7 8 9 10 2 1,3 3,7 5 2,7 3 1 4 4,6 1,7 Cheltuieli observate 2,7 1,7 3 3 1,8 2 1,2 2 3,8 1,3 Cheltuieli prezise 1,8 1,5 2,6 3,2 2,2 2,3 1,4 2,8 3,0 1,7 e (eroarea) col.2-col3 0,9 0,2 0,4 -0,2 -0,4 -0,3 -0,2 -0,8 0,8 -0,4 e
2

0,8 0,0 0,1 0,1 0,1 0,1 0,0 0,6 0,6 0,2

i=1

10

ei = 0

e
i=1

2 i

= 2,5

Figura 9. Diferena dintre valoarea observat i cea prezis a cheltuielilor primei gospodrii (milioane lei)
5
Valoarea observat y1 = 2,7 pentru x1 = 2

Cheltuieli

Eroarea e1 = y1 - y1 = 2,7 - 1,8 = 0,9

Valoarea prezis y1 = 1,8 pentru x1 = 2

0 0

2 Venituri

Adrian Dua Universitatea din Bucureti pag.13 din 28

Valoarea termenului liber pune toat teoria noastr de pn acum ntr-o situaie dificil. Termenul liber este valoarea lui y atunci cnd x = 0. Cu alte cuvinte, atunci cnd o gospodrie nu are nici un venit (0 lei), cheltuiete n medie 890.000 lei. Cum este posibil acest lucru? Rspunsul este simplu: valoarea coeficienilor a i b a fost obinut prin aplicarea matematic a unei formule, pentru aproximarea ct mai exact a norului de puncte. Valoarea de 0,89 nu reprezint propriu-zis o predicie, pentru simplul motiv c nu avem date pentru gospodriile cu venit egal cu zero: se observ c venitul cel mai mic este situat la 1 milion de lei. O predicie pentru gospodriile care nu au nici un venit ar nsemna ca noi s ne hazardm n afara datelor pe care le avem i s facem predicii fr nici o baz (de date). Ar trebui s facem o cercetare special asupra acestor gospodrii pentru a aduna date. ntmpltor, valoarea lui a este pozitiv, ns rezolvarea ecuaiei ar fi putut s indice la fel de bine o valoare negativ, ceea ar fi un non-sens: gospodriile cheltuiesc n minus!?! Valoarea termenului liber, deci, nu poate fi privit dect ce pe un punct de pornire n funcie de care trasm dreapta de regresie, i nimic mai mult. Prediciile pe baza acestuia sunt foarte riscante; de cealalt parte a graficului, norul de puncte se oprete la valoarea de 5 milioane. Nu putem face predicii pentru valori ale lui x mai mari dect aceast limit. Dac x ar fi axa timpului (n care valorile din stnga axei s nsemne trecutul, cele din mijloc prezentul iar cele din dreapta viitorul), am putea noi s facem predicii cu privire la viitor? IMPORTANT! Nici o predicie nu poate fi fcut pentru valori n afara norului de puncte.

Exemplul nostru prezint intenionat doar 10 cazuri, pentru simplificarea norului de puncte. De obicei ns, eantionul prezint sute sau chiar mii de cazuri. Mai mult, dac am avea date despre toate gospodriile (date despre populaia de gospodrii), pentru un venit de 2 milioane de lei ar exista foarte multe gospodri pe axa cheltuielilor, 0y. Acesta este un fapt important pentru nelegerea celei de-a patra, a asea i aptea asumpii prezentate la sfritul acestui capitol.

IMPORTANT! Interpretarea n cuvinte a coeficientului de regresie b este urmtoarea: b reprezint schimbarea n medie a lui y generat de schimbarea cu o unitate a lui x. Nu toate valorile lui y se modific la fel; unele se schimb mai mult, altele mai puin, unele n sens pozitiv iar altele n sens negativ. Media tuturor acestor schimbri este chiar punctul de pe dreapta de regresie, a crei pant este generat de valoarea lui b.

Adrian Dua Universitatea din Bucureti pag.14 din 28

F. Coeficientul de determinaie simpl (r2) Atunci cnd testm un anumit model de regresie, ne ntrebm ct de bun este acel model, n ce msur reflect el realitatea. Gsirea coeficienilor a i b este important, ns cum putem ti ct de mult influeneaz variabila independent pe cea dependent? Un model este valid dac ia n considerare toate variabilele independente care influeneaz n realitate o dependent. n regresia simpl analizm relaia cu o singur variabil independent; ct de mult din variaia dependentei este explicat de variaia independentei? Ne reamintim c o msur a variaiei este variana, care lua n considerare suma ptratelor abaterilor individuale de la medie. n absena oricrei informaii despre care variabil independent cauzeaz variaia dependentei, singurul punct fix de reper al dependentei este chiar media acesteia. Toate valorile observate au o abatere fa de medie. Mai jos este Figura 10 care prezint valorile variabilei Cheltuieli pe axa 0y, n partea stng toate pe o singur linie (n msura n care nu avem nici un fel de informaie despre vreo variabil independent, pe axa 0x). Valorile variabilei sunt punctele de culoare roie, iar media (valoarea 2,25) este punctul de culoare neagr deasupra cruia trece o linie de culoare roie. Segmentele de culoare albastr prezint abaterile valorilor de la media variabilei, un fel de erori de la unica predicie egal cu media (n absen oricror alte informaii, cea mai bun predicie a cheltuielilor este, aa cum am artat, chiar media acestor cheltuieli). n partea stng, distanele de la puncte la medie sunt evideniate n mod separat.
Figura 10. Variaia valorilor variabilei Cheltuieli n jurul mediei acesteia: a. n absena variabilei independente
3.8

3 2.7

2.25 2 1.8 1.7

Cheltuieli

1.3 1.2

b. n prezena variabilei independente

2 Venituri

Suma ptratelor acestor abateri este cantitatea total de variaie pe care trebuie s o explicm cu ajutorul unui model teoretic (a nu se confunda cu variana, care este o medie a ptratelor abaterilor). Predicia cu ajutorul dreptei de regresie are acum dou tipuri de erori: o eroare de la dreapta de regresie la media variabilei: poriunea din abatere total a valorii observate de la medie, explicat de predicie o eroare de la dreapta de regresie la valoarea observat: poriunea de abatere de la medie rmas neexplicat

Adrian Dua Universitatea din Bucureti pag.15 din 28

S lum ca exemplu cea de-a 9-a gospodrie, care are cea mai mare abatere de la medie:
Figura 11. Abaterea total, abaterea explicat i abaterea neexplicat a cheltuielilor celei de-a 9a gospodrii
5
Abaterea total a valorii observate y9 de la media y : (y9 - y )
_ _

Cheltuieli

y9

Abaterea rmas neexplicat a valorii observate y9 de la media y : (y9 y)

_

Abaterea explicat a valorii

observate y9 de la media y : (y - y )

0 0

Venituri

Dac am fi luat ca predicie media cheltuielilor pentru a estima valoarea observat a cheltuielilor de 3,8 milioane lei, atunci deviaia total a acestei valori fa de media ei este (y9 - y ). Estimarea acestei valori cu ajutorul dreptei de regresie este mult mai bun (valoarea prezis se apropie mai mult de cea observat). Totui, valoarea prezis explic doar poriunea (y - y ) din deviaia total, iar poriunea rmas ( y - y9 ) rmne neexplicat. Extrapolnd la cheltuielile tuturor gospodriilor unui eantion de mrime n, avem o cantitate total de variaie (sau o variaie total) egal cu suma ptratelor deviaiilor valorilor observate de la medie:
_ _

(y y )
i i=1 n

Poriunea explicat din aceast variaie total a dependentei este:

(y y )
i i=1 n

Iar poriunea rmas neexplicat din variaia total a dependentei este:

(y y )
i i i=1 n

Proporia de variaie explicat, ca procent din variaia total este numit coeficient de determinaie:

(y y )
i

r2 =

i=1

i=1 n

(yi y )

0 r2 1

[11]

Practic, coeficientul de determinaie reprezint proporia de variaie a dependentei explicat de modelul de regresie. Este ntotdeauna mai mare sau egal cu zero (toate valorile sunt pozitive prin ridicarea la ptrat), i ntotdeauna mai mic sau cel mult egal cu 1 atunci cnd variaia explicat este egal cu variaia total (modelul explic perfect, n proporie de 100%, variaia dependentei).

Adrian Dua Universitatea din Bucureti pag.16 din 28

Spre exemplu, o valoare a lui r2 de 0,24 nseamn c variabila independent explic 24% din variaia dependentei. Cu ct valoarea lui r2 este mai aproape de 1, cu att modelul teoretic va fi mai bun; cu ct este mai aproape de zero, nseamn c modelul nu reuete s surprind ceea ce se ntmpl n realitate. ntre coeficientul de determinaie i coeficientul de corelaie este o legtur strns, fiind posibil calcularea unuia pe baza celuilalt: r= r2

Atenie ns: o valoare mare a lui r nu nseamn o valoare la fel de mare a lui r2. Spre exemplu, atunci cnd r = 0,7 (o valoare destul de mare), r2 = 0,49. n cuvinte, atunci cnd dou variabile coreleaz mpreun cu o valoare de 0,7 fiecare explic doar 49% din variaia celeilalte. Atunci cnd se calculeaz ntr-o ecuaie de regresie simpl, coeficientul se numete de determinaie simpl i se noteaz cu r2; n regresia multipl el se numete coeficient de determinaie multipl i se noteaz cu R2.

Adrian Dua Universitatea din Bucureti pag.17 din 28

G. Inferena statistic pe baza coeficienilor de regresie. Eroarea standard a coeficienilor de regresie. S ne reamintim acum c valorile din acest tabel reprezint un eantion (aleator) extras din populaia tuturor gospodriilor. De aceea, o valoare a cheltuielilor n populaie o notm cu litera mare Y, iar o valoare a cheltuielilor n eantion o notm cu litera mic y. IMPORTANT! Predicia nu este acelai lucru cu inferena! Predicia se refer la valoarea unei variabile cunoscnd valoarea celeilalte, iar inferena se refer la estimarea parametrului din populaie pe baza statisticii din eantion. Dac am avea un tabel al veniturilor i cheltuielilor ntregii populaii de gospodrii, am putea s facem un nor de puncte al tuturor acestor perechi i n funcie de acest nor s calculm o dreapt de regresie. Exist, aadar, o singur dreapt de regresie adevrat, n populaie, aa cum exist cte o dreapt de regresie pentru fiecare eantion aleator posibil. Deoarece exist o infinitate de eantioane posibile, exist deci i o infinitate de drepte de regresie posibile n eantion. De aceea, coeficienii a i b (folosii pentru predicia pe baza datelor din eantion) fac o inferen asupra coeficienilor i din populaie. Fiecare dreapt de regresie n eantion face o inferen asupra dreptei de regresie din populaie. S ne reamintim c eroarea standard este abaterea standard a distribuiei de eantionare a estimatorului, care ne ofer un interval n care estimm c se afl parametrul din populaie, la un anumit nivel de ncredere. Spre exemplu, eroarea standard a coeficientului b ne va da o estimare interval asupra parametrului . Rezultatul prezentat de calculator va cuprinde obligatoriu valoarea coeficienilor a i b, dar i eroarea standard a acestora. Eroarea Standard a acestor coeficieni este necesar n dou direcii:

1. Pentru a testa pe loc dac aceti coeficieni pot sau nu s fie considerai utili. Este vorba de un simplu test t: se testeaz dac sunt sau nu diferii de zero; n funcie de mrimea valorii p calculat, vom respinge sau nu ipoteza de nul. Exemplul pe care l vom lua n considerare aici este unul intenionat greit, care va demonstra ns ceva foarte important. S ne relum exemplul cu corelaia dintre vrsta soilor i cea a soiilor: am putea face ipoteza c vrsta soiei este influenat de cea a soului. Introducem aceste variabile ntr-o ecuaie de regresie linear simpl, care produce urmtoarele rezultate: Valoare 4,5103 0,9263 Eroare Standard 1,5780 0,0305 t 2,858 30,368 p 0,00487 ** < 2e-16 ***

(Termenul liber) b (Vrsta so)

Steluele din dreptul valorilor lui p au urmtoarea semnificaie: * semnificativ la pragul de 5% ( = 0,05) ** semnificativ la pragul de 1% ( = 0,01) *** semnificativ la pragul de 1 ( = 0,001) p < 0,05 p < 0,01 p < 0,001

Testm dac termenul liber este semnificativ diferit de zero. Ipoteza de nul: populaia din care provine eantionul nostru are un termen liber egal cu zero. Ipoteza alternativ: populaia din care provine eantionul nostru are un termen liber diferit de zero.

Adrian Dua Universitatea din Bucureti pag.18 din 28

H0: = 0 H A: 0

IMPORTANT! A nu se confunda acest , din ipoteza de nul, care este corespondentul n populaie a termenului liber a, cu pragul de semnificaie . Dei au aceeai notaie, se refer la dou lucruri total diferite!!

Valoarea lui t este calculat simplu cu binecunoscuta formul: t= a0 E.S. = 4,5103 0 1,5780 = 4,5103 1,5780 = 2,858

Se observ imediat c valoarea lui t se poate calcula direct prin mprirea valorii termenului liber la eroarea lui standard (deoarece valoarea cu care se compar este zero). Important nu este valoarea lui t, ci probabilitatea p asociat: 0,00487. Aceasta este probabilitatea de a grei respingnd ipoteza de nul (eroarea de tipul I). Aceast probabilitate este foarte mic, mult sub orice prag de semnificaie rezonabil, cu att mai mult sub clasicul prag de 5%. n consecin, respingem ipoteza de nul: termenul liber este semnificativ diferit de zero. La fel se ntmpl i n cazul lui b. Probabilitatea de a grei respingnd ipoteza de nul n cazul acestuia este extrem de mic (mai mic dect 0 urmat de nc alte 15 zerouri dup virgul). Dup cum se vede, toi coeficienii sunt semnificativi, valoarea lui r2 este de 86,17%; am putea s concluzionm c este un model extrem de bun. Din pcate, modelul a plecat de la o ipotez vdit eronat: vrsta soiei nu poate fi cauzat de vrsta soului, ci ambele sunt influenate de trecerea timpului. Calculatorul nu a penalizat aceast greeal, ci a calculat coeficienii ca i cum modelul ar fi unul bun.

IMPORTANT! Ecuaia de regresie nu poate n nici un caz s stabileasc o relaie de cauzalitate. Ecuaia este doar un model matematic care ne ajut s testm un model teoretic, ns stabilirea modelului este sarcina analistului, nu a calculatorului. Rezultatele din tabelul ANOVA al ecuaiei de regresie sunt echivalente cu cele din testul t de mai sus. Fiecare valoare a lui x este interpretat ca un grup i se testeaz dac panta dreptei de regresie este egal cu zero prin compararea mediilor acestor grupuri. Dac mediile tuturor grupurilor nu sunt semnificativ diferite ntre ele atunci dreapta de regresie are o pant egal cu zero. Dac cel puin dou grupuri au medii diferite, atunci panta va fi diferit de zero. G.L. 1 148 Suma Ptratelor 24987,5 4010,1 Variana 24987,5 27,1 F 922,2 p < 2,2e-16 ***

ntre grupuri n interiorul grupurilor

Dup cum se poate vedea, valoarea lui p corespunztoare coeficientului b este virtual aceeai (o diferen extrem de mic se manifest dup cea de a 16-a zecimal). Variana dintre grupuri este variana explicat de modelul de regresie, iar cea din interiorul grupurilor este variana rmas neexplicat (ea mai este denumit i varian rezidual). Valoarea lui F este raportul dintre variana explicat de modelul de regresie (n englez Regression Mean Squares) i variana neexplicat de model (n englez Residual Mean Squares sau Error Mean Squares) .

Adrian Dua Universitatea din Bucureti pag.19 din 28

2. Pentru a face o inferen asupra parametrilor din populaie. Valorile lui a i b sunt estimri punctuale ale parametrilor i . Dup cum tim ns, exist i o estimare interval bazat pe calcului erorii standard, la un anumit nivel de ncredere. tim deja c la un nivel de ncredere de 95%, parametrul din populaie se afl ntre +/- 1,96E.S. n jurul statisticii din eantion. n cazul nostru, valoarea termenului liber din populaie se afl n intervalul: [4,5103 - 1,961,5780 , 4,5103 - 1,961,5780] adic [1,42 , 7,60]. n cazul coeficientului de regresie din populaie , intervalul este: [0,9263 - 1,960,0305 , 0,9263 - 1,960,0305] adic [0,87 , 0,99]. Pe baza acestor estimri de tip interval, am aflat aadar c termenul liber al dreptei de regresie din populaie poate fi oriunde ntre 1,42 i 7,60 iar panta (nclinarea) dreptei de regresie din populaie este dat de o valoare a lui ntre 0,87 i 0,99. Rezultatul va fi o band n jurul dreptei de regresie din eantion, unde estimm c se afl dreapta de regresie din populaie. Ca exemplu, vom utiliza un vrstele unui eantion de 30 de cupluri cstorite, extrase n mod aleator din Barometrul de Opinie Public mai 2003.
Figura 12. Dreapta de regresie din eantion i intervalul estimat n care se afl dreapta de regresie din populaie, la un nivel de ncredere de 95%
85 Varsta sotiei 15 15 25 35 45 55 65 75

25

35

45

55

65

75

85

Varsta sotului

n cazul unui eantion de mrime relativ mic, cum este acesta, banda de estimare este destul de deprtat de dreapta de regresie. Cu ct volumul eantionului se mrete, banda va fi din ce n ce mai apropiat de dreapt, la eantioane mari fiind aproape lipit de aceasta. Explicaia este destul de simpl ntruct mrirea eantionului determin o scdere a erorii standard, care ngusteaz intervalul de estimare. Se observ c banda este ngustat la mijloc; este normal s fie aa ntruct acolo se afl mediile celor dou variabile, cele mai stabile puncte de predicie i inferen. Ca o explicaie intuitiv, banda de estimare este obinut cu ajutorul unui balansoar fixat la mijloc pe mediile celor dou variabile; capetele benzii sunt mai largi din cauza micrii n sus i n jos a balansoarului.

Adrian Dua Universitatea din Bucureti pag.20 din 28

H. Asumpiile regresiei Regresia linear este o tehnic statistic care ofer rezultate corecte dac i numai dac sunt verificate anumite asumpii (sau condiii de aplicare). Pentru fiecare asumpie exist una sau mai multe metode de verificare a ndeplinirii acestora. n cele mai multe cazuri, analistul ignor verificarea acestor asumpii: aceasta este o greeal grav, pentru c rezultatele obinute (coeficienii de regresie, coeficientul de corelaie precum i cel de determinaie) pot lua valori destul de diferite de ceea ce exist n realitate dac analiza de regresie este efectuat prin nclcarea acestor asumpii. n general, regresia este destul de robust la nclcarea unor asumpii, ns verificarea acestora este totui o etap foarte important n analiz. Toate asumpiile se refer la variabilele n populaie. ASUMPII GENERALE: 1. Variabilele au un nivel de msurare metric. Dup cum vom vedea la regresia multipl, putem introduce n ecuaia de regresie i variabile calitative, prin transformarea categoriilor acestora n variabile dummy. 2. S nu avem eroare de msurare. Erori de msurare la nivel de variabil apar fie atunci cnd respondenii nu ofer rspunsurile adevrate, fie cnd operatorii de teren nu nregistreaz datele n mod corect ori cnd operatorii de calculator nu introduc datele aa cum au fost nregistrate. Dei este destul de dificil s eliminm toate aceste probleme, o bun coordonare a cercetrii prin verificri la toate etapele poate s duc la o reducere substanial a erorilor de acest tip. 3. Linearitatea. Este o prim asumpie care a fost deja specificat n acest capitol; se refer la forma linear a norului de puncte. Linearitatea se verific prin examinarea vizual a norului de puncte. Dac forma acestuia nu este linear, pot exista dou situaii: - norul de puncte este non-monoton (scade, crete apoi scade iar) - norul de puncte este monoton (scade monoton ori crete monoton) Cazul ne-liniar monoton poate fi corectat prin transformrile variabilelor (spre exemplu prin logaritmare); aceste transformri ns nu fac obiectul acestui curs. n cazul ne-liniar non-monoton trebuie aplicat un alt tip de regresie, ne-linear. ASUMPII CU PRIVIRE LA EROAREA DIN ECUAIA DE REGRESIE: 4. Media erorilor pentru fiecare valoare a lui X este egal cu zero. Relund exemplul cu cheltuielile i veniturile gospodriilor, dac am avea o baz de date cu ntreaga populaie de gospodrii, este uor de imaginat c pot exista foarte multe gospodrii cu un venit de 2 milioane de lei. Dreapta de regresie va genera o predicie a cheltuielilor (un punct fix) fa de care cheltuielile gospodriilor cu un asemenea venit vor avea erori mai mari sau mai mici, unele pozitive i altele negative. Suma tuturor acestor erori trebuie s fie egal cu zero, n consecin i media acestor erori va fi egal cu zero. Important este accentul pus pe medie deoarece punctul de predicie de pe dreapta de regresie coincide cu Y|2 - media tuturor cheltuielilor pentru un venit de 2 milioane de lei. Y|2 = + 2 + Cum ns media erorilor este egal cu zero, rezult c Y|2 = + 2

Adrian Dua Universitatea din Bucureti pag.21 din 28

unde + 2 este chiar punctul de predicie a cheltuielilor pentru un venit de 2 milioane de lei, iar Y|X se citete media lui Y dat fiind X (n cazul nostru Y = Cheltuieli iar X = 2 milioane lei Venit). 5. S nu avem autocorelaie. Autocorelaia se refer la independena erorilor; dac avem autocorelaie, erorile asociate cu diferite observaii nu sunt independente unele de altele. n exemplul nostru, oricare dou gospodrii ar fi luate n analiz, erorile fa de dreapta de regresie trebuie s fie independente unele de altele; cheltuielile unei gospodrii nu depind (sau sunt independente) de cheltuielile oricrei alte gospodrii. Autocorelaia se verific cu testul Durbin-Watson. Pentru a nu avea autocorelaie, valoarea testului trebuie s fie egal cu 2 (sau ct mai aproape de 2). Dac valoarea testului este mai mare dect 2, avem autocorelaie negativ; dac este mai mic dect 2, avem autocorelaie pozitiv. 6. Normalitatea distribuirii erorilor. n populaie, pentru fiecare valoare a lui X, erorile n jurul punctului de predicie trebuie s fie distribuite normal. Ne reamintim c o distribuie normal este simetric, valorile din stnga mediei fiind la fel de multe ca valorile din dreapta mediei. Aceast asumpie este legat de asumpia numrul 4; media lui Y (pentru o anume valoare a lui X) este chiar punctul de predicie, iar suma erorilor cu semn pozitiv este egal cu suma erorilor cu semn negativ (suma total a erorilor este astfel zero). Aceast asumpie poate fi testat prin efectuarea de histograme a valorilor lui y pentru diferite sub-eantioane corespunztoare diferitelor valori ale lui x. n exemplul cu veniturile i cheltuielile, selectm spre exemplu doar gospodriile cu venit de 2 milioane de lei i efectum o histogram a cheltuielilor acestor gospodrii. Dac histograma are o form care seamn cu o curb normal, este bine; dac histograma nu seamn cu o curb normal, nseamn c erorile nu sunt distribuite normal pentru aceste gospodrii. Un alt test pentru verificarea acestei asumpii este aa numitul grafic Q-Q Plot (quantile versus quantile). Se ordoneaz erorile de la minim la maxim pentru calcularea quantilelor, apoi se calculeaz valoarea prezis a fiecrei quantile. Rezultatul este un plot care va arta, dac erorile au o distribuie normal, aproximativ ca o dreapt.
Figura 13. Q-Q Plot pentru erorile modelului de regresie
2 Valori reziduale standardizate -2 -1 0 1

-2

-1

Valori prezise standardizate

n graficul de mai sus am reluat puin exemplul cu veniturile i cheltuielile a celor 10 gospodrii (fiecare cu venit propriu, diferit de al celorlalte). ntruct 10 cazuri erau prea puine pentru demonstraie, am creat un eantion cu cte 15 gospodrii pentru fiecare categorie de venit, totaliznd 1015=150 gospodrii prezente n grafic.

Adrian Dua Universitatea din Bucureti pag.22 din 28

7. S nu avem heteroscedasticitate. Heteroscedasticitatea se refer la inegalitatea abaterilor standard a erorilor. n populaie, pentru fiecare valoare a lui X, erorile n jurul punctului de predicie trebuie s aib aceeai valoare a abaterii standard (caz n care avem ceea ce se numete homoscedasticitate). Spre exemplu, abaterea standard a erorilor pentru gospodriile cu venit egal cu 2 milioane trebuie s fie egal cu abaterea standard a erorilor pentru gospodriile cu oricare alt venit. Egalitatea acestor abateri standard nseamn c norul de puncte este distribuit uniform, la o distan egal fa de dreapta de regresie pe toat lungimea acestuia. Oricare puncte pe X le-am lua n considerare, dispersarea valorilor lui Y n jurul dreptei de regresie este egal. 8. Variabila independent nu este corelat cu eroarea. n ecuaia: y = a + bx + e, coeficientul de corelaie dintre x i e trebuie s fie egal cu zero: rxe = 0. La prima vedere aceast asumpie ar prea imposibil de testat pentru c nu eroarea este n principiu necunoscut. Rezolvarea acestei probleme ine de teoria regresiei multiple i de o anume asumpie specific acesteia: S nu existe erori de specificare (vezi asumpiile din capitolul de regresie multipl). S presupunem c exist i o alt variabil independent care explic o parte din variaia dependentei: y = a + b1x1 + b2x2 + e (vezi modelul de la pagina 1) i c ntre x1 i x2 exist un coeficient de corelaie r12 0. n cazul regresiei simple nu lum n calcul dect pe x1, ceea ce nseamn c efectul lui x2 intr n componena erorii e. Cum x1 i x2 sunt corelate, nseamn c x1 va fi corelat cu eroarea e (care l conine i pe x2), caz n care prezenta asumpie este nclcat. Coeficientul de regresie b va fi eronat (va conine un bias), supraestimnd efectul lui x1 asupra lui y. Aproape ntotdeauna vor exista i alte variabile independente responsabile de variaia dependentei, ceea ce nseamn c un model de regresie liniar simpl este aproape ntotdeauna mai mult sau mai puin eronat. Este normal s fie aa, pentru c este greu de crezut c un fenomen este explicat n totalitate de un singur alt fenomen; realitatea social este extrem de complex, cu legturi subtile ntre multiple variabile. Urmtorul grafic prezint distribuia celor 150 de gospodrii de la Figura 13, n care se observ 10 linii punctate verticale (corespunztoare celor 10 categorii de venit conform Tabelului 2) i pe fiecare dintre acestea cte 15 puncte roii corespunztoare celor 15 gospodrii din fiecare categorie. Dreapta de regresie are acelai termen liber i aceeai pant ca la Figura 9. Liniile de culoare albastr marcheaz plus sau minus dou abateri standard de la dreapta de regresie.
Figura 14. Distribuia homoscedastic a 150 de cheltuieli n cadrul a 10 categorii de venituri (milioane lei)
5 Cheltuieli 0 0 1 2 3 4

2 Venituri

Adrian Dua Universitatea din Bucureti pag.23 din 28

Norul de puncte este distribuit normal n jurul dreptei de regresie; mai mult dect att, distribuia punctelor este uniform n jurul dreptei de regresie, la cel mult dou abateri standard. Sigur, acesta este un exemplu construit; cele 150 de gospodrii pe axa 0y au fost obinute prin extragerea aleatoare dintr-o distribuie normal n jurul fiecrui punct de predicie de pe dreapta de regresie. Faptul c nici o distribuie nu seamn cu cealalt demonstreaz tocmai caracterul aleator al extragerilor. n populaie, numrul de categorii de venituri precum i numrul de gospodrii n cadrul fiecrei categorii este mult mai mare, ns cu ct numrul acestora crete cu att mai puternic este aproximarea distribuiei normale pentru fiecare categorie de venit, demonstrnd grafic asumpiile 4, 6 i 7. Urmtoarea figur prezint un caz clasic de heteroscedasticitate. Abaterea standard a erorilor n jurul dreptei de regresie nu este egal pentru toate valorile pe axa 0x. Este uor de observat c, pe msur ce veniturile cresc, punctele sunt mai dispersate n jurul dreptei de regresie; n consecin, abaterile standard a erorilor cresc. Forma norului de puncte este conic (sau are o form de evantai), deci avem heteroscedasticitate; asumpia fiind nclcat, regresia poate fi efectuata cu meniunea c erorile standard ale coeficienilor de regresie vor fi ns mai mari.
Figura 15. Distribuia heteroscedastic a 150 de cheltuieli n cadrul a 10 categorii de venituri (milioane lei)
5 Cheltuieli 0 0 1 2 3 4

Venituri

Testul cel mai utilizat n verificarea heteroscedasticitii este un plot ntre valorile prezise (de pe linia de regresie) i reziduuri (erorile de la puncte la linia de regresie). n acest plot, dreapta de regresie este prezentat pe orizontal la mijlocul graficului; dac nu avem heteroscedasticitate, norul de puncte rezultat ar trebui s fie uniform n jurul acestei drepte.
Figura 16. Plot ntre valorile reziduale i valorile prezise pentru gospodriile corespunztoare Figurii 14.
0.4

Figura 17. Plot ntre valorile reziduale i valorile prezise pentru gospodriile corespunztoare Figurii 15.
1.5 Valori reziduale

0.2

Valori reziduale

0.0

-0.2

-0.4

1.5

2.0

2.5

3.0

-1.5 1.5

-1.0

-0.5

0.0

0.5

1.0

2.0

2.5

3.0

Valori prezise

Valori prezise Adrian Dua Universitatea din Bucureti pag.24 din 28

Spre exemplu, n Figura 14 punctele sunt foarte aproape unele de altele astfel nct nu ne putem da seama dac distribuiile sunt ntr-adevr normale n jurul dreptei de regresie. Figura 16 prezint aceste puncte mai desfurat; acum se observ mai uor c cele 10 grupe de venit (pe vertical) sunt relativ normal distribuite n jurul liniei orizontale (dreapta de regresie). Pe axa vertical avem 0 n mijloc, valorile pozitive arat erorile pozitive iar valorile negative arat erorile negative. n cazul Figurii 17 se observ clar c punctele au o form conic (sau o form de evantai) specific heteroscedasticitii; cele din stnga au o variaie mic n jurul dreptei iar cele din dreapta au o variaie mare n jurul aceleiai drepte. Practic, plotul ntre valorile prezise i cele reziduale nu face altceva dect s aduc dreapta de regresie ntr-o poziie orizontal pentru ca simplificarea analizei vizuale a norului de puncte.

Cercettorii, oamenii de tiin n general folosesc regresia ntr-un dublu scop: unul este de predicie, cellalt este de explicaie. Pn acum ne-am preocupat n special de problema prediciei. Explicaia ns este mult mai interesant, deoarece ofer o aplicaie n cercetarea fundamental. Predicia se poate folosi, spre exemplu, n prezicerea procentelor ntr-o campanie electoral. Interesul public se oprete n general doar la acest lucru, fr a ine cont neaprat de explicarea fenomenului. Partea cu adevrat interesant, cel puin din punct de vedere sociologic, se afl n explicarea acestuia. n acest sens, regresia este folosit pentru a testa consistena unui model n ceea ce privete explicarea variaiei dependentei. Accentul trece de la exactitatea valorii prezise a lui y la mrimea valorii lui r2. Cele dou orientri sunt evident strns legate: un model care face o predicie bun va face i o explicaie bun. Este bine de subliniat ns c o predicie bun poate fi datorat (ntr-o msur mai mare sau mai mic) i ntmplrii. O bun explicaie bun ns (o valoare a lui r2 mare bazat pe un model teoretic solid), va genera ntotdeauna i o bun predicie.

Adrian Dua Universitatea din Bucureti pag.25 din 28

*** urmtoarea seciune nu este obligatorie pentru materia de la curs *** I. Eroarea standard a estimrii Eroarea standard a estimrii este o msur a acurateei prediciei realizate cu ajutorul dreptei de regresie. Urmnd acelai principiu ca n formula abaterii standard, ridicm la ptrat erorile pentru c altfel se anuleaz reciproc, apoi le nsumm; obinem:

(y
i =1

y 'i ) 2

Aa cum variana este o medie a ptratelor distanelor de la fiecare valoare la media variabilei, la fel ne intereseaz o valoare medie a ptratelor erorilor (de la valorile observate la dreapta de regresie):

(y
i =1

y 'i ) 2 n

Deoarece pierdem dou grade de libertate prin calcularea coeficienilor de regresie a i b (orice valoare prezis a lui y se calculeaz cu ajutorul formulei: y = a + bx), formula devine:

(y
i =1

y 'i ) 2

n2
Pentru a elimina efectul ridicrii la ptrat, extragem radical din aceast expresie i obinem:
n

se =

(y
i =1

y 'i ) 2
[12]

n2

unde se este denumit eroarea standard a estimrii; msoar abaterea standard a lui y atunci cnd valorile lui x sunt cunoscute. IMPORTANT! A nu se confunda eroarea standard a estimrii cu Eroarea Standard din Teorema Limit Central (care nseamn abaterea standard a distribuiei de eantionare). Expresia eroarea standard a estimrii este doar o form mai simpl a expresiei abaterea standard a erorilor n jurul dreptei de regresie. Este o msur a variaiei neexplicate; cu ct aceast msur are o valoare mai mic, cu att proporia de variaie neexplicat este mai mic (i evident, proporia de variaie explicat este mai mare). Este o formul similar cu abaterea standard a lui y:

sy =

(y
i =1

y)2
[13]

n 1

Observai c la formula deviaiei standard mprim la n-1, deoarece pierdem doar un singur grad de libertate prin calcularea mediei. Ambele msuri (sy i se) se refer la variaia neexplicat a lui y.

Adrian Dua Universitatea din Bucureti pag.26 din 28

Glosar de termeni:

Coeficient de corelaie linear sau coeficient Bravais-Pearson (n engl. linear correlation coefficient). Radical din coeficientul de determinaie; semnul acestuia arat direcia relaiei dintre dou variabile, iar valoarea lui arat intensitatea asocierii acestora. Este o msur simetric a intensitii relaiei lineare dintre dou variabile; se mai poate calcula cu ajutorul formulei lui Pearson. Coeficient de determinaie (n engl. coefficient of determination). O msur care arat proporia din variaia variabilei dependente care este explicat de modelul de regresie. Coeficient de regresie b (n engl. regression coefficient). Coeficientul care arat efectul variabilei independente x asupra variabilei dependente y. Mrimea acestui coeficient depinde de unitatea de msur a lui x, i specific schimbarea n medie a lui y asociat cu schimbarea de o unitate a lui x. Coeficient de regresie standardizat (n engl. standardized regression coefficient). Echivalentul coeficientului de corelaie; prin standardizarea variabilelor coeficientul de regresie devine egal cu coeficientul de corelaie deoarece abaterile standard ale celor dou variabile devin egale. Covariaie (n engl. covariance). Variaia comun a dou variabile. Eroare sau Reziduu (n engl. random error term sau residual). Diferena dintre valoarea observat (punctul din diagrama de mprtiere) i cea prezis (punctul de pe dreapta de regresie) a lui y. Metoda celor mai mici ptrate (n engl. OLS ordinary least squares method). O metod de calcul a coeficienilor de regresie bazat pe potrivirea unei linii drepte printr-un nor de puncte (cu alte cuvinte calcularea unui punct de plecare i a unei pante a dreptei) n aa fel nct suma ptratelor erorilor s fie un numr minim. Model determinist (n engl. deterministic model). Model care d o relaie exact ntre dou variabile. Variabila independent determin cu exactitate variabila dependent. Model probabilist (n engl. probabilistic model). Model care ofer o relaie probabil ntre dou variabile; variabila independent nu prezice cu exactitate variabila dependent, ci cu o certitudine mai mare sau mai mic, n funcie de intensitatea relaiei dintre cele dou. Nor de puncte sau diagram de mprtiere (n engl. scatterplot, scattergram sau scatter diagram). Un grafic de puncte pe un sistem de coordonate rectangular. Coordonatele pe axele 0x i 0y ale fiecrui punct corespund celor dou msurtori fcute fiecrui element al eantionului. Forma norului de puncte ilustreaz relaia dintre dou variabile. Termenul liber (n engl. intercept). Punctul n care dreapta de regresie intersecteaz axa 0y (valoarea lui y cnd x este egal cu zero). Panta dreptei (n engl. slope). O constant n ecuaia unei drepte, a crui valoare reprezint ct de mult se schimb variabila dependent la o schimbare cu o unitate a variabilei independente. Valoare observat (n engl. observed value). Valoarea nregistrat a lui y (pentru o anumit valoare nregistrat a lui x) n urma aplicrii unui instrument de cercetare.

Adrian Dua Universitatea din Bucureti pag.27 din 28

Valoare prezis / ateptat (n engl. predicted / expected value). Valoarea calculat a lui y (pentru o anumit valoare nregistrat a lui x) cu ajutorul modelului de regresie simpl. Variabil dependent (n engl. dependent variable). Variabila a crei variaie trebuie explicat, ori a crei valoare trebuie prezis n analiza de regresie. Variabil independent (n engl. independent variable). Variabil cunoscut, inclus n analiza de regresie pentru a explica variaia variabilei dependente. Variaie (n engl. variation). Suma abaterilor indivizilor de la medie. Pentru msurarea ei utilizm variana (n engl. variance) sau abaterea standard (n engl. standard deviation). Variaia explicat - VE (n engl. regression sum of squares). Poriunea din VT explicat de modelul de regresie. Este suma ptratelor diferenelor dintre valorile prezise a lui y i media lui y. Variaia neexplicat - VN (n engl. error sum of squares). Poriunea din VT rmas neexplicat de modelul de regresie. Este suma ptratelor diferenelor dintre valorile prezise i cele observate ale lui y. Variaia total - VT (n engl. total sum of squares). Suma ptratelor deviaiilor valorilor observate a lui y de la media acestuia.

Adrian Dua Universitatea din Bucureti pag.28 din 28