Capitolul 9 ELEMENTE DE TEORIA CORELAIEI I REGRESIEI Una din principalele probleme ale teoriei probabilitilor i statisticii matematice este

cea a studiului dependenei dintre dou sau mai multe variabile. Dou sau mai multe variabile pot fi sau independente sau dependente funcional sau dependente stochastic. Prin dependena funcional ntre Y i X1, X2,, Xn nelegem o aplicaie f care asociaz fiecrui (x1, x2,,xn) E un element Y F i numai unul, adic: Y = f(x1, x2,,xn) Exemple de dependen funcional se ntlnesc n toate domeniile n care pare T modelul matematic. Un astfel de exemplu l poate constitui legea gazelor perfecte P = R , V unde R este o constant caracteristic gazului. Dependena funcional poate exista i ntre variabile aleatoare, aa, de exemplu, avem variabila Student: X t ( n) = 1 n 2 x n j =1 j unde X, X1, X2,,Xn sunt variabile aleatoare independente repartizate normal N(0;1). De asemenea, 2 ( n1 ) / n1 F ( n1 , n2 ) = 2 , ( n 2 ) / n2

unde 2 ( n1 ) i 2 ( n2 ) sunt variabile hi ptrat independente. ntre variabilele aleatoare poate exista i o alt dependen dependena stochastic pe care o vom studia n cele ce urmeaz. O astfel de dependen apare atunci cnd acioneaz factori externi att asupra unei variabile, ct i asupra celeilalte (celorlalte). Acetia determin o anumit legitate probabilistic a variabilelor (X, Y, Z, ). Vom spune c ntre variabilele X1, X2,,Xn exist o dependen stochastic, dac se d legea de repartiie a vectorului aleator (X1, X2,,Xn), care d posibilitatea stabilirii legilor de repartiie condiionate. Aceast dependen i gsete o aplicaie fundamental n prognoz, adic n indicarea limitelor n care cu un anumit nivel de ncredere se va gsi o variabil, dac celelalte, cu care se afl n legtur stochastic, iau valori bine determinate. S studiem dependena stochastic n cazul a dou variabile aleatoare X i Y discrete, caz ntlnit deosebit de frecvent n aplicaii, apoi s menionm modul cum se obin rezultatele corespunztoare n cazul continuu. Fie vectorul aleator (X,Y) cu repartiia: ( x, y) ( X , Y ) : , ( x, y) I x J , p( x , y ) unde am pus p(x,y) = P(X=x; Y=y) De aici se obin probabilitile marginale: P( X = x ) = p( x ) , P( Y = y ) = p( y ) p( x ) = p( x , y ) ; x I
p( y ) =
y J
x I

p( x, y); y J

i repartiiile marginale: x y X : , x I ; Y: , y J P( x ) P( y ) Probabilitile condiionate sunt date de: p( x / y ) =

p( y / x ) =

p( x / y ) p( y )

, dac p(y) 0,

p( x / y ) , dac p(x) 0. p( x ) Problemele practice cer adesea s se stabileasc cum variaz media unei variabile, cnd cealalt ia o valoare determinat. S observm mai nti c dac variabilele aleatoare X i Y sunt independente, atunci p(x,y) = p(x)p(y) pentru orice x I i y J i reciproc. Rezult de aici c p(x/y) = p(x), p(y/x) = p(y). Definiie. Se numete regresie a lui Y asupra lui X, M ( Y / X = x ) = y( x ) . Se numete regresie a lui X asupra lui Y: M ( X / Y = y ) = x( y ) . Din definiie rezult: M ( Y / X = x ) = M ( Y / x ) = y( x ) = yp( y / x )
M ( X / Y = y ) = M ( x / y ) = x( y ) =

xp( x / y)
x I

y J

Observaie. Dac variabilele X i Y sunt independente, atunci: M ( Y / X = x ) = y( x ) = a y (constant)

Y asupra variabilei X. Analog, locul geometric al punctelor ( y , x( y ) ) poart numele de curb de regresie a variabilei X asupra variabilei Y. Se observ imediat c aceste curbe de regresie mai pot fi exprimate astfel: yp( x, y) p( x , y ) y J y( x ) = yp( y / x ) = y = p( x ) y J y J p( x, y)
y J

Locul geometric al punctelor ( x , y( x ) ) poart numele de curb de regresie a variabilei

M ( X / Y = y ) = x( y ) = a x (constant)

xp( x, y) x( y ) = xp( x / y ) = p( x, y)
x I x I x I

n jurul mediilor condiionate, ca i n jurul mediilor obinuite, mprtierea este supus de fiecare dat unei legi de repartiie determinat, lege care depinde pentru fiecare variabil de valoarea luat de cealalt variabil. S vedem cum msurm mprtierea valorilor variabilei Y n jurul mediei condiionate y( x ) . Prin definiie: 2 D 2 ( Y / x ) = 2 y / x = ( y y( x ) ) p( y / x )
y J

Odat cu curba de regresie y( x ) avem i curba dispersiilor condiionate 2 y / x , numit i linia schedastic.

Analog, pentru variabila X avem: 2 D 2 ( X / y ) = 2 x / y = ( x x( x ) ) p( x / y )

x I

Media condiionat introduce repartiia: y( x ) ,x I p( x ) i, de aici: M ( y( x ) ) = y( x ) p( x ) = p( x ) yp( y / x ) =

x I x I y J

x I y J

yp( y / x) p( x) = yp( x / y) = M ( Y ) = a
x I y J

(constant) i:

D 2 ( y( x ) ) = y ( x ) =

( y( x ) a )
x I y

p( x )

Relaiile anterioare pentru media condiionat x( y ) i: x( y ) , y J ; M x( y ) = xp( x , y ) = M ( x ) = a x (constant) x I p( y )

y J

i:

2 D 2 x( y ) = x ( y ) =

y J

( x( y) a ) p( y)
2 x

Dac lum acum n consideraie repartiia: 2 y / x ,x I p( x ) Suntem condui la valoarea medie: 2 2 2 M y / x = y / x p( x ) = y / x

x I

pe care o vom numi dispersie condiionat medie. Am introdus, aadar, relativ la componenta Y a vectorului aleator (X,Y) urmtoarele dispersii: 2 2 2 y , y( x ) , y / x
ntre aceste dispersii are loc egalitatea: 2 2 2 y = y( x ) + y / x
2 y = y a y p( y) = y a y 2 y J y J

Demonstraie:

) p( x) p( y / x) = ( y a )
2 x I x I y J y

p( x) p( y / x) = y a y p( y / x)
2 xI

ns: i, de aici:

( y a ) = ( y y( x ) )
2 y 2 y J y

+ 2( y y( x ) ) y( x ) a y + y( x ) a y
2

) (

( y a ) p( y / x) = ( y y( x) p( y / x) ) + 2( y( x) a ) ( y( x) a )
y J y y J y y J

Cum: ( y y( x) ) p( y / x) =
y J

yp( y / x) y( x) p( y / x) = y( x) y( x) = 0,
y J

avem:
2 y = x J 2

p( x) ( y y( x) ) p( y / x) + ( y( x) a ) p( y / x) =
2 2 y J y J y

D
x I

( Y / x ) p( x ) + y( x ) a y
x I

) p( x) p( y / x) =
2 y J

y( x ) + y / x
2

9.1. Raportul de corelaie Prin definiie, raportul de corelaie al variabilei Y n raport cu X, notat y / x , este dat de:

2 y/ x

Analog, raportul de corelaie al variabilei X n raport cu Y, notat x / y , este dat de:

2 2 x / y x( y ) = 1 2 = 2 x x Se vede imediat c 0 y / x 1, dac se convine s se ia raportul de corelaie pozitiv 2 x/ y

2 2 y / x y( x ) = 1 2 = 2 y y

sau nul. Raportul de corelaie este un indicator numeric al intensitii legturii de corelaie ntre variabilele X i Y. Proprietile raportului de corelaie: (1) Dac ntre variabilele X i Y exist o dependen univoc, atunci: 2 y/ x = 1 ntr-adevr, n acest caz nu exist mprtiere n jurul curbei de regresie y( x ) , cci unica valoare a variabilei Y pentru X = x coincide cu y( x ) . 2 (2) Dac y / x = 1, atunci Y este funcie univoc de X.
2 ntr-adevr, dac y / x = 1 rezult c y / x = 0 i, drept urmare, nu exist mprtiere n jurul curbei de regresie. Deci, fiecrei valori x a lui X i corespunde o valoare determinat Y = y( x ) . 2 (3) Dac x i y sunt necorelate, atunci: y / x = 0 . ntr-adevr, necorelarea variabilei Y n raport cu X nseamn c media condiionat ( x ) este constant: y y( x ) = M ( Y ) = a y 2 2 Deci, n acest caz, y ( x ) = 0 i, de aici, y / x = 0 .
2 n particular, y / x = 0 dac Y nu depinde de X, cci atunci y( x ) = a y . 2 (4) Dac y / x = 0 , atunci Y este necorelat cu X, adic y( x ) = M ( Y ) = const .

ntr-adevr,

2 y/ x

2 y( x )

y( x ) = a y = const . 2 2 S observm c ntre x / y i y / x nu exist nici o legtur. Se poate ca unul din coeficieni s ia valoarea zero, iar cellalt valoarea 1, cu toate consecinele ce se deduc din

2 y

=0

conduce

la

2 y ( x ) = 0 , ceea ce nseamn c

2 2 proprietile raportului de corelaie. Dac, ns, y / x = x / y = 1, atunci dependena funcional a lui Y n raport cu X este monoton.

9.2. Coeficientul de corelaie Un alt indicator ce msoar existena i intensitatea legturii stohastice este coeficientul de corelaie. S considerm variabilele aleatoare X i Y, despre care presupunem c au dispersii finite D 2 ( X ) < , D 2 ( Y ) < . Atunci definim corelaia variabilelor X i Y, sau covariana lor, i o vom nota xy = cov ( X , Y ) .

xy = cov ( X , Y ) = M ( X M ( x ) ) ( Y M ( y ) ) = M ( X , Y ) M ( X ) M ( Y ) XY = XY D( X ) D( Y )

Coeficientul de corelaie al variabilelor X i Y este, prin definiie:

Proprietile coeficientului de corelaie: (i) Dac variabilele X i Y sunt independente, atunci: XY = 0. Reciproc nu este adevrat. (ii) Oricare ar fi variabilele aleatoare X i Y, avem: 1 XY 1 (iii) Dac XY = 1, atunci ntre X i Y exist o relaie liniar, adic Y = aX + b, cu a =, b constante i reciproc. S demonstrm aceste proprieti: (i) Cum XY = M ( XY ) M ( X ) M ( Y ) i cum prin ipotez X i Y sunt independente, rezult c: M ( XY ) = M ( X ) M ( Y ) i, de aici, XY = 0 , adic XY = 0. Variabilele aleatoare X i Y pentru care XY = 0 se zic necorelate. Dac se consider vectorul aleator (X,Y), cu repartiia: Y X -1 0 1 0 2 9 3 9 2 9 7 9 1 1 9 0
1 9 2 9
1 3 1 3 1 3

Se constat imediat c M ( XY ) =

2 1 1 + = 0; M ( Y ) = , M ( X ) = 0 . 9 9 9 Deci, X ,Y = 0, dei variabilele aleatoare X i Y nu sunt independente. 1 7 = P( X = 0) P( Y = 0) . Se constat imediat c P( X = 0, Y = 0) = 3 27

(ii) Din definiia coeficientului de corelaie i din inegalitatea lui Schwartz obinem:

M [( X M ( X ) )( Y M ( Y ) )] M ( X M ( X ) )
Se observ c dac Y = X, atunci: X , X atunci: X , X =
M ( X M ( X ) )
2

( [

] ) ( M [( Y M ( Y ) ) ] ) = D( X ) D( Y ) M [( X M ( X ) ) ] = = 1 i dac Y = - X,
2 2
2

1 2

1 2

D ( X) adic sunt atinse valorile extreme. (iii) S artm c dac X ,Y = 1, atunci ntre X i Y exist o relaie liniar i reciproc. S presupunem c Y = aX + b. Atunci M ( Y ) = aM ( X ) + b i: 2 M [ ( X M ( X ) ) ( aX + b aM ( X ) b) ] M a( X M ( X ) ) X ,Y = = = D( X ) D( aX + b) a D2 ( X ) 1 , a < o aD 2 ( X ) = =0 , a=0 a D2 ( X ) 1 , a>0 S presupunem acum c = 1 i s notm: X M( X ) Y M(Y) X '= ,Y ' = D( X ) D( Y ) Se constat c: M ( X ' Y ') = xy = 1 i c: 2 2 M ( X M( X )) M (Y M (Y )) 2 M X 'Y ' = + 2 M ( X ' Y ') D2 ( X ) D2 (Y ) Deci: 2 M X 'Y ' = 2 2( 1) = 0 , de unde rezult c X 'Y ' = 0 aproape peste tot pe . De aici obinem: Y M (Y) X M( X ) = Y ' = X ' , adic , sau: D( Y ) D( X ) D( Y ) ( X M( X )) , Y = M(Y) D( X ) ceea ce dovedete afirmaia. Dreptele: x M( X ) y M(Y) = D( X ) D( Y ) y M(Y) x M( X ) = D( Y ) D( X ) se numesc drepte de regresie i trec prin punctul ( M ( X ) , M ( Y ) ) .

] = 1 ,

D2 ( X )

)
)

9.3. Corelaie i dependen stohastic n cazul variabilelor continue S considerm vectorul aleator (X,Y), cu densitatea de repartiie f(x,y). Atunci:
M ( Y / x ) = y( x ) = yf ( y / x ) dy ,
f ( x, y) ; f 1 ( x ) = f ( x , y ) dy f 1 ( x) sunt respectiv densitatea de repartiie condiionat i densitatea de repartiie marginal. Cu acestea mai putem scrie:

unde:

f ( y / x) =

M ( Y / x) = Analog:

yf ( x, y) dy f ( x, y) dy

2 Y/x

= D ( Y / x) =
2

[ y M ( Y / x)] f ( y / x) dy
2

i, de aici, dispersia condiionat medie: 2 2 ( x ) dx = ( y M ( Y / x ) ) f ( y / x ) dy f 1 ( x ) dx = Y / X = Y / x f1

[ y M ( Y / x)] f ( x, y) dxdy
2

n fine, dispersia mediilor condiionate este:

2 y ( x ) = [ M ( Y / x ) M ( Y ) ] f 1 ( x ) dx 2

S punem n eviden o proprietate general a curbei de regresie i anume: Propoziie. Curba de regresie are proprietatea c: 2 M ( Y M ( Y / x ) ) = min

i, analog:

M X M ( X / y)

[(
[

] = min
reprezint abaterea ptratic medie de la curba u(x) i
2

Demonstraie. Fie u(x) o curb oarecare i s considerm: 2 2 2 M ( Y u( x ) ) = ( y u( x ) ) f ( x , y ) dxdy = ( y u( x ) ) f ( y / x ) dy f 1 ( x ) dx R2

Cum

2 cum pentru variabila unidimensional avem x M [ ( X a ) ] cu egalitate dac i numai

( y u( x) ) f ( y / x) dy
2

dac a = M ( X ) , rezult c M ( Y u( x ) )

] = min dac i numai dac u( x) = M ( Y / x) .

Exemplul 1. Se consider vectorul aleator (X,Y) cu densitatea de repartiie e y daca 0 x < , x x < f ( x, y) = 0 in rest S se determine curbele de regresie M(Y/x) i M(X/y). Soluie. Conform definiiei:

M ( Y / x ) = yf ( y / x ) dx

ns: f 1 ( x) = i de aici:

f ( x, y) dy = e y dy = e x
x

e x y daca 0 x y < f ( y / x) = 0 in rest Urmeaz c:

M ( Y / x ) = ye
x

x y

dy = e

ye
x

dy = e x [ xe x + e x ]

S aflm curba de regresie a lui X asupra lui Y: M ( X / y) = Cum:

f 2 ( y) =

xf ( x / y) dx
y y

f ( x, y) dx = e
0

dx = ye y y 0

e y y ,0 x y , y > 0 f ( x , y ) = ye 0, in rest Atunci: y x y M ( X / y ) = dx = , y > 0 2 0 y Exemplul 2. Se consider vectorul aleator (X,Y) repartizat normal bidimensional de 2 x x y parametri mx , m y i . 2 y x y S se determine curbele de regresie M(Y/x) i M(X/y). Soluie. Vectorul (X,Y), fiind normal bidimensional, are densitatea de repartiie: 2 ( x m x ) y m y y m y ( x mx ) 2 1 1 f ( x, y) = exp 2 + 2 2 2 x y y 2 x y 1 2 2( 1 ) x Urmeaz c densitatea de repartiie marginal a lui X este:

) (

f 1 ( x) =

( x, y)dy =

2 ( x mx ) y m y y m y 1 1 ( x mx ) 2 = + exp 2(1 2 ) 2 x y y 2 x y 1 2 x

) (

dy

Fcnd schimbarea de variabile: y my x mx = u, = v , dy = y dv

y
1

2 u 2 + 2 u 2 2uv + v 2 ] dv = 2 2 x 1 2 u2 1 e = exp 2(1 2 ) ( v u) 2 dv 2 x 1 2 Dac punem acum: v u = z , dv = 1 2 dz , 2 1 obinem mai departe: f 1 ( x) =

obinem:

exp 2(1 ) [ u

1 f 1 ( x) = e 2 x 2 Prin simetrie, avem:

1 2 f 2 ( y) = e y 2 De aici:

1 x mx x

1 y my y

( x m ) 2 ( x mx ) y m y 1 x f ( x / y) = = exp 2 + 2 2 x y f 2 ( y) 2 x 1 2 2( 1 ) x 2 2 2 x mx y my y my y my 1 1 = exp + (1 2 ) 2 2 2 2( 1 2 ) 2( 1 ) x y y y x Deci: 2 x 1 1 f ( x / y) = exp y my x mx 2 y 2( 1 2 ) x x 2( 1 2 ) Cum avem de a face cu repartiie normal de parametrii: valoarea medie f ( x, y) 1

mx +

x 2 y m y i dispersiei ( 1 2 ) x avem M ( X / y ) = mx + x y m y y y 2 2 / y = ( 1 2 ) x X

Prin simetrie avem:

f ( y / x) = 1

y 2( 1 2 )

2 y 1 exp y my ( x mx ) 2 2 x 2( 1 ) y

i: M ( Y / x) = my +

y ( x mx ) Y2/ x = (1 2 ) y2 x

Graficul funciei M(X/y) (precum i al funciei M(Y/x)) este o dreapt. Deci, n cazul repartiiei normale bidimensionale curbele de regresie sunt drepte (dreptele de regresie).

Aceste drepte trec prin punctul P mx , m y , care este numit centrul repartiiei normale bidimensionale. 9.4. Ecuaiile de regresie. Coeficienii de regresie i corelaie Am vzut c fiind dat vectorul aleator (X,Y), curbele de regresie a lui Y fa de X i al lui X fa de Y sunt: M ( Y / x ) = y( x ) ; M ( X / y ) = x( y ) S admitem c aceste curbe de regresie sunt drepte: M ( Y / x ) = y( x ) = a + bx M ( X / y ) = x( y ) = c + dy lund valoarea medie obinem: M ( M ( Y / x ) ) = M ( y( x ) ) = a + bM ( X ) , sau m y = a + bmx . Scznd-o din relaia ce d pe y( x ) , obinem: y( x ) m y = b( x mx ) nmulind cu x mx i lund valoarea medie se obine: 2 XY = cov ( X , Y ) = b x , b=

adic:

X ,Y 2 x y x

De aici se obine c coeficientul unghiular al dreptei de regresie a lui Y n raport cu X este coeficientul de regresie pe care-l notm bY / X i care se mai poate exprima: bY / X =

Cu acestea obinem ecuaia dreptei de regresie: y( x ) m y = bY / X ( x mx ) S vedem care este expresia raportului de corelaie cnd avem o regresie liniar. 2 Pentru aceasta, s exprimm y ( x ) . Conform definiiei:

2 y( x )

= M y( x ) m y

y 2 2 2 2 2 2 = M bY / X ( X mx ) = bY / X x = 2 2 x = 2 y

De aici, rezult:

sau:

2 Y/ X

2 y( x ) 2 y

= 2

Y / X =
Dac regresia lui X fa de Y este, de asemenea, liniar, se obin rezultatele simetrice: x( y ) m x = b X / Y y m y b X /Y =

X /Y

XY x 2 = y y =

De aici se obine: Y / X = X /Y =
b X /Y bY / X =

Relaiile b X /Y

x y = 2 i = b X /Y bY / X y x y x = i bY / X = spun c b X /Y i bY / X au acelai semn ca i . y x

Dac > 0, ambele drepte de regresie (ce trec prin punctul mx , m y ) formeaz

unghiuri ascuite cu direciile axelor Ox i Oy respectiv. n acest caz spunem c avem o corelaie pozitiv, ceea ce nseamn c dac o variabil crete, crete i cealalt. Pentru = 0 , dreapta de regresie a lui Y fa de X este o paralel cu Ox, iar x( y ) este paralel cu Oy. n acest caz, unghiul dintre cele dou drepte este de 900. Cnd crete, unghiul ascuit dintre dreptele de regresie descrete, iar pentru = 1 dreptele coincid. y m y x mx = ,

n care caz fiecare dintre variabilele aleatoare X i Y sunt funcii liniare una de cealalt. Dac < 0, adic avem o corelaie negativ, dreptele de regresie ce trec prin punctul Unghiul ascuit dintre drepte descrete pe msur ce 1 i n cazul cnd = 1 ambele drepte coincid. 9.5. Dreapta de regresie ca aproximaie a curbei de regresie neliniar n cazul unei corelaii liniare, variabilele X i Y se exprim liniar una n funcie de cealalt: Y mY X mX X mX Y mY ; = =

(m ,m )
x y

formeaz un unghi obtuz cu direciile pozitive ale axelor Ox i Oy respectiv.

Se pot menine aceste drepte n cazul unei corelaii strnse, dar arbitrare n sensul pe care-l precizm mai jos. S exprimm variabila Y cu ajutorul unei funcii liniare de X: $ Y + X = y ( X ) Pentru a da un sens precis acestei aproximri, vom introduce o msur a abaterii de la
2 liniaritate prin SY = M Y ( + X )

[(

] = M [( Y ( y$( X ) ) ) ] i determinm parametrii i

2

2 astfel nct SY s fie minim. Putem presupune c X i Y sunt centrate, adic M ( X ) = M ( Y ) = 0 , ceea ce-i echivalent cu a face transformarea X ' = X M ( X ) ; Y ' = Y M ( Y ) . n acest caz, liniaritatea ntre X i Y este echivalent cu liniaritatea lui X i Y. Atunci: 2 SY = M

2 +( 1 2 ) Y + 2 Aceast expresie este minim dac se aleg parametrii i :

2 2 SY = M ( Y 2 ) 2 M ( XY ) + 2 M ( X 2 ) + 2 = Y 2 X Y + 2 2 = ( X Y ) + X 2

[ ( ( Y X ) ) ] = M [ ( Y X ) ] +
2 2

(cci M ( Y X ) = 0)

= 0, =

Y = bY / X X

De aici urmeaz: $ y( x ) = bY / X X care este o dreapt ce trece prin originea axelor de coordonate P( m X , mY ) . $ Lund pentru Y valoarea aproximativ y( x ) am realizat o descompunere ( x ) + Y0 , $ Y=y $ unde Y0 = Y y( x ) este abaterea care se nregistreaz dac se scade din Y cea mai bun dreapt n raport cu X, ca aproximaie a lui Y. Dispersia acestei abateri este dat de: 2 2 SY ( min) = Y ( 1 2 ) $ S calculm corelaia variabilelor Y i y( X ) :
$ $ M ( Y y( X ) ) M ( Y ) M ( y( X ) ) = M ( YbY / X X ) = bY / X M ( YX ) = bY / X XY =

Y 2 X Y = 2 Y X

Cum:
2 2 y$ ( X ) = bY2/ X x = 2

2 Y 2 2 2 2 X = Y , X

rezult c:

2 2 Y = Y y$ ( X ) Y Y S artm c variabilele Y0 i X sunt necorelate. ntruct M(x) = 0, este suficient s calculm M(Y0X) i avem: $ $ M ( Y0 X ) = M [ ( Y y( X ) ) X ] = M ( XY ) M ( y( X ) X ) = XY bY / X M ( X 2 ) =

Y , y$ ( X ) =

M Yy ( X ) $

)=

Y 2 =0 X X S considerm: 2 2 2 2 $ $ S Y = M ( Y y ( X ) ) = M ( Y y( X ) + y ( X ) y( X ) ) = M ( Y y ( X ) ) +
= XY
0

$ $ +2 M ( Y y ( X ) ) ( y ( X ) y ( X ) ) + M ( y ( X ) y ( X ) ) Dar M ( Y y( X ) )

] =

2 Y/ X

$ M ( Y y( X ) ) ( y ( X ) y( X ) ) =
=
1

$ ( y y( X ) )( y( X ) y( X ) ) f ( x, y) dxdy =

$ ( y( X ) y( X ) ) f ( X ) ( y y( X ) ) f ( y / x) dy dx = 0,

cci:

( y y( X ) ) f ( y / x) dy = 0

$ y2( X ) = M ( y( X ) y( X ) ) obinem: 2 2 SY0 = Y / X + y2( X ) ,

Notnd:

unde Y / X msoar gradul de mprtiere a valorilor variabilei Y n jurul liniei de regresie y( x ) , adic eroarea pe care-o facem cnd calculm Y cu ajutorul liniei de regresie.

$ y2( X ) msoar abaterea liniei de regresie y( x ) de la expresia aproximativ y( x ) . S observm acum c: 2 2 2 SY ( min) = S 0 = ( 1 2 ) Y , iar:
2 2 Y / X = ( 1 Y / X ) Y 2

Atunci: (1 2 ) Y2 = (1 Y2/ X ) Y2 + y2( X ) , iar, de aici:

y( X ) = + Y ceea ce ne conduce la: Y / X , cu egalitate dac i numai dac y ( X ) = 0, adic n cazul cnd linia de regresie este o dreapt.
2 2 Y/ X 2

9.6. Estimarea pe baza observaiilor a coeficienilor de corelaie i regresie, precum i a raportului de corelaie S determinm, mai nti, coeficientul de corelaie a dou nsuiri calitative A, B ale unui fenomen. Dac punem P( A B ) = p11 , P( A B) = p12 , P( A B) = p21 , P( A B) = p22 obinem urmtoarea repartiie a acestor nsuiri calitative:

B A
A

p11 p21 p.1

p12 p22 p.2

p1. p2.

Atam experimentului care conduce la observarea celor dou nsuiri calitative vectorul aleator (X,Y), cu repartiia: Y X 1 0 1 p11 p21 p.1 0 p12 p22
p.2

p1. p2.

Atunci: M ( XY ) = p11 M ( X ) = p1. ; M ( Y ) = p.1 D 2 ( X ) = p1. p12. ; D 2 ( Y ) = p.1 p.2 1

Se obine acum imediat: p11 p22 p12 p21 A, B = ( p11 + p12 )( p21 + p22 )( p11 + p21 )( p12 + p22 ) S presupunem acum c s-au fcut n observaii asupra fenomenului n care se urmresc caracteristicile A i B i c s-au obinut rezultatele:

A
A

n11 n21 n11 + n21

n12 n22 n12 + n22

n11 + n12 n21 + n22

n11 + n12 + n21 + n22 = n

Atunci coeficientul empiric de corelaie al caracteristicilor A i B este dat de: n11n22 n12 n21 rA , B = ( n11 + n12 )( n12 + n22 )( n11 + n12 )( n21 + n22 ) Dac se consider vectorul aleator (X,Y) i n observaii asupra acestui vector, atunci coeficientul empiric de corelaie este dat de: 1 1 1 1 n xy ( x x)( y y) n n xy xy n n x x n n y y y x n x y x y , r= = sx s y sx s y sau nc: n n xy xy n x x n y y x y x y r= 2 2 2 2 n n x x n x x n n y y n y y x y y x
n mod asemntor se obine coeficientul empiric de regresie pe care-l vom nota b Y / X : sy sx n n y y n y y y y
2 2

n nx x 2 nx x x x i raportul empiric de corelaie:

2

bY / X =

r=

Y/ X =

sy( x ) sy

n xy y 2 y n xy y n nx x y x n ny y n y y y y
2 2

Din expresia coeficientului empiric de corelaie se obine c: P > r ( n) n n cazul cnd cele n observaii se fac dintr-o populaie normal bidimensional se poate arta c: 1 M ( r ) (1 2 ) , 2n de unde rezult c M ( r ) < , deci c r este o estimaie negativ deplasat a coeficientului de corelaie . De asemenea, abaterea medie ptratic a lui r este: 1 2 r n S presupunem c sunt satisfcute urmtoarele cerine: (1) n cursul observaiilor se menine aceeai repartiie. (2) Observaiile sunt independente (3) Repartiia populaiei este normal sau aproximativ normal (4) Numrul n de observaii este suficient de mare n aceste condiii: 1 2 bY / X Y X n Fischer a artat c variabila aleatoare: e iZ 1 1 1+ r Z = ln , adic r = th Z = iZ 2 1 r e +1 urmeaz aproximativ o lege de repartiie normal, chiar pentru valori nu prea mari ale volumului de selecie n, de parametrii M(z) i D2(z), unde: 1 1+ M ( z ) = ln + 2 1 2( n 1) 1 1 ; D( z ) = z = D 2 ( z) = n3 n3 Pentru n mare i r mic (mai mic dect 0,5) se poate construi un interval de ncredere utiliznd legea normal, i anume: 1 r 2 1 r2 r u < < r + u n n unde u se determin cu nivelul de ncredere prin relaia: = 2 ( u) Analog se determin un interval de ncredere pentru coeficientul de regresie by/x: Y 1 r 2 Y 1 r2 b Y / X u < bY / X < b Y / X + u X X n n

9.7. Corelaie multipl n practic apar frecvent situaii cnd intervin mai mult de dou variabile ntre care se manifest o dependen stohastic. Studiul unei astfel de dependene ridic dificulti i complicaii. Ne vom opri mai nti asupra dependenei stochastice liniare care este mai simpl i totodat prezint importan practic deosebit. Vom efectua studiul pentru trei variabile aleatoare X1, X2, X3 i apoi vom prezenta rezultatele n cazul general. Dac (x1, x2, x3) sunt

rezultatele msurtorilor pentru vectorul aleator (X1, X2, X3) ntr-o observaie i dac repetm msurtorile de un numr mare de ori, obinem un nor de puncte din spaiul euclidian R3. Dac legtura dintre X1, X2, X3 are un caracter stochastic, atunci ne va interesa n primul rnd media fiecrei variabile cnd celelalte dou iau valori fixate. Aa de exemplu:

M ( X 1 / X 2 = x 2 ; X 3 = x 3 ) = x 1 ( x 2 , x 3 ) = x1 f 1 ( x1 / x 2 , x 3 ) dx1 =

x f (x ,x
1 1

, x 3 ) dx1

f (x ,x
1

, x 3 ) dx1

x 1 ( x 2 , x 3 ) = a10 + a12 x 2 + a13 x 3 , care este ecuaia planului de regresie a lui X1 fa de X2 i X3. Coeficienii planelor de regresie se pot exprima cu ajutorul momentelor de ordinul unu i doi i covarianelor variabilelor X1, X2, X3, pe care le vom estima cu datele de selecie. Ecuaiile de regresie se utilizeaz pentru prognozarea valorii variabilei X1 fa de valorile X2 = x2, X3 = x3 ale celorlalte variabile. Precizia prognozei depinde de intensitatea i forma legturii de corelaie. Considernd cazul unei legturi apropiate de cea liniar, vom cuta s descompunem $ $ variabila X1 n dou componente X 1 = X 1 + X 1.23 , unde X 1 este component complet prognozabil cu ajutorul unei funcii liniare i, n plus, cea de a doua component X1.23 s aib dispersie minim. Va trebui, deci, s determinm funcia liniar: $ X 1 ( X 2 , X 3 ) = a10 + a12 X 2 + a13 X 3 , $ astfel nct X 1 X 1 = X 1.23 s aib dispersie minim. Pentru a simplifica expunerea, vom presupune c: M ( X 1 ) = m X1 = 0; M ( X 2 ) = m X 2 = 0; M ( X 3 ) = m X 3 = 0 ceea ce se poate face totdeauna considernd variabilele: X 1' = X i m X i , i = 1,2,3 Atunci: $ $ 2 D2 ( X ) = D2 ( X X ) = M ( X X )
1.23

n spaiul euclidian R3 al punctelor (x1, x2, x3) funcia x 1 ( x 2 , x 3 ) reprezint o suprafa care poart numele de suprafa de regresie a lui X1 fa de X2 i X3. n mod analog se definesc suprafeele de regresie x 2 ( x1 , x 3 ) i x 3 ( x1 , x 2 ) . Corelaia dintre X1, X2, X3 se zice liniar dac suprafeele de regresie sunt plane. Atunci funcia x 1 ( x 2 , x 3 ) este liniar n raport cu argumentele:

Determinarea minimului:

2 $ 2 ( min) H ( a10 , a12 , a13 ) = M ( X 1 X 1 ) = M ( X 1 a10 a12 X 2 a13 X 3 )

revine la rezolvarea sistemului de ecuaii: 1 H = M ( X 1 a10 a12 X 2 a13 X 3 ) = 0 2 a10 1 H = M ( X 1 a10 a12 X 2 a13 X 3 ) X 2 = 0 2 a12 1 H = M ( X 1 a10 a12 X 2 a13 X 3 ) X 3 = 0 2 a13

Dac inem seama de faptul c M X j ; X K = jK j K j k (i jK = Kj ), sistemul de ecuaii scris mai jos devine: m X 1 a10 a12 m X 2 a13 m X 3 = 0
2 12 1 2 a10 m X a12 2 a13 23 2 3 = 0
2

2 13 1 3 a10 m X a12 23 2 3 a13 3 = 0 Avnd n vedere ipoteza fcut m X = 0, i = 1,2,3, rezult c a10 = 0, i obinem
3

sistemul de ecuaii: 2 a12 2 + a13 23 2 3 = 12 1 2

2 a12 23 2 3 + a13 3 = 13 1 3 Determinantul sistemului este:

liniar una n funcie de cealalt i deci n locul unei dependene ntre trei variabile apare o dependen ntre dou variabile. 2 Presupunem deci c 23 1. n acest caz: 2 12 1 2 23 2 3 1 2 3 12 23 1 = = 1 12 , a12 = 2 2 2 2 2 1 3 2 11 11 2 3 13 1 3 11 2 3 13 unde am pus:
12 =

23 2 3 2 2 2 2 2 = ( 1 23 ) 2 3 = 11 2 3 , 2 3 2 unde am pus 11 = 1 23 din motive pe care le vom explica mai trziu. 2 Acest determinant este nenul dac 23 1. Dac 2 = 1, atunci X2 i X3 se exprim

2 2 23 2 3

12 13
1

23
1

= 23 31 12

Analog:
a13 =
2 2 2 2 11 2 3 23 2 3

12 1 2 = 1 13 3 11 13 1 3

cu:
13 =

21 1 = 21 32 31 31 32

Se vede acum imediat c 11, 12, 13 sunt complemenii algebrici ai elementelor primei linii din determinantul: 1 12 13
= 21 1

23

1 $ Ecuaia funciei liniare X 1 se poate scrie acum sub forma: 1 12 1 13 $ X 1( X 2 , X 3 ) = X2 X , 2 11 3 11 3 sau dac revenim la variabilele necentrate. 1 12 1 13 $ X 1 m X1 = X 2 mX2 X mX3 2 11 3 11 3 $ Funcia liniar X 1 ( X 2 , X 3 ) astfel determinat are proprietatea c este cea mai bun estimaie liniar, pentru valori date ale variabilelor X2 i X3.

31 32

$ S artm c restul X 1.23 = X 1 X 1 este necorelat att cu X2, ct i cu X3, adic:

( X 1.23 , X 2 ) = ( X 1.23 , X 3 ) = 0

S presupunem iari c variabilele sunt centrate. Atunci: 1 12 1 13 $ X 1.23 = X 1 X 1 = X 1 + X2 + X 2 11 3 11 3 i, de aici: $ X 1.23 X 1 X 1 1 11 X 1 12 X 2 13 X 3 = = + + 1 1 2 3 11 1 Urmeaz c: X X 1 M 1.23 1 = ( 11 + 12 12 + 13 13 ) = 1 1 11 11 1 11 X 1.23 X 2 12 13 = M M X 1 X 2 + 2 X 22 + X 2 X 3 = 1 3 2 1 2 11 1 2 1 11 12 1 2 + 12 + 13 23 2 3 = = 2 11 1 2 2 2 3 1 = ( + 12 + 13 23 ) = 0 11 11 12 cci n parantez avem dezvoltarea dup prima linie a determinantului: 21 1 23

21 1 31 32

23 = 0
1

Analog: X X M 1.23 3 = 0 1 3

S calculm dispersia D 2 ( X 1.23 )

1 12 1 13 D 2 ( X 1.23 ) = 12.23 = M ( X 12.23 ) = M X 1.23 X 1 + X2 + X 3 = 2 11 3 11 1 12 1 13 = M ( X 1.23 X 1 ) + M ( X 1.23 X 2 ) + M ( X 1.23 X 3 ) 2 11 3 11 Avnd n vedere rezultatele obinute mai sus rezult: 2 12.23 = D 2 ( X 1.23 ) = 11 1 Sau, dezvoltnd determinanii i 11, obinem: 2 2 2 1 + 2 12 13 23 12 13 23 2 1 12.23 = 2 1 23 Acest indicator msoar precizia aproximaiei liniare a variabilei X1 prin variabilele X2 i X3. $ S calculm coeficientul de corelaie al variabilelor X1 i X 1 , pe care-l notm 1.( 23) $ M( X1, X1) 1.( 23) =

1 X$

 2 2 $ M ( X 1 X 1 ) = M X 1 ( X 1 X 1.23 ) = 12 1 = 1 1 11 11 2 $ 2$ = M ( X 2 ) ' M ( X + X ) = M ( X 2 ) + 2 M ( X X ) + M ( X 2

Observm c:

X1

1.23

1.23

1.23

Deci:

2$ = 12 2 X
1

2 2 2 1 + 1 = 1 1 > 0 11 11 11
2 1 1 11 1 1 1 11
1/ 2

Urmeaz c:

1.( 23) =
sau:

$ M( X1 X1)

X X$
1

= 1 11

1/ 2

2 2 12.23 12 + 13 2 12 13 23 1.( 23) = 1 2 = 2 1 1 23 Se constat c 0 1.( 23) 1

1/ 2

1/ 2

$ X ( X 2 , X 3 ) care este o funcie liniar de variabilele X2 i X3. Putem s scriem: 12.23 = 12 1 12.( 23) Dac considerm corelaia dintre X1 i X2 i exprimm liniar pe X1 n funcie de X2, atunci dispersia restului aproximrii conduce la: 2 1.2 = ( 1 12 ) Aproximnd pe X1 printr-o funcie liniar de X2 i X3, se obine o aproximare mai bun dect printr-o singur variabil i, deci, avem urmtoarea relaie ntre dispersii: 12.23 12.2 , care conduce la: 2 1 12.( 23) 1 12 i, deci: 12 1.( 23) i, analog: 13 1.( 23) , ceea ce este echivalent cu: 1.( 23) max 12 , 13 De aici rezult c dac 1.( 23) = 0 , atunci 13 = 12 = 0 , ceea ce nseamn c X1 este necorelat att cu X2, ct i cu X3. Dac X2 i X3 sunt necorelate, urmeaz c 23 = 0 i, n acest caz, 2 2 12.23 = 12 + 13 S vedem n ce caz: 1.23 = 12

Dac 1.( 23) = 1, atunci 12.23 = 0 , adic X 1.23 = 0 , ceea ce nseamn c X1 coincide cu

S exprimm diferena:

de prognoz a lui X1 este inutil. Rezultate i interpretri analoage se obin cnd se schimb rolul variabilelor: $ X 1 m1 = a12.3 ( X 2 m2 ) + a13.2 ( X 3 m3 ) $ X m = a (X m )+a (X m ) cu mi = M ( X i ) , i = 1, 2, 3. Corespunztor acestor estimaii, avem dispersiile: 2 2 2 2 2 12.23 = 1 ; 2.13 = 2 ; 3.12 = 33 3 11 22 i coeficienii de corelaie: 223 2 13 2 12.( 23) = 1 1.2 = 1 ; 2.( 13) = 1 2.2 = 1 ; 11 22 1 2 2 3.12 2 2 2 2 3.( 12 ) = 1 2 = 1 , cu 11 = 1 23 , 22 = 1 13 , 33 = 1 12 ; 33 3 2 2 2 = 1 + 2 12 13 23 12 13 23

2 2 ( 13 12 23 ) 12 + 13 2 12 13 23 2 2 2 1.23 12 = 12 = 2 2 1 23 1 23 2 12.23 = 12 este echivalent cu 13 = 12 23 . n acest caz variabila X3 din relaia liniar 2

$ X 3 m3 = a 31.2 ( X 1 m1 ) + a 32.1 ( X 2 m2 )

21.3

23.1

9.8. Coeficientul de corelaie parial Pentru a clarifica ct mai bine intensitatea legturii stochastice dintre dou variabile, n situaii concrete vom cuta s estimm aceast legtur dup nlturarea influenei tuturor celorlalte variabile legate de variabilele considerate. Indicatorul astfel obinut msoar legtura dintre dou variabile i va fi numit coeficient de corelaie parial. S ne meninem n acelai cadru a trei variabile aleatoare X1, X2, X3. Se poate considera c dependena stochastic ntre variabilele X1 i X2 msurat prin coeficientul de corelaie 12 depinde ntr-o anumit msur de existena unei legturi att a variabilei X1, ct i a variabilei X2 de variabila X3. Pentru a elimina influena lui X3 asupra variabilelor X1 i X2 vom considera abaterile: ~ $ X 1.3 = X 1 X 1 ( X 3 ) = X 1 b1/ 3 X 3 ~ $ X = X X (X ) = X b X , unde am presupus c variabilele sunt centrate i unde am notat b1/ 3 = b X1 / X 3 ; b 2/3 = b X 2 / X 3 , care, dup cum tim, au expresiile:
b1/ 3 =
2 .3 2 2 3 2 2/3 3

~ ~ Coeficientul de corelaie al variabilelor X 1.3 i X 2.3 poart numele de coeficient de corelaie parial a variabilelor X1 i X2 n raport cu variabila X3 i-l vom nota 12.3 . Deci, din definiie (innd seama de ipotezele de lucru): ~ ~ M ( X 1.3 X 2.3 ) 12.3 =

1 13 ; b2 / 3 = 2 23 3 3

X X ~ ~
1.3

2 .3

Cum:

X = 1 (1 ~
1.3

1 2 2 13

, X 2 .3 = 2 ( 1 ~

1 2 2 23

iar:

~ ~ ~ ~ ~ ~ M ( X 1.3 X 2.3 ) = M X 1.3 ( X 2 b2 / 3 X 3 ) = M ( X 1.3 X 2 ) b2 / 3 M ( X 1.3 X 3 ) = M ( X 1.3 X 2 ) , ntruct: 1 ~ 2 2 13 3 = 0 M ( X 1.3 X 3 ) = M ( X 1 b1/ 3 X 3 ) X 3 = M ( X 1 X 3 ) b1/ 3 M ( X 3 ) = 13 1 3

ns: 1 ~ 13 23 2 3 M ( X 1.3 X 2 ) = M ( X 1 b1/ 3 X 3 ) X 2 = M ( X 1 X 2 ) b1/ 3 M ( X 3 X 2 ) = 12 1 2

Deci: ~ ~ M ( X 1.3 X 2.3 ) = 1 2 ( 12 13 23 ) i, de aici: 12 13 23 12.3 = 2 2 (1 13 )(1 23 ) Coeficientul de corelaie parial 12.3 este n general diferit de 12 . Aceti coeficieni pot avea semne diferite i, mai mult, unul poate fi nul iar cellalt s fie egal cu unitatea.
Ecuaiile liniilor de regresie pe baza datelor experimentale

S notm pentru simplificare variabilelor X1, X2, X3 prin X, Y Z respectiv i s presupunem c efectund n observaii asupra vectorului aleator (X, Y, Z) s-au obinut rezultatele (xi, yi, zi), i = 1, 2, , n. Dac n este suficient de mare atunci parametrii repartiiei tridimensionale se pot estima cu ajutorul indicatorilor empirici: x , y , z; s x , s y , sz ; rxy , ryz , rzx , cu expresiile cunoscute. Atunci, regresiile empirice sunt: sz 31 s $ zz = ( x x) s z 32 ( y y) s x 33 y 33 s y 21 s $ y y = ( x x) sy 23 ( z z) s x 22 22 z s x 12 s $ xx = ( y y) sx 13 ( z z) s y 11 z 11
1 = ryx rzx cu: rxy 1 rzy rxz
2 2 2 ryz = 1 + 2rxy ryz rxz rxy ryz rzx 1

rxy = ryx ; ryz = rzy ; rxz = rzx

2 2 2 11 = 1 ryz ; 22 = 1 rxz ; 33 = 1 rxy r rxz 3+1 xy 31 = ( 1) = rxy ryz rxz 1 rxy

rxz = rxy rxz ryz rxy ryz r rxz 2 +1 xy 21 = ( 1) = rxz rzy rxy rzy 1 Cu acestea, regresiile empirice se scriu: $ z z rxz rxy ryz x y ryz rxy rzx y y = + 2 2 sz sx sy 1 rxy 1 rxy $ y y rxy rxz rzy x x ryz rxy rxz z z = + 2 2 sy sx sz 1 rxz 1 rxz $ x x rxy ryz rxz y y rxz rxy ryz z z = + 2 2 sx sy sz 1 ryz 1 ryz Coeficienii empirici de corelaie general se obin astfel: 32 = ( 1)
3+ 2

, ; ry .xz = 1 ; rz .xy = 1 11 22 33 iar coeficienii empirici de corelaie parial: rxy rxz ryz rxy .z = 2 2 (1 rxz ) 1 ryz rx . yz = 1

rxz . y = ryz =

(1 r )(1 r )
2 xy 2 yz

rxz rxy ryz

(1 r )(1 r )
2 xy 2 xz

ryz ryx rzx

s > 3.

Nu prezint nici o dificultate acum trecerea la vectorii aleatori (X1, X2, , Xs), cu

S presupunem c vectorul aleator (X1, X2, , Xs) are densitatea de repartiie f(x1, x2, , xs) i c exist momentele mixte care intervin n consideraiile pe care le facem. Atunci: M ( X i ) = mi = ... xi f ( x1 ,..., x 3 ) dx1 ... dx s
Var ( X i ) = ii = i2 = M ( X i mi ) cov ( X i ) = ij = M ( X i mi ) X j m j
RS

] = ... ( x m )
i i
RS

f ( x1 ,..., x s ) dx1` ... dx s

)] = ... ( x m )( x
i i
R s

m j f ( x1 ,..., x s ) dx1 ... dx s

Natural, coeficientul de corelaie al variabilelor Xi i Xj, i 1, 2, , 1 este dat de:

X , X = ij =
i j

ij

ii jj

, i j = 1, 2,..., s

Exprimnd densitatea de repartiie condiionat: f ( x1 , x 2 ,..., x s ) f ( x1 ,..., x s ) f ( x1 / x 2 ,..., x s ) = = , f 2....s ( x 2 ,..., x s ) f ( x1 , x 2 ,..., x s ) dx1
R

definim valoarea medie a variabilei X1 condiionat de faptul c X2 = x2; X3 = x3; ; Xs = xs M ( X 1 / X 2 = x 2 ,..., X s = x s ) = x1 f ( x1 / x 2 ,..., x s ) dx1 = x 1 ( x 2 ,..., x s )
R

 i2 ( x1 ,..., xi 1 , xi +1 ,..., x s ) =

n spaiul euclidian real s dimensional, x 1 ( x 2 ,..., x s ) reprezint o hipersuprafa pe care o vom numi suprafa de regresie a variabilelor X2, X3, , Xs fa de X1. Analog se definesc i celelalte s 1 suprafee de regresie: x i ( x1 ,..., xi 1 , xi +1 ,..., x s ) = M ( X i / X 1 = x1 ,..., X i 1 = xi 1 , X i +1 = xi +1 ,.., X s = x s ) Dispersia variabilei Xi fa de regresia variabilelor X2,, Xs, adic fa de media condiionat x i ( x1 ,..., xi 1 , xi +1 ,..., x s ) va fi:
R

[ x

x i ( xi ,..., xi 1 , xi +1 , x s ) f ( xi / x1 ,..., xi 1 xi +1 ,..., x s ) dxi

2

S considerm acum mediile condiionate: m1.34...s = R 2 x1 f ( x1 , x2 / x3 ,..., xs ) dx1dx2 m2.34...s = R 2 x 2 f ( x1 , x 2 / x 3 ,..., x s ) dx1dx 2 , f ( x1 , x 2 ,..., x s ) unde f ( x1 , x 2 / x 3 ,..., x s ) =

f 34...s ( x 3 ,..., x s ) Dispersiile variabilelor X1, respectiv X2, condiionate de variabilele X3, X4,.., Xs sunt date de: 2 12.34...s = R 2 ( x1 m1.34...s ) f ( x1 , x 2 / x 3 ... x s ) dx1dx 2

12.34...s 1.34...s 2.34...s n mod analog se definete coeficientul de corelaie parial al variabilelor Xi, Xj cnd celelalte iau valori determinate. ij .1...i 1,i +1,..., j +1,...s ij .1...i 1,i +1,..., j 1, j +1,...s = i .1...i 1,i +1... j 1, j +1...s j .1...i 1,i +1,... j 1, j +1,...s i j = 1, 2, ... s Putem acum s definim i coeficientul multiplu de corelaie, pe care-l vom nota R1.23s (coeficientul de corelaie al variabilei X1 cu toate celelalte variabile). Dac relum notaia ij pentru momentul centrat al variabilelor aleatoare Xi i Xj i notm: 11 12 ... 1s 22 23 ... 2 s 21 22 ... 2 s 32 33 ... 3s = ; 11 = , 12.34...s =
... ... ... ... ... ... ... ...

iar covariana variabilelor X1, X2 condiionate de X3, X4,, Xs este dat de expresia: 12.34...s = R 2 ( x1 m1.3...s )( x 2 m2.3...s ) f ( x1 , x 2 / x 3 ... x s ) dx1dx 2 Putem acum s definim coeficientul de corelaie parial al variabilelor X1, X2 fa de variabilele X3,, Xs prin expresia:

2 2.34...s = R ( x 2 m2.34...s ) f ( x1 , x 2 / x 3 ... x s ) dx1dx 2 , 2

2

s1 s 2 ... ss s 2 s 3 ... ss atunci coeficientul definit prin relaia: R1.23...s = 1 11 11 se numete coeficient multiplu de corelaie al variabilei X1 n raport cu toate celelalte. Dintre proprietile acestui coeficient amintim doar urmtoarele: (1) 0 R1.2...s 1

(2) Dac R1.2... s = 1, atunci repartiia are punctele sale situate aproximativ n acelai plan. 9.9. Coeficieni de corelaie a rangurilor Calculul coeficientului de corelaie a dou variabile aleatoare X i Y prin relaia: M ( XY ) M ( X ) M ( Y ) X ,Y = D2 ( X ) D2 (Y) presupune c se pot exprima cantitativ valorile variabilelor X i Y. Deci, atunci cnd exprimm coeficientul de corelaie empiric va trebui ca datele de observaie s fie msurate cu precizie, altfel nu vom putea determina acest coeficient de corelaie. Pot aprea ns adesea situaii cnd avem de stabilit intensitatea legturii ntre caracteristici calitative. Aa, de exemplu, la un concurs sportiv se prezint un numr de concureni care vor trebui clasificai. Pentru o clasificare ct mai obiectiv se folosesc doi arbitri judectori i vrem s cunoatem dac exist o legtur puternic ntre clasificrile date de cei doi arbitri. Un alt exemplu l poate constitui legtura dintre intensitatea culorii unor fibre textile i gradul de umiditate al lor pentru un numr dat de loturi. Rezult clar c nu este vorba de msurtori ce pot fi efectuate cu precizie. S presupunem c avem o populaie C n care unitilor ei notate Ui, 1 i n le asociem rangurile lor cnd le clasificm dup dou caracteristici A i B, conform cu tabelul ce urmeaz: Rangul Unitatea Proprietatea A Proprietatea B U1 U2 U3 Uk Un-1 Un i1 i2 i3 ik in-1 in j1 j2 j3 jk jn-1 jn

unde (i1, i2, , in-1, in) i (j1, j2, , jn-1, jn) sunt dou permutri ale numerelor 1, 2, , n din tabelul de n! permutri ale acestor numere. Se pune problema dac ntre cele dou clasificri exist o legtur stochastic i ct de puternic este aceast legtur. Vom realiza acest lucru cu ajutorul coeficientului de corelaie a rangurilor.
Coeficientul de corelaie a rangurilor al lui Spearman

C. Spearman a propus drept msur a corelaiei rangurilor coeficientul de corelaie alctuit pe baza rangurilor:
R=

AB A B

unde:
1 n AB = ( i k m A )( j k mB ) n k =1 1 n 1 n 1 n 2 1 n 2 2 2 2 2 m A = i k ; mB = j k ; A = i k m A ; B = j k mB n k =1 n k =1 n k =1 n k =1
2 S efectum calculele pentru obinerea expresiilor AB , m A , mB , 2 , B . A

1 n( n + 1) n + 1 ( 1 + 2+...+ n 1 + n) = = 2n 2 n ( n + 1) 2 n( n + 1)( 2n + 1) ( n + 1) 2 n 2 1 1 n 2 1 2 2 = i k m 2 = ( 1 + 2 2 +...+ n 2 ) = = A A n k =1 n 4 6 4 12 Analog, n2 1 2 B = 12 S calculm 1 n AB = ( i k m A )( j k mB ) n k =1 Pentru aceasta, s considerm identitatea: m A = mB =

Mai nti:

( a
k =1

bk ) = ( a + b
2 k =1 2 k

2 k

) 2 a b
k =1 k

De aici obinem: n n 1 n 2 2 a k bk = ( a k + bk2 ) ( a k bk ) 2 k =1 k =1 k =1 Dac n aceast egalitate facem: n +1 n +1 a k = ik ; bk = j k , 2 2 obinem: 2 2 1 n n + 1 n + 1 1 n n + 1 n + 1 n n + 1 i k + jk = j k i k AB = i k n k =1 2 2 2n k =1 2 2 k =1 2 2 n + 1 j k 2 sau: 1 n 2 1 n 2 1 1 n 2 AB = + ( ik jk ) 2 12 12 2n k =1 Notnd: i k j k = d k , K = 1,2,..., n , obinem: n2 1 1 n 2 AB = d 12 2 n k =1 k i, cu aceasta:
n ( n 1) Coeficientul de corelaie a rangurilor R (al lui Spearman) variaz ntre 1 i + 1. Pentru dou clasificri de ranguri identice, adic: d k = i k j k = 0, k = 1,2,..., n obinem imediat R = 1. Pentru dou clasificri de ranguri perfect inverse, obinem R = - 1. ntr-adevr, dac: i1 , i2 ,..., in1 , in este 1,2,..., n iar: j1 , j2 ,..., jn1 , jn este n, n 1,...,2,1 R = 1 6 d k2
k =1 2 n

atunci: d 1 , d 2 ,.., d n1 , d n vor fi 1 n,3 n,5 n,..., n 3, n . Dac acum n este par, adic n = 2m, atunci:

d
k =1

2m

2 k

= 2[12 + 2 2 +...+( 2m 1)

] = 2[1

+ 2 2 +...+( 2m) ( 2 2 + 4 2 +...+( 2m)

2

)] =

2m( 2m + 1)( 4m + 1) 4m( m + 1)( 2m + 1) 2 2 = 3 m( 2m + 1)( 2m 1) 6 6 nlocuind n expresia lui R, obinem:

2m( 4m 1) Dac n = 2m + 1, atunci:
2 2 m +1 k =1

R = 1

6 d k2
k =1

= 1

2 m( 2m + 1)( 2m 1) = 1 2m( 4m 1) 3
2 2

2 k

= 2[ 2 2 + 4 2 +...+( 2m) 6

]=

4m( m + 1)( 2m + 1) 3

Deci:
R = 1

4m ( m + 1)( 2m + 1) = 1 ( 2m + 1) ( 2m + 1) 2 1 3

9.10. Reunirea sau comasarea rangurilor n practic apar adesea probleme de ordonare n care este imposibil s distingem situaia de rang a unui numr de elemente alturate. n astfel de situaii este comod s facem media rangurilor i s asociem acelai rang fiecruia dintre unitile respective, chiar dac un astfel de rang este fracionar. S analizm efectul ntrunirii a l elemente care ocup rangurile h + 1, h + 2, , h + l. Suma ptratelor rangurilor nereunite este: 1 ( h + 1) 2 + ( h + 2) 2 +...+( h + l ) 2 = lh 2 + hl( 1 + l ) + l( l + 1)( 2l + 1) 6 Suma ptratelor rangurilor reunite este: 2 1 1 2 l h + ( l + 1) + lh 2 + hl( l + 1) + l( l + 1) 2 4 Diferena lor va fi: 1 1 1 2 l( l + 1)( 2l + 1) l( l + 1) = ( l 3 l ) 12 4 6 1 3 ( l l ) . Pe Prin urmare, dac se reunesc l ranguri, suma ptratelor se micoreaz cu 12 n+1 de alt parte, media rangurilor rmne neschimbat, adic i, deci, dispersia rangurilor 2 1 3 ( l l) . reunite se micoreaz cu 12n Evident, efectul reunirii rangurilor pentru diferite mulimi de ranguri este aditiv, astfel nct, dac avem ordonare cu ordonri reunite de cte l1 , l2 ,..., l s elemente i aportul total va fi pentru caracteristica A: s 1 3 LA = lp lp p =1 12

Rezult c: 2 n + 1 1 n 1 1 ik 2 = 12 ( n 2 1) n L A n k =1 i, analog, pentru caracteristica B: 2 n + 1 1 n 1 1 jk 2 = 12 ( n 2 1) n LB , n k =1 cu LB definit n mod asemntor cu LA. Calculnd acum AB , obinem: 1 n 2 1 1 1 n n + 1 n + 1 1 2 i k j k = ( n 1) d k 2n L A 2n L B 2n k =1 2 2 12 n k =1 Urmeaz, de aici, c n acest caz coeficientul de corelaie a rangurilor lui Spearman va fi dat de: n 1 2 ( n n) ( L A + LB ) d k2 6 k =1 R= 1 3 1 3 6 ( n n) 2 L A 6 ( n n) 2 LB Exemplu S se stabileasc dac exist corelaie ntre intensitatea culorii firelor n 10 loturi de materiale destinate industriei textile i umiditatea lor. Un expert a dispus loturile n urmtoarea ordine:

Lotul Intensitatea culorii Umiditatea d d2

L1 3 1 2 4
2 k

L2 8 9 -1 1

L3 5 10 -5 25

L4 4 2 2 4

L5 2 4 -2 4

L6 10 9 1 1

L7 1 3 -2 4

L8 7 5 2 4

L9 9 8 1 1

L10 6 6 0 0

d
k =1

10

= 4 + 1 + 25 + 4 + 4 + 1 + 4 + 4 + 1 + 0 = 48
6 48 = 0,709 1000 10 .

R = 1

Putem trage concluzia c exist o legtur ntre intensitatea culorii i umiditate i ea este destul de puternic. Exemplu. La concursul de figuri libere doi arbitri au dispus participanii n urmtoarea ordine: Participanii I. arbitru II. arbitru P1 1,5 1 P2 1,5 2 P3 3 4 P4 4 4 P5 6 4 P6 6 6 P7 6 7 P8 8 8 P9 9,5 9 P10 9,5 10

S se stabileasc ct de obiectiv este aprecierea arbitrilor, adic ct de puternic este legtura ntre aprecierile celor doi arbitri.

Soluie: Primul arbitru a mprit primul loc ntre participanii P1 i P2. Rangul lor 1+ 2 reunit este = 1,5 2 5+ 6+ 7 = 6 . La Participanii P5, P6, P7 mpart locurile 5, 6, 7. Rangul lor reunit este 3 fel i pentru celelalte situaii. Calculm acum mrimile LA i LB. Pentru calculul lui LA avem: P1 i P2 sunt dou ranguri reunite, P5, P6, P7 sunt ranguri reunite, P9, P10 iari dou ranguri reunite. Astfel: ( 2 3 2) + ( 33 3) + ( 2 3 2) LA = =3 12 Analog: 33 3 LB = =2 12 i: ( 103 10) / 6 ( 3 + 2) 7 1000 10 12.6 = R= = [(103 10) / 6 6][(103 10) / 6 4] (1000 10 36)(1000 10 24) 918 918 = = = 0,956 954.966 959,98 Se poate afirma c aprecierile arbitrilor date concurenilor sunt obiective, cci coeficientul de corelaie a rangurilor este foarte apropiat de unitate. Repartiia exact a coeficientului de corelaie a rangurilor R al lui Spearman se obine prin enumerarea celor n! permutri echiprobabile ale rangurilor i ea este tabelat. n cazul seleciilor de volum mare, repartiia lui R este aproximativ normal cu parametrii: 1 M ( R ) = 0, D 2 ( R ) = n 1 Aceasta rezult imediat din urmtoarele: n +1 n2 1 n +1 2 M ( ik ) = ; D ( i k ) = 12 ; cov( i k , ie ) = 2 12 2 ( n + 1) M ( i k jh ) = M ( i k ) M ( jh ) = 4 2 n( n + 1) n +1 12 ( R) = Cu acestea, M 3 =0 2 n 1 4 n( n 1)
2 12 12 2 D ( R) = D a k bk = M a k bk 2 k n( n 2 1) n( n 1) k Dac se ridic la ptrat expresia a k bk atunci avem de calculat: 2
k

M(a b i

2 2 k k

) = M( a ) M(b )
2 k 2 k

n 1 = 12
2

n + 1 M ( a k bk a l bl ) = M ( a k a l ) M ( bk bl ) = cov( a k , a l ) cov( bk , bl ) = 12

De aici urmeaz: 2 2 12 n 2 1 2 1 n + 1 2 = D ( R) = + n( n + 1) n 2 12 n 1 n( n 1) 12 Deci, dac n este suficient de mare, variabila n 1R urmeaz o lege normal N(0;1). 9.11. Coeficientul de corelaie a rangurilor al lui Kendall La deducerea coeficientului R de corelaie a rangurilor al lui Spearman, s-au luat n considerare n diferene dk = ik jk corespunztoare celor dou iruri de clasificri. M. G. Kendall a propus s fie luate n considerare toate diferenele ce le prezint cele dou iruri de clasificri, acestea fiind calculate ordonnd cresctor rangurile dup o proprietate, de obicei proprietatea A. Rangul Unitatea Proprietatea A Proprietatea B

U l1
1 j1'

U l2
2 ' j2

U l3
3 ' j3

U lk
k j k'

U ln
n ' jn

Clasificarea a fost fcut astfel: Unitatea U l1 avea rangurile ih = 1 i jh. Am pus aceast unitate pe poziia rangului i, totodat, am notat j1' = jh i tot aa mai departe cu toate celelalte uniti. Fa de noua clasificare considerm diferenele: ' ' ' ' ' ' ' ' ' j2 j1' ; j3 j1' ; j3 j2 ; j4 j1' ; j4 j2 ; j4 j3 ; ... Avem, aadar, diferenele: kl = j k' jl' k = 2,3,..., n; l = 1,2,..., k 1 Pentru o clasificare identic avem kl > 0; k , l cu valorile menionate, iar pentru clasificarea invers kl < 0 . n cazul unui tabel de corelaie oarecare avem i diferene pozitive i diferene negative. Introducem funcia: C : { kl , k = 2,3,..., n; l = 1,2,..., k 1} {11} , prin relaia: 1 kl > 0 C ( kl ) = 1 kl < 0 i efectum suma:
S = C ( kl )
k = 2 l =1 n k 1

Atunci coeficientul de corelaie a rangurilor al lui Kendall se definete prin: S 2S , AB = 2 = Cn n( n + 1) unde Cn2 este numrul tuturor diferenelor posibile. Coeficientul poate fi considerat, ntr-un anumit sens, ca o corelaie de tip general, dac procedm n felul urmtor: pentru orice ranguri i i j referitor la caracteristica A asociem variabila: 1 i> j a ij = , 1 i < j

iar pentru caracteristica B: 1 i> j bij = 1 i < j Atunci:

AB =

( a
i, j ij

ij

, bij
ij

( a ) (b )
2

i se constat imediat c se obine expresia pe care am menionat-o. Pentru selecii de volum mare (n practic, n superior lui 8-10), repartiia statisticii S este aproximativ normal de parametrii: n( n 1)( 2n + 5) M( S) = 0 D2 ( S) = 18 De aici rezult c nsui coeficientul de corelaie a rangurilor AB al lui Kendall pentru n mare are aproximativ repartiia normal de parametri: 2( 2n + 5) M ( AB ) = 0, D 2 ( AB ) = 9n( n + 1) Analiznd forma coeficientului AB exprimat cu ajutorul variabilelor aij i bij, precum i coeficientul de corelaie parial, se poate introduce i coeficientul de corelaie parial a rangurilor al lui Kendall i c acesta verific relaia: AB AC BC , AB .C = 2 2 (1 AC )(1 BC ) ntru-totul analoag cu XY .Z Coeficientul de corelaie a rangurilor al lui Kendall se utilizeaz cu succes n detectarea tendinei monotone ntr-o serie dinamic. O alt utilizare important o constituie estimarea parametrilor cu o anumit semnificaie. Dac este probabilitatea unei concordane, adic probabilitatea: unde X i , X j
i j

( ) dou valori extrase la ntmplare, aranjate n aceeai ordine ca i valorile ( Y , Y ) asociate.

Ipoteza nul H 0 : =
1 se testeaz cu ajutorul statisticii: 2

P X i X j Yi Y j > 0 = ,

[(

)(

) ]

Din faptul c M C( kl ) = 1. + ( 1)( 1 ) = 2 1 rezult c: n( n 1) ( 2 1) M( S) = 2 Deci: 1 1 M ( $) = ( 2 1) + = , 2 2

2C 1 = ( XY + 1) , n( n 1) 2 n( n 1) 1 unde C = S + 2 2

$ =

$ ceea ce arat c este un estimator nedeplasat pentru:

= P X i X j Yi Y j > 0

$ Dispersia exact a estimatorului depinde de repartiia vectorului aleator ( X , Y ) . M. G. Kendall a artat c: 5 ( 1 ) D 2 ( $) = , 9( n 1) care permite construirea unui interval de ncredere aproximativ pentru .

[(

)(

) ]

9.12. Coeficientul de contingen al lui Pearson S considerm vectorul aleator ( X , Y ) , cu repartiia: Y X x1 x2 . . . xm y1 P11 P21 y2 P12 P22 yn P1n P2n P1* P2*

Pm1 P*1

Pm2 P*2

Pmn P*n

Pm*

unde am pus P X = xi ; Y = y j = pij , iar pentru repartiiile marginale:

P
j =1

ij

= Pi ;

P
i =1

ij

= P j

Coeficientul introdus de K. Pearson prin relaia: Pi P j msoar dependena dintre variabilele X i Y. Acest coeficient are unele proprieti importante referitoare la dependena variabilelor. (1) 0 2 1 Acest lucru rezult imediat din faptul:
i =1 j =1

2 =

( m 1)( n 1

(P P P )
ij i
j

i =1 j =1

(P P P )
ij i
j

Pi P j
Pij P j Pij ' P j ' =

=
i =1 j =1

Pij Pi P j

P
j =1

Pij
i

Pij '

P
i =1

ij '

Deci, dac m n, atunci: m 1, Pi P j iar dac n m, aceast expresie este:

i j

(P P P )
ij ix j

2 = 1.

n1 Pi P j De aici rezult afirmaia: 2) Dac variabilele aleatoare X i Y sunt independente, atunci 2 = 0. Afirmaia este imediat, cci n acest caz: Pij = Pi P j 3) Dac ntre variabilele aleatoare X i Y exist o dependen funcional, atunci
i j

(P P P )
ij ix j

ntr-adevr, n acest caz: 0, i j Pij = Pi = P j , i = j i totodat m = n. Dar, atunci: Pij2 Pij 1 m 1 1 2 1 = 1 = = 1 1 = 1 m 1 i j Pi P j m 1 i =1 m 1 i j P j Proprietatea reciproc nu are loc i, deci, din egalitatea cu 1 a coeficientului de contingen al lui Pearson nu rezult c ntre X i Y este o dependen funcional. 9.13. Metoda celor mai mici ptrate S considerm modelul liniar n care cele n ecuaii ale modelului sunt de forma: Y = 1 X 1 + 2 X 2 +...+ p X p + , unde Y, X1, X2,, Xp sunt vectori (n,1), 1, 2,, p parametri. este vectorul rezidual al modelului. Se pune problema estimrii parametrilor 1, 2,, p astfel nct

i =1

2 i

min.

Se numete ajustare a modelului, orice soluie a sistemului de n ecuaii cu p necunoscute a1,, ap. yi = a j xij + ei 1 i n
j =1 p

Ecuaiile pot fi scrise matricial Y =

( n ,1)
n

( n , p )( p ,1) ( n ,1)

Xa + , cu

i =1

2 i

= e' e

Ajustarea prin metoda celor mai mici ptrate este cea care d coeficienii a1, a2,, ap care minimizeaz

e
i =1

2 i

, unde ei = yi a j xij .
i =1

Sintetic, o ajustare se definete prin Y = a j X j + e sau nc Y =

( n ,1)
j =1

( n ,1)

( n ,1)

( n ,1)

( n , p )( p ,1) ( n ,1)

Xa + .
n

Ajustarea prin metoda celor mai mici ptrate este cea care realizeaz ( min) e' e = ei2 .
i =1

Putem pune modelul sub forma: e = Y Xa , i atunci: e' e = ( Y Xa ) ' ( Y Xa ) = Y ' Y Y ' Xa a ' X ' Y '+ a ' X ' Xa = Y ' Y 2a ' X ' Y '+ a ' X ' Xa S aflm punctele de extrem:

( e' e) = 0 a

Cum

rezult condiia de extrem X ' Xa = X ' Y . Dac n p i dac rang X = p, atunci X ' X este o matrice de ordinul p i de rang p i, deci, este inversabil. Rezult: 1 a = ( X ' X ) X 'Y ~ ~ Rmne s artm c extremul atins prin e' e este un minim. Fie a o alt soluie i e vectorul ecarturilor corespunztor. Atunci: ~ ~ ~ ~ e = Y X a ( Y Xa ) + ( Xa X a ) = e + X ( a a ) ~ ' e = ( e + X ( a a ) ) ' ( e + X ( a a ) ) = e' e + 2( a a ) ' X ' ( Y Xa ) + ( a a ) ' X ' X ( a a ) ~ ~ ~ ~ ~ ~ e Cum X ' ( Y Xa ) = 0 Y Xa = 0 , obinem: ~~ ~ ~ e ' e = e' e + ( X ( a a ) ) ' ( X ( a a ) ) n aceast egalitate, cel de-al doilea termen este o sum de ptrate i, deci, este pozitiv sau nul. Prin urmare: ~~ e' e e ' e 1 Observaie. Dac n p i rang X = p, ajustarea a = ( X ' X ) X ' Y este unic. Relaia:

( e' e) = 2 X ' Y + 2 X ' Xa , a

Y = j X j +
j =1

se interpreteaz astfel: variabila endogen Y este suma vectorial a doi termeni;

j =1

X j , care aparine, prin construcie, subspaiului liniar generat de variabilele

exogene X 1 , X 2 ... X P ; Vectorul rezidual , oarecare n Rn. Analog, ajustarea Y = a j X j + e indic faptul c variabila endogen Y este suma
j =1 p

vectorial dintre elementul

a
j =1

X j din subspaiul liniar generat de X 1 , X 2 ... X P i elementul

e Rn, care este vectorul ecarturilor; (geometric, acest lucru rezult n figura de mai jos).

Rx

y Xa X

Din punct de vedere geometric, metoda celor mai mici ptrate aplicat modelului Y = X + const n a minimiza distana de la elementul Y la subspaiul Rx generat de X = X 1 ,...., X p .
Aadar, modelul Y = X + definete o descompunere a lui Y n doi termeni necunoscui X R X i Rn a crui lungime este apriori slab. Metoda celor mai mici ptrate propune drept soluie descompunerea lui Y = Xa + e, care minimizeaz lungimea lui e, proiectnd ortogonal vectorul Y pe RX. Vectorii Xa i e sunt ortogonali.

din:

Proiecia ortogonal a lui Y n RX este o transformare liniar a crei matrice se obine

a = ( X ' X ) X 'Y Imediat: 1 Xa = X ( X ' X ) X ' Y = Hy ,

1 1

unde:

H 2 = ( X ( X ' X ) X ') ( X ( X ' X ) X ') = X ( X ' X ) X ' = H S definim matricea Q = I H, unde I este matricea unitate de ordinul n: 1 Q = I X( X' X) X' Cum H este simetric i idempotent, rezult: Q' = I ' H ' = I H = Q Q 2 = ( I H )( I H ) = I H H + H 2 = I H = Q , adic Q este simetric i idempotent. Pentru orice Z Rn, Qz este proiecia lui Z pe un subspaiu din Rn ortogonal cu RX (complementul ortogonal al lui RX n Rn). Se verific imediat relaiile: e = Qy QX = 0 Q = Iy Hy = y Xa = e 1 QX = X HX = X X ( X ' X ) X ' X = X X = 0 Atunci: e' e = ( Qy ) ' Qy = y ' Q' Qy = y ' Q 2 y sau e' e = y ' Qy ns e = Qy = Q( X + ) = Qx + Q ne conduce la: e = Q i, de aici: e' e = ' Q Cazul n care se izoleaz un termen constant: Adesea n practic intervine cazul n care modelul conine un termen constant p. S notm cu X0 matricea cu p 1 coloane corespunztoare variabilelor exogene X1, X2,,Xp-1, i cu 0 vectorul de componente (1, 2,.., p-1). Atunci modelul se scrie: Y = X 0 0 + u p + (p termenul constant) Acest model apare ca un caz particular al modelului Y = X + , unde: 0 X = ( X 0 | u) , = p Relund calculul minimizrii sumei ptratelor ecarturilor e' e , vom observa c apare o matrice de ordinul n, de o form interesant. 1 P = I uu' n
1 1 1

H = X( X' X) X' Deci, proiecia Xa din RX se obine prin transformarea lui Y cu ajutorul matricei 1 H = X ( X ' X ) X '. Se verific imediat c matricea H este simetric i idempotent: H = H i H = H2. ntr-adevr: 1 1 1 H ' = ( X ( X ' X ) X ') ' = X ' ' [ ( X ' X ) ] ' X ' = X ( X ' X ) X ' = H

Aceast matrice este o form particular a matricei Q definit mai sus, obinut cnd 1 1 se nlocuiete X prin u (se observ c ( u' u) = ). n Ea este o matrice simetric i idempotent care realizeaz proiecia oricrui vector din Rn pe subspaiul ortogonal lui RX. Acest operator de proiecie joac un rol fundamental n statistic. Dac z este un punct oarecare din Rn: 1 Pz = z u( u' z ) , n unde: 1 1 u' z = xi = z media de selecie. n n Deci: $ Pz = z uz = z vectorul de componente abaterile componentelor Matricea P efectueaz, deci, operaia de centrare n jurul mediei, pe coloane. Aplicat asupra unei matrice X, matricea P efectueaz centrarea coloan pe coloana $ = PX . X Valorile a0 i ap pentru coeficienii 0 i p ai modelului pentru a minimiza expresia e' e vor trebui s anuleze derivatele pariale de ordinul nti:

( e' e) = 2u' Y X 0 a 0 ua p = 0 ( 1,1) a p ( e' e) = 2 X 0' Y X 0 a 0 ua p = 0 ( p1,1) a 0

Din prima ecuaie se obine: p 1 1 1 a p = u' y u' X 0 a 0 = y a k x k n n k =1 Dezvoltnd cea de-a doua relaie i nlocuind ap prin valoarea gsit obinem: 1 ' 1 X 0' Y X 0' X 0 a 0 X 0 u u' Y u' X 0 a 0 = 0 n n Grupnd termenii ce conin pe a0 se obine imediat: X 0' PX 0 a 0 = X ' Py ntruct P = P' = P 2 , ultima relaie se poate scrie: $ $ $ $ X 0' X 0 a 0 = X 0' y , $ $ unde X 0 = PX 0 i Y = Py sunt datele centrate. $ $ 1 $ $ n final a = ( X ' X ) X ' Y pentru coeficienii a1, a2,,ap-1;
a p = y a k x k pentru termenul constant.
k =1

0 p 1

Cu alte cuvinte, cei p 1 coeficieni ai variabilelor exogene se pot obine dup regula general, opernd ns asupra datelor centrate. Termenul constant se deduce exprimnd c mediile observaiilor satisfac exact ecuaia de ajustare. y = a1 x1 +...+ a p1 x p1 + a p

$ $ S considerm elementul de pe linia k i coloana k din matricea X 0' X 0 . Acest termen se exprim:

( x
i =1

ik

x k )( xik ' x k ' )

Lund n consideraie i coeficientul n, obinem matricea de covarian empiric a variabilelor exogene ale modelului, matrice notat Vxx: 1 $ $ V xx = X 0' X 0 n n acelai mod vom scrie: 1 V xy = X 0' y n pentru vectorul celor p 1 covariane ntre Y i Xk, K = 1, 2, , p 1. Dac se consider matricea W de ordinul p a covarianelor empirice ntre toate datele modelului, se poate face ipoteza c sunt aranjate ca n figura de mai jos: Vxx Vxy W = ' ( p , p ) V xy V yy Atunci coeficienii de ajustare se calculeaz uor cu ajutorul formulelor transformate: a 0 = V xx1V xy
( p 1,1)
' a p = y a 0 x (termen constant) S vedem cum se poate evalua suma ptratelor ecarturilor. Dac exist un termen constant, proprietatea de ortogonalitate implic u' e = 0 i, deci, e este centrat. Urmeaz c Pe = e i n plus Pu = 0. n aceste condiii: $ $ e = Pe = Py PX 0 a 0 Pua p = Py PX 0 a 0 = y X 0 a 0 Din formula de calcul a lui a0 se obine: ' $ ' $ $ $ a 0 X 0' y = a 0 X 0' X 0 a 0 Deci, ' $ ' $ $ $ $ $ $ $ e' e = y ' Y a 0 X 0' X 0 a 0 = Y ' Y a 0 X 0' Y , care, astfel exprimat, ne conduce la relaia: p 1 n 2 ( Y ) a k cov( Y , X k ) ei = nVar i =1 k =1 ~ = Xa = X a + ua ) c: Se poate verifica (pornind de la y

1 ' $ $ Var ( ~ ) = a 0 X 0' X 0 a 0 = Var ( X 0 a 0 ) = cov( Y , X 0 a 0 ) = cov( Y , ~ ) y y n n cazul ajustrii cu termen constant, se definete coeficientul de corelaie multipl prin R dat de: cov 2 ( Y , ~ ) y 2 R = y var( Y ) var( ~ )

Acest coeficient se mai poate exprima sub urmtoarele forme: var( ~ ) cov( Y , X 0 a 0 ) cov 2 ( Y , ~ ) y y R2 = = = var( Y ) var( Y ) var( ~ ) var( Y ) y sau:
' $ $ ' $ a 0 X 0' X 0 a 0 a 0 X 0' Y R = = = $ $ $ y' Y y' y 2

a
k =1

p 1

cov( Y , X k ) var( Y )

Coeficientul R2 capt un sens prin mprirea dispersiei totale n dispersie explicat i dispersie rezidual. ~ Dispersia explicat: R 2 var( Y ) = Var ( Y ) Dispersia rezidual: ( 1 R 2 ) var( Y ) = Var ( e) ~ Dispersia total: var( Y ) = var( Y ) + var( e) S mai menionm faptul c R2 se poate exprima i n modul urmtor:
i var( e) i =1 R2 = 1 = 1 var( Y ) n var( Y )

Din aceast relaie rezult c minimiznd

e
i =1

2 i

se maximizeaz R. Cu alte cuvinte,

ajustarea prin metoda celor mai mici ptrate determin combinaia liniar de variabile exogene care are o corelaie maximal cu variabila endogen Y. Se observ c introducerea n model a unei noi variabile exogene arbitrare, va conduce la micorarea sumei ptratelor ecarturilor i prin urmare implic o cretere a coeficientului R. 9.14. Ipotezele Gauss - Markov Pn acum ne-am ocupat de rezolvarea unei probleme pur matematice de minimizare. S presupunem acum c reziduul i (eroarea) este efectul rezultant al unui mare numr de factori neidentificai i., ca atare, va fi considerat ca o variabil aleatoare. Considernd acest lucru pentru fiecare din cele n relaii ale modelului, vom introduce vectorul aleator (cu n componente variabile aleatoare) i definim Y ca un vector aleator care n scrierea matricial este de forma: Y = X + Asupra variabilelor i vom face ipoteze apriori ct mai simple posibil i vom arta c ajustarea prin metoda celor mai mici ptrate este cea mai bun dintre toate tehnicile de ajustare, pentru identificarea modelului. Vom presupune c M ( i ) = 0, D 2 ( i ) = 2

cov i , j = 0, i j = 1,2,..., n De aici urmeaz imediat ipotezele Gauss - Markov M ( ) = 0; Var ( ) = M ( ') = 2 I
( n ,n )

i echivalent: M ( Y ) = X ; Var( Y ) = 2 I Ajustarea prin metoda celor mai mici ptrate proiecteaz pe Y n Xa pe RX, iar pe n e pe subspaiul ortogonal lui RX (notat R ) n Rn. X Repartiia vectorului Y n Rn determin n felul acesta repartiia lui Xa n RX. Vom cuta s determinm repartiia componentelor ak ale vectorului a, care vor estima coeficienii necunoscui k ai modelului. S artm c n ipotezele Gauss-Markov, estimatorii ak obinui prin metoda celor mai mici ptrate sunt cei mai buni, n sensul urmtor: orice alt estimator are o repartiie mai dispersat n jurul valorii k de estimat. O prim proprietate a estimatorilor ak obinui prin metoda celor mai mici ptrate este c ei au repartiii centrate n coeficienii k.

ntr-adevr: 1 1 M ( a) = M [( X ' X ) X ' Y] = ( X ' X ) X ' M ( Y ) ,

M ( a) = Aadar vectorul a, estimatorul obinut prin metoda celor mai mici ptrate a vectorului a coeficienilor necunoscui este un estimator nedeplasat. De asemenea, matricea de covarian a vectorului aleator are expresia: V ( a ) = M [ ( a )( a ) '] Cum: 1 1 1 a = ( X ' X ) X ' Y = ( X ' X ) X ' ( X + ) = + ( X ' X ) X ' , avem: 1 a = ( X ' X ) X ' i, de aici: 1 1 1 1 V ( a ) = M [ ( X ' X ) X ' ' X ( X ' X ) ] = ( X ' X ) X ' M [ '] X ( X ' X ) innd seama de ipotezele Gauss-Markov obinem expresia: 1 V ( a) = 2 ( X ' X ) Teorem (Gauss-Markov). n condiiile Gauss-Markov, estimatorii ak ai parametrilor k obinui prin metoda celor mai mici ptrate sunt optimali n sensul c orice alt estimator nedeplasat i care este o funcie liniar de Y, are o varian mai mare. Demonstraie. Estimatorul a, obinut prin metoda celor mai mici ptrate, este funcia liniar de Y: 1 a = [ ( X ' X ) X '] Y S considerm un alt estimator: b = By Cum b i a sunt liniari n Y, putem s scriem: b = a + CY 1 (este suficient s lum C = B ( X ' X ) X ' ) S punem acum condiia c b este nedeplasat: M ( b) = M ( a + CY ) = Atunci: + CX = , oricare ar fi , implic CX = 0 Dac evalum matricea de covarian a estimatorului b, atunci: V ( b) = M [ ( b )( b ) '] Cum 1 1 1 b = a + CY = ( X ' X ) X '+ C ( X + ) = ( X ' X ) X ' X + CX + ( X ' X ) X ' + C =

adic:

Deci, b = [ ( X ' X ) X '+ C] i, de aici: 1 V ( b) = 2 ( X ' X ) + 2 CC ' = V ( a ) + 2 CC ' Din modul cum s-a definit matricea C rezult c CC' este negativ definit, iar elementele de pe diagonal sunt pozitive sau nule. Aceasta demonstreaz teorema.
1

= + [ ( X ' X ) X '+ C]
1

9.15. Estimarea matricei de covarian

Am vzut c var (ak) sunt minime, dar nu le cunoatem, cci parametrul al modelului este n general necunoscut. Atunci, este natural s alegem drept estimator pentru 2 1 n statistica ei2 , ns acesta este un estimator deplasat. n i =1 ntr-adevr: 1 n M ei2 = M ( e' e) n i =1 Dar: e' e = tr ( e' e) = tr ( ' Q ) 1 Cum tr(AB) = tr(BA), putem scrie: e' e = tr ( ' Q ) = tr ( Q ') i, deoarece operatorii, urma i valoarea medie sunt liniari, putem interverti ordinea operatorilor, ceea ce ne conduce la M ( e' e) = M tr ( Q ') = tr [ QM ( ') ] . Deci:

M ( e' e) = tr ( Q) Urma matricii Q se calculeaz ns imediat: 1 1 1 trQ = tr I X ( X ' X ) X ' = n tr [ X ( X ' X ) X '] = n tr[ ( X ' X ) X ' X ] = n tr I = ( n ,n ) ( p, p) = n p i de aici rezult c: n ( e' e) = M ei2 = ( n p) 2 M i =1 Acum putem introduce statistica: 1 n 2 s2 = , n p i =1 i care este un estimator nedeplasat al parametrului 2. n final se obine estimatorul nedeplasat S al matricii de covarian, 1 S = s2 ( X ' X ) ( M ( S ) = V ( a) ) Estimatorii individuali ai dispersiilor coeficienilor ak sunt dai de elementele de pe 1 diagonala principal a matricii S = s 2 ( X ' X ) .
2

O schem de estimare a parametrilor prin metoda celor mai mici ptrate, utiliznd polinoame ortogonale: S considerm problema estimrii parametrilor a1 , a 2 ,..., a m din ecuaia:
Y = a k k ( x) ,
k =1 m

care constituie legtura ntre valorile observate Y i variabila independent x ce apare n relaie prin intermediul funciilor 1 ( x ) , 2 ( x ) ,..., m ( x ) presupuse cunoscute. Dac n particular 1 ( x ) = 1, 2 ( x ) = x ,..., m ( x ) = x m1 , obinem Y ca un polinom de gradul m 1, iar dac m = 2 obinem o dependen liniar.

Am notat tr(A) urma matricii A, adic suma elementelor de pe diagonala principal.

Vom presupune c valorile observate ale variabilei Y, pentru un anumit sistem de valori x j , 1 j n ale argumentului sunt afectate de erorile j , 1 j n , astfel c:
Yj = a k k x j + j , 1 j n
m k =1

k ( x ) = cos kx , k ( x ) = k cos x , k ( x ) = sin kx

n unele probleme tehnice ntlnim sisteme de funcii trigonometrice de forma:

( )

Asupra erorilor j facem ipoteza c sunt independente i c sunt repartizate normal de parametri M j = 0.
2 2

( ) D ( ) =
j

, j = 1,2,..., n

Vom estima parametrii a1 , a 2 ,..., a m minimiznd suma ptratelor erorilor. 2 n m S ( a1 , a 2 ,..., a m ) = y j a k k x j ( min) j =1 k =1 $ $ $ Estimaiile a1 , a 2 ,..., a m ale parametrilor prin metoda celor mai mici ptrate se obin rezolvnd sistemul de ecuaii: n m 1 S = y j a k k x j i x j = 0, 1 i m 2 a i j =1 k =1 Notnd pentru simplificare

( )

( ) ( )
k

( x ) ( x ) = ( , ) = (
n

y ( x ) = ( y , ) = ( , y )
j =1 m j i j i i

j =1 n

, i )

Sistemul de ecuaii se poate pune sub forma:

a ( , ) = ( y, ) i = 1,2,..., m
k =1 k i k i

$ $ $ Soluia acestui sistem constituie estimaiile a1 , a 2 ,..., a m . Rezolvarea sistemului se simplific considerabil dac sistemul de funcii { k ( x ) } constituie un sistem ortogonal pe mulimea valorilor argumentului x1, x2, , xn. Dup cum se tie, condiia de ortogonalitate const n faptul c pentru orice i k ,

( , ) = ( x ) ( x ) = 0
n
1

Dac funciile k sunt ortogonale, atunci i k ( x ) = Ck k ( x ) vor fi ortogonale, iar dac k nu sunt ortogonale, ele se pot ortogonaliza prin procedeul obinuit. Astfel, considernd sistemul de funcii 1 ( x ) = 1, 2 ( x ) = x ,..., m+1 ( x ) = x m , care nu este un sistem ortogonal, se construiete sistemul ortogonal: 1 ( x ) , 2 ( x ) ,..., m+1 ( x ) din aproape n aproape cu: ( x i1 , i1 ) ( ) ( x i1 , 1 ) ( ) i 1 i ( x ) = x x ... x ( i1 , i 1 ) i1 ( 1 , 1 ) 1 i = 2,..., m + 1, 1 ( x ) = ( x ) = 1

j =1

Aa, de exemplu:

x ( x, ) ( ) x = x ( x) = x n ( , )
1 j =1 2 1 1 1

= xx

3 ( x ) = x 2

( x , ) ( ) ( x , ) ( ) x =x x ( , ) ( , )
2 2 2 1 2 1 2 2 1 1

x (x
n 2

j =1 n

2 j

( x
j =1

( x x)

x
j =1

2 j

x
= x2
j =1 n

3 j

xx
j =1 n

2 j

x
j =1

2 j

xxj
j =1

( x x)

x
j =1

2 j

Deci, i ( x ) , i = 1, 2,..., m + 1 sunt polinoame de gradul i 1 cunoscute sub numele de polinoame Cebev. Din relaia scris n general se vede imediat c orice putere x i1 se poate reprezenta sub forma unei combinaii liniare de funciile 1 ( x ) , 2 ( x ) ,..., i ( x ) , i = 1, 2,..., m + 1. Aceasta ne conduce la faptul c orice combinaie liniar combinaie liniar

a ( x )
n j =1 k k j

se transform ntr-o

b ( x )
n j =1 k k j

de funcii ortogonale k obinute din k prin procedeul de

ortogonalizare menionat. S presupunem acum c sistemul de funcii 1 , 2 ,..., m constituie un sistem ortogonal, adic ( 1 2 ) = 0, i j . n acest caz, sistemul de ecuaii:

a ( , ) = ( y, ) , i = 1, 2,..., m ,
k =1 k i k i

se poate scrie: ai ( i , i ) = ( y , i ) , i = 1, 2,..., m i, deci,

n

$ ai

( y , ) y ( x ) , i = 1, 2,..., m , = = ( , ) ( x )
i j =1 j j j n i i j =1 2 i j m

$ care ne arat c estimaiile a i sunt funcii liniare de observaiile y j . ns y j sunt date de:

y j = a k k x j + j , j = 1, 2,..., n

innd seama de faptul c ( k ) 1 k m sunt ortogonale, putem scrie:

$ ai

k =1

( )
j

( x ) a ( ( x ) , ( x ) ) ( x ) = + = +a ( , ) ( , ) ( , )
n m n j =1 j i k =1 k k j i j j =1 j i j i i i i i i

De aici obinem:
n

$ ai ai

Cum j sunt variabile aleatoare independente, identic repartizate, normale N ( 0, ) i cum i sunt combinaii liniare de j , rezult c i i sunt variabile aleatoare repartizate normal de parametri: n 1 M ( i ) = x M j = 0, i = 1, 2,..., m ( i , i ) j =1 i j

( x ) = = ( , )
j =1 j i j i i

( ) ( )

D ( i ) = M (
2

2 i

m 2 2 ( i , i ) 2 = x M j + i x j i ( x k ) M j k = 2 , ( i , i ) jk ( i , i ) 2 j =1 i j 1

( ) ( )

( )

adic: D 2 ( i ) =

2 , i = 1, 2,..., m ( i , i )

$ O proprietate foarte important a estimaiilor a i dezvoltate dup funcii ortogonale, o constituie faptul c sunt necorelate, iar n cazul cnd j sunt variabile normale, sunt i independente. ntr-adevr, putem scrie: n ( i , i )( k , k ) M ( i , k ) = M j i ( xh ) = i x j k ( xh ) M j h j =1 j ,h Cum: 0, j h M j h = 2 , , j = h rezult:

( )

( , )(
i i

2 k , k ) M ( i k ) = i x j k x j n j =1

( ) ( )

Dar ( i ) 1 i m sunt ortogonale i, deci, M ( i k ) = 0 dac i k , ceea ce probeaz $ $ necorelarea variabilelor a i i a k .

Pentru estimarea dispersiei 2 vom folosi suma ptratelor abaterilor 2 = y j Y j j Se poate arta c: 2 1 n 2 1 n 2 sy = j = n m y j Yj , n m j =1 j =1 n ipotezele pe care le-am formulat, constituie o estimaie nedeplasat a dispersiei 2 . nm 2 2 ( n m) . Variabila 2 s y are o repartiie

Pentru a construi intervale de ncredere pentru coeficienii ak ne folosim de faptul c variabilele: $ ak ak ( ) tk = s y / ( k , k ) sunt variabile aleatoare repartizate Student cu n m grade de libertate i, deci, P t ((nk) m) < t ((nk) m) , = ( - nivelul de ncredere)

ne conduce la intervalul: sy (k) (k $ $ a k t n m, < a k < a k + t n )m, ( k , k )

sy

k , k )

, k = 1, 2, , m.