Introduction lconomtrie

S6-LEF sc. co. & gestion

Chapitre 2 :

Prof. Mohamed El Merouani

REGRESSION LINAIRE MULTIPLE

Plan du Chapitre :
I.- Position du problme
II.- Hypothses dapplication de la Mthode de moindres carres
III.- Estimation des composants du vecteur A

lM
E

IV.- Esprance mathmatique et matrices des variances covariances des estimateurs

suivre

I.- Position du problme :

Le modle de rgression linaire multiple est de la forme :

ero

Y = a1 X 1 + a2 X 2 + L + ak X k + ,

o Y est la variable expliquer,.

ua

X1,X2,,Xk ce sont les variables explicatives.

a1,a2,,ak ce sont les paramtres du modle.

ni

est lerreur alatoire, inconnue et centre.

Les variables Y, X1,X2,,Xk et sont des vecteurs de n composantes.

FP

x11

x 21
M
X 1 = ; LLL;
xi1
M

x
n1

x1k

x2 k
M
;
Xk =
xik
M

x
nk

1

2
M
=
i
M


n

tou

Te

y1

y2
M
Y = ;
yi
M

y
n

Le vecteur alatoire Y est connu. Les vecteurs X1,X2,,Xk sont connus et non alatoires.

x1k 1
y1
x11

x12
x2 k 2
y2
M M
M
M
+
= a1 + LL + a k
xik i
yi
xi1
M M
M
M

x
x
y
nk n
n
n1

an

Rsoudre le problme consiste en estimer les paramtres a1,a2,,ak qui sont inconnus. Notons
par a1 , a 2 , L , a k leurs estimateurs. Le modle scrit, alors :

1
www.elmerouani.jimdo.com

Introduction lconomtrie

S6-LEF sc. co. & gestion

Prof. Mohamed El Merouani

ou encore sous forme matricielle,

lM
E

y1

y 2 x11
M x
= 21
yi M
M x
n1
y
n

x12
x 22
xn 2

L x1k a1 1

L x 2 k a 2 2
+
O M M M

L x nk a k n

Soit finalement, en posant,

x12
x 22
xn 2

L x1k

L x2k
O M

L x nk

et

ero

x11

x
X = 21
M

x
n1

a1

a
A= 2
M

a
k

sous forme dune quation matricielle :

ua

Y = XA +

Matrices de types

(n,1)=(n,k)(k,1)+(n,1)

ni

Remarquons quun modle crit sous forme non homogne, c'est--dire avec un terme
constant :

FP

Y = a0 + a1 X 1 + a2 X 2 + L + ak X k +

Revient au cas gnral prcdent en supposant que la constante a0 est multiplie par un
vecteur unitaire X0 :

Te

Y = a0 X 0 + a1 X 1 + a2 X 2 + L + ak X k +

L x1k

L x2k
et
O M

L x nk

a0

a
A= 1
M

a
k

an

1 x11

1 x 21
X =
M

1 x
n1

tou

La matrice X admet, alors, une colonne compltement des 1 :

Par la suite, nous allons considrer le cas homogne et nous allons estimer les termes du
vecteur A en appliquant la mthode des moindres carres.

2
www.elmerouani.jimdo.com

Introduction lconomtrie

S6-LEF sc. co. & gestion

Prof. Mohamed El Merouani

II.- Hypothses dapplication de la mthode des moindres carres :

On suppose que :
1) Le nombre des composantes (n) est plus grand que le nombre des variables explicatives
(k) :
n>k.

lM
E

Les variables explicatives sont connues et non-alatoires. En dautres termes, commenant de

nouveau par lchantillonnage, lunique source de variation pour Y provient de lerreur
alatoire .
2) La matrice X de type (n,k) est de rang k, c'est--dire que aucune variable explicative nest
linairement dpendante des autres.

ero

Dans le cas o le rang de X est infrieur k, la procdure destimation nest plus valable. En
effet, le rang de la matrice XX, ou X dsigne la matrice transpose de X, est alors infrieur
k, et la matrice (XX)-1, matrice inverse de XX nexiste pas.
3) Lesprance mathmatique du vecteur rsiduel est nulle :
E()=0

(hypothse fondamentale)

ua

Le zro reprsente le vecteur 0 de n composantes. En effet, pour tout i, on a E(i)=0, c'est-dire :

ni

1 0

0
E 2 = E ( ) = 0
M
M

n 0

FP

E ( 1 ) = 0
E ( ) = 0

E ( n ) = 0

4) Lesprance mathmatique de la matrice forme par le produit du vecteur et de sa

transpose est gale I, o pour tout i, 2 = E ( i2 ) et o I est la matrice identit de type

(n,n).
En effet,

de types (n,1) (1,n)

L 1 n

L 2 n
O
M
L n2

an

12 1 2
1

22

2
= ( 1 , 2 ,L, n ) = 2 1
M
M



n
n 2
n 1

tou

Te

(n,n)

Alors, lesprance de cette matrice sera :

3
www.elmerouani.jimdo.com

Introduction lconomtrie

S6-LEF sc. co. & gestion

E ( 12 ) E ( 1 2 )

E ( 2 1 ) E ( 22 )
E ( ) =
M

E ( ) E ( )
n 1
n 2

Prof. Mohamed El Merouani

L E ( 1 n )

L E ( 2 n )
=
O
M

L E ( n2 )

Cette matrice est la matrice des variances-covariances des erreurs que lon note .
Mais, par lhypothse dhomoscdasticit, on a : E ( 12 ) = E ( 22 ) = L = E ( n2 ) = 2

lM
E

et par lhypothse de non-corrlation des erreurs : E ( i j ) = 0,

si i j

2 0 L 0
1 0 L 0

2
1 O M
0 O M
2 0
E ( ) =
=
= 2I

M O O 0
M O O 0

2
0 L 0
0 L 0 1

Do

ero
E ( ) = = 2 I .

Finalement,

ua

III.- Estimation des composants du vecteur A :

Soit le modle Y=XA+, o est une variable alatoire inconnue.

ni

Soit A le vecteur estimateur de A.

FP

Le modle estim est alors : Y = X A .

Dsignons par e le rsidu qui existe entre la valeur relle de Y et la valeur estim Y :

Te

e = Y Y = Y X A

Le vecteur e est un vecteur colonne de n composantes e1, e2, ,en.

tou

Calculons selon la mthode des moindres carres, la somme des carres des rsidus :
n

= e . e

an

i =1

2
i

o e est le vecteur ligne transpose de e .

n

On a :

e
i =1

2
i

)(

= Y X A Y X A

( )

or Y X A = Y X A = Y A X

4
www.elmerouani.jimdo.com

Introduction lconomtrie
n

alors

e
i =1

2
i

S6-LEF sc. co. & gestion

)(

Prof. Mohamed El Merouani

= Y A X Y X A = Y Y Y X A A X Y + A X X A

les termes de cette somme sont des matrices de type (1,1), c'est--dire des scalaires. Or, la

transpose dun scalaire est le mme scalaire. Ainsi,

Y X A = Y X A

de type

(1,n)(n,k)(k,1)=(1,1)

lM
E

(Y X A ) = A X (Y ) = A X Y

mais aussi

Finalement

e
i =1

2
i

= Y Y 2 A X Y + A X X A

ero

Le 2me terme du 2me membre est une forme linaire en A , le 3me est une forme quadratique
en A (la matrice XX est une matrice de type (k,k) symtrique).
n

Pour dterminer le minimum de

e
i =1

, nous la drivons par rapport au paramtre estimer A

ua

On a :

2
i

( A X Y )
= X Y
A

et

( A X X A )
= 2 X X A

ni

Donc, la drive de la somme des carres des rsidus est :

ei2
i =1 = 0 ( X X )A = X Y
A

tou

Te

Alors ;

FP

ei2
i =1 = 0 2( X Y ) + 2 X X A
A

Si la matrice X est de rang k, la matrice (XX)-1 existe, alors ;

1
A = ( X X ) X Y

Le vecteur A est alatoire. En effet, si on remplace Y par sa valeur Y=XA+, on aura :

an

1
A = ( X X ) X ( XA + )
1
1
A = ( X X ) ( X X ) A + ( X X ) X
1
A = A + ( X X ) X

Le vecteur A dpend linairement du vecteur alatoire .

5
www.elmerouani.jimdo.com