A.

Bouamaine

Fonction de vraisemblance - Chapitre 3

Fonction du Vraisemblance

1. Mthode du maximum de Vraisemblance

Soit X une variable alatoire dont f ( x, ) est la probabilit de la valeur x dans le cas discret
et la densit de probabilit dans le cas absolument continu.
On souhaite donner une mthode qui permette de dterminer lestimateur dun paramtre
dune loi de probabilit.
Pour se fixer les ides, On fait une seule exprience alatoire, soit x1 une ralisation de X
contenu dans un intervalle petit I qui dpend de
On a :

P[ X I ]=

f(x1,)

f(x1,)dx

si X est v.a.r discrte

si

X est continue

Problme : On nhsite entre plusieurs valeurs de ; quelle peut tre la valeur la plus
probable en rapport avec x1 ?

= 1

x1

= 2

x1

= 3
x1
I

STATISTIQUE DE DECISION

A. Bouamaine

Fonction de vraisemblance - Chapitre 3

Il est naturel de choisir la valeur de qui donne une ralisation de lvnement

XI ]

Avec une plus grande probabilit, on est donc conduit prendre pour estimation de la valeur
qui rend maximum la fonction f ( x, ) .
r
Lorsquon fait n expriences alatoires indpendantes x = (x1, x 2, ..........., x n ) , la probabilit dun
n
r
lment de volume dv contenant x = (x1, x 2, ..........., x n ) est f ( x i , ) dans le cas discret est
i =1

f ( x , ) dv dans le cas absolument continu.

i =1

Dfinition
On appelle fonction de vraisemblance la fonction dfinie par :
n
r
L (x , ) = f ( x i , )
i =1

La mthode du maximum de vraisemblance consiste prendre pour estimation de ,

r
le nombre qui rend maximum L (x , )
Comme la fonction logarithme est croissante, il revient au mme de rendre maximum

r
Log ( L (x , )) =

Log (f ( x , ))
n

i =1

Remarque
Lorsque la fonction f est drivable en , ce maximum peut tre obtenu en cherchant les zros
n
r
de lexpression : Log ( L (x , )) = Log (f ( x i , ))

i =1

Exemple . Estimateur au sens du maximum de vraisemblance de la moyenne dune loi de

Gauss.
Rponse
r
On fait n expriences alatoires indpendantes x = (x1, x 2, ..........., x n )
On a :
n
r
1 n

1
2 ( x i ) 2
L (x , ) = f ( x i , ) =
exp

n
/
2
n(2)
i =1
2 i =1

Do

n
r
Log ( L (x , )) = -n Log - n Log (2 ) - 1 2 1 2 ( x i ) 2
2
2
2 i =1

Statistique de Dcision

A. Bouamaine

Fonction de vraisemblance - Chapitre 3

n
Log ( L (xr , )) = 1 ( x ) = n x
i

2
2
i =1

Une solution = x = 1 x i est un zro de cette expression.

n i =1
2

r
Comme
Log ( L (x , )) = - n2 < 0, on a bien un maximum au point =
2

r
r
Soit X = (X1, X 2,...........,Xn ) vecteur alatoire de ralisation x = (x1, x 2, ..........., x n ) ,
n

On a : X = 1 Xi est un estimateur de au sens du maximum de vraisemblance.

n i =1

2. Etude des estimateurs non biaiss

Objectif : Parmi les estimateurs non biaiss, convergents dun mme paramtre, le meilleur
est celui de plus petite variance.
Dans ce paragraphe, on souhaite dterminer un minorant de la variance dun estimateur non
biais
Soit X une variable alatoire de densit f ( x, ).
r
Soit X = (X1, X 2,...........,Xn ) chantillon alatoire i.i.d. de X , ayant pour ralisation
r
x = (x1, x 2, ..........., x n ) .
n
r
Soit la fonction de vraisemblance : L (x , ) = f ( x i , )
i =1

Soit T = ( X ) estimateur non biais de .

r

On a :

IR n

r
L ( x, ) dx = 1 ;

IR n

r
r
( x ) L ( x, ) dx =

Conditions de Cramer Rao.

H1 = { x, f ( x, ) > 0 } ne dpend pas de
H2 f ( x, ) existe.

r
r
r
H3 Log ( L (x , )) , Log ( L (x , )) ( x ) sont intgrables par rapport la mesure

r
de densit L (x , ) dans IRn ainsi que leurs carrs.
H4 la statistique T = ( X ) a une variance finie.
r

Statistique de Dcision

A. Bouamaine

Fonction de vraisemblance - Chapitre 3

))

2
r
In = E Log L ( X, )

Posons :

Dfinition
2
r
In = E Log L ( X, ) est appel la quantit dinformation de Fischer, elle reprsente

))

la quantit dinformation apporte par .

Thorme de Cramer - Rao

Sous H1, H2, H3, H4, on a :
1 ) Ingalit de Cramer Rao : Var[ T ] 1
In

r
r
2 ) Var[ T ] = 1 () telle que Log(L ( x, )) = () ( ( x ) - )

In

Consquences
Si les conditions de Crame -Rao sont ralises, tout estimateur non biais a une variance
minore par 1 . Lincertitude sur est dautant plus faible que In sera grand.
In

Dfinition.
Un estimateur T de non biais est dit efficace si Var[ T ] = 1
In

Corollaire
Faisons les hypothses
2
r
i ) 2 Log(L ( x, )) existe

ii )

2
r
r
Log(L ( x, )) est absolument intgrable par rapport L ( x, )
2

r
2

Sous les hypothses de Cramer et Rao, i) et ii ), on a : In = - E 2 Log(L ( x, ))

Corollaire
i ) Il nexiste un estimateur efficace que sil existe une constante () indpendante du

r
r
r
vecteur x tel que : Log(L ( x, )) = () ( ( x ) - )

ii ) Un estimateur efficace est un estimateur au sens du maximum de vraisemblance

iii) Un estimateur efficace est un estimateur convergent.

Statistique de Dcision