Probabilits et introduction ` la Statistique e a M1 premier semestre Rsum de cours e e

F. Barthe Institut de Mathmatiques. e Universit Paul Sabatier. e 31062 Toulouse cedex 09. Email : barthe@math.univ-toulouse.fr 19 septembre 2008

Les lecteurs intresss par les preuves des noncs pourront consulter entre autres les livres e e e e suivants : Philippe BARBE et Michel LEDOUX, Probabilit. De la Licence ` lAgrgation. e a e Editions Espaces 34, Belin (1998). Nouvelle dition EDP Sciences (2007). e Dominique FOURDRINIER, Statistique Infrentielle 2`me Cycle - Cours et Exercices Corrigs. e e e Sciences Sup, Dunod (2002). Toutefois, ces ouvrages ne couvrent pas les paragraphes sur les grandes dviations et les lois e extrmes (qui ne sont pas dans le programme au sens strict). e

Table des mati`res e

1 Thorie de la mesure. e 1.1 Alg`bres et tribus . . e 1.2 Fonctions mesurables 1.3 Classes monotones. . 1.4 Mesures . . . . . . . 4 4 5 6 6

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

2 Rappels dintgration e 2.1 Construction de lintgrale de Lebesgue. e 2.2 Thor`mes de convergence . . . . . . . . e e 2.3 Mesures ` densit . . . . . . . . . . . . . a e 2.4 Changements de variables. . . . . . . . . 2.5 Interversions . . . . . . . . . . . . . . . 2.6 Ingalits, espaces Lp (, A, ). . . . . . e e

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

8 . 8 . 9 . 9 . 10 . 10 . 11 12 12 13 13 14 15

3 Mesures de probabilit, variables alatoires. e e 3.1 Mesures de probabilits, lois . . . . . . . . . . e 3.2 Moyennes, calculs et ingalits . . . . . . . . e e 3.3 Fonction de rpartition dune v.a.r. . . . . . . e 3.4 Fonction caractristique . . . . . . . . . . . . e 3.5 Transforme de Laplace . . . . . . . . . . . . e

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

4 Rappels sur la notion dindpendance e 16 4.1 Indpendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 e 4.2 Sommes de variables alatoire indpendantes . . . . . . . . . . . . . . . . . . . . 17 e e 4.3 Suites de tribus ou de v.a. indpendantes . . . . . . . . . . . . . . . . . . . . . . 18 e 5 Calcul conditionnel 5.1 Conditionnement discret . . . . . . . . . . . . . . . . . . . . 5.1.1 Par rapport ` un vnement . . . . . . . . . . . . . . a e e 5.1.2 Par rapport ` une v.a. discr`te . . . . . . . . . . . . a e 5.2 Esprance conditionnelle dune v.a. par rapport ` une tribu e a 5.2.1 Dnition pour des variables alatoires dans L2 . . . e e 5.2.2 Extension aux variables alatoires positives . . . . . e 5.2.3 Dnition pour des variables alatoires dans L1 . . . e e 5.2.4 Proprits de lesprance conditionnelle . . . . . . . ee e 5.3 Loi conditionnelle sachant une variable alatoire . . . . . . e 20 20 20 20 21 21 22 22 22 23

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

6 Vecteurs gaussiens 6.1 Variables gaussiennes . . . . . . . . . . . . 6.2 Vecteurs gaussiens de Rd . . . . . . . . . . 6.3 Indpendance, conditionnement . . . . . . e 6.3.1 Calculs desprance conditionnelle e 6.3.2 Lois associes . . . . . . . . . . . . e 7 Convergence des suites de v.a. 7.1 Convergence presque sure . . 7.2 Convergence en probabilit . e 7.3 Convergence dans Lp , p 1 . 7.4 Convergence en loi . . . . . . et de lois . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

24 24 24 25 25 26 27 27 27 28 29 31 31 31 32 32 34 34 36 36 36 36 36 37 37 37 38 38 38 39 40

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

8 Thor`mes limites e e 8.1 Loi des grands nombres . . . . 8.2 Thor`me de la limite centrale e e 8.3 Principe de grandes dviations e 8.4 Valeurs extrmes . . . . . . . . e

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

9 Introduction ` la statistique a 9.1 Structure statistique . . . . . . . . 9.2 Quelques techniques destimation . 9.2.1 Moments empiriques . . . . 9.2.2 Maximum de vraisemblance 9.2.3 Intervalle de conance . . . 9.3 Exhaustivit . . . . . . . . . . . . . e 9.4 Compltude . . . . . . . . . . . . . e 9.5 Libert . . . . . . . . . . . . . . . . e 9.6 Mod`les exponentiels . . . . . . . . e 9.7 Information et ecacit . . . . . . e 9.8 Initiation aux tests . . . . . . . . . 9.8.1 Denitions . . . . . . . . . 9.8.2 Mesures de qualit des tests e 9.8.3 Construction de tests . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

Chapitre 1

Thorie de la mesure. e
1.1 Alg`bres et tribus e

Dnition 1. Un ensemble de parties de , A P() est une alg`bre (de Boole) si e e 1. A, 2. A est stable par complmentation : A A Ac A, e 3. A est stable par runion nie : A, B A A B A. e Dnition 2. Un ensemble de parties de , A P() est une tribu (ou -alg`bre) si e e 1. A, 2. A est stable par complmentation : A A Ac A, e 3. A est stable par runion dnombrable : (n N, An A) e e Remarque 1. An = Ac n
c nN An

A.

. Une tribu est donc aussi stable par intersection dnombrable. e

Vocabulaire. Si A P() est une tribu, (, A) est un espace mesurable. Tout A A est un ensemble mesurable. Proposition 1. Une intersection dalg`bres sur est une alg`bre sur . Une intersection de e e tribus sur est une tribu sur . Dnition 3. Soit E P () . e 1. Lalg`bre engendre par E est par dnition lintersection des alg`bres contenant E. On la e e e e note a(E). 2. La tribu engendre par E est par dnition lintersection des alg`bres contenant E. On la e e e note (E). Cest la plus petite tribu sur contenant E. Si A est une tribu alors E A (E) A. Dnition 4. Soit un espace topologique. On appelle tribu Borlienne sur , note B (), e e e la tribu engendre par les ouverts de . Tout A B () est appel ensemble borlien. e e e Exemple 2. On munit R et R := R{, +} de leurs topologies usuelles, induites par lordre. On a alors B(R) = ] , a]; a R et B R = [, a]; a R .

Dnition 5. Soient (1 , M1 ), (2 , M2 ) deux espaces mesurables. La tribu produit M1 M2 e sur 1 2 est la tribu engendre par les pavs e e A1 A2 , A 1 M 1 , A 2 M 2 . 4

1.2

Fonctions mesurables

Dnition 6. Soient (, A) , (E, B) des espaces mesurables. e Une fonction f : E est dite mesurable (pour A et B) si B B, f 1 (B) A, cest ` dire si f 1 (B) A o` lon a pos f 1 (B) := f 1 (B) , B B . a u e On appelle tribu engendre par f la tribu e (f ) := f 1 (B) = f 1 (B) = f 1 (B) , B B . Cest la plus petite tribu sur qui rend f mesurable. Plus gnralement, si F est une famille de fonction de (E, B), la tribu engendre e e e par F, not (F) est la plus petite tribu sur qui rend mesurable toute fonction de F e (F) := f 1 (B), B B, f F .

Vocabulaire. Une application mesurable f : (, A) (E, B(E)) est dite borlienne. e e Exemple 3. Une fonction f dnie sur (, A) et ` valeurs dans R ou R est borlienne si et e a seulement si a R, { ; f () a} A. Proposition 2. Vrication de la mesurabilit des fonctions sur une partie gnratrice. e e e e Soit f : (, A) (E, B) et soit E P(E), avec (E) = B, alors (f ) = f 1 (E) = {f 1 (C), C E} . Donc f est mesurable si et seulement si : C E, f 1 (C) A. Plus gnralement, si F est une famille de fonctions E alors e e (F) = f 1 (C), C E, f F
f1 f2

Proposition 3. Stabilit des fonctions mesurables. e Composition : on consid`re (1 , A1 ) (2 , A2 ) (3 , A3 ). Dans ce cas : e f1 , f2 mesurables f2 f1 mesurables. Soient pour i = 1 ou 2, fi : (, A) (Ei , Bi ) et soit f : (, A) (E1 E2 , B1 B2 ) dnie par f () = (f1 (), f2 ()). Alors f est mesurable si et seulement si f1 et f2 sont e mesurables. Soient (fn )nN une suite de fonctions mesurables de (, A) Rd , B(Rd ) . Lensemble C := { , limn fn ()} est mesurable et la fonction f qui vaut limn fn quand la limite existe et 0 sinon est mesurable. R, f1 est mesurable. f1 + f2 est mesurable. Si f, g : (, A) (R, B(R)) sont mesurables, alors f + g, f g, max(f, g) et min(f, g) sont mesurables. Si pour n 1, fn : (, A) R, B R sont mesurables, alors max(f1 , f2 ), min(f1 , f2 ), lim supn fn et lim inf n fn sont mesurables. Si f1 et f2 sont positives, alors f1 + f2 est bien dnie et mesurable. e Proposition 4. Si f : (1 , B(1 )) (2 , B(2 )) est continue, alors elle est mesurable.

Dnition 7. Une fonction f : (, A) R est dite tage sil existe k N, A1 , . . . , Ak A e e e k + avec f () = disjoints et a1 , . . . , an R i=1 ai 1Ai (). Une telle fonction est mesurable quelle que soit la tribu ` larrive. a e a Proposition 5. Toute fonction f : (, A) R, B R , ` valeurs positives, est limite simple croissante de fonctions tages. e e

1.3

Classes monotones.

Cette notion, plus maniable que celle de tribu, sera utile pour dnir les mesures. e Dnition 8. M P() est une classe monotone (c.m. en abrg) si : e e e 1. M, 2. A, B M et B A A \ B = A B c M, 3. i N, Ai M et Ai Ai+1
iN Ai

M.

Dnition-Proposition 9. Une intersection quelconque de c.m. est une c.m. e Soit E P(). La classe monotone engendre par E, note M(E), est par dnition lintere e e section de toutes les c.m. contenant E. Cest la plus petite c.m. sur qui contient E. Proposition 6. Soit M une classe monotone. Si elle est stable par intersection nie, alors cest une tribu. Thor`me 7 (Classes monotones). Soit E P() stable par intersection nie. Alors e e M(E) = (E). Dnition 10. Un ensemble H de fonctions de R est dit stable par convergence monotone e borne si pour toute suite (fn )nN , croissante et borne ( C, n, , |fn ()| C) de fonctions e e de H, la limite f = lim fn est dans H. Thor`me 8. (Version fonctionnelle du thor`me de classe monotone) e e e e Soit H un R-espace vectoriel de fonctions bornes de R stable par convergence monotone e borne. Soit C H un ensemble de fonctions e contenant les constantes, stable par multiplication et addition dune constante. Alors H contient lensemble b ((C)) des fonctions bornes mesurables pour e (C) = f 1 (B), f C, B B(R) .

Remarque 4. Ce rsultat peut tre vu comme un analogue borlien du thor`me de Stonee e e e e Weierstrass.

1.4

Mesures

Dnition 11. Soit (, A) un espace mesurable. On appelle mesure sur (, A) toute application e : A R+ {} telle que () = 0, si (Ai )iI est une famille au plus dnombrable densembles disjoints de A alors e
iI

Ai =
iI

(Ai ).

Vocabulaire. On dit que (, A, ) est un espace mesur. e Dnition 12. On dit que est une mesure de probabilit si () = 1, une mesure nie si e e () < +. On dit que est -nie sil existe une suite (An )nN dans A avec n, (An ) < et = n An . Proposition 9. Soit (, A, ) un espace mesur. Soient A, B et (Ai )iI des lments de A : e ee 1. A B (A) (B). 2. (A B) + (A B) = (A) + (B). 3. Si I est au plus dnombrable, alors ( e 4. Si n N, An An+1 alors (
nN iI

Ai )

iI

(Ai ). = limn (An )

An ) = limn (An ).
nN An )

5. Si n N, An An+1 et no , (Ano ) < alors (

Proposition 10. (Constructions de nouvelles mesures, ` partir de mesures) a 1. Si , sont des mesures sur (, A) et si R+ alors + : A (A) + (A) est aussi une mesure. 2. Si A A on peut dnir la restriction de ` A en posant pour B A, A (B) = (AB). e a Cest aussi une mesure. 3. Mesure image par une fonction. Soit f : (, A) (E, B) mesurable, soit mesure sur (, A) . Lapplication : f : B R+ {} dnie par f (B) = f 1 (A) est une mesure sur e (E, B) appele mesure image de par f . e La construction de mesures ` partir de rien est dlicate car les tribus sont souvent dcrites par a e e parties gnratrices. Il est ainsi dicile de dnir (A) pour A A quelconque. On souhaiterait e e e dnir la mesure sur une partie gnratrice ltendre de faon unique. e e e e c Thor`me 11. (Caractrisation des mesures nies) e e e Soit (, A) un espace mesur. Soit E A P() telle que e E, A, B E A B E, (E) = A. Si et sont deux mesures nies sur (, A) qui coincident sur E alors = . Thor`me 12. (Prolongement) e e Soit C une alg`bre de Boole de parties de . Soit : C R+ {} telle que e () = 0, A1 , . . . , An C (A1 . . . An ) = in (Ai ), si n N, An An+1 C et nN An C alors (A) = limn (An ). Alors se prolonge en une mesure sur (, (C)). Si est -nie sur C, le prolongement est unique et -ni. Exemple 5. Applications : construction de la mesure de Lebesgue sur R, construction de mesures produits.

Chapitre 2

Rappels dintgration e
2.1 Construction de lintgrale de Lebesgue. e

Soient (, A, ) un espace mesur, f : (, A) (R, B R ) une application borlienne et e e B A. Lintgrale de f sur B par rapport ` sera note e a e f d =
B B

f () d() =
B

f () (d). f () (d).

Si B = on note simplement

f d,

f () d() ou

Dnition 13. (Dnition de lintgrale par tapes) e e e e 1. Si f = 1A avec A A alors 2. Si f est tage : f = e e 0 = 0,
B f d := (A B). n + i=1 ai Ai avec ai R , et Ai

A disjoints alors, avec la convention

f d :=
B i=1

ai (Ai B).

3. Si f 0, on pose f d := sup
B B B

g d, g

tage f e e

[0, +].

On dit que f est intgrable sur B si e

f d < +.

4. Si f est quelconque elle scrit f = f+ f et |f | = f+ + f . e On dit que f est -intgrable sur B si B |f | d < , ce qui quivaut ` e e a f+ d < et
B B B

f d < .

Dans ce cas

f d :=

f+ d

f d R. ; f () {, +} = 0.

Remarque 6. Si f est intgrable par rapport ` alors e a

Proposition 13. (Oprations et proprits lmentaires) e e e ee Linarit : si f, g sont des intgrables et , R. e e e (f + g) d =

B B

f d +
B

g d.

(vrai aussi si f, g 0 et , 0.) 8

 Ordre : Si f g sont intgrables alors B f d B g d. e Si f g 0 alors B f d B g d 0. Si A B et f 0 alors B f d A f d. Si f = 0 alors f d = 0. Si f 0 et f d = 0 alors f = 0 -p.p. Si (B) = 0 alors B f d = 0. Si f 0 (ou intgrable sur B) alors f 1B lest aussi et e

f d =

1B f d.

2.2

Thor`mes de convergence e e

Thor`me 14 (Convergence monotone). Soit (fn )nN une suite croissante de fonctions e e mesurables a valeurs dans [0, +]. Alors ` lim fn d = lim fn d.

Thor`me 15 (Fatou). Soient (fn )nN des fonctions mesurables ` valeurs dans [0, +], on e e a a alors : lim inf fn d lim inf fn d.
n n

Thor`me 16 (Convergence domine). Si (fn )nN est une suite de fonctions mesurables, e e e et sil existe une fonction g intgrable ( g d < ) telle que |fn | g et -presque partout e fn f alors f est intgrable et e
n

lim

fn d =

f d.

2.3

Mesures ` densit a e
R, B R R+ mesurable 0 et soit une mesure sur {} par f d.
A

Proposition 17. Soit f : (, A)

(, A). On peut dnir lapplication : A e

(A) :=

Alors est une mesure et si (A) = 0 alors (A) = 0. si g est mesurable et positive alors g d = f g d. gest -intgrable si et seulement si f g est -intgrable et dans ce cas e e

g d =

f g d.

Vocabulaire. On dit que est une mesure ` densit f par rapport ` et on note d = f d. a e a Dnition 14. Soit , deux mesures sur (, A). On dit que est absolument continue par e rapport ` si : a A A, [(A) = 0 (A) = 0]. On note . Si et on dit quelles sont quivalentes. e

Thor`me 18 (Radon-Nikodym). Soient , deux mesures -nies sur (, A) telles que e e . Alors il existe une fonction positive mesurable f telle que A A on a (A) = A f d i.e. d = f d. 9

Thor`me 19. Soient , des mesures -nies sur (, A). Alors il existe une unique dcomposition e e e = ac + avec ac trang`re ` (i.e. A A avec (A) = 0 et (Ac ) = 0). e e a

2.4

Changements de variables.

On commence par le cas gnral. e e Thor`me 20 (Transport). Soit f : (, A, ) (E, E) mesurable et soit : E R e e borlienne. e Si 0 alors f d = E df o` f est la mesure image dnie par f (B) = u e 1 (B)). (f Si est quelconque : f est -intgrable si et seulement si est f -intgrable et dans e e ce cas la formule est vraie. Ensuite un cas o` le calcul direntiel aide ` calculer f . u e a Thor`me 21 (Changement de variables). Soient A, B ouverts de Rn , f : A B un C 1 e e diomorphisme et g = f 1 . Alors e (f (x)) dx =
A B

(y) |det(Dg(y))| dy

2.5

Interversions

Thor`me 22 (Tonelli et Fubini). Soient (1 , A1 , 1 ) et (2 , A2 , 2 ) deux espaces mesurs e e e -nis. On consid`re lespace produit ( := 1 2 , A1 A2 , := 1 2 ). Soit f : R e mesurable. Alors la formule dinterversion suivante f d =
1 2

f (1 , 2 ) d2 (2 ) d1 (1 ) f (1 , 2 ) d1 (1 ) d2 (2 )
2 1

est valable si f est positive (Tonelli) ou si f est -intgrable, i.e. |f | d < + (Fubini). Pour le vrier on peut utiliser le e e thor`me de Tonelli pour |f | 0. e e Corollaire 23. On considre une suite de fonctions mesurables fn : (, A, ) R, n 0. e Alors lgalit e e fn d =
nN nN

fn d

est valable si fn 0 pour tout n, ou bien si |fn | d =

|fn | d < +.

Thor`me 24. (Drivation sous le signe dintgrale) e e e e Soit (, A, ) un espace mesur. Soit I un intervalle de R, t0 un point de lintrieur de I et e e f : I R telle que 10

 pour tout t I, lapplication f (, t) est -intgrable, e ({ ; t f (, t) est drivable en t0 }) = 1, e il existe > 0 et une fonction g sur , -intgrable telle que e t [t0 , t0 + ], Alors lapplication t F (t) := , |2 f (, t)| g().

f (, t) d()

est drivable en t0 et e

F (t0 ) =

2 f (, t0 ) d().

2.6

Ingalits, espaces Lp (, A, ). e e

Dnition 15. Sur L (, A, ) = {f : (, A, ) (R, B(R)) mesurables} on peut dnir e e f f := |f | d

p
1 p

pour p ]0, +[

:= inf a 0, , |f ()| > a = 0 .

p

Pour p ]0, +], lespace Lp (, A, ) est obtenu comme quotient de {f L (, A, ), f par la relation dquivalence f = g. e
p.p.

< }

Proposition 25. (Structure et dualit des espaces Lp ) e Pour p [1, ] , (Lp (, A, ), f p ) est un espace de Banach. En particulier on a lingalit e e triangulaire f + g p f p + g p. Si p [1, ), le dual de Lp est Lp o` p est lexposant conjugu tel que u e ingalits de Hlder assurent que e e o |f g| d fg
1 1 p

1 p

= 1. Les

|f | d f
p

1 p

|g| d

1 p

. f g d est un espace de Hilbert.

Lespace L2 (, A, ) muni du produit scalaire (f, g) :=

11

Chapitre 3

Mesures de probabilit, variables e alatoires. e

3.1 Mesures de probabilits, lois e

Dnition 16. Soit (, A) un espace mesurable. Une mesure de probabilit sur (, A) est une e e mesure P sur (, A) avec P () = 1. On parle aussi de loi de probabilit, o` de loi. e u e e Si P = iI pi xi avec iI pi = 1 et I au plus dnombrable, on parle de loi discr`te. Si P on parle de loi ` densit par rapport ` . a e a Si Rn est la mesure de Lebesgue de Rn et si P est une mesure de probabilit sur e (Rn , B(Rn )) avec P Rn , on parle de mesure ` densit. a e Remarque 7. Il ny a pas que des mesures discr`tes ou ` densit ! e a e Dnition 17. Soit A A un vnement. e e e il a lieu presque srement (P-p.s en abrg) si P (A) = 1. u e e il est ngligeable si P (A) = 0. e Proposition 26. (On spcie les proprits des mesures dans le cas de probabilits.) e ee e A B P (A) P (B) P (Ac ) = 1 P (A) P (A B) = P (B) + P (B) P (A B) P ( nN An ) nN P (An ) nN . Si n, An An+1 alors P ( n An ) = lim P (An ) Si n, An An+1 alors P ( nN An ) = lim P (An ) Dnition 18. On appelle variable alatoire (v.a. en abrg) sur (, A, P ) toute fonction e e e e mesurable X : (, A, P ) (E, B). On appelle loi de X sous la probabilit P la mesure image PX de P par X. e Par dnition B B, e PX (B) = P (X 1 (B)) = P ({ , X() B}) = P (X B). Dans la pratique : on oubliera souvent (, A, P ) pour se concentrer sur certaines variables, dont le comportement alatoire est dni par la loi. e e Vocabulaire. Une v.a. X : (, A, P ) (R, B(R)) (ou (R, B R )) est une variable alatoire relle e e (v.a.r. en abrg). e e

12

3.2

Moyennes, calculs et ingalits e e

Soit X : (, A, P ) (R, B(R)) une v.a.r. Si X est P -intgrable ou 0 alors on appelle esprance de X ou moyenne de X le nombre e e E(X) : = X dP. Si X Lp , p > 0 son moment absolu dordre p est E(|X|p ) et si X Lp , p N son moment dordre p est E(X p ). Si X L2 sa variance est Var(X) := E[(X EX)2 ] = E(X 2 ) (EX)2 . Si X, Y L2 , leur covariance est Cov(X, Y ) := E (X EX)(Y EY ) = E(XY ) (EX)(EY ). Thor`me 27. Soient X : (, A, P ) (E, B) et : (E, B) (R, B(R)) e e si 0 alors E(X) = E (x) dPX (x) si est gnrale, est PX -intgrable si et seulement si (X) est P -intgrable et e e e e E(X) =
E

dPX .

Cest la traduction du thor`me de transport. PX sut ` calculer Ef (X). e e a Proposition 28. (Quelques ingalits utiles) e e Jensen : Si X est une v.a.r. avec E|X| < et f : R R+ est une fonction convexe, alors f (EX) Ef (X). Markov : Si a ]0, +[ et X est une v.a.r. 0 alors P (X a) E(x) . a Consquence : Si X est une v.a.r. dans L2 alors pour a > 0, e P (|X EX| a) Si 1 p q +, alors X
p

VarX . a2

et Lq (, A, P ) Lp (, A, P ).

Dnition 19. X : (, A, P ) (Rd , B(Rd )) est dit p-intgrable si E( X p ) < . Si on note e e X = (X1 , . . . , Xd ), son esprance est le vecteur EX = (EX1 , . . . , EXd ) Rd . Sa matrice de e covariance est Cov(X) = Cov(Xi , Xj )
i,jd

= E(Xi EXi )(Xj EXj )

i,j

Cest une matrice symtrique positive car e i j Cov(Xi , Xj ) = Var i Xi 0

3.3

Fonction de rpartition dune v.a.r. e

Dnition 20. Soit X : (, A, P ) (R, B(R)) une v.a.r.. On dnit sa fonction de rpartition e e e FX : R [0, 1] par FX (t) = PX (] , t]) = P (X t). Proposition 29. FX = FY PX = PY . Proposition 30. FX est croissante, continue ` droite. a lim FX = 1, lim FX = 0
+

13

 FX a une limite ` gauche en tout point a FX (t ) := lim FX (u) = P (X < t).

ut
<

FX est discontinue en t P (X = t) > 0 i.e. t est un atome pour PX . FX admet un nombre au plus dnombrable de discontinuits. e e Dnition 21. Soit F : R [0, 1] croissante telle que lim+ F = 1, lim F = 0. Pour e u ]0, 1[ on dnit sa fonction inverse (` gauche) gnralise comme suit : e a e e e F (u) = inf{x, F (x) u}. Proposition 31. Soit F : R [0, 1] croissante, continue ` droite, avec lim+ F = 1 et a lim F = 0. 1. Pour tout u ]0, 1[, pour tout t F (u) t u F (t). 2. Si U est une v.a. uniforme sur [0, 1], (i.e. dPU (x) = 1[0,1] (x) dx) alors F (U ) admet F pour fonction de rpartition. e 3. Si X est une v.a.r. alors FX (U ) a mme loi que X (en abrg FX (U ) X). e e e Proposition 32. PX est la drive de FX au sens des distributions. e e 1 alors P (dt) = F (t) dt. Si FX est de classe C X X

3.4

Fonction caractristique e

Dnition 22. Soit une mesure nie sur Rd , B(Rd ) . Sa transforme de Fourier est la e e d par fonction dnie pour R e () =
Rd

ei

,x

d(x) =
Rd

cos

, x

d(x) + i
Rd

sin

, x

d(x).

Dnition 23. Soit X = (X1 , . . . , Xd ) une v.a. ` valeurs dans (Rd , B(Rd )). Sa fonction cae a ractristique est dnie pour = (1 , . . . , d ) Rd par e e X () := E ei
,X

= E ei

j Xj

= PX ().

Thor`me 33. La transforme de Fourier est injective sur les mesures de probabilit borliennes e e e e e de Rd : X = Y PX = PY . Thor`me 34. Soit X v.a. ` valeurs dans Rd . On note Rd la mesure de Lebesgue sur Rd . Si e e a 1 (Rd , ) alors P X L Rd et sa densit est donne par e e X Rd fX (x) = 1 (2)d ei
Rd ,x

X ()d.

Proposition 35. Pour toute v.a.r. X, X est continue, Si E|X|n < alors X est n fois drivable et pour k n, t R e X (t) = ik E[X k eitX ]. En particulier on retrouve les moments par la relation X (0) = ik E(X k ). Si X est n fois drivable en 0 alors X admet des moments jusqu` lordre 2 e a 14
(k) n 2 (k)

3.5

Transforme de Laplace e

Dnition 24. Soit X une v.a. ` valeur dans Rd . Sa transforme de Laplace est dnie pour e a e e d par sR LX (s) := Ee s,X [0, ]. Proposition 36. Lensemble {s Rd ; LX (s) < } est convexe. Pour tout [0, 1] et tous s1 , s2 Rd , on a LX s1 + (1 )s2 LX (s1 ) LX (s2 )1 . Proposition 37. Soit X une v.a.r. telle que t [ , ], EetX < . Alors t [ , ], LX (t) =
n0

tn E Xn . n! > 0. Si pour tout s tel que

Thor`me 38. Soient X, Y deux v.a. ` valeurs dans Rd . Soit e e a s on a LX (s) = LY (s) < +, alors PX = PY .

Plus gnralement deux mesures sont gales des que leurs tranformes de Laplace sont nies e e e e et gales sur une boule : e Thor`me 39. Soient , des mesures borliennes sur Rd . Sil existe x0 Rd et e e e x B(x0 , ), L (x) = L (x) < alors = . Dnition 25. Soit X une v.a.r. qui admet des moments de tous ordres. On dit que sa loi est e caractrise par ses moments si pour toute v.a.r. Y on a e e [n 0, EX n = EY n ] PX = PY . Proposition 40. Soit X une v.a.r.. Sa loi est caractrise par les moments si lune des hye e poth`ses suivantes (qui sont quivalentes) est vrie : e e e e il existe > 0 tel que Ee|X| < +. 1 il existe C R+ tel que pour tout n 1, E X 2n 2n Cn. > 0 tels que

15

Chapitre 4

Rappels sur la notion dindpendance e

4.1 Indpendance e

Soit (, A, P ) un espace de probabilit. e Dnition 26. (Indpendance dvnements) e e e e Deux vnements A, B A sont indpendants si P (A B) = P (A)P (B). e e e Des vnements A1 , . . . , An A sont indpendants si {j1 , . . . , jp } {1, . . . , N } on a e e e P (Aj1 Ajp ) = P (Aj1 ) P (Ajp ). Dnition 27. (Indpendance de sous-tribus) e e Des sous-tribus B1 , . . . , Bn de A sont mutuellement indpendantes si e Ci Bi , P (C1 Cn ) = P (C1 ) P (Cn ).

Des sous-tribus de A, (Bi )iI sont mutuellement indpendantes si toute sous-famille nie e lest. Lindpendance de tribus se vrie sur des parties gnratrices stables par intersection : e e e e Proposition 41. Soient B1 , . . . , Bn des sous-tribus de A. Pour chaque i soit Fi Bi avec Fi , (Fi ) = Bi Fi stable par intersection nie. e Si Fi Fi on a P (F1 Fn ) = n P (Fi ) alors les (Bi )n sont indpendantes. i=1 i=1 Proposition 42. (Regroupement par paquets) Soit (Bi )iI une famille de sous-tribus de A, indpendantes. Soit une partition de I, I = jJ Ij et pour j J, Bj = (Bi , i Ij ). Alors e les tribus (Bj )jJ sont indpendantes. e Dnition 28. (Indpendance de variables alatoires) e e e Pour i I, soit Xi : (, A, P ) (Ei , Ei ) une v.a.. Les (Xi )iI sont indpendantes si les tribus e (Xi ) iI le sont. En particulier X1 , . . . , Xn sont indpendants si et seulement si Fi Ei , e
n

P (X1 F1 ) (Xn Fn ) =
i=1

P (Xi Fi ).

16

Thor`me 43. Des v.a. X1 , . . . , Xn sont indpendants si et seulement si e e e P(X1 ,...,Xn ) = PX1 PXn . Dans ce cas : fi mesurables positives : E
i=1 n n n

fi (Xi ) =
i=1

Efi (Xi ).

Si fi mesurable de signe quelconque, lgalit prcdente est vrie si e e e e e e

n

E
i=1

|fi (Xi )| =
i=1

E|fi (Xi )| < .

Proposition 44. Soient X1 , . . . , Xn des variables alatoires relles. Les assertions suivantes e e sont quivalentes : e X1 , . . . , Xn sont indpendantes. e Rn , (X1 ,...,Xn ) (1 , . . . , n ) = n Xi (i ). i=1
n

a1 , . . . , an R, P (X1 a1 , . . . , Xn an ) =
j=1 n n

P (Xj aj ).

fi : R R , E
i=1

fi (Xi ) =
i=1

Efi (Xi ).

4.2

Sommes de variables alatoire indpendantes e e

Cov(X, Y ) = E(XY ) E(X)E(Y ) = E[(X E(X))(Y E(Y ))] = 0

Dnition 29. Des v.a.r. X, Y L2 (, A, P ) sont non corrles si e ee

Remarque 8. Des variables indpendantes sont non corrles. e ee Proposition 45. Soit X1 , . . . , Xn des v.a.r. dans L2 (, A, P ) indpendantes (non corrles e ee deux ` deux sut), alors a
n n

Var
i=1

Xi

=
i=1

Var(Xi ).

Loi de la somme de v.a. indpendantes : e Dnition 30. Soient , deux probabilits sur Rd . Leur produit de convolution est dni e e e comme la mesure image de par (y, z) y + z. En dautres termes A B(Rd ), (A) = 0, (x) d( )(x) = (y, z), y + z A (y + z) d(y) d(z)

Exemple 9. Si d(x) = p(x) dx et d(y) = q(x) dx alors admet pour densit par rapport ` e a la mesure de Lebesgue la fonction p q(x) = p(x z) q(z) dz. Proposition 46. Soient X, Y des v.a. indpendantes ` valeurs Rd alors e a PX+Y X+Y LX+Y = PX PY , = X Y , = LX LY .

Si X, Y sont ` valeurs dans N, alors GX+Y = GX GY . a 17

Exemple 10. (Lois classiques dont les convoles sont tr`s simples) e e et p (0, 1), Lois binomiales : pour n N
n

B(n, p) :=
k=0

k Cn pk (1 p)nk k

On a B(n, p) B(n , p ) = B(n + n , p). En dautres termes, si X B(n, p) et Y B(n , p ) sont indpendantes alors : e X + Y B(n + n , p). On appelle loi de Bernoulli avec probabilit de succ`s p [0, 1], la loi e e b(p) := B(1, p) = (1 p)0 + p1 . Lois binomiales ngatives : B(m, p) avec p (0, 1) et m N , dnies par e e B(m, p) :=
k0 m1 Cm+k1 pm (1 p)k k .

Pour m, n N , on a B(m, p) B(n, p) = B (m + n), p . On appelle loi gomtrique e e k . G(p) := B(1, p) = k0 p(1 p) k Loi de Poisson : P() :=
k k0 e k! k

avec > 0. Elle vrie e

P() P( ) = P( + ). Lois (t, a) avec t > 0 et a > 0 de densit e Lebesgue sur R. On rappelle que pour t >
at t1 ax e 1x>0 par rapport ` la mesure a (t) x + x t1 0, (t) = 0 e x dx. Si s, t > 0,

de

(t, a) (s, a) = (t + s, a). On appelle loi exponentielle de param`tre a > 0 la mesure de probabilit Exp(a) := (1, a). e e Lois gaussiennes : N (m, 2 ), m R, 0. Elles sont dnies par N (m, 0) := m et pour e >0 (xm)2 dx , x R. N (m, 2 )(dx) := e 22 2 On a N (m, 2 ) N (m , 2 ) = N (m + m , 2 + 2 ).

4.3

Suites de tribus ou de v.a. indpendantes e

Thor`me 47. Soit (Tn )nN une suite de sous-tribus indpendantes sur (, A, P ). On pose e e e Bk := (Tn , n k) et lon dnit la tribu asymptotique ou terminale B := k1 Bk . Alors e B B , P (B) {0, 1}. Dnition 31. Soit (An )nN une suite dvnements de (, A), e e e lim sup An :=
n nN kn

Ak = { ; pour une innit de valeurs de n, An }, e Ak = { ; n0 , n n0 , An }.

nN kn

lim inf An :=
n

18

Exemple 11. Soit (An )nN une suite dvnements indpendants de (, A, P ) . Les tribus Tn = e e e c , } sont indpendantes. Donc {, An , An e P (lim inf An ) {0, 1}. P (lim sup An ) {0, 1}. Lemme 48 (Borel-Cantelli). Soient (An )nN avec Ai A. 1. Si
n0 P (An )

< alors P (lim sup An ) = 0 i.e. p.s. card {n, An } < . P (An ) = + alors P (lim sup An ) = 1 i.e. p.s. An a

2. Si les An sont indpendants et si e lieu une innit de fois. e

19

Chapitre 5

Calcul conditionnel
5.1
5.1.1

Conditionnement discret
Par rapport ` un vnement a e e

Lide de conditionnement est rvaluer les probabilits dvnements en tenant compte e ee e e e dune information supplmentaire. e Dnition-Proposition 32. Soit (, A, P ) un espace de probabilits et B A avec P (B) > 0. e e 1. La probabilit conditionnelle de A A sachant B est e P (A|B) := P (A B) P (B)

2. La mesure de probabilit conditionnelle sachant B est lapplication e A [0, 1] P (A B) A = P (A|B). P (B) On note la P (|B). 3. Si Y est une v.a.r. sur (, A, P ) positive ou intgrable, on dnit son esprance conditione e e nelle sachant B par E(Y |B) := E(Y 1B ) 1 = P (B) P (B) Y dP =
B

Y dP (|B).

4. La loi de Y sachant B, note PY |B est dnie comme limage par Y de P (|B), PY |B (A) := e e P (Y A|B). Si est mesurable 0 ou si (Y ) est P -intgrable, on a e E (Y )|B = (Y ) dP (|B) = dPY |B .

5.1.2

Par rapport ` une v.a. discr`te a e

On suppose que lon a acc`s aux valeurs dune v.a. et on ractualise suivant cet ala. e e e Dnition 33. Soit X une v.a. sur (, A, P ) ` valeur dans E dnombrable. e a e Soit E = {x E, P (X = x) > 0}, on a P (X E \ E ) = 0. Pour A A, on pose (x) := P (A|X = x) = 0
P A{X=x} P (X=x)

si xE si x E \ E

et on dnit P (A|X) := (X). Cest une v.a. qui dpend de X. e e 20

Dnition 34. Si Y est une v.a.r. avec Y L1 (, A, P ) ou Y 0, on dnit e e (x) = E(Y |X = x) si P (X = x) > 0 0 si P (X = x) = 0

Par dnition lesprance conditionnelle de Y sachant X est la v.a. (X). e e Lemme 49 (Doob). Soit X : (, A, P ) (E, E) et Y : Rd deux v.a.. Alors Y est (X)-mesurable si et seulement sil existe une fonction h : E Rd borlienne avec Y = h(X). e Proposition 50. Soit X une v.a. discr`te et Y L1 , alors e 1. E |E(Y |X)| E |Y | 2. Pour toute v.a. Z, (X)mesurable et borne e E ZE(Y |X) = E(ZY ). Cette derni`re condition est semblable ` celle qui caractrise la projection orthogonale sur e a e un sous-espace dun espace hilbertien. Thor`me 51 (Projection dans un Hilbert). Soit H, , , || un espace de Hilbert et S e e un sous-espace vectoriel ferm de H. Alors pour tout y H, il existe un unique p(y) S tel e que |y p(y)| = inf |y u|.
uS

De plus il vrie u S, y p(y), u = 0 et cette proprit le caractrise. On dit que p(y) est e ee e la projection orthogonale de y sur S.

5.2
5.2.1

Esprance conditionnelle dune v.a. par rapport ` une tribu e a

Dnition pour des variables alatoires dans L2 e e

Soient (, A, P ) un espace de probabilit et B une sous tribu de A, alors L2 (, B, P ) est un e 2 (, A, P ). sous espace ferm de L e Dnition 35. Soit Y L2 (, A, P ). Lesprance conditionnelle de Y sachant B, note E(Y |B) e e e 2 (, B, P ). Elle est caractrise par : est la projection orthogonale de Y sur L e e 1. E(Y |B) L2 (, B, P ) 2. Z L2 (, B, P ), E(ZY ) = E ZE(Y |B) . Si B = (X) on crit E(Y |B) = E(Y |X). e Remarque 12. E[Y |B] est un lment de L2 (, A, P ) donc, en toute rigueur, dni modulo ee e galit p.s. Il faut sen souvenir lorsque lon crit des proprits ponctuelles. e e e ee Proposition 52. Soit Y L2 (, A, P ). 1. Si Y est B-mesurable alors E(Y |B) = Y (p.s.) 2. Y E(Y |B) est linaire e 3. Si Y 0 alors E(Y |B) 0 p.s. Si Y Y alors E(Y |B) E(Y |B) p.s.

21

5.2.2

Extension aux variables alatoires positives e

Soit B une sous-tribu de A. Thor`me 53 (dnition). Soit Y : (, A, P ) [0, +] une v.a. positive. Il existe une v.a. e e e note E(Y |B) 0 p.s., unique p.s. telle que : e 1. E(Y |B) est B-mesurable, 2. Pour toute variable Z, B-mesurable et positive, E(ZY ) = E ZE(Y |B) . Proposition 54. Soit Y une v.a. 0 Si Y est B-mesurable alors E(Y |B) = Y p.s. Si Y Y alors E(Y |B) E(Y |B) p.s.

5.2.3

Dnition pour des variables alatoires dans L1 e e

Dnition-Proposition 36. Soit Y une v.a.r. de L1 (, A, P ). On pose E(Y |B) := E(Y+ |B) e E(Y |B). Cette dnition a un sens dans L1 car e E E(Y |B) E |Y |). De plus E(Y |B) est caractrise par les proprites suivantes : e e ee 1. E(Y |B) est B-mesurable, 2. Pour toute variable Z, B-mesurable et borne, E Z E(Y |B) = E(ZY ). e

5.2.4

Proprits de lesprance conditionnelle e e e

Proposition 55. (Sommes et limites) 1. Si X, Y 0 et a, b 0 (resp. X, Y L1 et a, b R) alors E(aX + bY |B) = aE(X|B) + bE(Y |B) p.s. X p.s. alors
n

2. Si (Xn )n0 est une suite croissante de v.a.r. positives telle que Xn E(Xn |B) E(X|B)
n

p.s.

3. Si (Xn )n0 est une suite de variables positives, alors E(lim inf Xn |B) lim inf E(Xn |B) p.s.

4. Soit (Xn )n0 une suite de v.a.r. domines (il existe Y avec |Xn | Y et EY < +) et e p.s. telle que Xn X alors
n

p.s., L1 E(Xn |B) E(X|B).

n

5. Si X L1 et f : R R+ est convexe alors E f (X)|B f E(X|B) 1. Si Y est B-mesurable alors lgalit e e E(Y X|B) = Y E(X|B) est valable d`s que X 0, Y 0 ou X, XY L1 . e 22 p.s.

p.s.

Proposition 56. Soient X, Y des v.a.r. dnies sur (, A, P ) et C B des sous-tribus de A. e

2. Si X 0 ou X L1 , alors p.s. E E(X|B)|C E E(X|C)|B = E(X|C), = E(X|C).

Proposition 57. Soient B, C deux sous-tribus de A. Les assertions suivantes sont quivalentes : e 1. B, C sont indpendantes e 2. Z 0, C-mesurable, E(Z|B) = E(Z).

5.3

Loi conditionnelle sachant une variable alatoire e

Dnition 37. Soient (E, E) et (F, F) deux espaces mesurables. Un noyau de transition (ou e probabilit de transition) de (E, E) dans (F, F) est une application K : E F [0, 1] telle que e 1. x E, A K(x, A) est une probabilit sur (F, F). e 2. A F, x K(x, A) est E-mesurable. Proposition 58. Si h 0 est mesurable sur (F, F) alors x h(y)K(x, dy) est mesurable.

Dnition 38. Soient X : (, A, P ) (E, E) et Y : (, A, P ) (F, F) deux v.a. On appelle e (version de) la loi conditionnelle de Y sachant X toute probabilit de transition K(x, dy) de e + mesurable (E, E) dans (F, F) telle que pour toute fonction h : (F, F) R E h(Y )|X = Pour h = 1A , P (Y A|X) = E h(y)K(X, dy) p.s.

1A (Y )|X = K(X, A)

p.s.

Remarque 13. On dira souvent que K(x, ) est la loi conditionnelle de Y sachant que X = x. Cette appellation tr`s intuitive est cependant un peu trompeuse. En eet K(x, ) est uniquement e dnie PX -presque srement en x, donc cette notion na de sens que globalement et pas pour e u un seul x. De plus lvnement {X = x} est souvent ngligeable et il est dlicat de dnir le e e e e e conditionnement qui lui est associ. e Thor`me 59. Soient E et F deux espaces mtriques complets et sparables (i.e. contenant e e e e une suite dense). Soient X : (, A, P ) E, B(E) et Y : (, A, P ) F, B(F ) deux v.a., alors il existe une loi conditionnelle de Y sachant X. Cest le cas si X et Y sont ` valeur dans a Rd , B(Rd ) . Proposition 60. Soient X : (, A, P ) (E, E) et Y : (, A, P ) (F, F) deux v.a. Si K est la loi conditionnelle de Y sachant X, alors pour toute fonction mesurable positive sur (EF, E F) on a E h(X, Y )|X = h(X, y) K(X, dy) p.s.,
F

ainsi que la formule de dsintgration suivante : e e E h(X, Y ) =

E F

h(x, y)K(x, dy) dPX (x).

23

Chapitre 6

Vecteurs gaussiens
6.1 Variables gaussiennes

Dnition 39. Pour m R, 0 on dnit la loi gaussienne (ou normale) N (m, 2 ) qui est e e une probabilit sur (R, B(R)) par N (m, 0) = m et pour > 0, e
(xm)2 1 N (m, 2 )(dx) = e 22 dx. 2

N (0, 1) est appele loi gaussienne standard ou centre rduite. Une v.a.r. X est gaussienne e e e + telle que P = N (m, 2 ), elle est centre si m = 0. sil existe (m, ) R R e X Proposition 61. Soit X N (m, 2 ) alors EX = m, Var(X) = 2 , 2 2 pour tout R, X () = exp im 2 . Si Y N (m , 2 ) est indpendante de X alors X + Y N (m + m , 2 + 2 ). e

6.2

Vecteurs gaussiens de Rd

Dnition 40. Un vecteur alatoire X = (X1 , . . . , Xd ) est dit gaussien si pour tout Rd , la e e v.a.r. , X est gaussienne. On note son esprance m = EX = (EX1 , . . . , EXd ) et sa matrice e de covariance = Cov(X) = Cov(Xi , Xj ) 1i,jd , cest une matrice symtrique positive. e Remarque 14. On pourrait dnir de mani`re analogue la notion de vecteur gaussien ` valeurs e e a dans un espace euclidien. Comme tout espace euclidien de dimension d sidentie ` Rd muni de a sa structure canonique, ce point de vue ne donne pas de nouveaux objet mais seulement des notations plus intrins`ques. e Proposition 62 (Unicit). La loi dun vecteur gaussien X dans Rd est caractrise par sa e e e moyenne m et sa matrice de covariance . Plus prcisment on a e e X () = exp i , m On note PX = Nd (m, ). , 2 , Rd .

24

Proposition 63. Si X Nd (m, ), b Rk et A Mk,d (R) alors AX + b est un vecteur gaussien ` valeurs dans Rk , de loi Nk (Am + b, A tA). a Proposition 64 (Existence). Soient G1 , . . . , Gd des v.a.r. indpendantes de loi N (0, 1). e Le vecteur alatoire G = (G1 , . . . , Gd ) est gaussien de loi Nd (0, Id ), o` Id est la matrice e u identit de taille d. e Si m Rd et Md (R) est une matrice symtrique positive, alors m+ G Nd (m, ). e Proposition 65. Si m Rd , est une matrice d d et symtrique positive et inversible (i.e. e dnie positive) alors e Nd (m, )(dx) = exp 1 x m, 1 (x m) 2
d 2

(2)

dx

det

Thor`me 66. Soit X Nd (m, ). Soient 1 d les valeurs propres (avec rptition) e e e e de et soit (V1 , . . . , Vd ) une base orthonorme forme de vecteurs propres associs. Soient e e e G1 , . . . , Gd des variables indpendantes de loi N (0, 1). Alors X a mme loi que e e
d

m+
i=1

i Gi Vi .

6.3

Indpendance, conditionnement e

Lindpendance des composantes dun vecteur gaussien se lit sur les covariances. e Proposition 67. Soit (X1 , . . . , Xn , Y ) un vecteur gaussien de Rn+1 . Les assertions suivantes sont quivalentes : e 1. Y est indpendante de (X1 , . . . , Xn ). e 2. j {1, . . . , n}, Cov(Y, Xi ) = 0. Plus gnralement si (X1 , . . . , Xn ) vecteur gaussien dont la matrice Cov(X) est diagonale par e e blocs de tailles n1 , . . . , nk avec n1 + . . . + nk = n, alors les vecteurs correspondant aux blocs (X1 , . . . , Xn1 ), (Xn1 +1 , . . . , Xn1 +n2 ), . . . , (Xn1 +...+nk1 +1 , . . . , Xn ) sont mutuellement indpendants. e

6.3.1

Calculs desprance conditionnelle e

Proposition 68. Soit (X1 , . . . , Xn , Y ) un vecteur gaussien centr de Rn+1 , dni sur un espace e e de probabilit (, A, P ). e 1. Alors E(Y |X1 , . . . , Xn ) est la projection orthogonale de Y sur vect(X1 , . . . , Xn ) au sens de L2 (, A, P ). Donc, il existe des nombres rels 1 , . . . , n tels que e
n

E(Y |X1 , . . . , Xn ) =
j=1

j X j .

Ils sont caractriss par les quations : e e e

n

E(Y Yi ) =
j=1

j E(Yj Yi ),

i = 1, . . . , n.

25

2. Soit 2 = E Y donne par e

n j=1 j Xj

R+ . La loi conditionnelle de Y sachant X1 , . . . , Xn est

n

K (x1 , . . . , xn ), = N
j=1

j xj , 2 .

6.3.2

Lois associes e
n 1 2, 2

Dnition 41. La loi du Chi-deux ` n degrs de libert est 2 (n) := e a e e |G|2 = n G2 si G Nn (0, In ). i=1 i

. Cest la loi de

Thor`me 69 (Cochran). Soit Y Nn (0, In ) et H un sous-espace vectoriel de Rn de dimene e sion r n, alors le vecteur gaussien X = PH (Y ), vu comme vecteur alatoire ` valeurs dans Rn , suit ` la loi Nn 0, PH , e a a vu comme vecteur alatoire ` valeurs dans H Rr , suit Nr (0, Ir ). e a De plus |X|2 suit la loi 2 (r). Dnition 42. Pour > 0 la loi de Student s() de param`tre est la loi ` densit sur R+ e e a e donne par e +1 2 ( +1 ) t2 2 s()(dt) = 1+ dt. ( 2 ) Thor`me 70. Soit X = (X1 , . . . , Xn ) o` les Xi sont des v.a.r. indpendantes et de loi e e u e 2 ). On considre les variables N (m, e X n := X1 + + Xn n et Sn := 1 n1
n

Xn X n
k=1

1 2

appeles respectivement moyenne empirique et variance empirique. Alors e Xn m n 1 2 n , Sn 2 suit la loi N (0, 1) 2 (n 1).

En particulier moyenne empirique et variance empirique sont indpendantes. De plus le quotient e Xn m n Sn suit la loi de Student s(n 1).

26

Chapitre 7

Convergence des suites de v.a. et de lois

7.1 Convergence presque sure

Dnition 43. Soient X, (Xn )n0 des variables alatoires dnies sur (, A, P ) et ` valeurs e e e a d , B(Rd ) . On dit que la suite (X ) u dans R n n0 tend vers X presque srement et on note p.s. Xn X si P ; X() = lim Xn () = 1.
n

Proposition 71. (Crit`re de Borel-Cantelli). e 1. Si > 0, nN P |Xn X| < alors Xn X. 2. Si les Xn sont indpendantes et est un nombre rel x, e e e Xn
p.s. p.s.

> 0,
nN

P |Xn | < .
p.s.

Proposition 72. Soient (Xn )n0 , (Yn )n0 , X, Y des v.a.r. dnies sur (, A, P ). Si Xn X e p.s. p.s. p.s. et Yn Y alors Xn + Yn X + Y et Xn Yn XY .

7.2

Convergence en probabilit e
P

Dnition 44. Soient X, (Xn )n0 des variables alatoires dnies sur (, A, P ) et ` valeurs e e e a dans Rd , B(Rd ) . On dit que la suite (Xn )n0 tend vers X en probabilit et on note Xn X e si > 0, lim P |Xn X| = 0.
n

Proposition 73. (Lien avec la convergence p.s.) 1. Xn X 2. Xn X

P p.s.

Xn X. il existe une sous-suite telle que Xnk X.

p.s.

Dnition-Proposition 45. Soit L0 d (, A, P ) lensemble des v.a de (, A, P ) dans Rd , B(Rd ) e R quotient par la relation dgalit p.s.. Lapplication d(X, Y ) := E min 1, |X Y | est une dise e e tance sur cet espace et P Xn X lim d(Xn , X) = 0.
n

On dit que la convergence en probabilit est mtrisable. e e 27

Proposition 74. Les assertions suivantes sont quivalentes e P Xn X, de toute sous-suite (Xnk )k0 on peut extraire une sous-suite Xnkj

j0

telle que Xnkj X.

j P

p.s.

Corollaire 75. Soient (Xn ) et (Yn ) deux suites de v.a.r. sur (, A, P ) telles que Xn X et Yn Y . P Si est continue alors (Xn ) (X), Si , R alors Xn + Yn X + Y, P Xn Yn XY. Thor`me 76. Lespace L0 d (, A, P ), d est complet. e e R
P P

7.3

Convergence dans Lp , p 1
Lp

Dnition 46. Soient X et (Xn )n0 des v.a.r. dans Lp (, A, P ). On dit que la suite (Xn ) tend e vers X au sens Lp et on note Xn X si limn X Xn
n p

= 0, cest-`-dire si a

lim E |Xn X|p = 0.

Proposition 77. Si q p 1, Xn X
Lq

Xn X

Lp

Xn X

L1

Xn X.

Dnition 47. Une famille (Xi )iI de v.a.r. sur (, A, P ) est uniformment intgrable, (UI en e e e abrg) ou quiintgrable si e e e e lim sup E |Xi | 1|Xi |>c = 0.
c+ iI

Remarque 15. Si (Xi )iI est UI, chacune des variables Xi est intgrable. e Proposition 78. (Conditions susantes duniforme intgrabilit). e e Une famille nie de variables intgrables est UI. e Une famille (Xi )iI telle quil existe une v.a.r. Y intgrable avec |Xi | Y , pour tout e i I(on parle de famille domine), est UI. e Sil existe : R+ R+ telle que limx+ (x)/x = + et supiI E |Xi | < + alors la famille (Xi )iI est UI. Luniforme intgrabilit permet de remonter de la convergence en probabilit ` celle dans L1 . e e ea Lnonc suivant peut tre vu comme une gnralisation du thor`me de convergence domine. e e e e e e e e Thor`me 79. Si la suite (Xn )nN est U I et Xn X alors X est intgrable et Xn X. e e e Proposition 80. Si Xn X et sil existe q > 1 tel que sup Xn
n P q P L1

< + alors

Xn X,

Lp

p [1, q[ .

28

7.4

Convergence en loi

On note Cb (Rd ) lensemble des fonctions continues bornes de Rd dans R et C0 (Rd ) lene d R avec semble des fonctions continues f : R lim f (x) = 0.
|x|+

Proposition 81. Soient et deux mesures de probabilit borliennes sur Rd . Alors = si e e et seulement si Cb (Rd ), d = d. Dnition 48. Soient et (n )n0 des mesures nies sur Rd , B(Rd ) . On dit que la suite de e troit e mesures (n )n0 converge troitement vers et on note n si e Cb (Rd ),
n

lim

dn =

d.

Proposition 82. Soit H un sous-ensemble dense de C0 (Rd ), mesures de probabilit sur Rd , B(Rd ) . Alors e n
troit e

. Soient et (n )n0 des

H, lim

dn =

d.

Dnition 49. Soient X et (Xn )n0 v.a. ` valeurs dans Rd , B(Rd ) , mais pas forcment e a e dnies sur le mme espace de probabilit. On dit que la suite (Xn )n0 converge en loi vers X e e e et on note Xn X si PXn PX , cest-`-dire si a Cb (Rd ), On note aussi parfois Xn PX . Proposition 83. Xn X
P L n L
troit e

lim E(Xn ) = E(X).

Xn X.

loi

Proposition 84. Soient n , des mesures de probabilit sur Rd , B(Rd ) . Les assertions suie vantes sont quivalentes : e 1. n . 2. Pour tout ouvert G Rd , lim inf n (G) (G).
n
troit e

3. Pour tout ferm F e

Rd ,

lim sup n (F ) (F ).
n n+

4. Pour tout borlien B Rd tel que (B) = 0 on a e

lim n (B) = (B).

La convergence en loi des v.a. relles peut se vrier sur les fonctions de rpartition : e e e Proposition 85. Soient X et (Xn )n0 des v.a.relles. Alors Xn X si et seulement si en e tout t R o` FX est continue on a u
n L

lim FXn (t) = FX (t).

Dnition 50. Une famille (i )iI de mesures de probabilit sur Rd , B(Rd ) est dite tendue e e ou qui-tendue si pour tout > 0 il existe un ensemble compact K Rd tel que e i I, i (K ) 1 . 29

Thor`me 86 (Prokhorov). Soit (n )nN une suite tendue de mesures probabilits sur Rd , B(Rd ) . e e e Alors on peut en extraire une sous-suite qui converge troitement vers une mesure de probabilit. e e Thor`me 87. (Lvy). e e e 1. Si Xn X alors Rd , limn Xn () = X (). 2. Sil existe une fonction : Rd C continue en 0 telle que pour tout Rd ,
n L

lim Xn () = (),

alors il existe une mesure de probabilit sur Rd , B(Rd ) telle que = . De plus e n et si X est une v.a. de loi on a Xn X. Thor`me 88 (Skorokhod). On consid`re une suite de v.a. Xn : (n , An , Pn ) Rd , B(Rd ) , e e e n 0. Si la suite (Xn )n0 converge en loi, alors il existe un espace de probabilit (, A, P ) et e d , B(Rd ) telle que une suite de variables alatoires Yn : (, A, P ) R e pour tout n 0, PXn = PYn , la suite (Yn )n0 converge presque srement. u
troit e

30

Chapitre 8

Thor`mes limites e e
8.1 Loi des grands nombres

Dnition 51. Soit (Xn )n1 une suite de v.a.r. dnies sur un mme espace de probabilit e e e e (, A, P ). A un chantillon de taille n, X1 (), . . . , Xn () , on associe e n 1 la moyenne empirique X n () := Xi (), n la mesure empirique := n 1 n
n i=1 i=1

Xi () .

Thor`me 89 (Loi faible des grands nombres). Soit (Xn )nN une suite de v.a.r indpendantes e e e 2 ) < +, alors et de mme loi avec E(X1 e Xn = 1 n
n j=1

Xj EX1 .
n

L2

Thor`me 90 (Loi forte des grands nombres). Soit (Xn )nN une suite de v.a.r indpendantes e e e et de mme loi avec E|X1 | < +, alors e X n EX1 .
n p.s.

Thor`me 91 (Fondement de la statistique). Soit (Xn )nN une suite de v.a.r indpendantes e e e et de mme loi sur (, A, P ), alors e P , PX1 n
n
troit e

= 1.

i.e. presque srement, la mesure empirique converge troitement vers la loi de X1 . u e

8.2

Thor`me de la limite centrale e e

2 Thor`me 92. Soit (Xn )n1 une suite de v.a.r. indpendantes et de mme loi avec E(X1 ) < . e e e e 2 = Var(X ), alors Soit m = EX1 et 1

X n EX1 n =

n i=1 Xi

nEX1

N (0, 1).
n

31

Soit (Xn )n1 une suite de v.a. ` valeur dans Rd , indpendantes et de mme loi. On suppose que a e e 2 < et on pose = Cov(X ). Dans ce cas E |X1 | 1 X1 + + Xn nEX1 L Nd (0, ). n n
2 Corollaire 93. Soit (Xn )n1 une suite de v.a.r. indpendantes et de mme loi avec E(X1 ) < . e e On note 2 = Var(X1 ). Alors pour tout a 0,

lim P

a X n EX1 n

=2
a

et

2 /2

dt 2

8.3

Principe de grandes dviations e

Dnition 52. Soit X une v.a. relle. Pour R, on note e e () := log LX () = log EeX ] , +]. La transforme de Cramer de (la loi de) X est lapplication : R [0, +] dnie par e e (x) := sup x () ,
R

x R.

Thor`me 94 (Cramer). Soit (Xn )n1 une suite de v.a.r. indpendantes et de mme loi. On e e e e suppose que E|X1 | < et on note la transforme de Cramer de la loi de X1 . Alors e pour tout ensemble ferm F R, e lim sup
n

1 log P n

n i=1 Xi

inf (x),
xF

pour tout ensemble ouvert G R, lim inf

n

1 log P n

n i=1 Xi

inf (x).
xG

Corollaire 95. Sous les mmes hypoth`ses, pour tout a 0 tel que [EX1 a, EX1 + a] soit e e inclus dans lintrieur du support de PX1 , on a e
n

lim

1 log P n

X n EX1 a = min EX1 a , EX1 + a

8.4

Valeurs extrmes e

Dnition 53. La borne suprieure essentielle dune v.a.r. X est donne par e e e sX := sup x, P (X x) < 1 ] , +]. Thor`me 96. Soient (Xn )n1 une suite de v.a.r. indpendantes de mme loi, alors e e e e Mn := max(X1 , . . . , Xn ) sX1 .
n p.s.

Thor`me 97. Soit (Xn )n1 une suite de v.a.r. indpendantes et de mme loi. Soit s le sup e e e e essentiel de leur loi commune et F sa fonction de rpartition. e 32

1. Sil existe une fonction g > 0 telle que pour tout x R, 1 F (t + xg(t)) = ex 1 F (t) ts lim
<

alors il existe des suites (an )nN et (bn )nN avec an > 0 et P an (Mn bn ) t GI (t) := ee .
n
t

2. Si s = + et sil existe > 0 tel que pour tout x > 0, lim 1 F (tx) = x , 1 F (t)

alors il existe des suites (an )nN et (bn )nN avec an > 0 et P an (Mn bn ) t GII (t) :=
n

0
e(x )

si t < 0, si t 0.

3. Si s < + et sil existe > 0 tel que pour tout x > 0, 1 F (s tx) = x , 1 F (s t) t0 lim
>

alors il existe une suite (an )nN avec an > 0 et P an (Mn s) t GIII (t) :=
n

e(t) 1

si t < 0, si t 0.

Remarque 16. On peut montrer que si la suite des an (Mn bn ) converge en loi vers une variable non constante X, alors il existe a, b tels que la fonction de rpartition de aX + b soit de la forme e GI , GII ou GIII . Cependant il ne peut pas toujours exister une limite non constante : Proposition 98. Soit (Xn )n1 une suite de v.a.r. indpendantes et de mme loi, avec e e sX1 < et PX1 {sX1 } > 0.

Si une suite (n )n1 vrie limn P (Mn n ) = alors {0, 1}. En dautres termes, si e la suite an (Mn bn ) n1 converge en loi, sa limite est une constante.

33

Chapitre 9

Introduction ` la statistique a
9.1 Structure statistique

Dnition 54. Une structure statististique, ou mod`le statistique est un triplet , A, (P ) e e form dun espace mesurable (, A) muni dune famille de mesures de probabilits. Le mod`le e e e d pour un certain d. Un lment de est est dit paramtrique si est un sous-ensemble de R e ee appel une observation. e Les probabilits P correspondent ` divers mod`les probabilistes susceptibles de reprsenter e a e e un phnom`ne. Lobjectif principal de la statistique est de proposer parmi ces mod`les celui qui e e e est le plus d`le aux rsultats dexpriences. En dautre termes, ` partir dune observation e e e a on cherche ` dterminer le param`tre (inconnu) qui est le plus proche de la ralit. a e e e e Dnition 55. Une structure dchantillonnage est une structure statistique produit e e , A, (P )
n n := n , An , (P ) .

Une telle structure sert ` modliser une exprience rpte n fois. On dnit souvent les a e e e ee e variables alatoires Xi : (n , An ) (, A) par Xi (1 , . . . , n ) := i . Si lon munit (n , An ) e de la probabilit P alors X1 , . . . , Xn sont indpendantes et de loi P . On dit souvent que e n e (X1 (), . . . , Xn ()) est un n-chantillon. e
N Remarque 17. On peut aussi considrer des structures produit dnombrable N , AN , (P ) . e e

Dnition 56. Le mod`le , A, (P ) est domin sil existe une mesure -nie sur (, A) e e e telle que , P . Dans ce cas, toute fonction L : R telle que pour tout , dP () = L(, ) d() est appele vraisemblance du mod`le. Autrement dit, L(, ) est une densit de P par rapport ` . e e e a e Dnition 57. Soit , A, (P ) un mod`le statistique et (E, B) un espace mesurable. On e appelle variable statitistique ou simplement statistique toute application T : (, A) (E, B), cest-`-dire toute variable alatoire. Il est ` noter que T ne dpend pas du param`tre . a e a e e On dit que T , ` valeurs dans (R, B(R)), est sommable si a , E |T | :=

|T ()| dP () < +.

Si T 2 est sommable on note Var (T ) := E (T 2 ) (E T )2 .

34

 La loi de T dpend de puisque cest par dnition la mesure image de P par T : e e P,T (B) = P T 1 (B) , B B.

La structure statistique induite par T est E, B, (P,T ) . Dans la suite lensemble des param`tres sera un sous-ensemble de Rd muni dune tribu. Le e but de lestimation statistique sera de retrouver la vraie valeur de tant donne une observation e e . Parfois on cherche seulement ` dterminer une partie de linformation contenue dans (par a e exemple, une de ses coordonnes). Ce nouveau param`tre dintret est de la forme := g(). e e e Dnition 58. Soit g : (, T ) (, L) une application mesurable ` valeurs dans un souse a ensemble de Rk . Un estimateur de g() est une statistique T : (, A) (, L). Pour une observation , la valeur T () est une proposition de valeur de g(). Il convient de quantier la prcision dune telle estimation. e Dnition 59. Le biais dun estimateur T (sommable) de g() est lapplication bT : Rk e dnie par e bT () := E (T ) g(). Le risque quadratique de T est lapplication rT : [0, +] dnie par e rT () := E |T g()|2 . Ici on a not |x| la norme euclidienne dun vecteur x Rk . e Remarque 18. On peut considrer des notions plus gnrales : si L : Rk Rk R+ vrie e e e e L L(x, x) = 0 pour tout x, la fonction de risque de T au sens de L est RT () := E L(T, g()). Dnition 60. Soient S, T deux estimateurs de g() Rk . On dit que T est meilleur que S e en terme de risque quadratique si , E |T g()|2 E |S g()|2 .

On dit que T est strictement meilleur si en plus il existe une valeur de pour laquelle lingalit e e est stricte. Dnition 61. On dit quun estimateur est admissible sil nexiste pas destimateur strictement e meilleur.
N Dans le cadre dun mod`le dchantillonnage N , AN , (P ) , on consid`re gnralement e e e e e des suites destimateurs (Tn )n1 de g() avec la proprit que Tn est une fonction de X1 , . . . , Xn ee seulement. On peut alors considrer des proprits asymptotiques de la suite destimateurs : on e ee dit que (Tn ) est asymptotiquement sans biais si , limn E Tn = g(). (Tn ) converge vers au sens L1 (ou L2 , p.s., en proba) si , Tn converge vers g() au sens L1 (ou L2 , p.s., en proba).

Remarque 19. Il faut noter que toutes les notions de convergence dpendent de puisque leur e dnition fait intervenir la probabilit sous-jacente. e e

35

9.2
9.2.1

Quelques techniques destimation

Moments empiriques

N On consid`re un mod`le dchantillonnage RN , B(R)N , (P ) . On suppose que X1 est e e e sommable. Si le param`tre dintrt est m() = E X1 , un estimateur naturel est la moyenne e ee empirique X1 + + Xn X n := . n Cest un estimateur sans biais qui converge vers m() au sens presque sr. u k Plus gnralement, supposons que X1 est sommable et que le param`tre dintrt est g() = e e e ee (m1 (), . . . , mk ()), o` lon a pos m () := E (X1 ). On dnit les moments empiriques par u e e la formule X + + Xn m := 1 n et on propose lestimateur g := m1 , . . . , mk .

9.2.2

Maximum de vraisemblance

Soit (, A, (P ) ) un mod`le domin de fonction de vraisemblance L(, ). On appelle e e estimateur du maximum de vraisemblance de tout estimateur tel que , L , () = max L(, ).

En dautres termes, un tel estimateur propose la valeur de qui rend lvnement observ e e e le plus probable. Remarque 20. Un tel estimateur nexiste pas forcment. Sil existe, il nest pas forcment unique. e e

9.2.3

Intervalle de conance

On consid`re ici un param`tre dintrt g() R. Soit [0, 1]. Si deux estimateurs a, b e e ee vrient e , P a g() b 1 , on dit que [a, b] est un intervalle de conance, de scurit 1 . e e

9.3

Exhaustivit e

Dnition 62. Soit (, A, (P ) ) une structure statistique. On dit quune statistique T : e (, A) ( , A ) est exhaustive si pour toute statistique X ` valeurs relles, positive ou soma e mable, il existe une fonction mesurable f : R telle que , E X|T = f (T ) P p.s.

En dautres termes la loi conditionnelle sachant T ne dpend plus du param`tre . Ainsi la e e statistique T contient toute linformation relative ` . Comme E X|T ne dpend plus de , a e on le note simplement E X|T . Proposition 99. Soit S un estimateur de g() et soit T une statistique exhaustive. Alors E(S|T ) = E (S|T ) est un estimateur de g(), de mme fonction de biais que S. De plus E(S|T ) e est meilleur que S en termes de risque quadratique. 36

Le thor`me suivant donne un crit`re dexhaustivit pour les mod`les domins : e e e e e e Thor`me 100 (Neyman-Fisher). Soit (, A, (P ) ) un mod`le domin par , et de fonce e e e tion de vraisemblance L. Sil existe une application borlienne g : (, A) R+ , e pour chaque , une application g : (E, B) R+ borlienne, e une statistique T : (, A) (E, B) telles que , , L(, ) = g()g T () alors T est une statistique exhaustive. La rciproque est aussi vraie. e Remarque 21. La statistique T () := est donc exhaustive. Cependant une statistique exhaustive est dautant plus intressante que son espace darrive E est de petite dimension. e e

9.4

Compltude e

Dnition 63. Une statistique T : (, A) (E, B) est dite compl`te si pour toute application e e borlienne h : (E, B) R telle que h(T ) est sommable, on a e , E h(T ) = 0 = , h(T ) = 0 P p.s. . Thor`me 101 (Lehmann-Sche). On suppose que g() R est le param`tre dintrt. e e e e e e Soit S une statistique relle et T une statistique exhaustive et compl`te. e e Alors E(S|T ) est un estimateur de g() de mme biais que S. Parmi les estimateurs de e mme biais que S, cest lunique estimateur ayant un risque quadratique minimum. e Remarque 22. Lunicit est ` comprendre au sens suivant : si S est un autre estimateur de mme e a e biais que S et de risque quadratique minimum, alors pour tout , P S = E(S|T ) = 1. Corollaire 102. Soit T une statistique exhaustive et compl`te. Si U = (T ) estime g() sans e biais, alors U est le meilleur estimateur sans biais en terme de risque quadratique.

9.5

Libert e

Dnition 64. Une statistique T : , A, (P ) ( , A ) est libre si sa loi sous P (note e e P,T ) ne dpend pas de . e Proposition 103. Si T1 est exhaustive et compl`te et si T2 est libre alors pour tout , T1 e et T2 sont indpendantes pour P . e

9.6

Mod`les exponentiels e

Dnition 65. Un mod`le statistique domin , A, (P ) est dit exponentiel si pour un e e e entier p il existe des applications Q : Rp , c : R+ , une application mesurable positive d sur , une statistique T : Rp telles quune fonction de vraisemblance se factorise sous la forme L(, ) = c() d() exp On dit alors que T est une statistique naturelle. 37 Q(), T () .

Remarque 23. Le nombre C() sexprime en fonction de := Q(). On peut donc choisir comme nouveau param`tre du mod`le. e e Thor`me 104. La statistique naturelle dune structure exponentielle est e e exhaustive compl`te d`s que Q() := {Q(); } contient un ouvert non-vide (de Rp ). e e

9.7

Information et ecacit e

Dans cette section, on consid`re un mod`le domin par une mesure . On suppose pour e e e simplier que lensemble des param`tres est un intervalle de R. Des hypoth`ses de rgularit e e e e sont requises : on suppose que la vraisemblance L du mod`le est strictement positive et quelle e est drivable en . On note X la variable alatoire dnie pour par X() = . e e e Dnition 66. Linformation de Fisher du mod`le est la fonction e e I() :=

log L (, )

P (d) = E

log L (X, )2 .

Thor`me 105 (Frchet-Darmois, Cramer-Rao). Soit T un estimateur sans biais de e e e g() R. On suppose en plus de ce qui prc`de que g est drivable et que les drives en e e e e e des expressions L(x, ) d(x) et T (x)L(x, ) d(x) sobtiennent en drivant sous le signe e somme. Alors pour tout , Var (T ) = rT () g ()2 I()

Ce rsultat peut tre vu comme un principe dincertitude : si T estime correctement en e e moyenne pour tout , il doit uctuer autour de cette moyenne. Dnition 67. On dit quun estimateur sans biais de g() est ecace sil ralise lgalit dans e e e e la prcdente ingalit. e e e e

9.8

Initiation aux tests

Le cadre de travail sera une structure statistique , A, (P ) . Les tests ont pour but dinrmer ou de conrmer une hypoth`se sur le param`tre dintrt. Plus prcisment, on appelle e e ee e e hypoth`se sur un sous-ensemble de . On note H : A pour signier que lon consid`re e e une hypoth`se nomme H et qui correspond au sous-ensemble A. e e

9.8.1

Denitions

Dnition 68. Etant donnes e e une hypoth`se dite nulle H0 : 0 , e une hypoth`se dite alternative H1 : 1 , avec 0 1 = , e un test dterministe de H0 contre H1 est une statistique : (, A) {0, 1}, P({0, 1}) . Pour e une observation si () = 0 on conclut que 0 . On dit que lon accepte H0 . si () = 1 on conclut que 1 . On dit que lon rejette H0 . Lensemble R := { ; () = 1} est appel rgion critique ou zone de rejet. e e Ce faisant, on peut se tromper de deux mani`res : e 38

 0 mais () = 1 ; on parle derreur de premi`re esp`ce, e e 1 mais () = 0 ; on parle derreur de deuxi`me esp`ce. e e Pour des raisons thoriques, on consid`re une dnition plus gnrale : e e e e e Dnition 69. Un test de H0 contre H1 est une statistique e : (, A) [0, 1], B([0, 1]) . On interpr`te () comme la probabilit de rejeter H0 : e e si () = 0 on accepte H0 , si () = 1 on rejette H0 , si () = ]0, 1[ on est dans la rgion dhsitation ; on tire le rsultat au hasard en e e e rejetant avec probabilit et en acceptant avec probabilit 1 . e e Remarque 24. Si est un test dterministe et si T est une statistique exhaustive alors E(|T ) e est un test.

9.8.2

Mesures de qualit des tests e

Dnition 70. Limage du test est lapplication : [0, 1] dnie par e e () := E = P (Rejet). Cette fonction mesure la probabilit de rejet si la vraie valeur est . e Dnition 71. La fonction niveau de est la restriction de ` H0 : 0 . Le niveau de e a est le nombre sup ().
0

On dit que est de seuil si sup0 () cest-`-dire si la probabilit derreur de a e premi`re esp`ce reste toujours infrieure ` . e e e a Dnition 72. La fonction puissance de est la restriction de ` H1 : 1 , e a 1 , () = P (Rejet) = 1 P (Acceptation).

Donc cette fonction vaut un moins la probabilit derreur de deuxi`me esp`ce. e e e Dnition 73. Soient et deux tests de H0 contre H1 . On dit que e 0 , () (), est meilleur que et on note , si 1 , () (), et sont equivalents et on note si et ce qui revient ` dire que a = , est strictement meilleur que si et , est admissible sil nexiste pas de test strictement meilleur. Remarque 25. Si est un test et T est une statistique exhaustive, alors E(|T ) est un test quivalent ` . e a Comme il existe deux types derreurs contradictoires, il nest pas possible de minimiser simultanment les deux. On introduit donc une notion dissymtrique de test optimal : e e Dnition 74. Un test de seuil est uniformment plus puissant au niveau (U P P ) si e e sa fonction puissance est plus grande que celle de tout test de seuil . En dautres termes, parmi tous les tests dont la probabilit derreur de premi`re esp`ce est e e e uniformment majore par , un test UPP a toujours une probabilit derreur de deuxi`me e e e e esp`ce minimale. e 39

9.8.3

Construction de tests

On consid`re un mod`le domin, de fonction de vraisemblance L. Dans ce cas on peut e e e construire des tests de H0 : 0 contre H1 : 1 en utilisant le rapport de vraisemblance, dni pour par e sup1 L(, ) () = . sup0 L(, ) Pour toute fonction f croissante et ` valeurs dans [0, 1], le test dni par a e () := f ( ()),

est un test du rapport de vraisemblance. On peut par exemple considrer () = 1 ()k o` k est un param`tre ` dterminer an e u e a e de contrler le niveau du test. Cependant on obtient souvent des rsultats plus prcis avec un o e e test non-dterministe. Cest le cas pour des hypoth`ses simples (cest-`-dire telles que 0 et 1 e e a sont des singletons) : Thor`me 106 (Neyman-Pearson). Soit e e pour lesquels le test dni pour par e 1 si p si () := 0 si ]0, 1[ et 0 , 1 . Il existe (k, p) R+ [0, 1] L(, 1 ) > k L(, 0 ), L(, 1 ) = k L(, 0 ), L(, 1 ) < k L(, 0 ),

est U P P pour tester H0 : = 0 contre H1 : = 1 . Ces tests UPP pour hypoth`ses simples permettent parfois de construire des tests UPP e impliquant des hypoth`ses composites : e Proposition 107. Soit ]0, 1[. Soit {i , i I} un sous-ensemble de ne contenant pas 0 . On consid`re les hypoth`ses H0 : = 0 , H1 : {i , i I} et pour i I, Hi : = i . e e 1. Si est un test qui ne dpend pas de i et qui pour tout i I est U P P pour tester H0 e contre Hi alors est un test U P P de H0 contre H1 . 2. Rproquement si est un test U P P de H0 contre H1 alors pour tout i I, est un test e UPP de H0 contre Hi .

40