Documente Academic
Documente Profesional
Documente Cultură
Chaînes de Markov
B. Ycart
2 Traitement mathématique 14
2.1 Formules récurrentes . . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Classification des états . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Mesures stationnaires . . . . . . . . . . . . . . . . . . . . . . 24
2.4 Comportement asymptotique . . . . . . . . . . . . . . . . . . 29
2.5 Mesures réversibles . . . . . . . . . . . . . . . . . . . . . . . . 32
3 Modèles sur IN 36
3.1 Le problème de la ruine du joueur . . . . . . . . . . . . . . . 36
3.2 Un modèle simple de file d’attente . . . . . . . . . . . . . . . 40
3.3 Le problème de l’extinction du nom . . . . . . . . . . . . . . 44
4 Exercices 48
Chaînes de Markov 3
1 Modèles markoviens
1.1 Définition algorithmique
Une chaîne de Markov est classiquement définie comme une suite de va-
riables aléatoires pour laquelle la meilleure prédiction que l’on puisse faire
pour l’étape n + 1 si on connaît toutes les valeurs antérieures est la même
que si on ne connaît que la valeur à l’étape n (le futur et le passé sont indé-
pendants conditionnellement au présent). Nous partons ici d’une définition
moins classique, mais plus proche des applications.
IP[Xn+1 ∈ B | X0 = i0 , . . . , Xn = in ]
= IP[Φ(Xn , Un ) ∈ B | X0 = i0 , . . . , Xn = in ]
= IP[Φ(in , Un ) ∈ B]
= IP[Xn+1 ∈ B | Xn = in ] .
Cette propriété d’“oubli du passé” constitue la définition classique des chaînes
de Markov. Il est naturel de se demander s’il existe des chaînes de Markov,
au sens de la proposition 1.2, qui ne soient pas simulables. Il n’en existe pas
si E est dénombrable, ou si E est IRd , muni de sa tribu de boréliens. On n’en
rencontrera donc jamais en pratique.
Xn+1 = Xn ∗ Un ,
est une chaîne de Markov sur G, dite “marche aléatoire de pas π”. Les marches
aléatoires sur les groupes constituent un cas particulier important des chaînes
de Markov.
Chaînes de Markov 5
.
0
-5
-10
-10 -5 0 5 10
de poids pij va de i à j si pij > 0 (voir par exemple les figures 3, section 2.2
et 4, section 2.4).
10
.
0
-10
-20
-20 -10 0 10 20
Les sommets j tels que {i, j} ∈ A sont les voisins de i, et on suppose que leur
nombre (le degré de i) est borné : on note r le degré maximal.
n o
r = sup {j ∈ E : {i, j} ∈ A} ,
i∈E
a b c d e
a 0.2 0.2 0.2 0.2 0.2
b 0 0.2 0.3 0 0.5
P =
c 0.3 0.3 0 0.4 0
d 0 0.3 0.3 0.3 0.1
e 0 1 0 0 0
8 Cahier de Mathématiques Appliquées no 11
1.3 Informatique
Tout algorithme itératif faisant intervenir une source de nombres aléa-
toires simule en fait une chaîne de Markov. Il n’est donc pas étonnant que les
applications des chaînes de Markov en algorithmique soient nombreuses. Le
premier exemple que nous donnerons concerne la recherche de préfixes dans
un fichier binaire.
On recherche un mot binaire donné dans un fichier. Quel sera le coût de
l’algorithme ? En algorithmique, on donne en général deux réponses à ce type
de question : le cas le pire, et le cas le plus favorable. Ici les deux réponses sont
triviales : au mieux on trouvera le mot cherché immédiatement, au pire, on ne
le trouvera qu’à la fin du fichier. Comme dans de nombreux autres cas, une
analyse probabiliste donne une réponse plus intéressante, car plus proche des
situations rencontrées en pratique. L’analyse probabiliste d’un algorithme
consiste à supposer que l’entrée est aléatoire, et à déterminer la loi de la
variable égale au coût de l’algorithme pour cette entrée. Ici, supposons que
les bits du fichier soient des variables aléatoires de même loi, uniforme sur
{0, 1}. On peut reformuler le problème en termes du jeu de pile ou face. Si on
joue à pile ou face avec une pièce équilibrée, jusqu’à ce qu’apparaisse un mot
donné de l’alphabet {P, F }, combien devra-t-on attendre ? Si deux joueurs
10 Cahier de Mathématiques Appliquées no 11
jouent chacun deux mots différents, jusqu’à ce que le premier des deux mots
apparaisse, combien de temps le jeu durera-t-il ? Quelle est la probabilité de
gain de chacun des deux joueurs ? On répond à ces questions en étudiant des
chaînes de Markov.
Soit (Un ) la suite des tirages (indépendants de loi uniforme sur {0, 1}). Soit
A = (ai )1≤i≤l le mot binaire cherché, de longueur l. Pour tout k = 1, . . . , l,
on note Ak le mot A tronqué à ses k premières lettres :
∀k = 1, . . . , l , Ak = (ai )1≤i≤k .
Xn = k ∈ {1 . . . , l−1} si (Un−k+1 , . . . , Un ) = Ak
et (Un−k−i , . . . , Un ) 6= Ak+i+1 , ∀i = 0, . . . , l−k−1
Xn = l si (Un−l+1 , . . . , Un ) = Al = A .
Un vérifie facilement que (Xn ) est une chaîne de Markov. L’expression des
probabilités de transition pij dépend du mot A (cf. exercice 5). Le temps
d’atteinte du mot cherché est le premier indice n tel que Xn = l. Sa loi
dépend également du mot A.
1.4 Génétique
La transmission des patrimoines génétiques au cours des générations suc-
cessives est un exemple standard de chaîne de Markov : le génotype de chaque
individu ne dépend de ceux de ses ancêtres qu’à travers ses parents.
Le premier modèle de génétique qui ait été introduit est extrêmement
rudimentaire. Il s’agit de suivre la répartition d’un gène particulier, noté g,
au cours de générations successives, dans une population dont la taille reste
fixée. Les individus sont supposés n’avoir qu’un seul chromosome, porteur ou
non du gène g. Ce chromosome provient d’un parent unique, choisi au hasard
dans la génération précédente. Tout se passe comme si les chromosomes de
la génération n constituaient un pool de taille N , dans lequel les N chromo-
somes de la génération n + 1 sont tirés au hasard avec remise. Le nombre de
chromosomes porteurs du gène g est noté Xn . La suite (Xn ) constitue une
chaîne de Markov. Les hypothèses de modélisation conduisent à dire que la
loi conditionnelle de Xn+1 sachant “Xn = i” est la loi binomiale de para-
mètres N et i/N . Remarquons que si Xn = 0 ou Xn = N , alors la chaîne est
constante à partir de la génération n : on dit que ces états sont “absorbants”
(cf. section 2.4). Pour tout i, j = 0, . . . , N , la probabilité de transition de i à
12 Cahier de Mathématiques Appliquées no 11
j s’écrit donc :
N i j i N −j
pij = 1− .
j N N
s = (m0 , m1 , m2 , f0 , f1 , f2 ) .
m0 + m 1 + m2 = N1 et f0 + f1 + f2 = N2 . (1.1)
Après sélection les génotypes des N1 mâles et des N2 femelles sont suppo-
(m) (f )
sés choisis indépendamment avec les probabilités Pk et Pk . En d’autres
termes, les lois de probabilité des vecteurs (m0 , m1 , m2 ) et (f0 , f1 , f2 ) sont
multinomiales, de paramètres respectifs :
(m) (m) (m) (f ) (f ) (f )
(N1 , P0 , P1 , P2 ) et (N2 , P0 , P1 , P2 ) ,
(m) (m) (f ) (f )
où pour k = 0, 1, 2, les probabilités Pk = Pk (i) et Pk = Pk (i) sont
déduites de i = (m0 , m1 , m2 , f0 , f1 , f2 ) par les formules (1.2), (1.3) et (1.4).
0 1 2 3 4 5 6 7
0 r6 p6 p5 p4 p3 p2 p1 p0
1 r6 p6 p5 p4 p3 p2 p1 p0
2 r6 p6 p5 p4 p3 p2 p1 p0
3 r2 p2 p1 p0 0 0 0 0
4 r3 p3 p2 p1 p0 0 0 0
5 r4 p4 p3 p2 p1 p0 0 0
6 r5 p5 p4 p3 p2 p1 p0 0
7 r6 p6 p5 p4 p3 p2 p1 p0
2 Traitement mathématique
2.1 Formules récurrentes
Dans ce paragraphe, nous donnons les techniques de calcul pour un cer-
tain nombre de quantités liées aux transitions d’une chaîne de Markov sur un
ensemble fini ou dénombrable. Ces calculs se font par des algorithmes itéra-
tifs, que nous présentons comme des formules récurrentes. On peut aussi les
présenter sous forme matricielle. La forme matricielle, si elle est en général
Chaînes de Markov 15
(1)
Démonstration : Pour n = 1, on a par définition pij = pij . Il nous suffit donc
de montrer que pour tout n > 1 :
(m) (m−1)
pij = pij P .
i,j∈E i,j∈E
Plus que la formule matricielle, c’est l’interprétation de la formule itérative
qu’elle traduit qui est importante. Par exemple, la formule matricielle P m =
P l P m−l se développe comme suit. Pout tout i, j ∈ E :
(m)
X (l) (m−l)
pij = pik pkj . (2.1)
k∈E
16 Cahier de Mathématiques Appliquées no 11
Passons maintenant aux lois marginales des Xn . Rappelons que les vec-
teurs indicés par E sont des vecteurs colonnes.
On a, pour tout m ≥ 1 :
On peut donc voir l’évolution en loi de la suite (Xn ) comme un système itéra-
tif linéaire dont tP est la matrice d’évolution. La démonstration de cette pro-
position, comme des autres résultats de cette section, est assez élémentaire,
en utilisant la formule des probabilités totales. Nous donnons simplement les
formes développées, suivies de leur interprétation.
X
pi (m) = pk (m−1) pki . (2.2)
k∈E
(m)
fij = IP[Xm = j et Xm−1 6= j . . . et X1 6= j | X0 = i] .
(1) (1)
On a bien sûr fij = pij = pij . Nous ne donnerons pas d’expression ma-
(m)
tricielle pour les fij . Nous nous contenterons de deux formules itératives,
suivies de leur interprétation.
(m) (m−1)
X
fij = pik fkj . (2.4)
k6=j
Chaînes de Markov 17
Cette somme peut être infinie. C’est le temps moyen de premier passage de i
à j. Il sera noté eij . On étend sa définition à tous les couples (i, j) ∈ E × E
en posant eij = ∞ si fij < 1.
Or d’après (2.4) :
∞ ∞
(m) (m)
X X X
fij = pik fkj .
m=M k6=j m=M −1
On en déduit :
∞ ∞ ∞ ∞
(m) (m)
X X X X X
fij = pik fkj ,
M =2 m=M k6=j M =1 m=M
soit :
∞
(m)
X X
eij − fij = pik ekj
m=1 k6=j
P∞ (m)
Dans le cas où eij est fini, la somme m=1 fij vaut 1, ce qui entraîne (2.7).
Si eij est infini, deux cas sont possibles. Soit fij < 1, alors au moins un des k
tels que pik > 0 est tel que fkj < 1, et donc les deux membres de (2.7) sont
infinis. Si fij = 1, alors pour tous les états k tels que pik > 0, on a fkj = 1.
Mais nécessairement pour au moins un d’entre eux, on a ekj = ∞.
Exemple : Chaîne à deux états.
Sur ce cas particulier, nous mettons en relief des caractéristiques qui restent
vraies pour un nombre fini quelconque d’états.
Considérons sur E = {0, 1} la matrice de transition P suivante :
1−α α
P = ,
β 1−β
où α et β sont deux réels dans l’intervalle [0, 1]. Nous écarterons les deux
cas particuliers où la chaîne est déterministe : α = β = 0 et α = β = 1. La
matrice P admet pour valeurs propres 1 et (1−α−β), dont la valeur absolue
est strictement inférieure à 1. La matrice P m des probabilités de transition
en m pas s’écrit :
(1−α−β)m
m 1 βα α −α
P = +
α+β β α α+β −β β
Quand m tend vers l’infini, P m converge vers une matrice dont les deux lignes
sont égales. Chacune des deux lignes est une loi de probabilité, c’est aussi un
vecteur propre de tP associé à la valeur propre 1.
Les probabilités de premier passage sont les suivantes, pour m ≥ 2 :
(m) (m)
f00 = αβ(1 − β)m−2 , f01 = α(1 − α)m−1 ,
(m) (m)
f10 = β(1 − β)m−1 , f11 = αβ(1 − α)m−2 .
(m) (m)
Les expressions de f01 et f10 donnent les lois des temps de séjour en 0 et
1 respectivement. Ce sont des lois géométriques. Voici les temps moyens de
Chaînes de Markov 19
(m)
Démonstration : On sait que pij est le coefficient d’ordre i, j de la matrice
P m . Son expression développée est :
(m)
X
pij = pik1 pk1 k2 . . . pkm−1 j .
k1 ,...,km−1 ∈E
fondamental est que les états d’une même classe irréductible ont des proprié-
tés équivalentes vis à vis de la chaîne. Ce que l’on entend par “propriété” d’un
état est précisé dans ce qui suit.
Définition 2.10 L’état i est dit périodique de période k > 1 si tous les
(m)
entiers m tels que pii > 0 sont multiples de k. Un état qui n’admet pas de
période est dit apériodique.
Si i est périodique de période k et communique avec j, on démontre que j est
également de période k. Les classes irréductibles périodiques constituent un
cas particulier que l’on ne rencontre pas dans les applications. Remarquons
que si pii > 0, l’état i, et tous les états avec lequel il communique sont
apériodiques. De plus, si une classe irréductible est périodique de période
k pour la chaîne de Markov (Xn ), alors la suite (Xnk ) , n ∈ IN est encore
une chaîne de Markov, de matrice de transition P k , pour laquelle la classe
considérée est apériodique.
C’est le temps de premier retour qui permet de distinguer les propriétés
des états.
Définition 2.11 L’état i est dit :
• transient si fii < 1,
• récurrent nul si fii = 1 et eii = ∞,
• récurrent positif si fii = 1 et eii < ∞.
Les états apériodiques, récurrents positifs sont dits ergodiques. Comme cas
(m) (m)
particulier d’état transient, on retrouve les états pour lesquels fii = pii =
0, pour tout m ≥ 1. Ce sont ceux que l’on quitte au premier pas, pour ne
jamais y revenir. Si un état transient est tel que 0 < fii < 1, le nombre
de séjours dans l’état i suit la loi géométrique de paramètre 1 − fii . Il est
presque sûrement fini, d’espérance 1/(1−fii ). Les états transients sont ceux
dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on revient
dans un état récurrent positif en moyenne tous les eii pas, donc une infinité
de fois. La définition 2.11 a été donnée sous sa forme la plus intuitive, en
termes des probabilités de premier retour fii . Elle se traduit en termes des
(m)
probabilités de transition en m pas pii de la façon suivante :
Proposition 2.12 L’état i est :
P (m)
• transient si la série m pii converge,
P (m) (m)
• récurrent nul si la série m pii diverge mais son terme général pii
tend vers 0,
(m)
• récurrent positif si pii ne tend pas vers 0.
En fait, si i est récurrent positif et apériodique (ergodique), nous montrerons
(m)
plus loin que pii tend vers une limite strictement positive.
Démonstration : Nous utilisons la formule (2.5) sous la forme :
(m) (m) (m−1) (1) (m−1)
pii = fii + fii pii + · · · + fii pii .
Chaînes de Markov 21
soit :
(m)
X
(1 − fii ) pii = fii .
m
P (m)
Donc la série m pii converge si et seulement si fii < 1.
Nous admettons que la série définissant eii converge si et seulement si
(m)
pii ne tend pas vers 0.
Proposition 2.13 Si deux états communiquent, alors ils sont de même na-
ture.
et
(m) (l) (m−h−l) (h)
pjj ≥ pji pii pij .
P (m) P (m)
Les deux séries m pii et m pjj sont donc de même nature et les conver-
gences vers 0 de leurs termes généraux sont vraies ou fausses simultanément.
Dans le cas où l’espace d’états est fini, la classification des états se lit immé-
diatement sur le graphe de transition.
∃i ∈ C , ∃j ∈
/C, pi,j > 0 ,
1/4
h 1/4
1/3
1/4 1/4
1/3
d e
1/3
1
j 1/3 1/3
1/3 1 3/4
1
f a c b g
1/2 2/3
1 1/2 1/3 1/4
Or :
X
1 = pii + pik .
k6=i
Donc fii = 1 est possible si et seulement si les fki valent 1 également, pour
(m)
tous les états k tels que pik = 1. Mais fki = 1 entraîne que fki > 0 pour
au moins un m, donc i est accessible depuis k, donc i et k communiquent. Si
un état i est récurrent, tous les états k tels que pik > 0 sont dans la même
classe. Donc on ne peut pas sortir d’une classe récurrente.
Nous montrerons plus loin que dans une classe irréductible finie dont on ne
sort pas, pnii tend vers une limite strictement positive, dans le cas apériodique.
En particulier tout état d’une telle classe est récurrent positif.
f a c b g i d e h j
f 1 0 0 0 0 0 0 0 0 0
a 0 1/2 1/2 0 0 0 0 0 0 0
c0 1 0 0 0 0 0 0 0 0
b0 0 0 1/3 2/3 0 0 0 0 0
g 0 0 0 0 1/4 3/4 0 0 0 0
i0 0 0 1 0 0 0 0 0 0
d0 0 0 0 0 0 0 1 0 0
e0 0 0 0 0 1/3 1/3 1/3 0 0
h 0 0 1/4 0 0 0 1/4 0 1/4 1/4
j 0 0 0 1/3 0 0 0 1/3 0 1/3
24 Cahier de Mathématiques Appliquées no 11
Aux classes récurrentes correspondent des blocs diagonaux qui sont eux-
mêmes des matrices de transition.
lim IP[Xn+m = j | Xn = i] = πj .
m→∞
dans l’état i entre 0 et M −1. Le point 4 affirme que sur une longue période
de temps, cette proportion est la probabilité stationnaire πi . Mais si sur un
intervalle d’amplitude M il y a eu environ M πi visites, alors en moyenne
l’intervalle de temps entre deux visites était de 1/πi . C’est effectivement la
valeur de eii , d’après le point 5.
Fixons ρ tel que max |λi | < ρ < 1. Il est possible de choisir ǫ et C tels que
kBk < 1. Notons alors L la matrice :
1 0 ... 0
0
−1
L=C. C .
.. 0
0
kP n − Lk ≤ kCkkC −1 kkBkn .
Or d’après le point 3, la suite (pi (m)) converge vers πi . Elle converge donc
vers la même valeur au sens de Cesaro. Calculons maintenant la variance.
h 1 M
X −1 i 1 X
M −1
V ar
M m=0
1
1 i (Xm ) =
M 2 m=0
V ar[11i (Xm )]
M −1 M −m
2 X X
+ Cov[11i (Xm ) , 11i (Xm+l )] .
M 2 m=0
l=1
Or :
V ar[11i (Xm )] = pi (m)(1 − pi (m)) ,
converge vers πi (1−πi ). La somme de ces variances divisée par M 2 tend donc
vers 0.
(l)
Cov[11i (Xm ) , 11i (Xm+l )] = pi (m) pii − pi (m + l) .
(l)
Pour m fixé, les suites (pii ) et (pi (m + l)) tendent vers πi , à vitesse expo-
nentielle. Donc il existe deux constantes K > 0 et ρ < 1 telles que :
M −m
11i (Xm+l )] ≤ pi (m)K 1 −1 ρ .
X
Cov[11i (Xm ) ,
l=1
Chaînes de Markov 29
La somme de ces covariances divisée par M 2 tend donc vers 0, d’où la conver-
gence en probabilité.
Pour M grand, M/NM doit donc être proche de eii . D’autre part nous avons
montré que NM /M converge vers πi . Ceci impose que πi soit égal à 1/eii .
On peut rendre rigoureux ce qui précède, dans le cadre de théorèmes plus
généraux sur les processus de renouvellement que nous n’expliciterons pas.
(m)
Ceci entraîne que pji est le terme général d’une série convergente, pour
tous les j accessibles depuis i. Soit C la classe irréductible de i. Alors la
chaîne ne reste qu’un nombre fini de pas dans C. Partant d’une autre classe
transiente, la chaîne séjournera dans un nombre fini de classes transientes
avant d’atteindre C. Partant de j, la probabilité qu’elle se trouve en i au
m-ième pas est inférieure à la probabilité que la chaîne se trouve encore dans
la classe de i. Or le nombre de pas total passé dans l’ensemble des classes
transientes est presque sûrement fini. Ceci est équivalent à dire que la pro-
babilité que la chaîne soit dans une classe transiente en m est le terme général
d’une série convergente.
Si v est une mesure stationnaire, elle vérifie, pour tout m ≥ 1 :
(m)
X
vi = vj pji .
j∈E
On a donc nécessairement vi = 0.
La proposition suivante décrit les probabilités d’atteinte fij .
Proposition 2.19 Si l’état i est récurrent alors fij vaut 1 pour les états j
qui communiquent avec i, 0 pour tous les autres.
Si j1 , j2 sont deux états de la même classe récurrente, alors pour tout i ∈ E,
fij1 = fij2 .
Les fij1 et les fij2 sont solution du même système d’équations, ils sont donc
égaux.
Les mesures associées aux différentes classes récurrentes sont linéairement
indépendantes, et correspondent à autant de vecteurs propres de tP associés
à la valeur propre 1. La multiplicité de la valeur propre 1 est donc égale au
nombre de classes récurrentes. Toute mesure stationnaire de P est une com-
binaison convexe des mesures stationnaires associées aux différentes classes
récurrentes.
Nous sommes maintenant en mesure de compléter la description de la
matrice L = limm→∞ P m . Si i est un état récurrent, alors la ligne d’indice
i de L est la mesure stationnaire associée à la classe récurrente de i. Cette
mesure ne charge que les états de la même classe de i. Il peut se faire que i
soit seul dans sa classe récurrente, si pii = 1. Dans ce cas i est dit absorbant
et la mesure stationnaire correspondante est la masse de Dirac en i. Si i est
un état transient, alors la ligne d’indice i de L est une combinaison convexe
des mesures stationnaires πC des différentes classes récurrentes, affectées des
coefficients fiC , valeurs communes des fij pour j ∈ C.
Exemple : Voici une matrice de transition P sur {1, 2, . . . , 7} (le diagramme
de transition est celui de la figure 4).
1 2 3 4 5 6 7
1 0.2 0.8 0 0 0 0 0
2 0.7 0.3 0 0 0 0 0
3 0 0 0.3 0.5 0.2 0 0
4 0 0 0.6 0 0.4 0 0
5 0 0 0 0.4 0.6 0 0
6 0 0.1 0.1 0.2 0.2 0.3 0.1
7 0.1 0.1 0.1 0 0.1 0.2 0.4
C = {1, 2} et D = {3, 4, 5} .
0.4 0.3
0.1
7 6
0.1 0.2
0.1 0.2
0.1
0.1 0.1
0.1 0.2
0.6
0.4
0.2
0.4
0.7
0.6
1 2
3 4
0.8
0.5
0.2 0.3
0.3
C D
p(0) = t(α1 , α2 , α3 , α4 , α5 , α6 , α7 ) .
Définition 2.20 Soit π = (πi )i∈E une mesure de probabilité sur E. On dit
que π est une mesure réversible pour la chaîne de Markov de matrice de
transition P , ou que la matrice P est π-réversible, si :
C’est la raison pour laquelle on parle de mesure réversible. Soit P une matrice
de transition π-réversible. Soient i et j deux états tels que πi > 0 et πj = 0.
Alors pij = 0. Donc la restriction de P à l’ensemble des états i tels que
πi > 0 est encore une matrice de transition, qui est réversible par rapport à
la restriction de π à son support. Quitte à réduire l’espace d’états, on peut
donc se ramener au cas où la mesure réversible π est strictement positive
(πi > 0, ∀i ∈ E). C’est ce que nous supposerons désormais.
Pour donner des exemples de chaînes admettant une mesure réversible, nous
commençons par une observation immédiate, mais qui contient déjà bon
nombre d’applications.
Les coefficients diagonaux sont tels que la somme des éléments d’une même
ligne vaut 1.
La matrice de transition P est π-réversible.
c’est à dire si R est stable. Nous avons déjà écrit l’algorithme de simulation
de la marche aléatoire symétrique sur l’ensemble E des stables, muni de sa
structure héritée de l’hypercube, pour laquelle deux stables sont voisins s’il
diffèrent par un seul sommet. La chaîne de Markov que cet algorithme en-
gendre est irréductible et apériodique, et elle admet la loi uniforme sur E pour
mesure réversible. En simulant cette chaîne pendant suffisamment longtemps,
on est donc capable de simuler la loi uniforme sur l’ensemble des stables, sans
avoir besoin de connaître son cardinal, qui grandit exponentiellement avec le
nombre d’unités.
1 |R|
pR = λ ,
Z
3 Modèles sur IN
3.1 Le problème de la ruine du joueur
Un joueur joue à un jeu (pile ou face, roulette, . . . ) où il gagne un montant
fixe avec probabilité p, et perd le même montant avec probabilité 1−p. Si Un
désigne le bilan de la n-ième partie :
Xn+1 = Xn + Un+1 .
De sorte que la suite (Xn ) est une chaîne de Markov. A priori, Xn prend
ses valeurs dans l’ensemble ZZ. Cependant des considérations économiques
évidentes conduisent à limiter l’étendue des dégâts. On envisagera plusieurs
types de limitations.
p p p 1
On trouve :
a i
1−p 1−p
p − p
fi0 = a ,
1−p
p −1
ei = 1 + pei+1 + (1 − p)ei−1 ,
avec e0 = ea = 0. On trouve :
i
1−p
i a −1 p
ei = − a ,
1 − 2p 1 − 2p 1−p − 1
p
p i a fi0 IE[G] ei
0.5 9 10 0.1 0 9
0.5 90 100 0.1 0 900
0.5 900 1000 0.1 0 90000
0.5 950 1000 0.05 0 47500
0.5 8000 10000 0.2 0 1.6 107
0.45 9 10 0.210 −1.1 11
0.45 90 100 0.866 −76.6 765.6
0.45 99 100 0.182 −17.2 171.8
0.4 90 100 0.983 −88.3 441.3
0.4 99 100 0.333 −32.3 161.7
i
si p < 1/2 ,
ei = 1 − 2p
+∞ si p ≥ 1/2 .
p=0.45
Xn
100
75
50
25
n
.
0
0 200 400 600 800 1000
S’il existe une mesure stationnaire π, elle vérifie : π0 = qπ0 + qπ1 , et pour
tout i ≥ 1 :
πi = pπi−1 + qπi+1 .
L’équation caractéristique associée a pour racines 1 et p/q Le fait que π soit
une mesure de probabilité impose que πi soit le terme général d’une série
convergente. Ce n’est possible que si au moins une des racines de l’équation
caractéristique est de module strictement inférieur à 1. Ceci ne peut avoir
lieu que si p < 1/2. Si p ≥ 1/2, il n’existe pas de mesure stationnaire. Si
p < 1/2, notons ρ = p/(1−p) < 1. La mesure stationnaire unique est :
π = ((1−ρ)ρi )i∈E .
40 Cahier de Mathématiques Appliquées no 11
p=0.5
Xn
100
75
50
25
n
.
0
0 200 400 600 800 1000
p=0.55
Xn
100
75
50
25
0 .
0 200 400 600 800 1000
ce qui montre que (Xn ) est une chaîne de Markov, à valeurs dans IN.
Le comportement asymptotique de la chaîne (Xn ) est facile à deviner
intuitivement. Notons ρ l’espérance de la loi q :
∞
X
ρ= k qk .
k=1
Proposition 3.1 Si ρ > 1, la chaîne (Xn ) tend vers l’infini presque sûre-
ment, elle est donc transiente. Si ρ < 1 la chaîne est récurrente.
File equilibree
Xn
100
75
50
25
n
.
0
0 2000 4000 6000 8000 10000
File saturee
Xn
200
150
100
50
n
.
0
0 2000 4000 6000 8000 10000
médiatement :
n
X
Xn ≥ −n + An
i=1
n
1 X
= n −1+ Am .
n m=1
Pn
D’après la loi forte des grands nombres, n1 m=1 Am converge presque sûre-
ment vers ρ, d’où le résultat
Pn dans le cas ρ > 1.
Supposons X0 = i et m=1 Am < n. On voit aisément à partir de la même
formule (3.1), que parmi X1 , . . . , Xn , au moins une des valeurs
Pn est égale à
i. La probabilité fii de retour en i est donc minorée par IP[ m=1 Am < n].
Pour ρ < 1, cette probabilité tend vers 1 quand n tend vers l’infini, donc
fii = 1.
Dans le cas où un régime d’équilibre s’établit, il est possible de calculer
explicitement la fonction génératrice de la mesure stationnaire.
Proposition 3.2 Notons g la fonction génératrice de la loi q des nombres
d’arrivées par unité de temps. La chaîne (Xn ) admet une mesure stationnaire
si et seulement si le coefficient d’occupation ρ est strictement inférieur à 1.
Dans ce cas, la fonction génératrice de cette mesure stationnaire est :
(1 − ρ)(1 − z)g(z)
f (z) = .
g(z) − z
πk z k . Pour la faire
P
La fonction génératrice de π est définie par f (z) =
k
apparaître, on multiplie par z la k-ième équation du système et on somme :
(1 − z)g(z)
f (z) = π0 .
g(z) − z
Pour déterminer la valeur de π0 , il faut utiliser le fait que π doit être une
mesure de probabilité et que donc f (1) doit être égal à 1. Or z = 1 an-
nule le numérateur et le dénominateur de l’expression ci-dessus. Pour lever
l’indétermination, on écrit :
1
g(z) = .
1 + ρ − ρz
On obtient :
1−ρ
f (z) = .
1 − ρz
La mesure stationnaire (loi du nombre de clients dans la file à l’équilibre) est
ρ
donc la loi BN (1, 1−ρ), d’espérance 1−ρ .
Nous commençons par montrer que (Xn ) est une chaîne de Markov. Pour
cela, donnons-nous une famille (Dnm ) , n, m ∈ IN de variables aléatoires
indépendantes et de même loi à valeurs dans IN. La variable Dnm est le
nombre de descendants du m-ième individu de la génération n. On a :
Xn
X
Xn+1 = Dnm .
i=1
On a donc bien défini une chaîne de Markov à valeurs dans IN, pour laquelle
0 est un état absorbant. Le problème posé est du même type que celui de la
ruine du joueur : il faut déterminer la probabilité que la lignée s’éteigne, à
savoir que la chaîne soit absorbée en 0.
Points fixes de g
g(z)
1
g sous-critique
g sur-critique
z
.
0
0 1
(1)
Or, f10 = q0 et pour tout m ≥ 2 :
∞
(m) (m−1)
X
f10 = qi fi0 .
i=1
4 Exercices
Exercice 1 Les matrices suivantes sont des matrices de transition sur
I = {1, . . . , x}, x = 4, 5 ou 7.
1 0 0 0 0 0 1 0
0 1/2 1/2 0 0 0.4 0.6 0
0 1/2 1/2 0 0.8 0 0.2 0
1/2 0 0 1/2 0.2 0.3 0 0.5
0.8 0 0.2 0 0.2 0.8 0 0
0 0 1 0 0.6 0.4 0 0
1 0 0 0 0 0.2 0.3 0.5
0.3 0.4 0 0.3 0 0 0.5 0.5
0 0 0 0.5 0.5 0.5 0 0 0.5 0
0 0 0 0.4 0.6 0 0.6 0 0 0.4
0 0 0 0 1 0.3 0 0.7 0 0
0.8 0 0.2 0 0 0 0 1 0 0
0 1 0 0 0 0 1 0 0 0
0 0 0.4 0.6 0 1/2 0 1/2 0 0
0 0.2 0 0.5 0.3 0 1/4 0 3/4 0
0.5 0 0.5 0 0 0 0 1/3 0 2/3
0 0 1 0 0 1/4 1/2 0 1/4 0
0.3 0 0.5 0 0.2 1/3 0 1/3 0 1/3
0.8 0 0 0 0 0.2 0 0 0 1 0 0 0 0
0 0 0 0 1 0 0 0 0.2 0 0 0.4 0.4 0
0.1 0 0.9 0 0 0 0 0.8 0 0 0 0.2 0 0
0 0 0 0.5 0 0 0.5 0 0 0 0 0 1 0
0 0.3 0 0 0.7 0 0 0 0 1 0 0 0 0
0 0 1 0 0 0 0 0 0 0 0.7 0 0.3 0
0 0.5 0 0 0 0.5 0 0 0 0 0 0 0 1
Pour chacune de ces matrices P :
1. Représenter le diagramme de transitions et classifier les états.
2. Déterminer l’ensemble des mesures stationnaires.
3. Pour tout couple d’états (i, j), calculer la probabilité fij d’atteindre j
à partir de i.
4. Si une chaîne de Markov (Xn ) , n ∈ IN a pour matrice de transition P
et pour loi initiale α = (αi ), déterminer la limite de la loi de Xn quand
n tend vers l’infini.
5. Pour n = 10, 20, . . . , 100, calculer numériquement P n .
6. Pour i ∈ I, simuler 10000 trajectoires de la chaîne de matrice P , par-
tant de X0 = i, jusqu’au temps N = 100. Pour n = 10, 20, . . . , 100,
tester l’adéquation de la distribution empirique des 10000 trajectoires
au temps t avec la distribution théorique de Xn , calculée numérique-
ment à la question précédente.
7. Pour i ∈ I, tirer une trajectoire partant de X0 = i jusqu’au temps N =
106 et calculer la proportion empirique du temps passé dans chacun
des états. Tester l’adéquation de cette distribution empirique avec la
mesure stationnaire de l’une des classes récurrentes de la chaîne.
11111
00000
C
00000
11111
00000
11111
00000
11111
00000
11111 00000
11111
000000
111111
D F
00000
11111 00000
11111
000000
111111
00000
11111 00000
11111
000000
111111
00000
11111 00000
11111
000000
111111
00000
11111 00000
11111
A E B
Chaînes de Markov 51
1
∀n ≥ 1 , P rob[ǫn = 0] = P rob[ǫn = 1] = .
2
Première partie
On s’intéresse aux occurrences successives d’un “mot” binaire donné.
∀i = 1, . . . , ℓ , ai = 0 ou 1 .
∀k = 1, . . . , ℓ , Ak = (ai )1≤i≤k .
Xn = 0 si n = 0 ou ∀k = 1, . . . , ℓ (ǫn−k+1 , . . . , ǫn ) 6= Ak
Xn = k ∈ {1 . . . , ℓ−1} si (ǫn−k+1 , . . . , ǫn ) = Ak
et (ǫn−k−i , . . . , ǫn ) 6= Ak+i+1 , ∀i = 0, . . . , ℓ − k − 1
Xn = ℓ si (ǫn−ℓ+1 , . . . , ǫn ) = Aℓ = A .
Deuxième partie
On s’intéresse à l’instant de première apparition du mot A = (ai )1≤i≤ℓ à
savoir le premier indice n pour lequel la chaîne (Xn ) atteint l’état ℓ.
A = (1, 1, 0, 1, 1, 0, 1, 1, 0) .
Troisième partie
Le jeu de Penney consiste à faire jouer deux mots binaires A et B l’un
contre l’autre jusqu’à l’instant d’apparition du premier d’entre eux. C’est
celui des deux mots qui apparaît le premier qui gagne. Selon A et B, il
pourrait se faire que l’un des deux ne puisse jamais gagner, ou que les deux
gagnent simultanément. Afin de simplifier les écritures et d’éviter ces cas
particuliers, nous supposerons que A et B sont deux mots binaires distincts
de même longueur ℓ. Le but est de calculer la durée moyenne d’une partie
ainsi que la probabilité que chacun des deux mots a de gagner.
1. La suite de tirages (ǫn ) étant fixée, on lui associe les deux chaînes de
Markov (Xn )n∈IN et (Yn )n∈IN où (Xn ) est la chaîne associée au mot
A comme dans la première partie, et (Yn ) correspond à B de façon
analogue. Montrer que ((Xn , Yn ))n∈IN est une chaîne de Markov sur
{0, . . . , ℓ}2 . Les variables aléatoires Xn et Yn peuvent-elles être indé-
pendantes ?
2. Expliciter le diagramme de transitions de la chaîne ((Xn , Yn )) dans le
cas :
A = (1, 1, . . . , 1) ; B = (1, . . . , 1, 0) .
A = (1, 1, . . . , 1) ; B = (0, . . . , 0, 1) .
A B
Pour k et h différents de ℓ, on note qk,h (n) (respectivement qk,h (n)) la
probabilité que A (resp. B) gagne au bout de n coups en partant de
l’état (k, h).
A
qk,h (n) = IP[Xm+n = ℓ, Xm+n−1 6= ℓ, . . . , Xm+1 6= ℓ,
Ym+n−1 6= ℓ, . . . , Ym+1 6= ℓ | (Xm , Ym ) = (k, h)] .
+∞
X
A B
mk,h = n (qk,h (n) + qk,h (n)) .
n=1
ℓ−1 X
X ℓ−1
∀k, h 6= ℓ , mk,h = p(k,h)(k′ ,h′ ) mk′ ,h′ ,
k′ =0 h′ =0
+∞
X
A A
qk,h = qk,h (n) .
n=1
A
Montrer que les qk,h sont solution du système :
X ℓ−1
ℓ−1 X ℓ−1
X
A
∀k, h 6= ℓ , qk,h = p(k,h)(k′ ,h′ ) qkA′ ,h′ + p(k,h)(ℓ,h′ ) .
k′ =0 h′ =0 h′ =0
On note ρ(A), ρ(B), ρ(A, B) et ρ(B, A) les valeurs entières des mots
binaires R(A), R(B), R(A, B) et R(B, A). On admettra la formule don-
nant la probabilité que A gagne le jeu de Penney :
A ρ(B) − ρ(B, A)
q0,0 = .
ρ(B) − ρ(B, A) + ρ(A) − ρ(A, B)
pi b
= .
pi−1 a
(d) En déduire que la suite des pi est décroissante (on dit que la stra-
tégie est auto-arrangeante).
2. Move to front : Si l’objet choisi est le premier, il n’est pas déplacé.
Sinon, il est placé en tête, et les objets qui le précédaient sont décalés
vers la droite. On note Yn ∈ {1, . . . , N } le rang de l’objet x dans le
tableau à l’issue du n-ième accès.
(a) Montrer que (Yn ) , n ∈ IN est une chaîne de Markov homogène.
(b) Ecrire le diagramme de transition et la matrice de transition de la
chaîne (Yn ).
(c) Soit q = (qi ) , i = 1, . . . , N la mesure stationnaire de la chaîne
(Yn ). Montrer que pour tout i = 2, . . . , N ,
qi (N − i + 1)b
= .
qi−1 a + (N − i)b
1 2 3
4 5 6
7 8 9
1. A chaque fois qu’il se retrouve dans une des 9 cases, le rat choisit
une des portes disponibles au hasard, et indépendamment de ses choix
précédents. Soit Xn le numéro de la n-ième case visitée par le rat.
Montrer que (Xn ) , n ∈ IN est une chaîne de Markov et représenter son
diagramme de transitions.
2. On considère la partition de l’espace d’états en les trois classes sui-
vantes :
a = {1, 3, 7, 9} b = {2, 4, 6, 8} c = {5} .
On note Yn la classe à laquelle appartient Xn . Montrer que (Yn ) , n ∈ IN
est une chaîne de Markov et écrire sa matrice de transition.
3. Déterminer la mesure stationnaire de la chaîne (Yn ). En déduire la
mesure stationnaire de la chaîne (Xn ).
4. Si le rat part de l’un des coins, et franchit une case toutes les secondes,
combien de temps mettra-t-il en moyenne à atteindre le fromage qui se
trouve au centre ?
5. Simuler 10000 trajectoires de la chaîne (Xn ) et vérifier expérimentale-
ment les résultats des questions précédentes.
6. Le rat n’est pas si bête : à chaque fois qu’il a passé une porte, il choisit
sa prochaine porte au hasard parmi les portes disponibles différentes de
celle qu’il vient d’emprunter. A la n-ième porte franchie, on note Zn le
couple formé des numéros de la case de départ et de la case d’arrivée.
Montrer que (Zn ) , n ∈ IN) est une chaîne de Markov et représenter son
diagramme de transitions.
58 Cahier de Mathématiques Appliquées no 11
7. Sous ces nouvelles hypothèses, montrer que (Xn ) n’est pas une chaîne
de Markov.
8. On définit Tn par :
Tn = (x, y) ⇐⇒ Zn ∈ x × y ,
Exercice 8
1. Ecrire un algorithme de simulation approchée par chaîne de Markov
pour la loi uniforme sur :
(a) L’ensemble des vecteurs (k1 , . . . , kd ), à coefficients entiers positifs
ou nuls, tels que k1 + · · · + kd = n (les entiers d et n sont fixés).
(b) La sphère unité de IRd .
(c) L’ensemble des sous ensembles à n éléments d’un ensemble à d
éléments.
(d) L’ensemble des tables de contingence de taille d, de marges fixées.
Une table de contingence A est une matrice d×d à coefficients en-
tiers positifs ou nuls, où L = A11 (sommes par lignes) et C = tA11
(sommes par colonnes) sont des vecteurs fixés (tels que t 11L =
t
11C).
(e) L’ensemble des arbres à d sommets.
(f) L’ensemble des graphes connexes à d sommets.
2. Ecrire un algorithme de Metropolis pour la simulation approchée des
lois de probabilité suivantes.
(a) La loi sur l’ensemble des vecteurs d’entiers (k1 , . . . , kd ) de somme
n qui est telle que la probabilité d’un vecteur soit proportionnelle
à sa première coordonnée.
(b) La loi sur la sphère unité de IRd dont la densité est proportionnelle
au carré de la première coordonnée.
(c) La loi sur l’ensemble des sous-ensembles à n éléments de {1, . . . , d},
telle que la probabilité d’un sous-ensemble soit proportionnelle à
la somme de ses éléments.
Chaînes de Markov 59
Exercice 9 Soit F (les filles) et G (les garçons) deux ensembles finis non
vides. On appelle “noce” un ensemble N ⊂ F × G de couples tel que :
Première partie
On s’intéresse à l’instant de sortie et à l’abscisse de sortie de la marche
aléatoire ainsi définie hors du demi plan supérieur.
L’instant de sortie est la variable aléatoire T N définie par :
T N = k ⇐⇒ YiN > 0 ∀i < k et YkN = 0 .
L’abscisse de sortie U N est l’abscisse de la marche aléatoire à l’instant de
sortie T N .
T N = k =⇒ U N = XkN .
1. Déterminer la fonction génératrice de T N .
2. En déduire la fonction caractéristique de U N .
3. Montrer que la suite (U N ) converge en loi, quand N tend vers l’infini,
vers la loi de Cauchy, de densité :
1
.
π(1 + x2 )
4. Implémenter un algorithme de simulation de la marche aléatoire, de
manière à réaliser une étude expérimentale du comportement asymp-
totique de T N et U N . Les sorties attendues sont par exemple :
– les courbes des intervalles de confiance de niveau 0.99 pour les espé-
rances de T N et U N en fonction de N .
– des histogrammes de T N , pour N “assez grand”.
– des histogrammes de U N , pour N “assez grand”, superposés avec la
densité de la loi de Cauchy.
5. On modifie la loi des pas de la marche aléatoire qui se déplace mainte-
nant verticalement et horizontalement au lieu de se déplacer en diago-
nale :
N
IP[(Xn+1 N
− XnN , Yn+1 − YnN ) = (1/N, 0)] =
N
IP[(Xn+1 − XnN , Yn+1
N
− YnN ) = (0, 1/N )] =
N
IP[(Xn+1 N
− XnN , Yn+1 − YnN ) = (−1/N, 0)] =
N
IP[(Xn+1 − XnN , Yn+1
N
− YnN ) = (0, −1/N )] = 1/4 .
62 Cahier de Mathématiques Appliquées no 11
Deuxième partie
On s’intéresse maintenant à l’instant de sortie et à l’abscisse de sortie de
la marche aléatoire hors de la bande de plan IR×]0, 2[.
L’instant de sortie est la variable aléatoire T N définie par :
(Xn(1) ), . . . , (Xn(d) ) ,
Chaînes de Markov 63
lois marginales, 16
marche aléatoire, 4
sur un groupe, 4
symétrique, 6, 11, 33
64