Licence d'Informatique

UE Statistique et Informatique - LI323

LI323

CHAINES DE MARKOV A TEMPS DISCRET (CMTD)

Dfinitions
{Xn}n N processus stochastique

espace d'tat discret E

temps discret (tapes)
sans mmoire : P[Xn | Xn1, Xn2, , X0] = P[Xn | Xn1]

On sintresse ici uniquement aux CMTD espace dtat fini (E possde N tats) :
E = {1, 2, , N}
On sintresse ici uniquement aux CMTD homognes :
Probabilit de transition d'un tat i vers un tat j entre 2 tapes conscutives (n1 et n) :
pij = P[Xn = j | Xn1 = i]
telles que

pij = 1

nN

iE

jE

Matrice de transition P = [pij]i, j E

Exemple

p12

p23 = 1

p31
1
p14

p41 = 1

p33

E = {1, 2, 3, 4}
p23 = p41 = 1
p12 + p14 = 1
p31 + p33 = 1

" 0 p12 0 p14 %

$
'
0
0
1
0 '
$
P=
$p 31 0 p 33 0 '
$
'
0
0
0 &
# 1

Rgime transitoire (au bout dun nombre fini dtapes)

)
Consiste dterminer le vecteur (n ) des probabilits d'tat (n
= P[Xn = j], j E, pour que le
j
processus {Xn}n N se trouve dans ltat j la nime tape du processus :

)
(n )
(n ) = [ 1(n ) , (n
2 , ..., N ]
Ce vecteur dpend

de la matrice des transitions P

de ltat initial (0)

(n ) = (n1)P
Equation du rgime transitoire :
(n ) (0) n
dont on dduit :
= P

Universit Pierre et Marie Curie

Anne universitaire 2013-2014

Nature des tats dune CMTD

Un tat dune CMTD est dit

transitoire, si lorsquon le quitte, on nest pas sr dy revenir

rcurrent, si lorsquon le quitte, on est sr dy revenir

-

rcurrent non nul, si on y revient en un nombre moyen dtapes fini

rcurrent nul, si on y revient en un nombre moyen dtapes infini

Une CMTD est dite irrductible, si de tout tat i on peut atteindre tout tat j (en un nombre fini
dtapes).
Tous les tats dune CMTD irrductible sont de mme nature :

tous transitoires

tous rcurrents nuls

tous rcurrents non nuls

Les tats dune CMTD irrductible et finie sont

tous rcurrents non nuls

Un tat est dit priodique de priode k (k > 1), si on ne peut y revenir (aprs lavoir quitt) quen un
nombre dtapes multiples de k.
La priode dune CMTD est dfinie comme le PGCD de la priode de tous ses tats.
La priode dune CMTD est gale au PGCD de la longueur de tous les circuits (lmentaires) du
graphe associ.
Une CMTD est dite apriodique si sa priode est gale 1.
Rgime permanent (au bout dun nombre infini dtapes)

Sintresse la limite lorsque n tend vers l'infini du vecteur des probabilits (n ) .

Cette limite existe-t-elle ? Et si oui, comment la calculer ?

Dans une CMTD finie, irrductible et apriodique, le vecteur = [1, 2, ..., N] des probabilits

limites j = lim (n)

existe toujours, est indpendant de la distribution des probabilits initiales
j
n
(0)
, et est solution du systme :

% = p

pour tout j E
i ij
%
'' j
' = P
iE
&
& =1
' i = 1
'( i
iE
'( iE

Licence d'Informatique
UE Statistique et Informatique - LI323

LI323

CHAINES DE MARKOV A TEMPS DISCRET

TD

Exercice 1 :
D'minents sociologues rangent les individus de notre socit dans trois classes sociales :
(B)ourgeoisie, (C)lasse moyenne et (P)roltariat. On s'intressera, dans ce modle simpliste, la
classe sociale qu'atteint un individu la fin de sa vie. On supposera que celle-ci dpend uniquement
de la classe sociale de son pre (et pas de celles de ses anctres).
Si le pre appartient la classe sociale (B) son fils appartiendra aux classes (B), (C) avec des
probabilits respectives 0.5 et 0.5.
Si le pre appartient la classe sociale (C) son fils appartiendra aux classes (B), (C) et (P)
avec des probabilits respectives 0.2, 0.7 et 0.1.
Si le pre appartient la classe sociale (P) son fils appartiendra aux classes (B), (C) et (P)
avec des probabilits respectives 0.1, 0.3 et 0.6.
1-

Montrer que ce comportement sociologique peut tre modlis par une chane de Markov
temps discret (CMTD). Donner le graphe associ, ainsi que la matrice des transitions.

2-

Cette chane est-elle irrductible ? Apriodique ? Quelle est la nature des diffrents tats de la
CMTD ?

3-

Dterminer les probabilits stationnaires des trois classes sociales. Quelles sont, (trs) long
terme, les proportions de gens de chacune des trois classes ?

4-

Quelle est la probabilit stationnaire d'tre d'une classe sociale diffrente de celle de son
grand-pre (paternel) ?

Exercice 2 : Commutateur
On considre un nud de commutation et on sintresse la file de sortie des paquets vers une
destination donne. Celle-ci est constitue dun buffer stockant les paquets en attente dmission
vers la destination considre et dun serveur transmettant un paquet bit par bit sur la liaison de
sortie. La capacit totale de la file (buffer + serveur) est limite K paquets. Un paquet se
prsentant lentre de la file alors que celle-ci est pleine, est rejet.
On sintresse ltat de la file des instants particuliers tk = k.T, k = 0, 1, 2, ..., o T est un
intervalle de temps constant (time slot). On sintresse au processus stochastique {Xk}k = 0, 1, 2, ... , o
Xk est le nombre de clients dans la file linstant tk.
On suppose que les arrives de paquets et les fins de service sont distribus selon une loi de
Bernoulli. Durant chaque time slot de dure T, il y a donc une probabilit p pour quil arrive un
paquet (et 1p pour nen arrive aucun), et, conditionn par le fait que la file contient au moins un
paquet au dbut du time slot, une probabilit q pour que la transmission du paquet en service se
termine, librant alors une place dans le buffer la fin du time slot (et 1q pour quelle ne se
termine pas).
3

Universit Pierre et Marie Curie

Anne universitaire 2013-2014

1-

Donner lexpression des probabilits suivantes :

P[Xk = n+1 | Xk1 = n] =

pour n = 1, , K 1

P[Xk = n1 | Xk1 = n] =

pour n = 1, , K 1

P[Xk = n | Xk1 = n] =

pour n = 1, , K 1

P[Xk = 1 | Xk1 = 0] =
P[Xk = 0 | Xk1 = 0] =
P[Xk = K1 | Xk1 = K] =
P[Xk = K | Xk1 = K] =
2-

Montrer que {Xk}k = 0, 1, 2,, est une chane de Markov temps discret (CMTD). Donner le
graphe associ.

3-

Sous quelle condition cette chane admet-elle un rgime stationnaire ? Quelle est la nature des
diffrents tats de la chane ?

Par la suite, on prendra les valeurs numriques suivantes : K = 3, p =

1
1
et q = .
3
2

4-

Calculer les probabilits stationnaires de la file.

5-

En dduire le nombre moyen de paquets dans le commutateur ( la fin dun time slot).

Exercice 3 : Drapeau
On considre un mcanisme de type drapeau . Lorsque le drapeau est baiss (ou passant) tout
client qui se prsente passe immdiatement et sans dlai. Lorsque le drapeau est lev (ou bloquant),
les clients sont bloqus et doivent attendre dans un buffer. Ds que le drapeau redevient passant,
tous les clients prsents dans le buffer sont immdiatement et simultanment librs.
Drapeau
Clients

On discrtise ltat du drapeau en dcoupant le temps en Intervalles de Temps (IT) de dure T. On

suppose que ltat du drapeau ne peut changer quau dbut dun IT et reste inchang pendant toute
la dure de lintervalle. Durant chaque IT le drapeau a alors une probabilit r dtre passant (et donc
1r dtre bloquant).
On suppose dans un premier temps que les arrives de clients dans le systme sont Bernoulliennes :
durant chaque IT, il y a une probabilit p pour quil arrive un client et 1p pour quil nen arrive
aucun.
On souhaite modliser ce systme par une chane de Markov temps discret (CMTD). Soit n(k) le
nombre de clients restant dans le buffer la fin du kime IT. Initialement le systme est vide et le
drapeau est bloquant.
1-

Pourquoi le processus stochastique {n(k)}k 1 est-il une CMTD ?

2-

Reprsenter cette CMTD.

4

Licence d'Informatique
UE Statistique et Informatique - LI323

3-

Cette chane est-elle irrductible ? Apriodique ?

Par la suite, on supposera que tous les tats de la chane sont rcurrents non nuls quels que soient
2
1
les valeurs de p > 0 et r > 0, et on choisira p = et r = .
5
6
4-

Donner les quations du rgime permanent et les rsoudre.

5-

Quelle est la probabilit stationnaire pour que le buffer contienne plus de 5 clients la fin
dun IT ?

6-

Quel est le nombre moyen de clients en attente la fin de chaque IT ?

On suppose maintenant que les arrives sont poissoniennes de taux .

7-

Donner lexpression des probabilits

8-

Reprsenter la CMTD modlisant ce systme.

Exercice 4 : Leaky bucket

On considre un systme dans lequel les clients arrivent selon un processus de Poisson de taux .
Pour limiter l'accs dans le systme, on instaure l'entre du systme un mcanisme de jetons
(droits d'entres). Pour pouvoir entrer dans le systme un client doit obtenir un jeton. Au moment
o un client arrive l'entre du systme deux choses peuvent donc se produire : 1) il trouve un jeton
disponible, prend le jeton et entre dans le systme, 2) il ne trouve pas de jeton et est alors rejet.
Les jetons sont stocks l'entre du systme dans une file (buffer) de capacit limite 3 et sont
gnrs de la faon suivante : Toutes les T units de temps (exactement) un nouveau jeton est cr.
A cet instant prcis, 1) soit la file de jetons n'est pas pleine et le nouveau jeton y est stock, 2) soit
la file de jetons est pleine et le nouveau jeton est dtruit.

Cration de jetons :
toutes les T units de temps

Arrive de client :
Poisson de taux

Systme
Rejet si pas de
jeton disponible

Soit n la probabilit qu'il arrive n clients pendant un slot de temps de longueur T.

Soit n la probabilit qu'il arrive au moins n clients (donc n ou plus) pendant un slot de temps de
longueur T.
1-

Sachant que le processus stochastique dcrivant les arrives de clients est un processus de
Poisson de taux , que valent les probabilits : 0, 1, 2 et 0, 1, 2, 3 ?

Universit Pierre et Marie Curie

Anne universitaire 2013-2014

On va s'intresser au systme des instants particuliers tn dans le temps correspondant aux

moments o les nouveaux jetons sont gnrs : tn = n T. Un slot de temps est dfini comme un
intervalle [tn, tn+1[. Au dbut d'un slot de temps il peut donc y avoir entre 1 et 3 jetons dans la file
de jetons. A cet instant la file ne peut en effet pas tre vide, puisqu'un jeton vient tout juste d'tre
gnr.
Soit {Xn}n N le nombre de jetons dans la file des jetons l'instant tn.
2-

Si l'instant tn il y a 1 jeton disponible combien peut-il y avoir de jetons l'instant tn+1 ? Avec
quelles probabilits ?
Si l'instant tn il y a 2 jetons disponibles combien peut-il y avoir de jetons l'instant tn+1 ?
Avec quelles probabilits ?
Si l'instant tn il y a 3 jetons disponibles combien peut-il y avoir de jetons l'instant tn+1 ?
Avec quelles probabilits ?

3-

En dduire que le processus stochastique {Xn}n N est une chane de Markov temps discret.
Donner le graphe et la matrice de transitions associs.

4-

Cette chane est- elle irrductible ? priodique ? Admet-elle un tat stationnaire ? Justifier vos
rponses.

5-

Calculer les probabilits stationnaires k pour que le processus {Xn}n N soit dans l'tat k.

6-

Les probabilits k peuvent-elles tre considres comme les proportions de temps pendant
lequel la file de jetons contient k jetons en rgime stationnaire ? Justifier votre rponse.

7-

Quel est le nombre moyen de jetons dtruits par unit de temps ?

8-

En dduire le dbit moyen d'entre e des clients dans le systme ainsi que la probabilit Pr de
rejet d'un client.

Licence d'Informatique
UE Statistique et Informatique - LI323

LI323

CHAINES DE MARKOV A TEMPS DISCRET

TME

Rsolution exacte
Trouver la solution stationnaire dune CMTD consiste rsoudre lquation :

% = P
'
& =1
'( i
iE

% = p
i ij
'' j
iE
&
' i = 1
'( iE

pour tout j E

o P est la matrice de transitions et E est lespace dtat (ensemble de tous les tats de la CMTD).
La rsolution directe de ce systme n'est souvent ralisable que pour des chanes particulires ayant

une structure trs simple.

Dans la majorit des cas, il faudra utiliser des techniques numriques, qui
consistent rsoudre le systme de faon itrative en utilisant une approche de type point fixe .

Mthode des puissances

La mthode des puissances est la plus simple des mthodes numriques. Elle consiste rsoudre de
faon itrative l'quation :

)
(n1)
(n ) = (n1)P (n
p ij pour tout j E
j = i
iE

1
en partant d'une initialisation de (0) (par exemple (0) =
pour tout i E) et en s'arrtant

|E |
lorsque qu'un certain
critre de convergence est satisfait.

(n )

Remarque : Si le vecteur initial (0) est bien

normalis, les resteront normaliss au cours des
diffrentes itrations.

Universit Pierre et Marie Curie

Anne universitaire 2013-2014

Exercice 1 : Processus de naissance et de mort

On considre la CMTD suivante (correspondant au modle de lexercice 2 des TDs) :
1-p

1-p-q+2pq
p

1-p-q+2pq
p(1-q)

1
q(1-p)

1-p-q+2pq
p(1-q)
...

2
q(1-p)

p(1-q)

q(1-p)

1-q
p(1-q)

K-1
q(1-p)

K
q

o 0 < p < 1 et 0 < q < 1.

1-

Programmer la rsolution exacte de la chane (pour des valeurs de K, p et q quelconques) de

la faon la plus efficace possible, en utilisant uniquement des oprations lmentaires.
Vrifier les rsultats obtenus manuellement la fin de lexercice 2 des TDs et tracer les
performances du systme en fonction de K.

Le critre darrt le plus lmentaire pour la mthode des puissances consiste fixer le nombre

ditrations de la mthode une valeur constante nit. A la dernire itration, (n it ) est cens fournir

une estimation du vecteur des probabilits stationnaires .

2-

Programmer la mthode des puissances et la tester pour K = 6, p = 0.02 et q = 0.01, avec un

nombre ditrations nit variable. Comparer les rsultats obtenus avec la mthode exacte. Que
peut-on conclure sur cet exemple ?

3-

Tester la mthode des puissances avec dautres valeurs numriques pour K, p et q. Prsenter
les rsultats sous une forme synthtique. Quen conclure sur lefficacit du critre de
convergence lmentaire ?

Un critre darrt plus adapt consiste stopper les itrations de la mthode des puissances lorsque

le vecteur calcul litration courante, (n) , est suffisamment proche du vecteur calcul

litration prcdente, (n1) . La distance entre (n) et (n1) sera compare une valeur que lon

fixera au dpart 10-5. Lorsque celle-ci devient infrieure , le vecteur (n) obtenu la dernire

itration fournit alors une estimation du vecteur des probabilits stationnaires .

4-

Proposer diffrents critres darrt bass sur ce principe. Les tester sur lexemple numrique
initial (K = 6, p = 0.02 et q = 0.01). Choisir un critre (ventuellement combin) en justifiant
le choix.

5-

Faire varier la valeur de et tester sur diffrents exemples la prcision et la vitesse de

convergence de la mthode des puissances. Reprsenter les rsultats de faon synthtique, par
exemple sous forme de courbes. Conclure sur le meilleur critre adopter.

On utilisera les conclusions de cette dernire question pour choisir un critre darrt qui sera utilis
dans toute la suite du TME.

Licence d'Informatique
UE Statistique et Informatique - LI323

Mthode de Gauss-Seidel
La mthode de Gauss-Seidel reprend lide de la mthode des puissances tout en essayant de
rutiliser au plus tt les valeurs les plus rcemment calcules.
En dcomposant P de la faon suivante :
"0 p 01 p 02 ... p 0K % " 0
0
0 ...
0
0% " p 00 0
0 ... 0 %
$
' $
' $
'
0
0 ...
0
0' $ 0 p11 0 ... 0 '
$0 0 p12 ... p1K ' $ p10
P = $0 0
0 ... p 2K ' + $ p 20 p 21
0
:
0
0' + $ 0
0 p 22 ... 0 '
$
' $
' $
'
:
:
: ' $ :
:
:
:
:' $ :
:
:
... '
$$ :
' $
' $
'
0 0
0 0
0 & # p K0 p K1 p K2 ... p KK1 0& # 0
0
0 ... p KK &
#

lquation = P peut tre rcrite de faon quivalente (car D, donc I D est inversible) :

= U + L + D

U
+

L )(I D)1
(

La mthode de Gauss-Seidel consiste alors rsoudre de faon itrative l'quation :

(n ) = (n)U + (n1)L (I D)1

)
(n
j

%
(
1 '
(n)
(n1) *
=
pij + i pij*
1 p jj '&i< j i
i> j
)

pour tout j E

Attention : A chaque itration les (n ) doivent tre renormaliss.

Exercice 2 : Comparaison des mthodes numriques

1 - Expliquer intuitivement pourquoi lon sattend ce que la mthode de Gauss-Seidel converge

plus rapidement que la mthode des puissances.
2-

Programmer la mthode de Gauss-Seidel et la tester avec les valeurs numriques initiales

(K = 6, p = 0.02 et q = 0.01). Comparer les rsultats obtenus avec ceux fournis par la mthode
des puissances, ainsi que le nombre ditrations des deux mthodes (lorsque le mme critre
de convergence est utilis).

3-

Faire varier le nombre dtats de la chane (en gardant les valeurs prcdentes pour p et q) et
tracer le nombre ditrations des deux mthodes pour atteindre la convergence. Que constatet-on sur cet exemple ?

4-

Tester les deux mthodes sur diffrents exemples en faisant varier les paramtres de la chane.
Par exemple, tester des valeurs petites et grandes pour p et q, proches et loignes, inverser
leurs valeurs, garder un rapport constant, etc. Reprsenter les rsultats sous forme synthtique.

5-

Quelles conclusions peut-on tirer de tous ces exemples ? La mthode de Gauss-Seidel est-elle
toujours plus performante que la mthode des puissances ?

Universit Pierre et Marie Curie

Anne universitaire 2013-2014

La plupart des mthodes numriques (dont celle des puissances et de Gauss-Seidel) ne fonctionnent
que sur des chanes finies. Si la CMTD est infinie, il faut donc la tronquer avant de pouvoir la
rsoudre par une telle mthode. Tronquer une chane de Markov nest pas sans consquence et doit
donc tre ralis avec prcaution.
Exercice 3 : Chanes infinies
On considre la CMTD infinie de lexercice 3 des TD (avec des arrives Bernoulliennes).
1-

Donner le graphe ainsi que la matrice de transitions associs la CMTD lorsque celle-ci est
tronque une valeur K (cest--dire lorsque le buffer du drapeau a une capacit limite
K clients).

2-

Appliquer la mthode des puissances et la mthode de Gauss-Seidel cette chane tronque

2
1
pour les valeurs numriques suivantes : K = 6, p =
et r = . Comparer les rsultats
5
6
numriques aux valeurs exactes obtenus sur la chane infinie. Donner le nombre ditrations
des deux mthodes et expliquer le rsultat obtenu pour la mthode de Gauss-Seidel.

3-

Rsoudre la CMTD tronque pour diffrentes valeurs de K, p et r. Comparer les mthodes

numriques (puissance et Gauss-Seidel) obtenues sur la chane tronque, aux rsultats exacts
obtenus sur la chane infinie. Conclure sur leffet de la troncature.

4-

Utiliser les mthodes numriques pour rsoudre la CMTD lorsque les arrives de clients sont
1
poissoniennes. On testera, par exemple, le cas : K = 6, = 1, T = 1, r = .
6

10