Documente Academic
Documente Profesional
Documente Cultură
ENSTA
Module ES204
Olivier RIOUL
ENST/COMELEC
rioul@comelec.enst.fr
Pierre DUHAMEL
SUPELEC/LSS
pierre.duhamel@lss.supelec.fr
2
Avant-propos
Ce cours vise tout dabord tablir solidement les bases de codage de source
sur les outils de la thorie de linformation, de manire ce que les connais-
sances acquises puissent tre tendues rapidement aux problmatiques plus
rcentes. Puis, on aborde une caractrisation des outils essentiels de la com-
pression de source : quantification scalaire et vectorielle, codage longueur
variable, codage par transforme, allocation de dbit.
On illustrera en cours les dosages de ces divers ingrdients dans un exemple
de compression de dimages.
De nombreux exercices sont proposs en appendice de ce document, re-
groups par chapitre.
Bonne lecture !
Mots cls
Thorie de linformation, Thormes de Shannon, Codage entropique lon-
gueur variable, Quantification scalaire et vectorielle, Algorithme de Lloyd-Max,
Gain de codage par transforme, Transforme de Karhunen-Love, Allocation
optimale de dbits binaires, Compression dimages.
3
4
Bibliographie
[1] Robert Mc Eliece, The Theory of Information and Coding, Addison Wesley,
1977.
[2] Thomas Cover, Joy Thomas, Elements of Information Theory, J. Wiley &
sons, 1991.
[3] Allan Gersho, Robert Gray, Vector Quantization and Signal Compression,
Kluwer Academic, 1992.
[4] Nicolas Moreau, Techniques de Compression des Signaux, Masson CNET-
ENST, 1994.
5
6 BIBLIOGRAPHIE
Chapitre 1
7
8 CHAPITRE 1. OUTILS DE LA THORIE DE LINFORMATION
1
D= E (kX Y k2 )
n
p(x, y)
Z
P
I (X , Y ) = p(x, y) log2
x,y p(x)p(y)
I (X , Y ) = H (Y ) H (Y |X )
o
1
Z
P
H (Y ) = p(y) log2
y p(y)
est appele entropie de la v.a. Y , et o :
1
Z Z
P P
H (Y |X ) = E y H (Y |X = x) = p(x) p(y|x) log2
x y p(y|x)
1
Z
H (Y ) = p(y) log2 dy
y p(y)
nest plus ncessairement > 0 ; on ne peut plus linterprter comme une me-
sure dincertitude. Dans ce cas H (Y ) est qualifie dentropie diffrentielle (voir
chapitre 2).
12 CHAPITRE 1. OUTILS DE LA THORIE DE LINFORMATION
Chapitre 2
13
14 CHAPITRE 2. THORIE DE LINFORMATION APPLIQUE AU CODAGE
R > R(D)
qui indique que R(D) est une borne infrieure sur le taux de codage : il est im-
possible de comprimer les donnes en de de R(D) pour un niveau de dis-
torsion D donn.
Le thorme de Shannon (1959) pour le codage de source avec pertes montre
que R(D) est la meilleure borne possible, dans le sens o on peut toujours trou-
ver un systme de codage (fusse-t-il trs complexe, pour n assez grand) qui per-
mette de sapprocher daussi prs quon veut de la borne R(D).
2
o Dest le rapport signal bruit.
Ceci correspond une borne optimale de Shannon quon peut exprimer
sous la forme dune fonction distorsion/taux :
D(R) = 2 22R .
M
X
R= pi li .
i =1
Un code est donc dautant plus efficace en compression que R est petit.
17
18 CHAPITRE 3. CODAGE ENTROPIQUE LONGUEUR VARIABLE
M
2l i 6 1
X
i =1
1
l i = dlog2 e
pi
H 6 R 6 H + 1.
1
H 6R 6H+ ,
n
o H est lentropie dordre n de la source. En faisant n , on obtient le tho-
rme de Shannon pour le codage de source sans pertes, qui affirme quon peut
sapprocher de lentropie de la source daussi prs quon veut.
Quantification scalaire
Z
2
D = E {(X Y ) } = p(x)(x y)2 d x
21
22 CHAPITRE 4. QUANTIFICATION SCALAIRE
Insistons sur le fait quici la quantification est scalaire, cest dire quon
quantifie chantillon par chantillon. On ne peut donc pas exploiter la m-
moire de la source.
Autrement dit, les R i sont des intervalles du type (x i 1 , x i ) dont les frontires x i
sont les milieux entre deux reprsentants successifs :
y i + y i +1
xi = .
2
XZ y i +q i /2 1 X
D p i (x y i )2 d x = p i q i3
i y i q i /2 12 i
24 CHAPITRE 4. QUANTIFICATION SCALAIRE
1
R = H (X ) + E log2
q(X )
2e 2 2R
D= 2 .
12
X = (X 1 , . . . , X n )
Insistons sur le fait quici la quantification est scalaire, mais porte sur des coef-
ficients transforms dun vecteur de source. Bien que lon quantifie les coeffi-
cients transforms chantillon par chantillon, on peut quand mme exploiter
la mmoire de la source.
27
28 CHAPITRE 5. CODAGE PAR TRANSFORME
pour des vecteurs colonne X . Autrement dit, la transforme T est telle que
T T t = T t T = I.
D i = D.
1
log2 G T C bits
2
o
1
U
2
P
n i i
G T C = qQ
n
i U
2
i
torsion globale D = n1 i D i ?
P
30 CHAPITRE 5. CODAGE PAR TRANSFORME
D i = Constante
D0
= GT C .
D min
31
A.4 Chanes de Markov.
1. En saidant de la formule p(x, y) = p(x)p(y|x), montrer la mme formule
conditionne par z :
E log2 f (X ) 6 log2 E f (X )
32
A.7 La connaissance rduite lincertitude.
Montrer et interprter (dans le cas de v.a. discrte) lingalit suivante :
H (Y |X ) 6 H (Y ).
33
34
Annexe B
35
B.3 Entropie dune source gaussienne.
1. Calculer lentropie diffrentielle H (X ) lorsque X est une v.a. gaussienne.
Commenter.
2. Montrer que lentropie dune v.a. X de variance 2 est maximale lorsque
X est gaussienne.
36
Annexe C
37
4. Conclure en faisant x = 1/2 et k .
38
C.5 Algorithme de Huffman.
On considre une source M -aire de distribution de probabilit p 1 > p 2 >
> p M . La rduction de Huffman consiste considrer la source (M 1)-aire,
0
dite rduite, de distribution de probabilit p 1 , p 2 , , p M 2 , p M 1 = p M 1 +
p M (on combine les deux symboles les moins probables).
On note {c 1 , . . . , c M 1 , c M } le code optimal cherch ( lordre M ). Daprs ci-
dessus, c M 1 et c M ne diffrent que par le dernier bit ; on peut crire c M 1 =
0 0
[c M 1 0] et c M = [c M 1 1]
39
40
Annexe D
Il est quantifi scalairement sur 3 niveaux. On considre les deux solutions sui-
vantes caractrises par la position des centrodes :
3 1 1 1 3
{1 , 1 , 1.25} et {1 , 1 + , 1 + }
16 16 8 8 8
1. Donner, pour chacune de ces solutions, les cellules de quantification op-
timales.
41
2. Vrifier que ces deux situations vrifient les conditions de convergence
(point stationnaire) de lalgorithme de Lloyd-Max.
3. Calculer la contribution la distorsion quadratique dune cellule du type
[q, q] correspondant une amplitude A de la densit de probabilit.
4. En dduire les valeurs des distorsions totales dans les deux cas consid-
rs. Quelle est la solution la meilleure ?
5. Quen dduire sur lalgorithme de Lloyd-Max ? La fonction log p(x) est-
elle concave ?
42
D.6 Quantification vectorielle
En quantification vectorielle en dimension n, on attribue chaque vecteur
de source X = (X 1 , X 2 , . . . , X n ) une tiquette binaire correspondant un cen-
trode Y en dimension n.
1. Reprendre, dans le cas vectoriel, les conditions du plus proche voisin et
du centrode vues en cours.
2. En dduire lalgorithme de Lloyd-Max dans ce cas.
3. Montrer que lalgorithme de Lloyd-Max peut converger vers un minimum
local, mme si log p(x) est concave. On considrera pour cela une source
uniforme X dans lintervalle [1, 1] quantifie en dimension 2 sur 1 bit
par chantillon (cest dire 4 centrodes en 2 dimensions) et les deux si-
tuations suivantes :
1 1
centrodes y = ( , )
2 2
et
1 3
centrodes y = ( , 0) et ( , 0).
4 4
43
44
Annexe E
R = E (X X t ).
45
6. En dduire lingalit de Hadamard :
2i
Y
det R 6
i
U1
-
Q1 -
C1 -
source X
bits cods
-
T
U2-
Q2 - C2 -
46
On modlise les signaux en sortie de transforme par des sources lapla-
ciennes de variances 21 et 22 . On admet la relation :
D1 + D2 R1 + R2
D= et R=
2 2
D = c1 2 22R
1
t
R = E(X X ) = 2X
1
47