Information et Codage

Olivier RIOUL
TELECOMParisTech
olivier.rioul@telecom-paristech.fr
Pierre DUHAMEL
SUPELEC/LSS
pierre.duhamel@lss.supelec.fr
Cadre priv } sans modications
Par le tlchargement ou la consultation de ce document, lutilisateur accepte la licence dutilisation qui y est
attache, telle que dtaille dans les dispositions suivantes, et sengage la respecter intgralement.
La licence confre lutilisateur un droit dusage sur le document consult ou tlcharg, totalement ou en partie, dans
les conditions dnies ci-aprs, et lexclusion de toute utilisation commerciale.
Le droit dusage dni par la licence est limit un usage dans un cadre exclusivement priv. Ce droit comprend :
le droit de reproduire le document pour stockage aux ns de reprsentation sur un terminal informatique unique,
le droit de reproduire le document en un exemplaire, pour copie de sauvegarde ou impression papier.
Aucune modication du document dans son contenu, sa forme ou sa prsentation, ni aucune redistribution en tout ou
partie, sous quelque forme et support que ce soit et notamment par mise en rseau, ne sont autorises.
Les mentions relatives la source du document et/ou son auteur doivent tre conserves dans leur intgralit.
Le droit dusage dni par la licence est personnel, non exclusif et non transmissible. Tout autre usage que ceux pr-
vus par la licence est soumis autorisation pralable et expresse de lauteur : sitepedago@enst.fr
Avant-propos
Ce cours vise tout dabord tablir solidement les bases de codage de source
sur les outils de la thorie de linformation, de manire ce que les connais-
sances acquises puissent tre tendues rapidement aux problmatiques plus
rcentes. Puis, on aborde une caractrisation des outils essentiels de la compres-
sion de source : quantication scalaire et vectorielle, codage longueur variable,
codage par transforme, allocation de dbit.
De nombreux exercices sont proposs en appendice de ce document, regrou-
ps par chapitre.
Bonne lecture !
Mots cls
Thorie de linformation, Thormes de Shannon, Codage entropique lon-
gueur variable, Quantication scalaire et vectorielle, Algorithme de Lloyd-Max,
Gain de codage par transforme, Transforme de Karhunen-Love, Allocation
optimale de dbits binaires, Compression dimages.
3
4
Bibliographie
[1] Olivier Rioul, Thorie de linformation et du codage, Hermes Sciences-
Lavoisier, 2007.
[2] Robert Mc Eliece, The Theory of Information and Coding, Addison Wesley,
1977.
[3] Thomas Cover, Joy Thomas, Elements of Information Theory, J. Wiley & sons,
1991.
[4] Nicolas Moreau, Techniques de Compression des Signaux, Masson CNET-
ENST, 1994.
[5] Allan Gersho, Robert Gray, Vector Quantization and Signal Compression,
Kluwer Academic, 1992.
5
6 BIBLIOGRAPHIE
Chapitre 1
Outils de la thorie de linformation
1.1 Description dun systme de codage de source.
On considre une source dinformation quon suppose constitue dune
suite dchantillons ou de symboles x. La source peut tre code symbole par
symbole (codage scalaire) ou par bloc de n symboles x (x
1
, . . . , x
n
) (codage
vectoriel en dimension n). Le cas scalaire correspond n 1.
Le codeur de source associe chaque entre x une tiquette ou index i mise
sous forme binaire ; les index peuvent prendre un nombre ni M de valeurs
possibles, chaque index est donc reprsent en moyenne sur log
2
M bits et
reprsente la source x sous forme code.
Cet index est ensuite transmis (pour des applications de transmission num-
rique) ou stock (pour des applications de stockage numrique).
Le dcodeur de source rcupre chaque index i au niveau du destinataire et
fournit un bloc y de n symboles correspondant, dans le domaine source. Ce y
reprsente la source reconstruite pour le destinataire.
Il y a deux paramtres fondamentaux dans un systme de codage de source :
1. Le taux de codage (coding rate) R est le nombre moyen de bits cods par
symbole de source :
R
log
2
M
n
Ce taux sexprime donc en bits par symbole ; il est li au dbit binaire
en bits/sec (voir exercice). La compression de source est dautant plus
importante que R est petit.
2. Le critre de distorsion D sert mesurer (de manire objective) la qua-
lit ou la abilit de la reconstruction. Typiquement (pour des chan-
tillons dun signal, par exemple) on choisit un critre derreur quadratique
7
8 CHAPITRE 1. OUTILS DE LA THORIE DE LINFORMATION
moyenne (mean square error m.s.e.) par symbole de source :
D
1
n
E(|X Y |
2
)
o E dsigne lesprance de sorte disposer dun critre moyen sur len-
semble de tous les blocs de source. Le systme est de qualit dautant plus
grande que D est petit.
Le but du concepteur dun systme de codage de source est de raliser la
plus grande compression (R petit) tout en garantissant une bonne abilit (D
petit). Il y a donc un compromis trouver entre R et D. Le compromis optimal
thorique va tre fourni par la thorie de linformation de Shannon.
1.2 Rappels sur les variables alatoires.
Le destinataire ne connait pas lavance linformation-source mise ; pour
lui, les symboles de source x apparaissent alatoires. On modlise donc une
source par un modle probabiliste : un chantillon ou bloc X de source est une
variable alatoire (v.a.) qui suit une distribution de probabilit p(x).
Dans le cas dun source discrte (ou numrique), chaque symbole x peut
prendre un nombre ni de valeurs et p(x) est la probabilit que X x.
Dans le cas dune source continue, chaque chantillon x appartient un
continuum de valeurs (relles ou complexes), et p(x) est une densit de proba-
bilit.
Dans tous les cas on adopte une notation unie ; p(x) est telle que p(x)
0 et

_
x
p(x) 1. Le calcul dune probabilit quelconque se fait laide de la
formule :
Pr ob{X A}

_
xA
p(x).
1.3 Traitement et probabilits conditionnelles.
En thorie de linformation chaque traitement (codage, dcodage, canal de
transmission, etc.) est aussi modlis de faon probabiliste ; ce modle permet
de dcrire aussi bien des traitements dterministes qualatoires.
Un traitement T dentre X et de sortie Y est dcrit par les probabilits de
transition p(y[x). Ici p(y[x) est une probabilit conditionnelle de y sachant x,
dnie par :
p(y[x)
p(x, y)
p(x)
.
1.4. SUITE DE TRAITEMENTS ET CHANE DE MARKOV. 9
Cest une distribution de probabilit en y pour toute valeur xe de x.
La sortie du traitement Y est donne enfonctionde lentre X par la formule :
p(y)

_
x
p(x)p(y[x).
On rappelle que les v.a. X et Y sont dits indpendantes si p(y[x) p(y), cest
dire si p(x, y) p(x)p(y). Le traitement X Y est alors opaque.
1.4 Suite de traitements et chane de Markov.
Dans un systme de codage apparat une suite de traitements point point.
Si on considre par exemple une suite de deux traitements : X Y Z, les
trois v.a. X, Y, Z vrient ncessairement une condition de chane de Markov
qui exprime que Z ne dpend des autres v.a. que par lintermdiaire de Y (dont
il est issu par traitement). Ceci scrit :
p(z[x, y) p(z[y).
On gnralise immdiatement cette condition de chane de Markov au cas de
plusieurs (>2) traitements.
1.5 Divergence D(p, q).
On se donne une v.a. X de distribution de probabilit p(x), et une autre dis-
tribution de probabilit q(x) dnie pour les mmes valeurs de x. La divergence
de Kullback-Leibler ou entropie relative de q(x) par rapport p(x) est donne
par la formule :
D(p, q)

_
x
p(x) log
2
p(x)
q(x)
E log
2
p(X)
q(X)
Cette divergence sexprime en units binaires (bits) cause du choix de la base
2 du logarithme.
Le rsultat fondamental suivant est la base de la plupart des rsultats
importants en thorie de linformation :
D(p, q) 0
avec galit (D(p, q) 0) si et seulement si p(x) q(x) p.p.
On peut crire ce rsultat sous la forme suivante (ingalit de Gibbs) :

_
x
p(x) log
2
1
p(x)

_
x
p(x) log
2
1
q(x)
avec galit si et seulement si p(x) q(x) p.p.
10 CHAPITRE 1. OUTILS DE LA THORIE DE LINFORMATION
1.6 Information mutuelle I (X, Y ).
Linformationmutuelle I (X, Y ) peut se dnir comme une mesure de dpen-
dance entre X et Y , cest dire comme la divergence de la loi q(x, y) p(x)p(y)
(que suivraient X, Y si elles taient indpendantes) par rapport p(x, y) :
I (X, Y )

_
x,y
p(x, y) log
2
p(x, y)
p(x)p(y)
Daprs le rsultat fondamental des divergences, I (X, Y ) 0 et I (X, Y ) 0 si et
seulement si X et Y sont indpendantes.
On peut rcrire I (X, Y ) sous la forme :
I (X, Y ) E log
2
p(Y [X)
p(Y )
qui est la divergence moyenne entre les distributions de probabilit de Y sachant
x et ne sachant pas x. Ainsi I (X, Y ) (en bits) sinterprte comme la quantit
dinformation moyenne quapporte une ralisation de X sur la connaissance de
Y . Cette information est mutuelle car I (X, Y ) I (Y, X).
1.7 Information mutuelle et entropie.
En dveloppant lexpression de I (X, Y ) on obtient la formule :
I (X, Y ) H(Y ) H(Y [X)
o
H(Y )

_
y
p(y) log
2
1
p(y)
est appele entropie de la v.a. Y , et o :
H(Y [X) E
y
H(Y [X x)

_
x
p(x)

_
y
p(y[x) log
2
1
p(y[x)
est appele entropie conditionnelle de Y sachant X. Cette dernire entropie
est une moyenne non seulement sur y, mais aussi sur le conditionnement x.
Dans le cas dune v.a. discrte Y (pouvant prendre un nombre ni M de
valeurs), lentropie
H(Y )

y
p(y) log
2
1
p(y)
est une quantit 0, qui sannule si et seulement si Y est dterministe Y y
0
p.p. Lentropie maximale log
2
M est atteinte lorsque Y est une v.a. uniforme
1.7. INFORMATIONMUTUELLE ET ENTROPIE. 11
(symboles y quiprobables). On peut ainsi interprter H(Y ) comme une me-
sure dala de Y , ou comme une mesure dincertitude moyenne sur Y (avant
ralisation Y y).
Lentropie conditionnelle H(Y [X) mesure donc lincertitude moyenne sur Y
qui reste sachant X. La diffrence des deux incertitudes H(Y )H(Y [X) I (X, Y )
est bien linformation moyenne quapporte X sur Y .
Dans le cas dune v.a. continue Y , lentropie
H(Y )
_
y
p(y) log
2
1
p(y)
dy
nest plus ncessairement 0; on ne peut plus linterprter comme une me-
sure dincertitude. Dans ce cas H(Y ) est qualie dentropie diffrentielle (voir
chapitre 2).
12 CHAPITRE 1. OUTILS DE LA THORIE DE LINFORMATION
Chapitre 2
Thorie de linformation applique
au codage
2.1 Thorme du traitement de donnes.
Le thorme du traitement de donnes dit que tout traitement fait perdre
de linformation (en tout cas ne peut pas en faire gagner). Formellement, on
considre une succession de traitements :
X I J Y
On a alors :
I (X, Y ) I (I, J)
Autrement dit linformation mutuelle entre deux v.a. proches dans une chane
de traitements est plus grande que ou gale celle entre v.a. plus loignes.
2.2 Fonction taux-distorsion (codage avec pertes).
Thorme de Shannon.
Si on applique le thorme du traitement de donnes au systme de codage
de source prsent la leon 1, on obtient :
I (X, Y ) I (I, I) H(I)
puisquon a suppos I J (transmission ou stockage sans erreur).
Pour obtenir la plus forte ingalit possible on maximise H(I) (maximum
log
2
M) et on minimise I (X, Y ). On obtient, en se ramenant des bits par
symbole source :
min
1
n
I (X, Y )
log
2
M
n
R
13
14 CHAPITRE 2. THORIE DE LINFORMATIONAPPLIQUE AUCODAGE
Le minimum dinformation mutuelle seffectue sur n et sur le choix de p(y[x),
puisque p(x) est x pour une source donne ; il seffectue aussi sous la contrainte
de abilit donne par un certain niveau de distorsion D. On obtient donc la
dnition suivante :
R(D) inf
n
min
p(y[x)
{
1
n
I (X, Y ) [
1
n
E(|X Y |
2
) D}
quon appelle fonction taux-distorsion R(D) de Shannon.
Ainsi le thorme du traitement de donnes implique lingalit
R R(D)
qui indique que R(D) est une borne infrieure sur le taux de codage : il est impos-
sible de comprimer les donnes ende de R(D) pour unniveaude distorsion
D donn.
Le thorme de Shannon(1959) pour le codage de source avec pertes montre
que R(D) est la meilleure borne possible, dans le sens o on peut toujours trou-
ver un systme de codage (fusse-t-il trs complexe, pour n assez grand) qui
permette de sapprocher daussi prs quon veut de la borne R(D).
2.3 Entropie dune source (codage sans pertes).
Un systme de codage de source est dit sans pertes si Y X, cest dire si
on peut reconstruire parfaitement la source au destinataire (avec D 0).
Dans ce cas, la borne de Shannon R(D 0) est gale lentropie de la source
dnie par :
H inf
n
1
n
H(X)
Cette entropie est naturellement une borne infrieure sur le taux de codage :
R H. On ne peut pas comprimer des donnes (sans pertes) en de de len-
tropie.
Le thorme de Shannon (1948) pour le codage de source sans pertes (cas
particulier D 0) dit quon peut sapprocher de lentropie H daussi prs quon
veut (voir chapitre 3).
2.4 Cas dune source sans mmoire.
Une source est dite sans mmoire si les symboles ou chantillons de source
sont indpendants et identiquement distribus (iid), cest dire :
p(x) p(x
1
)p(x
2
) p(x
n
).
2.5. CAS DUNE SOURCE GAUSSIENNE. 15
Dans la conception dun systme de codage de source on peut souvent se rame-
ner ce cas simple (voir leon 5).
Pour une source sans mmoire, lexpression de R(D) se simplie car elle
devient indpendante de la valeur de n :
R(D) min
p(y[x)
{I (X, Y ) [ E((X Y )
2
) D}
En codage sans pertes il vient H H(X), lentropie de la v.a. X.
2.5 Cas dune source gaussienne.
Encodage avec pertes dune source gaussienne sans mmoire de distribution
de probabilit :
p(x)
1
_
2
2
e

(x)
2
2
2
on peut calculer explicitement R(D). On trouve :
R(D)
_
1
2
log
2

2
D
D
2
,
0 D
2
.
o

2
D
est le rapport signal bruit.
Ceci correspond une borne optimale de Shannon quon peut exprimer
sous la forme dune fonction distorsion/taux :
D(R)
2
2
2R
.
On obtient une courbe thorique de performances optimales o le rapport
signal bruit (en dB) crot linairement en R, avec une pente de 6 dB/bit.
16 CHAPITRE 2. THORIE DE LINFORMATIONAPPLIQUE AUCODAGE
Chapitre 3
Codage entropique longueur
variable
3.1 Description dun systme de codage longueur
variable.
On se donne une source discrte (donnes, chier, . . . ) dont chaque symbole
x prend une parmi M valeurs possibles {x
1
, x
2
, . . . , x
M
}.
Une distribution de probabilit p(x) caractrise les statistiques de cette
source, on la suppose connue (ou estime) sous la forme {p
1
, p
2
, . . . , p
M
}, o p
i
est la probabilit doccurrence du symbole x
i
.
Le codeur code chaque symbole de source x
i
par un mot de code c
i
. Le code
est lensemble des mots de codes {c
1
, . . . , c
M
}.
Un code longueur variable (VLC : Variable-Length Code) est tel que les
diffrents mots de code nont pas ncessairement la mme longueur, en bits. On
note l
i
la longueur en bits du mot de code c
i
. La distribution des longueurs du
code est donc {l
1
, l
2
, . . . , l
M
}.
Le dcodeur reconstruit les symboles de source partir de la squence
binaire des mots de codes. Le taux de codage (coding rate) R est le nombre
moyen de bits cods par symbole de source, cest dire
R
M

i 1
p
i
l
i
.
Un code est donc dautant plus efcace en compression que R est petit.
17
18 CHAPITRE 3. CODAGE ENTROPIQUE LONGUEUR VARIABLE
3.2 Codes uniquement dcodables et instantans. Condi-
tion du prxe.
Le but du codage de source sans pertes est de comprimer ces donnes de
faon telle que lon puisse reconstruire parfaitement (sans pertes, sans erreur)
la source au destinaaire.
Pour cela, il faut que le dcodage ait lieu sans ambigut, cest dire quune
squence code donne doit tre interprtable de faon unique comme une
succession (concatnation) de mots de codes dtermins. Un code permettant
un tel dcodage (sans ambigut) est quali duniquement dcodable (u.d.).
Certains codes u.d. ncessitent une implantation complexe du dcodeur, qui
doit lire la squence code binaire sufsamment loin lavance pour dcoder
un symbole de source.
Dautres codes u.d., par contre, sont trs simples dcoder ; on les appelle
codes instantans, car le dcodeur na besoin de lire que les l
i
premiers bits
dune squence code pour pouvoir linterprter instantanment et de ma-
nire unique comme tant le mot de code c
i
, reprsentant le symbole x
i
.
Une code instantan est caractris par la condition du prxe : Aucun mot
de code nest le prxe dun autre mot de code (cest dire aucun c
i
ne dbute
un c
j
, j /i ).
3.3 Ingalit de Kraft-McMillan.
Pour trouver le meilleur code pour une source donne, il faut minimiser le
taux R sous la contrainte que le code soit u.d.
An de raliser cette optimisation, on caractrise dabord le fait quun code
soit u.d. sur la distribution des longueurs :
1. Tout code u.d. vrie lingalit de Kraft-McMillan :
M

i 1
2
l
i
1
2. Rciproquement, si lingalit de Kraft-McMillan est vrie, alors il existe
un code u.d., et mme instantan, qui admette {l
1
, l
2
, . . . , l
M
} comme dis-
tribution de longueurs.
Il en rsulte quon peut limiter la recherche du meilleur code lensemble
des codes instantans. Il y a un algorithme simple qui fournit un code instan-
tan {c
1
, . . . , c
M
} partir dune distribution de longueurs {l
1
, l
2
, . . . , l
M
} vriant
lingalit de Kraft-McMillan.
3.4. OPTIMISATION. CODES DE FANO-SHANNONET DE HUFFMAN. 19
3.4 Optimisation. Codes de Fano-Shannonet de Huff-
man.
Daprs le paragraphe prcdant, pour trouver le meilleur code pour une
source donne, il faut minimiser le taux R sous la contrainte de lingalit de
Kraft-McMillan :
min{R

i
p
i
l
i
[

i
2
l
i
1}
Si on applique brutalement la mthode du Lagrangien on trouve que R est
minimis lorsque l
i
log
2
1
p
i
, auquel cas le taux minimal est lentropie de la
source :
H H(U)
M

i 1
p
i
log
2
1
p
i
Cependant ce rsultat ne donne pas, en gnral, des longueurs l
i
entires !
Une faon dobtenir des longueurs entires est de prendre
1
l
i
]log
2
1
p
i
]
On obtient la famille des codes de Fano-Shannon, qui vrient bien lingalit
de Kraft-McMillan, et pour lesquels on trouve
H R H +1.
Cependant ces codes ne sont pas toujours optimaux.
La rsolution complte du problme de recherche du meilleur code est don-
ne par algorithme itratif sur M appel algorithme de Huffman. On obtient
alors un code de Huffman dont le taux R est minimal pour une source donne
(par les p
i
).
3.5 Thorme de Shannon.
Daprs ci-dessus le taux de codage du meilleur code vrie lingalit H
R H +1. Comme le montre lexemple dune source binaire (M 2) dentropie
faible, on ne peut pas en gnral amliorer lingalit R H +1 en codant la
source symbole par symbole.
En pratique on utilise alors des techniques de codage par plage (RLC : Run-
Length Coding) pour amliorer les performances.
1
]x] dsigne le plus petit entier x.
20 CHAPITRE 3. CODAGE ENTROPIQUE LONGUEUR VARIABLE
Une autre possibilit est de coder la source par blocs de n symboles. On
obtient alors pour R en bits/symbole lencadrement :
H R H +
1
n
,
o H est lentropie dordre n de la source. En faisant n , on obtient le
thorme de Shannon pour le codage de source sans pertes, qui afrme quon
peut sapprocher de lentropie de la source daussi prs quon veut.
3.6 Autres systmes de codage sans pertes.
Dautres systmes de codage de source sans pertes ont t proposs pour
prendre en compte les dpendances temporelles (dun symbole lautre) de la
source (source avec mmoire) ; Ces sytmes de codage permettent de coder une
source quelconque sans connaitre a priori ses statistiques (codage universel),
mais sont plus complexes mettre en oeuvre. Les plus connus sont les systmes
de codage de Lempel-Ziv et de Codage arithmtique.
Chapitre 4
Quantication scalaire
4.1 Description dun systme de quantication sca-
laire.
On se donne une source continue X modlise par des chantillons ala-
toires de densit de probabilit p(x). Le quanticateur Q code chaque chan-
tillon x par une tiquette binaire ou index i pouvant prendre M valeurs. Le
dquanticateur Q
1
reconstruit les chantillons y partir des index binaires.
Le taux de quantication R est toujours le nombre moyen de bits cods par
chantillon, cest dire
R log
2
M.
On considrera ici (comme dans la plupart des applications) une distorsion
quadratique ou erreur quadratique moyenne (e.q.m.) :
D E{(X Y )
2
}
_
p(x)(x y)
2
dx
An doptimiser le systme de quantication, on cherche minimiser D pour
un taux R donn.
Concevoir un quanticateur revient partionner lensemble des valeurs
possibles de X en M cellules ou rgions de quantication notes R
1
, R
2
, . . . , R
M
,
de sorte que x est quanti sur lindex i si et seulement si x R
i
.
Concevoir un dquanticateur revient se donner M reprsentants nots
y
1
, y
2
, . . . , y
M
, un par cellule, se sorte que i est dquanti sur y y
i
. Lensemble
de ces reprsentants sappelle le dictionnaire (codebook).
Optimiser le systme revient donc choisir des cellules R
i
et des reprsen-
21
22 CHAPITRE 4. QUANTIFICATIONSCALAIRE
tants y
i
optimaux tels que la distorsion D soit minimale :
D
M

i 1
_
R
i
p(x)(x y
i
)
2
dx.
Insistons sur le fait quici la quantication est scalaire, cest dire quon
quantie chantillon par chantillon. On ne peut donc pas exploiter la mmoire
de la source.
4.2 Conditions duplus proche voisinet ducentrode
En pratique il est trop difcile de minimiser D directement. On procde
donc par optimisation spare : en fonction des cellules dune part, et des
reprsentants dautre part.
4.2.1 Condition du plus proche voisin
Ici on cherche optimiser D sur le choix des cellules R
1
, R
2
, . . . , R
M
pour un
dictionnaire y
1
, y
2
, . . . , y
M
donn. Autrement dit, on optimise le quanticateur
pour un dquanticateur donn.
Pour cela, il suft de remarquer que lerreur quadratique (xy)
2
est minimale
lorsque y est le reprsentant le plus proche de x. Cette condition, appele condi-
tion du plus proche voisin, revient choisir les cellules optimales suivantes
(appeles cellules de Vorono) :
R
i
{x tel que [x y
i
[ [x y
j
[ pour tout j }
Autrement dit, les R
i
sont des intervalles du type (x
i 1
, x
i
) dont les frontires x
i
sont les milieux entre deux reprsentants successifs :
x
i

y
i
+y
i +1
2
.
4.2.2 Condition du centrode
Ici on cherche optimiser D sur le choix du dictionnaire y
1
, y
2
, . . . , y
M
pour
des cellules R
1
, R
2
, . . . , R
M
donnes. Autrement dit, on optimise le dquantica-
teur pour un quanticateur donn.
Pour cela, il suft de minimiser la contribution de y
i
la distorsion totale D
pour tout i :
min
_
R
i
p(x)(x y
i
)
2
dx
4.3. ALGORITHME DE LLOYD-MAX 23
En annulant la drive de cette fonction quadratique on trouve la condition du
centrode :
y
i

_
R
i
xp(x) dx
_
R
i
p(x) dx
qui exprime que y
i
est le centrode (barycentre) de R
i
selon la distribution de
probabilit de la source.
4.3 Algorithme de Lloyd-Max
Lalgorithme de Lloyd-Max (1960) consiste itrer les deux conditions prc-
dentes qui ne sont que des conditions ncessaires doptimalit, an dobtenir
une solution vriant simultanment les deux conditions.
On initiale lalgorithme par un choix arbitraire des centrodes (par exemple)
. On applique ensuite la condition du plus proche voisin qui dtermine les
cellules, puis on recalcule les centrodes par la condition du centrode, et on
recommence jusqu convergence.
1. Cette convergence arrive-t-elle toujours ? Oui, car la distortion globale
D ne peut que diminuer chaque tape de lalgorithme ; elle converge
donc vers une valeur limite. En pratique, la convergence, la solution reste
stationnaire et vrie donc simultanment les deux conditions du plus
proche voisin et du centrode.
2. Obtient toujours un minimumglobal ? Non, car on peut trouver des contre-
exemples avec minima locaux (cf. exercice). Cependant, on peut montrer
que si la fonction
logp(x)
est concave, alors la solution obtenue aprs convergence est effectivement
loptimum global. Cest le cas, par exemple, pour une source gaussienne
ou uniforme.
4.4 Performances en haute rsolution
Le systme de quantication est dit en haute rsolution si les cellules de
quantication sont assez petites pour quon puisse les considrer innitsimales
pour le calcul des performances. Cela suppose un taux de codage R lev.
Sous cette condition, la distorsion quadratique scrit :
D

i
_
y
i
+q
i
/2
y
i
q
i
/2
p
i
(x y
i
)
2
dx
1
12

i
p
i
q
3
i
24 CHAPITRE 4. QUANTIFICATIONSCALAIRE
o q
i
est la longueur (pas de quantication) de la cellule R
i
et o p
i
est la valeur
constante de p(x) dans R
i
. En rapproximant le rsultat par une intgrale il
vient :
D E
_
q(X)
2
12
_
o q(x) est la pas de quantication variable (q
i
pour x R
i
).
Noter que si la quantication est uniforme (pas constant q
i
q) on obtient
la formule (classique) :
D
q
2
12
Onintroduisant la fonction(x)
1
Mq(x)
qui reprsente la densit des cellules
de quantication (cf. exercice), et en notant que M 2
R
, on obtient la formule
de Bennett :
D
1
12
__
p(x)
(x)
2
dx
_
2
2R
o (x) 0 et
_
(x) dx 1.
La formule de Bennett donne les performances dune quantication scalaire
non uniforme quelconque, caractrise par sa densit (x). En optimisant cette
densit par rapport la source on obtient (cf. exercice) :
D
1
12
__
p(x)
1/3
dx
_
3
2
2R
.
On montre en exercice que, pour une source gaussienne de variance
2
, on a :
D

_
3
2

2
2
2R
.
comparer avec la limite de Shannon D
2
2
2R
. La caractristique de rapport
signal bruit (en dcibels), fonction du taux de quantication en bits, laisse
apparatre une diffrence de 10log
10

_
3
2
4.35 dB en dessous de la limite de
Shannon. On est encore loin de loptimal !
4.5 Performances enprsence duncodeur entropique
Une faon damliorer le systme est de faire suivre la quantication par
un codage entropique (sans pertes, cf. leon prcdente). La distorsion D
1
12
Eq(X)
2
est alors inchange mais le taux a diminu ; on peut lvaluer comme
4.5. PERFORMANCES ENPRSENCE DUNCODEUR ENTROPIQUE 25
lentropie de lindex de distribution de probabilit p(i ) p
i
q
i
avec les notations
prcdentes. On obtient
R

i
p
i
q
i
log
2
1
p
i
q
i
que lon peut rapproximer comme une intgrale ; il vient :
R H(X) +E log
2
1
q(X)
o H(X) est lentropie diffrentielle de la source. En utilisant lingalit de Jensen
(concavit du logarithme, cf. exercice du chapitre 1) sur q(X), on obtient une
distorsion minimale :
D
1
12
2
2H(X)
2
2R
qui est atteinte dans le cas dgalit de lingalit de Jensen, cest dire quand
q(x) est constant q.
Autrement dit, lorsquelle est suivi dun codage entropique, la quantication
scalaire optimale est uniforme.
Dans le cas dune source gaussienne il vient
D
2e
12

2
2
2R
.
On est plus qu 10log
10
2e
12
1.53 dB en dessous de la limite de Shannon. Le
codage entropique a apport un gain important, en tout cas en haute rsolution,
cest dire pour un fort rapport signal bruit.
26 CHAPITRE 4. QUANTIFICATIONSCALAIRE
Chapitre 5
Codage par transforme
5.1 Description dun systme de codage par trans-
forme.
On se donne une source continue X modlise par des chantillons ala-
toires de densit de probabilit p(x) et de variance
2
X
. On ne suppose pas ici la
source sans mmoire.
Le codage par transforme consiste envoyer un vecteur
X (X
1
, . . . , X
n
)
de n chantillons de cette source dans une transforme (inversible) T. On ob-
tient ainsi un vecteur U T(X) dans le domaine transform.
Chaque chantillonU
i
en sortie de la transforme est ensuite quanti par
un quanticateur Q
i
sur M
i
niveaux de quantication. Pour chacune de ces
sources, on a ainsi un taux de quantication de R
i
log
2
M
i
bits par chantillon.
Le dquanticateur Q
1
reconstruit les chantillons V
i
; la transforme
inverse T
1
est nalement appliqu au vecteur V pour fournir la source recons-
truite Y T
1
(V ).
Le taux de quantication global R est toujours le nombre moyen de bits
cods par chantillon de source X, cest dire
R
1
n

i
R
i
Insistons sur le fait quici la quantication est scalaire, mais porte sur des coef-
cients transforms dun vecteur de source. Bien que lon quantie les coef-
cients transforms chantillon par chantillon, on peut quand mme exploiter
la mmoire de la source.
27
28 CHAPITRE 5. CODAGE PAR TRANSFORME
On considrera ici (comme dans la plupart des applications) une distorsion
quadratique pour les quanticateurs Q
i
:
D
i
E{(U
i
V
i
)
2
}.
Pour chacune des sources U
i
quantier, on supposera quil existe une formule
du type "formule de Bennett" tablie dans la leon prcdente, qui donne la
distorsion D
i
due la quantication Q
i
:
D
i
c
i

2
Ui
2
2R
i
Dans cette expression, la constante c
i
dpend du type de source U
i
et du type de
quanticateur Q
i
. Il ny a pas de raison que les constantes soient toutes gales,
sauf par exemple dans le cas dune quantication scalaire optimale dune source
gaussienne o on a vu que c
i


_
3
2
.
5.2 Codage par transforme orthogonale.
Pour simplier lexpos on choisit une transforme orthogonale, cest dire
une transforme linaire T, reprsente laide dune matrice carre T de taille
n n, qui prserve la norme quadratique :
|T X| |X|
pour des vecteurs colonne X. Autrement dit, la transforme T est telle que
T T
t
T
t
T I .
et la transforme inverse est T
1
T
t
.
Pour une transforme orthogonale, on peut aisment obtenir la distortion
globale du systme :
D
1
n
E{|X Y |
2
}

1
n
E{|T
t
U T
t
V |
2
}

1
n
E{|U V |
2
}

1
n

i
D
i
.
Noter que, avec un calcul analogue, la conservation de la norme peut se voir sur
les variances :

2
X

1
n

2
U
i
.
5.3. POURQUOI UNE TRANSFORME? 29
5.3 Pourquoi une transforme ?
On va effectuer une comparaison dun codeur classique (quantication sans
transforme) et dun codeur par transforme, avec les mmes quanticateurs,
de sorte les diffrentes distorsions D
i
obtenues aprs transforme sont gales
entre elles, et donc la distorsion totale :
D
i
D.
De mme, la distortion D
0
introduite par le quanticateur scalaire habituel (sans
transforme) sur la source X est D
0
D D
i
. Ainsi la distortion globale na pas
chang malgr lintroduction de la transforme. Le codage tant un compromis
entre taux R et distortion D, il faut donc regarder ce qui se passe sur R.
Dans le systme de codage par transforme, on a R
1
n

i
R
i
o D
i

c
i

2
Ui
2
2R
i
, do en supposant les c
i
c constants :
R
1
2
log
2
c
n
_

2
U
i
D
Pour le systme classique sans transforme, on a pour le quanticateur la
mme formule de Bennett qui relie distorsion globale D
0
D et taux R
0
:
D
0
c
2
X
2
2R
0
, cest dire :
R
0

1
2
log
2
c
2
X
D
Sachant que
2
X

1
n

2
U
i
, on obtient un gain sur les taux de
1
2
log
2
G
TC
bits
o
G
TC

1
n

2
U
i
n
_

2
U
i
est le gain de codage par transforme (Transform Coding Gain). Ce gain de
codage est toujours 1 (voir exercice) : Une transforme orthogonale apporte
toujours un gain!
5.4 Rpartitionoptimale des taux aprs transforme
Dans un systme de codage par transforme, quelle est la rpartition op-
timale des taux R
i
qui, pour un taux global R
1
n

i
R
i
donn, minimise la
distorsion globale D
1
n

i
D
i
?
30 CHAPITRE 5. CODAGE PAR TRANSFORME
Cest un problme de minimisation sous contrainte qui se rsout par la
mthode du multiplicateur de Lagrange : en tenant compte de la formule de
Bennett, le Lagrangien est :
L
1
n

i
c
2
Ui
2
2R
i

i
R
i
.
En drivant le lagrangien par rapport aux variables R
i
on obtient
D
i
Constante
ce qui correspond prcisment la situation du paragraphe prcdent. On a
donc une distorsion minimale :
D
min
c n
_

2
U
i
2
2R
et le gain de codage par transforme G
TC
dni ci-dessus donne le gain en
distorsion d la transforme :
D
0
D
min
G
TC
.
pour un taux de codage R donn.
Rappelons que pour obtenir lexpression de G
TC
, on a utilis des formules
de Bennett valables en haute rsolution. Le gain G
TC
nest donc valable quen
fort dbit.
De plus, les constantes c
i
dans les formules de Bennett sont supposes toutes
gales. Ceci correspondrait une situation o la source est gaussienne et o
tous les quanticateurs utiliss sont optimiss.
5.5 Transforme optimale
Sous les mmes hypothses qunonces ci-dessus, on peut trouver la trans-
forme orthogonale qui maximise le gain de codage G
TC
(voir exercice). Cette
transforme est la transforme de Karhunen-Love et est obtenue comme une
matrice dont les colonnes sont les vecteurs propres de la matrice dautocova-
riance de la source.
En pratique, on utilise des approximations de la transforme de Karhunen-
Love qui sont indpendantes de la source et qui se comportent de la mme
manire pour des signaux trs corrls. Cest le cas de la transforme en cosinus
discrte (DCT : Discrete Cosine Transform) utilise en compression dimages.
Annexe A
Exercices pour le chapitre 1 :
Outils de la thorie de linformation
A.1 Dbit dun modemtlphonique.
Sur le rseau NUMERIS le signal de parole est chantillon 8 kHz (largeur
de bande maximale < 4 kHz par le thorme dchantillonnage de Nyquist).
Chaque chantillon du signal de parole est ensuite quanti sur 256 niveaux
damplitude. Calculer le taux de codage R et le dbit binaire correspondant en
kb/s.
A.2 Variable gaussienne.
Calculer le moyenne est la variance de la v.a. X de distribution de probabilit :
p(x)
1
_
2
2
e

(x)
2
2
2
o et
2
>0 sont des paramtres. Commenter.
A.3 Formule de Bayes. Traitement rciproque
Montrer la formule de Bayes :
p(x[y)
p(y[x)p(x)

_
x
p(y[x)p(x)
.
Commenter cette formule en considrant le traitement rciproque dentre Y
et de sortie X.
31
A.4 Chanes de Markov.
1. En saidant de la formule p(x, y) p(x)p(y[x), montrer la mme formule
conditionne par z :
p(x, y[z) p(x[z)p(y[x, z)
2. En dduire que X Y Z forme une chane de Markov si et seulement
si X et Z sont indpendants sachant y, i.e. :
p(x, z[y) p(x[y)p(z[y)
3. Montrer que si X Y Z est une chane de Markov, alors la chane
rciproque Z Y X lest aussi.
A.5 Positivit de la divergence.
1. Montrer que la fonction logarithme est strictement concave.
2. En dduire lingalit de Jensen :
E log
2
f (X) log
2
E f (X)
avec galit si et seulement si la fonction f est constante p.p.
3. En considrant D(p, q) dmontrer le rsultat fondamental du cours
concernant la positivit de la divergence.
4. (Facultatif ) Retrouver ce rsultat avec lingalit log
e
x x 1.
A.6 Proprits de lentropie.
On considre lentropie H(X) dune v.a. discrte X (pouvant prendre un
nombre ni M de valeurs).
1. Montrer que H(X) est une auto-information H(X) I (X, X). Interprter
ce rsultat.
2. Montrer que H(X) 0 et dterminer le cas dgalit.
3. En saidant du rsultat fondamental sur les divergences (ingalit de
Gibbs), montrer que H(X) log
2
M et dterminer le cas dgalit.
32
A.7 La connaissance rduite lincertitude.
Montrer et interprter (dans le cas de v.a. discrte) lingalit suivante :
H(Y [X) H(Y ).
La connaissance rduit-elle toujours lincertitude ?
A.8 Entropie diffrentielle et entropie absolue.
(Facultatif ).
On considre une v.a. continue X que lon quantie uniformment avec un
pas de quantication q pour obtenir une v.a. discrte [X].
En approximant lintgrale H(X)
_
x
p(x)log
2
1
p(x)
par une somme de Rie-
mann, tablir que
H(X) H([X]) log
2
(1/q)
Interprter ce rsultat lorsque q 0 et expliquer le terme entropie diffren-
tielle.
33
34
Annexe B
Exercices pour le chapitre 2 :
Application de la thorie de
linformation au codage
B.1 Dmontrationduthorme dutraitement de don-
nes.
1. Alaide des deux formules p(x, y) p(x)p(y[x) et p(x, y[z) p(x[z)p(y[x, z)
(voir exo leon 1), dmontrer la formule :
I ((X, Y ); Z) I (X, Z) +I (Y, Z[X)
2. On considre dornavant une chane de Markov X Y Z. Dvelopper
I ((X, Y ); Z) de deux manires diffrentes et en dduire le thorme du
traitement de donnes dans un cas particulier : I (Y, Z) I (X, Z).
3. Sachant que Z Y X est galement une chane de Markov (voir exo
leon 1), montrer que I (X, Y ) I (X, Z).
4. En dduire lnonc gnral du thorme du traitement de donnes.
B.2 Fonction taux-distorsion : Cas extrmes.
On considre la fonction taux-distorsion R(D) pour une source sans m-
moire.
1. Cas D 0 (codage sans pertes). Etablir la borne de Shannon R(D 0) dans
ce cas. Commenter
2. Cas R 0 (pas de transmission). Etablir D la borne de Shannon R(D) 0
dans ce cas. Comenter.
35
B.3 Entropie dune source gaussienne.
1. Calculer lentropie diffrentielle H(X) lorsque X est une v.a. gaussienne.
Commenter.
2. Montrer que lentropie dune v.a. X de variance
2
est maximale lorsque
X est gaussienne.
B.4 Fonction taux-distorsion : Cas gaussien.
On considre une source gaussienne sans mmoire de moyenne nulle et de
variance
2
.
1. Montrer que R(D) H(X) maxH(X[Y ).
2. Trouver le maximum de lentropie conditionnelle sachant que H(X[Y )
H(X Y [Y ) H(X Y ). Justier que ce maximumpeut tre effectivement
atteint.
3. En dduire lexpression cherche de R(D).
36
Annexe C
Exercices pour le chapitre 3 :
Codage entropique longueur
variable
C.1 Condition du prxe.
1. Justier quun code vriant la condition du prxe est dcodable de
manire instantane.
2. Rciproquement, montrer quun code instantan vrie la condition du
prxe.
3. En utilisant les rsultats du cours sur lingalit de Kraft-McMillan, mon-
trer que tout code u.d. peut tre remplac par un code instantan ( pr-
xe) de mme distribution de longueurs et donc de mme taux. Commen-
ter.
C.2 Dmonstrationde lingalit de Kraft-McMillan.
1. Montrer que pour un code u.d., toute squence de l bits peut se d-
composer dau plus une faon comme concatnation de mots de codes
c
i
1
c
i
2
c
i
k
o l
i
1
+l
i
2
+ +l
i
k
l .
2. En dduire que le nombre total N
l
(k) de concatnations possibles de k
mots de codes donnant une squence code de longueur totale l bits
vrie lingalit : N
l
(k) 2
l
.
3. Montrer par ailleurs que
(
M

i 1
x
l
i
)
k

l
N
l
(k)x
l
37
4. Conclure en faisant x 1/2 et k .
C.3 Construction dun code instantan.
On se donne une distribution de longueurs l
1
l
2
. . . l
M
vriant lin-
galit de Kraft-McMillan. A chaque mot de code c
i
( trouver) on associe le
nombre c
i
0, c
i
[0, 1[ dont les dcimales de lcriture en base 2 est forme des
bits de c
i
. On note I
i
lintervalle I
i
[ c
i
; c
i
+2
l
i
[.
Par exemple, c
i
010 donne c
i
0, 010
1
4
. et I
i
[0, 010; 0, 011[[
1
4
;
3
8
[ est
lensemble des nombres de [0; 1[ dont les dcimales en base 2 commencent par
c
i
.
1. Montrer que c
i
dtermine I
i
, et rciproquement.
2. Montrer que le code est instantan si et seulement si les I
i
sont des inter-
valles disjoints.
3. Interprter lingalit de Kraft-McMillan sur les I
i
est en dduire un algo-
rithme de construction du code.
4. Prciser cet algorithme sur des exemples pour l
1
l
2
. . . l
M
, en com-
menant par c
1
0.0. . . 0, et en posant c
i +1
extrmit droite de I
i

chaque tape.
5. Que se passe-t-il si les l
i
ne vrient pas lingalit de Kraft-McMillan?
Donner un exemple.
C.4 Algorithme de Huffman. Prliminaires
On considre un code VLC optimal pour une source de distribution de
probabilit p
1
p
2
p
M
.
1. Montrer que ncessairement l
1
l
2
l
M
(raisonner par labsurde en
supposant p
i
>p
j
et l
i
>l
j
). Commenter.
2. Montrer que ncessairement lingalit de Kraft McMillan est une galit
(raisonner par labsurde en supposant

i
2
l
i
<1, et montrer qualors on
peut remplacer l
M
par l
M
1).
3. Dduire du raisonnement de la question prcdente que l
M1
l
M
, et
quon peut toujours se ramener au cas o les deux mots de codes c
M1
et
c
M
ne diffrent que par le dernier bit.
38
C.5 Algorithme de Huffman.
On considre une source M-aire de distribution de probabilit p
1
p
2

p
M
. La rduction de Huffman consiste considrer la source (M1)-aire,
dite rduite, de distribution de probabilit p
1
, p
2
, , p
M2
, p
t
M1
p
M1
+p
M
(on combine les deux symboles les moins probables).
On note {c
1
, . . . , c
M1
, c
M
} le code optimal cherch ( lordre M). Daprs ci-
dessus, c
M1
et c
M
ne diffrent que par le dernier bit ; on peut crire c
M1

[c
t
M1
0] et c
M
[c
t
M1
1]
1. Encomparant les taux de codage de la source initiale et de la source rduite
aprs rduction de Huffman, montrer que le code
{c
1
, . . . , c
M2
, c
t
M1
}
est optimal pour la source rduite.
2. Donner un moyen de contruire le code optimal {c
1
, . . . , c
M1
, c
M
} partir
de {c
1
, . . . , c
M2
, c
t
M1
}.
3. Par rductions de Huffman successives jusquau cas M 2 (o le code {0,1}
est optimal), obtenir unalgorithme de constructionducode {c
1
, . . . , c
M1
, c
M
}.
N.B. : Il faut rordonner chaque tape les probabilits aprs chaque
rduction de Huffman.
39
40
Annexe D
Exercices pour le chapitre 4 :
Quantication scalaire.
D.1 Caractristique Dbit-Distorsion en haute rso-
lution
On effectue une quantication scalaire uniforme haute rsolution dune
source quelconque de variance
2
et de densit de probabilit support born
dans [A, A].
1. Calculer la distorsion en fonction du taux de quantication. On crira le
rsultat en fonction du facteur
A

.
2. Expliquer le terme 6 dB par bit pour qualier la caractristique d-
bit/distorsion.
D.2 Minima locaux de lalgorithme de Lloyd-Max.
On considre un signal alatoire X de densit de probabilit :
p(x)
_

_
1 pour 1 x 1.5
2 pour 1.25 x 1
0 sinon.
Il est quanti scalairement sur 3 niveaux. On considre les deux solutions
suivantes caractrises par la position des centrodes :
{1
3
16
, 1
1
16
, 1.25} et {1
1
8
, 1+
1
8
, 1+
3
8
}
41
1. Donner, pour chacune de ces solutions, les cellules de quantication
optimales.
2. Vrier que ces deux situations vrient les conditions de convergence
(point stationnaire) de lalgorithme de Lloyd-Max.
3. Calculer la contribution la distorsion quadratique dune cellule du type
[q, q] correspondant une amplitude A de la densit de probabilit.
4. En dduire les valeurs des distorsions totales dans les deux cas considrs.
Quelle est la solution la meilleure ?
5. Quen dduire sur lalgorithme de Lloyd-Max ? La fonction logp(x) est-elle
concave ?
D.3 Densit des cellules de quantication
Justier que (x)
1
Mq(x)
reprsente la densit des cellules en valuant
lintgrale
_
I
(x) dx prise sur un intervalle I .
D.4 Optimisation de la formule de Bennett
1. Dans la formule de Bennett, quelle est la densit des cellules (x)
1
Mq(x)
qui minimise la distorsion? Indication : Ecrire le lagrangien correspon-
dant.
2. Calculer la distorsion minimale correspondante.
3. Appliquer ces rsultats la source gaussienne.
D.5 Ralisationde laquanticationscalaire nonuni-
forme par non-linarits.
On ralise une quantication scalaire non uniforme dune source U de la
manire suivante : On transforme dabord la source X f (U) laide dune fonc-
tion non lineaire f . On applique ensuite une quantication scalaire uniforme
X qui fournit Y , et on applique enn la non-linarit inverse V f
1
(Y ).
1. Faire un dessin.
2. Sous les hypothses de haute rsolution, dterminer la densit des cellules
(u)
1
Mq(u)
en fonction de la non-linarit f .
3. En dduire la non-linarit optimale qui rend la distorsion quadratique
minimale, en fonction de la densit de probabilit de la source p(u). Indi-
cation : Utiliser lexercice prcdent.
42
D.6 Quantication vectorielle
Enquanticationvectorielle endimensionn, onattribue chaque vecteur de
source X (X
1
, X
2
, . . . , X
n
) une tiquette binaire correspondant un centrode
Y en dimension n.
1. Reprendre, dans le cas vectoriel, les conditions du plus proche voisin et
du centrode vues en cours.
2. En dduire lalgorithme de Lloyd-Max dans ce cas.
3. Montrer que lalgorithme de Lloyd-Max peut converger vers un minimum
local, mme si logp(x) est concave. On considrera pour cela une source
uniforme X dans lintervalle [1, 1] quantie en dimension 2 sur 1 bit
par chantillon (cest dire 4 centrodes en 2 dimensions) et les deux
situations suivantes :
centrodes y (
1
2
,
1
2
)
et
centrodes y (
1
4
, 0) et (
3
4
, 0).
43
44
Annexe E
Exercices pour le chapitre 5 :
Codage par transforme
E.1 Gain de Codage
1. Donner lingalit de concavit du logarithme.
2. En dduire que le gain de codage par transforme est toujours 1. Quel
est le cas dgalit ?
3. Donner un exemple de source pour laquelle le gain de codage est tou-
jours 1.
E.2 Ingalit de Hadamard
Soit X un vecteur alatoire, de composantes X
i
de variance
2
i
. On dnit la
matrice dautocovariance :
R E(X X
t
).
1. Donner les coefcients r
i , j
de la matrice R.
2. Quelle est la forme particulire de R pour des composantes X
i
dcorr-
les ?
3. Les composantes rduites sont X
t
i

X
i

i
. Donner la matrice dautocova-
riance R
t
des X
t
i
en fonction de R.
4. En dduire det R en fonction de det R
t
et des
2
i
.
5. Montrer que det R
t
1 (raisonner sur les valeurs propres de R
t
).
6. En dduire lingalit de Hadamard :
det R

2
i
45
7. Quel est le cas dgalit ?
E.3 Transforme de Karhunen-Love
1. En considrant le gain de codage, montrer que la transforme optimale
est celle qui minimise le produit des variances en sortie de la transforme.
2. A laide de lingalit de Hadamard, montrer que la transforme optimale
est celle qui dcorrle la sortie.
3. Comment obtenir la transforme optimale partir de R
X X
E(X X
t
) ?
Cette transforme sappelle la transforme de Karhunen-Love.
4. Expliciter le gain de codage optimal.
5. Pour quel type de source le codage par transforme savre-t-il inutile ?
Est-il pour autant nuisible ?
E.4 Codage par transforme pour n 2
bits cods
U
2
U
1
-
-
C
2
C
1
-
-
Q
2
Q
1
-
-
T
source X
-
On considre un schma de codage de source par transforme orthogonale
dont la partie codage est reprsente dans la gure. Chaque bloc de source
X
_
X
1
X
2
_
est transforme en deux chantillons
_
U
1
U
2
_
U avant dtre quanti et
cod. On a donc :
U T X
o T est la matrice de la transforme orthogonale (TT
t
I).
Les quanticateurs sont scalaires uniformes et les codeurs entropiques sont
des codeurs de Huffmann. Pour chaque branche i (i 1, 2), la distorsion quadra-
tique moyenne de au quanticateur Q
i
est note D
i
et le taux binaire moyen
aprs codage de Huffmann C
i
est not R
i
.
On modlise les signaux en sortie de transforme par des sources lapla-
ciennes de variances
2
1
et
2
2
. On admet la relation :
D
i
c
2
i
2
2R
i
pour i 1, 2
46
o c est une constante.
1. Justier, daprs le cours, que les distorsion quadratique moyenne globale
D et taux global R sont donns par :
D
D
1
+D
2
2
et R
R
1
+R
2
2
2. Justier (sans calcul), daprs le cours, quaprs optimisation des taux R
1
et R
2
la distorsion minimise est donn par la formule :
D

c
1

2
2
2R
La matrice dautocorrlation du signal dentre X est donne par :
RE(X X
t
)
2
X

_
1
1
_
o est un coefcient de corrlation (1 < <1).
3. Calculer la matrice dautocorrlation de U en fonction de R et T.
4. En dduire la matrice dautocorrlation de U lorsque
T
_
1 1
1 1
_
(On dterminera dabord la valeur de pour que T soit orthogonale).
5. Justier que la transforme optimale est celle donne la question prc-
dente. Sous quel nom est-elle connue ?
6. Donner lexpression de la distorsion D

pour cette transforme en fonc-

tion de c,
2
x
, et R.
7. Quobserve-t-on si augmente ? Commenter.
47