Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

Le codage entropique (ou codage statistique longueur variable) est une mthode de codage de source sans pertes, dont le but est de transformer la reprsentation d'une source de donnes pour sa compression et/ou sa transmission sur un canal de communication. Les principaux types de codage entropique sont le codage de Huffman et le codage arithmtique. Le codage entropique utilise des statistiques sur la source pour construire un code, c'est--dire une application qui associe une partie de la source un mot de code, dont la longueur dpend des proprits statistiques de la source. On utilise donc en gnral un code longueur variable, qui attribue les mots de codes les plus courts aux symboles de source les plus frquents. Le codage entropique est issu de la thorie de l'information, et traite de ces codes et de leurs proprits. L'information coder est reprsente par une variable alatoire valeur dans un alphabet de taille finie. Un rsultat important est le thorme du codage de source, qui tablit la limite la possibilit de compression, et tablit cette limite comme tant l'entropie. Historiquement dvelopp dans les annes 1940-50 avec la thorie de l'information, le codage entropique est devenu une technique fondamentale en compression de donnes, et est prsent dans de nombreux programmes de compression et de normes de compression d'image et de compression vido.

1 Dfinitions 2 Proprits des codes de source 3 Ingalit de Kraft 4 Code optimal 5 Thorme du codage de source 6 Types de codes 6.1 Codage de Shannon-Fano 6.2 Codage de Huffman 6.3 Codage arithmtique 6.4 Code universel 7 Applications 8 Voir aussi 8.1 Article connexe 8.2 Bibliographie 9 Notes et rfrences

On considre une source discrte, c'est--dire un dispositif qui fournit alatoirement des squences de symboles issus d'un ensemble discret fini. Une source peut tre un texte, une image, ou plus gnralement, tout signal numrique. Une source est modlise par un ensemble de variables alatoires, valeur dans un alphabet de taille finie, . est appel l'ensemble des symboles de source.

1 sur 6

20/02/2013 15:13

Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

Dfinition Une source est dite sans mmoire si la squence de symboles gnre par la source est une suite de variables indpendantes et identiquement distribues.

Dfinition Un code de source C pour une variable alatoire de distribution de probabilit , est une application de vers l'ensemble des chanes de symboles d'un alphabet D-aire .

L'ensemble des chanes de symboles d'un alphabet D-aire est not . En gnral, cet alphabet est binaire et on a , . est alors l'ensemble des chanes de caractres de taille finie formes de 0 et de 1, . Un code associe un symbole de source un mot de code . Ce mot de code est de longueur variable , la longueur tant son nombre de bits. Ces codes sont appels codes longueur variable. L'esprance de la longueur d'un code par: . peut galement se voir comme le taux de codage, c'est--dire le nombre moyen de bits cods par symbole de source. (ou longueur moyenne, selon la loi de probabilit de X) est donne

Dfinition L'extension d'un code est l'application de dans une squence de symboles de source la concatnation de ses mots de code: .

, qui associe

Cette dfinition est motive par le fait que l'on transmet des squences de symboles, et non des symboles 1 isols spars par un symbole de sparation, ce qui serait inefficace .

Un code doit respecter certaines proprits pour tre utile: une concatnation de mots de code doit avoir un 2 dcodage unique, ais, et permettre la plus grande compression possible . Certaines conditions sont imposes au code pour satisfaire ces proprits.

Dfinition Un code est dit uniquement dcodable (ou uniquement dchiffrable) si

Autrement dit, toute squence code est dcodable par une unique squence de symbole de source.

2 sur 6

20/02/2013 15:13

Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

Dfinition Un code est un code prfixe si aucun mot de code n'est le prfixe d'un autre mot de code.

L'intrt des codes prfixs est qu'ils sont dcodables immdiatement, en les parcourant de la gauche vers la droite. La fin d'un mot de code est reconnaissable immdiatement, sans la ncessit d'un code spcial pour 2, 3 indiquer la terminaison ou une sparation . De plus, les codes prfixes sont uniquement dcodables. Exemple: Soit le code dfini par le tableau suivant Dfinition du code Mot de code 0 10 110 111

Symbole de source a b c d Le code 11011111010110010110111 se dcompose facilement en: 110 111 110 10 110 0 10 110 111 et se dcode donc comme: cdcbcabcd

Longueur du mot de code 1 2 3 3

est un code prfix. La squence code comme

Article dtaill : Ingalit de Kraft.

L'ingalit de Kraft donne une condition ncessaire et suffisante sur les longueurs des mots de code pour qu'un code possde un code prfix quivalent (possdant la mme distribution de longueur des mots). Pour un code dfini sur un alphabet de taille , et un alphabet de source de taille , alors il est prfix si et seulement si

Un code optimal est un code prfix de longueur moyenne minimale. La compression est d'autant plus forte que la longueur moyenne des mots de code est faible. Trouver un code optimal revient donc choisir les longueurs des mots de codes, par rapport la distribution de probabilit des symboles de source, afin de rendre la longueur moyenne minimale. Pour trouver un tel code, il faut minimiser la longueur moyenne du code , sous les conditions de l'ingalit de Kraft, soit:

3 sur 6

20/02/2013 15:13

Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

minimiser

sous la condition

Par la mthode des multiplicateurs de Lagrange, on dfinit le lagrangien

que l'on diffrentie par rapport aux . Un rapide calcul donne les longueurs optimales , soit une longueur moyenne , c'est--dire l'entropie . Les longueurs donnes par cette mthode ne sont cependant pas entires, sauf dans le cas exceptionnel o les sont des puissance ngatives de D. Ce rsultat n'est donc pas utile en pratique, et il est ncessaire d'utiliser d'autres mthodes pour construire un code optimal.

Article dtaill : thorme du codage de source. Cette section est vide, insuffisamment dtaille ou incomplte. Votre aide (//fr.wikipedia.org /w/index.php?title=Codage_entropique&action=edit) est la bienvenue !

Codage de Shannon-Fano
Article dtaill : Codage de Shannon-Fano.

Le codage de Shannon-Fano est la premire mthode de codage entropique efficace, dveloppe en mme temps par Claude Shannon et Robert Fano en 1949. Cette mthode n'est en revanche pas optimale, et a t 5 rapidement supplante par le codage de Huffman .

Codage de Huffman
Article dtaill : Codage de Huffman.

Le codage de Huffman a t dvelopp par David Huffman en 1952. C'est un code optimal au niveau symbole. De nombreuses amliorations ont t proposes aprs sa publication, notamment le codage adaptatif, qui permet de r-estimer les probabilits la vole. Ceci permet d'effectuer le codage et le dcodage sans disposer de la totalit des statistiques de la source.

Codage arithmtique
Article dtaill : Codage arithmtique.

Le codage arithmtique est une extension du codage de Shannon-Fano-Elias. Il est optimal au niveau bit.

4 sur 6

20/02/2013 15:13

Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

Code universel
Article dtaill : Code universel.

La principale application du codage entropique est la compression de donnes. Si le codage de Huffman a 6 rapidement laiss sa place aux mthodes par dictionnaire pour la compression de donnes gnriques , il reste trs utilis en compression d'images, et est prsent dans la norme JPEG. Le codage arithmtique s'est montr efficace seulement partir du dbut des annes 1990, et est utilis aussi bien en compression de donnes gnriques (PAQ) qu'en compression d'images (JPEG 2000) et vido (H.264).

Article connexe
Codage de l'information

Bibliographie
(en) (en)

Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, Wiley-Interscience, 2006

(ISBN 978-0-471-24195-9) [dtail des ditions]

David MacKay, Information Theory, Inference, and Learning Algorithms (http://www.inference.phy.cam.ac.uk/mackay/itila/) , Cambridge University Press, 2003
(ISBN 0-521-64298-1) [dtail des ditions]

Mark Nelson, La Compression des donnees / texte, images, sons, Dunod, 1993. ISBN 978-2100016815

1. 2. 3. 4. 5. 6.

Cover, Thomas (2006), p. 105 McKay (2003), p. 92 Cover, Thomas (2006), p. 106 Cover, Thomas (2006), p. 110-111 Nelson, p. 23 Nelson, p. 21

Ce document provient de http://fr.wikipedia.org/w/index.php?title=Codage_entropique&oldid=85696965 . Dernire modification de cette page le 24 novembre 2012 09:28. Droit d'auteur : les textes sont disponibles sous licence Creative Commons paternit partage lidentique ; dautres conditions peuvent sappliquer. Voyez les conditions dutilisation pour plus de dtails, ainsi que les crdits graphiques. En cas de rutilisation des textes de cette page, voyez comment citer les auteurs et mentionner la licence.

5 sur 6

20/02/2013 15:13

Codage entropique - Wikipdia

http://fr.wikipedia.org/wiki/Codage_entropique

Wikipedia est une marque dpose de la Wikimedia Foundation, Inc., organisation de bienfaisance rgie par le paragraphe 501(c)(3) du code fiscal des tats-Unis.

6 sur 6

20/02/2013 15:13