Elemente de teorie a informatiei. Masura Informatiei si teoremele Shanon.

Ciobanu Andrian TI-101M

Teoria Informatiei raspunde la doua intrebari fundamentale in telecomunicatii :

Cit de mult se poate transmite printr-un canal de comunicatie ? (In anii 40, comunitatea stiintifica credea ca marind cantitatea de informatie transmisa printr-un canal, creste si probabilitatea eronarii ei ; Shannon a surpris lumea stiintifica, aratand ca transmisia poate fi facuta corect, cu conditia ca rata de transmisie sa nu depaseasca capacitatea canalului ; capacitatea canalului se poate calcula din caracteristicile zgomotului existent in canal)

Cit de mult pot fi compresate datele ?

(Shannon a aratat ca datele reprezentand procese aleatoare ca muzica sau vorbirea, nu pot fi compresate sub o anumita limita pe care a numit-o entropie, un termen folosit deja in termodinamica ; apoi a aratat ca daca entropia este mai mica decat capacitatea canalului, atunci transmisia datelor se poate face fara erori)

Teoria Informatiei are contributii si in alte domenii (Fig. din Elements of Information Theory, Thomas M. Cover, Joy A. Thomas)

Exist dou teorii foarte distincte ale informaiei. Prima (i probabil cea mai faimoas) vine dintr-o lucrare scris de ctre Claude E. Shannon intitulat "O Teorie Matematic a Comunicaiei". Unele idei relevante sunt detaliate mai jos, punctual:

1. Coninutul de informaie al unui mesaj e independent de semnificaia acelui mesaj. 2. Entropia informaiei poate fi reprezentat ca o scdere n incertitudinea observatorului. 3. Un mesaj repetitiv conine mai puin informaie dect unul pur aleator. 4. Scopul comunicaiei este transmiterea unui mesaj. 5. Dei n unele circumstane zgomotul poate fi o surs de informaie, el nu poate dect s scad cantitatea de informaie dintr-un mesaj.

1948 Shannon a elaborat Teoria informatiei, una dintre teoriile cu cel mai mare impact in secolul XX. Teoria lui Shannon este denumit adeseori Teoria Clasic a Informaiei.

Prima Teorema a lui Shannon Lungimea unui cod folosit pentru codarea unei surse de informatie fara memorie X , satisface urmatoarele inegalitati :

Aceasta dubla inegalitate este valabila si pentru extensia , care este tot o sursa fara memorie :

unde este lungimea medie a cuvintelor de cod pentru simbolurile sursei extinse, care sunt siruri de m simboluri ale sursei initiale. Deci, , unde este lungimea medie a cuvintelor de cod pentru simbolurile sursei initiale. Dubla inegalitate devine:

ceea ce reprezinta expresia matematica a Primei teoreme a lui Shannon. Prima teorema a lui Shannon sau Teorema codarii canalelor fara zgomot: Codand siruri de simboluri suficient de lungi, ne putem apropia oricat de mult de codarea absolut optimala.

Teorema a 2-a a lui Shannon

Teorema : Daca avem o sursa cu o rata de emisie R si un canal cu perturbabii, cu o capacitate de transmisie C > R , exista un cod cu cuvinte de n , astfel incat probabilitatea de eroare sa fie :

unde E(R) este o functie nenegativa numita exponentul erorii.

Observatii :
Teorema a 2-a a lui Shannon este cunoscuta si sub numele de Teorema codarii canalelor cu perturbatii Functia E(R) este o caracteristica a canalului de transmisiune Teorema a 2-a stabileste ca pe un canal se poate face o transmisie cu probabilitate de eroare P(E) oricat de mica, daca rata de emisie a sursei se diminueaza suficient de mult. Intr-o aplicatie practica, daca se impune P(E) , cunoscand functia E(R), se poate determina rata (maxima) de emisie R a sursei sau, daca se impune R , se poate afla P(E) cu care se va face transmisia pe canal pentru rata impusa.

Unul dintre cele mai importante elemente ale Teoriei Informaiei este conceptul de Entropie, reprezentnd o form de cuantificare a coninutului informaiei coninute ntr-un mesaj. Shannon a demonstrat c ntr-o conversaie afectat de perturbaii, semnalul ar putea fi transmis fr nici un fel de perturbaii. Dac mesajul este codat astfel nct s se autoverifice, semnalul va fi transmis cu aceeai acuratee ca i atunci cnd nu ar exista interferene pe canalul de comunicaie. Aceast teorie a lui Shannon are aplicaii nu numai n domeniul construciei computerelor, dar i n domenii n care limbajul este foarte important, precum lingvistica, psihologia, criptografia, fonetica ct i n sistemele cuantice, sistemele stelare, teoria deciziei financiare, distribuii statistice ale sistemelor nanoscopice, radiaia cosmic de microunde, semnale electroencefalografice etc.

Entropia informaional o funcie matematic (introdus de Shannon) care, dat fiind un set de evenimente disjuncte { } n X X X ..., X 1, 2, = , cu probabilitile de realizare { } n p p p ..., p 1, 2, = , descrie informaia medie pe eveniment, ntruct e o msur a reducerii (n medie) a incertitudinii unui receptor de informaie. Formula entropiei informaionale este Se demonstreaz c incertitudinea receptorului este cu att mai mare cu ct distribuia probabilitilor de realizare a evenimentelor e mai aproape de uniformitate (distribuie echiprobabil), caz n care incertitudinea devine maxim.

Shannon numete cantitatea medie de text cifrat necesar pentru soluionarea unei criptograme distana de unicitate a cifrului respectiv. N0 din relaia (1.26) reprezint o msur bun a distanei de unicitate pentru un cifru aleator, iar parametrul D reprezint cantitatea de constrngere statistic impus de limba natural, cunoscut sub denumirea de redundan. n cazul sistemelor perfecte cantitatea de informaie obinut din mesaje este maxim cnd toate mesajele sunt echiprobabile (H(M)-logn). Informaia privind mesajul clar este complet ascuns numai dac nedeterminarea cheii este maxim, adic H(K)= logn. Deci exist o limit a ceea ce putem obine pentru un sistem secret: cantitatea maxim de nedeterminare nu poate fi mai mare dect nedeterminarea cheii.