Teoria transmisiunii informației

Teoria
transmisiunii
informației

1
Teoria transmisiunii informației

Cuprins
Probabilități...............................................................pag 4
1 Câmpuri de evenimente
2 Frecvența probabilității
3 Probabilități condiționate

Capitolul 1.................................................................pag 11
Informația
1.1 Măsura informației
1.2 Definirea funcției incertitudine
1.3 Unitatea de măsură a informației
1.4 Entropia
1.5 Canale discrete
1.6 Entropia la intrare și la ieșire din canal
1.7 Entropii condiționate
1.8 Relații între entropii
1.9 Transinformația
1.10 Capacitatea canalului de transmisiune

Capitolul 2................................................................pag 23
Codarea surselor pentru canale fără perturbații

2
Teoria transmisiunii informației

2.1 Coduri unic decodabile

2.2 Lungimea medie a unui cuvânt de cod
2.3 Limita inferioara a lungimii unui cuvânt de cod
2.4 Capacitatea, eficiența și redundanța codurilor
2.5 Codarea absolut optimală
2.6 Teorema codării canalelor fără pierderi
(Teorema I Shannon)
2.7 Codarea binară Huffman
2.8 Codarea simbol cu simbol Shannon-Fano

Capitolul 3................................................................pag 32
Codarea canalelor cu perturbații

3
Teoria transmisiunii informației

Probabilități

1 Câmpuri de evenimente
Fie A,B – evenimente aleatorii independente
a) A ⊂B , de câte ori se realizează A se realizează și B
b) A ⊂B , B ⊂ A – evenimentele A și B sunt echivalente

Definiție: Fie M mulțimea evenimentelor asociată unui experiment.

Evenimentul definit pe M × M , adica M : M × M → M , constă în realizarea
fie lui A , fie lui B, se numește reuniunea a două evenimente.
c) A⋃ B

Definiție: Fie M mulțimea evenimentelor asociată unui experiment.

Evenimentul definit pe M × M , adica M : M × M → M , prin care la două
evenimente A și B se realizează simultan se numește intersecția celor
doua evenimente.
d) A⋂ B

Definiție: Fie un eveniment A ⊂ M , se numește contrariul lui A

evenimentul care constă în nerealizarea lui A .
e) c
A ,A

Există două evenimente speciale:

E−evenimentul sigur ; Φ−evenimentul imposibil .

E=Φ
Φ=E

Putem să considerăm orice mulțime de evenimente reale fiind

părți ale evenimentului sigur

4
Teoria transmisiunii informației

M =P(E)

Proprietăți ale evenimentelor:

1. A A= E
2. A A=Φ

Reciproca: Dacă A și B reprezintă evenimente, astfel încât A ⋃ B=E și

A ⋂ B=Φ, evenimentele A și B sunt evenimente complementare.

3. Operațiile ⋃ și ⋂ sunt comutative

A ⋃ B=B ⋃ A
A ⋂ B=B ⋂ A
4. Distributivitatea:
A ⋃ (B ⋂ C)=( A ⋃ B) ⋂( A ⋃ C )
A ⋂ ( B ⋃ C)=(A ⋂ B) ⋃( A ⋂ C )

5. Absorbția:
A ⋃ A= A
A ⋂ A= A
6. Elementul nul:
A ⋂ E= A
A ⋂ Φ=Φ
A ⋃ E=E
A ⋃ Φ= A

7. Relațiile lui De Morgan:

A ⋃ B=A ⋂ B
A ⋂ B=A ⋃ B
8. Incluziune:
A ⊂ ( A ⋃ B )≤¿ (A ⋂ B)⊂ A
B⊂ ( A ⋃ B )≤¿( A ⋂ B) ⊂B

Definiție: Fie M =P(E) mulțimea evenimentelor asociate unui

experiment, o familie nevidă N ( N ⊂ M ) , N ⊂ P(E) se numește câmp de
evenimente dacă îndeplinește următoare condiții:

5
Teoria transmisiunii informației

1) A⊂N și A⊂N
2) A,B⊂N și ( A ⋃ B ) ⊂ N
Teoremă: Orice câmp de evenimente (N, E) cu
1) E∈N ,Φ∈N
2) Avem serie de evenimente Ai , i∈1 , N , A i ∈ N ,atunci ¿ i=1 ¿ N A i ∈ N

2 Frecvența probabilității
Se numește frecvență de probabilitate numărul de apariții
relative ale unui eveniment dintr-o mulțime de evenimente egal
probabile.
Exemplu:
Fie experimentul: Avem o urnă care conține 30 bile albe și 70
bile negre, identice ca proprietăți fizice. Se extrag consecutiv 20 bile,
bilele extrase sunt returnate în urnă. Presupunem că la primul
experimente de extragere am obținut 7 bile albe și 13 bile negre.
7
Frecvența de apariție a bilelor albe este f a= 20 , iar a celor negre
13
f n= =1−f a.
20

Se repetă experimentul și de data aceasta obținem 6 bile albe și

6 14
14 bile negre. Avem frecvențele de extragere: f a= 20 și f n= 20 =1−f a .

Repetând experimentul se va observa că frecvența relativă de

extragere a bilelor albe f Ra 0,3 , iar frecvența relativă de extragere a
bilelor negre f Rn 0,7. Prin urmare, se poate defini frecvența relativă a
unui eveniment:
nr de cazuri favorabile
f R=
nr de cazuri posibile

6
Teoria transmisiunii informației

Frecvența relativă poate fi considerată ca o probabilitate de

apariție la o singură extragere a unei bile albe sau a unei bile negre.
Definiție: Fie ( E , N ) se numește probabilitate pe câmpul N o
funcție P : N → R+¿¿ , cu probabilități:
1. Funcția aplicată lui P ( E )=1
2. A și B sunt evenimente disjuncte, A,B∈N
A ⋂ B=∅ ; P( A ⋃ B )=P ( A ) + P( B)

Avem ( E , N , P ) – câmp de probabilitate

Teoremă: Fie câmpul de probabilitate ( E , N , P ) , există următoarele
proprietăți:
1. P ( ∅ )=0
n

2. P ( ¿ i=1 ¿ n A i )=∑ P (A i ) pentru Ai ∩ A j=∅ ,orice i, j

i=1

3. P ( A )=1−P (A )
4. P ( A ) ∈ [ 0 ,1 ] pentruorice A
5. A ⊂ B , P ( A ) < P( B)

Teoremă: Pentru orice câmp de probabilități (E , N , P), P

( A ⋃ B )=P ( A ) + P ( B )−P( A ∩ B)

3 Probabilități condiționate
Fie o urnă care conține n bile. Din aceste n bile k bile sunt de
culoare deschisă (alb, roz), iar dintre aceste k bile , l sunt albe.
Probabilitatea de a extrage o bilă albă poate fi considerată ca
raportul:
l
p1=
n
k
Probabilitatea de a extrage o bilă deschisă: p2 =
n

7
Teoria transmisiunii informației

Evenimentul care constă în extragerea unei bile albe, știind că s-a

extras o bilă de culoare deschisă poate fi formulat:
l
P A (B)=
k

Unde A– evenimentul de extragere a unei bile deschise

B−¿ evenimentul de extragere a unei bile albe

l
l n P( A ∩ B)
P A ( B )= = =
k k P( A)
n

Definiția (axiomatică) probabilității condiționate: Fie ( E , N , P ) −¿

câmp de probabilități. Se numește probabilitatea evenimentelor B
condiționat de A :
P( A ∩ B)
P( A /B) ≙
P( A)

Teoremă: Probabilitatea condiționată este o probabilitate care

respectă elementele de definiție ale probabilității.
P ( E ∩ A) P ( A )
Demonstrație: P ( E )=1 ¿> P(E / A )= P ( A)
=
P(A)
=1 prima axiomă

este îndeplinită
P ( A ⋃ B )=P ( A ) + P ( B ) dacă A ∩ B=∅

Avem ( x , y ) și ( X ⋃A A ) :
P ( X A⋃ Y )= P (( XP(⋃ YA))∩ A) = P [(X ∩ A)∪ (Y ∩ A )] P[ ( X ∩ A ) +(Y ∩ A )] P( X ∩ A) P( Y ∩ A)
P( A)
=
P( A)
=
P( A)
+
P( A)
=P (
X
A

Se respectă a doua axiomă.

Definiție: Fie ( E , N , P ) −¿ câmp de probabilități. Evenimentele acestui
câmp Ai se numesc evenimente independente dacă:
P¿

8
Teoria transmisiunii informației

Teoremă: Fie { Ai } −¿ câmp de evenimente, P ¿. Unde n este

numărul de evenimente independente.
Teorema ”Formula probabilității totale” : Fie un câmp complet
de envenimente Ai și fie un eveniment X , probabilitatea va avea
expresia:

( )
n
X
P ( X ) =∑ P ( A i ) P
i=1 Ai

Demonstrație: { Ai } −¿ câmp complet de evenimente, deci ¿ i=1 ¿ n A i=E ;

Ai ∩ A j=∅ evenimente disjuncte.

Evenimentul X poate fi scris ca X =X ∩ E , adica

X =X ∩¿
X =¿ i=1 ¿ n( A¿¿ i∩ X )¿
P¿

( AX )
n n
P ( X ) = ∑ P ( A i ∩ X )= ∑ P ( A i ) P
i=1 i=1 i

9
Teoria transmisiunii informației

Capitolul 1: Informație

1.1 Măsura informației

Se definește funcția de incertitudine de producere a
evenimentului x i ca o funcție de probabilitate pi: U ( x ¿¿ i)=F( p¿¿ i)¿ ¿, iar
informația obținută asupra evenimentului x i , după producerea
acestuia, are următoarea expresie:
i( x ¿¿ i) ≙ U (x ¿¿ i)=F ( p¿¿ i)¿ ¿ ¿

De obicei, informația este transmisă printr-un canal fizic ( de

exemplu: conductor electric, unde electromagnetice, simțuri umane,
etc). Pe canalul de transmisiune apar perturbații asupra informației
transmise din mediul înconjurător. Datorită acestui fapt, la recepție
(la ieșirea canalului de transmisiune) se recepționează simbolurile
care, în general, reprezintă unde electromagnetice.
[ Y ] =[ y 1 + y 2 +…+ y n ] simbolurile recepționate , unde x i ≠ y i

10
Teoria transmisiunii informației

Datorită perturbațiilor care intervin pe canalul de transmisiune,

în general, recepția simbolului y i nu corespunde cu simbolul transmis
x i. În acest caz, recepționarea unui simbol în prezența perturbațiilor
poate condiționa creșterea incertitudinii.
U ( x ¿ ¿ i/ y j )=F ( p ¿ ¿ i(x i / y j ))¿ ¿

Informația măsurată în urma transmisiei simbolului x i și a

recepționării simbolului y i o vom nota în felul următor:
i(x ¿ ¿ i, y j )=U (x ¿¿ i)−U ( x ¿ ¿ i/ y j)¿ ¿ ¿

Semnificația expresiei i(x ¿ ¿ i , y j )¿ , în cazul canalului cu perturbații,

este aceea de dimensiunii a incertitudinii asupra simbolului transmis.
În cazul în care canalul este fără perturbații avem x i= y i, iar
incertitudinea este nulă U ( x ¿ ¿ i/ y j )=0 ¿, de unde rezultă:
i( x ¿ ¿ i, y j )=U (x ¿¿ i) ¿ ¿

Dacă perturbațiile sunt mari U ( x ¿ ¿ i/ y j )=U ( x ¿¿ i)¿ ¿ , informația

devine nulă, adică nu s-a recepționat nimic din cauza perturbațiilor
foarte mari.
i(x ¿ ¿ i , y j )=U (x ¿¿ i)−U ( x ¿¿ i)=0 ¿¿ ¿

1.2 Definirea funcției incertitudine

Fie x i , x i , unde x i ∩ x i ≠ x i. La apariția simultană a celor două
1 2 1 2

evenimente, evenimentul x i va avea expresia:

x i=x i ∩ x i ,
1 2

iar informația fiind aditivă are expresia:

i( x ¿¿ i)=i(x i )+i(x i ) ¿
1 2

u(x ¿¿ i)=u( x i )+u( x i )¿

1 2

11
Teoria transmisiunii informației

F (p ¿¿ x¿¿ i)=F( p ¿ ¿ x ¿ ¿ i 1)+ F ( p ¿ ¿ x ¿ ¿i 2 )¿ ¿ ¿ ¿ ¿ ¿

F (p ( x i ∩ x i ))=F (p ( x ¿ ¿ i1 ))+ F ( p( x ¿ ¿ i2 )) ¿ ¿
1 2

Evenimentele x i și x i sunt independente

1 2

F¿¿

F ( p ¿ ¿ i1∗p i )=F ( p ¿ ¿ i 1)+ F ( p ¿ ¿ i2 ) ¿¿ ¿

2
(1)
F (p ¿¿ i)=U ( x¿¿ i)¿ ¿

Ținând cont de (1) F (p ¿¿ i)=− λ log p i ¿

U (x ¿¿ i)=−λ log pi ¿

i( x ¿¿ i)=− λ log p i ¿

Pe baza acestei definiții de incertitudine U ( x ¿¿ i) ¿ și de informație

i( x ¿¿ i)¿, avem formula informației în cazul transmiterii simbolului x i și
recepționării y j:
i(x ¿ ¿ i, y j )=U (x ¿¿ i)−U ( x ¿ ¿ i/ y j)¿ ¿ ¿

i(x ¿ ¿ i, y j )=−λ log ( p( x ¿¿ i))+ log ¿ ¿ ¿¿

1.3 Unitatea de măsură a informației

Considerăm o mulțime de două evenimente egal probabile
pi = pi ( pi + pi =1), avem formula informației:
1 2 1 2

i(x ¿¿ i)=− λ log p i , ¿

i(x ¿¿ i)=− λ log 2 0,5=λ ¿

Impunând λ=1 obținem:

¿¿
i( x ¿¿ i) ≙−log 2 p( x ¿¿ i) ¿ ¿

i(x ¿ ¿ i / y j)=−log 2 p ( x¿ ¿i)+ log 2 p (x ¿ ¿ i/ y j )¿ ¿¿

12
Teoria transmisiunii informației

( x ¿ ¿ i/ y j )
i( x ¿ ¿ i/ y j)=log 2 p ¿¿
p( x ¿¿ i) ¿

1.4 Entropia
Fie o sursă de informație care utilizează urmă torul alfabet
[ X ] =[ x1 + x 2+ …+ x n ] cu proprietă ți de apariție a fiecă rui simbol [ P( x) ] =¿ .
Presupunem că cu elementele alfabetului X formă m cuvinte de
lungime constantă N astfel încâ t un cuvâ nt să aibă forma:
[ X N ]=[ x i + x i +…+ x i ].
1 2 N

Exemplu: Fie X alfabetul limbii româ ne, avem [ X ] =[a , b , c , … , z ], formă m

cuvinte din 5 simboluri, adică N=5. Probabilitatea de apariție a
cuvâ ntului X N este:
p( X ¿¿ N )= p 1 p2 … pn ¿, unde N n este numă rul de apariții a
N N1 N
2 n

simbolului x n, N n= p n N
Probabilitatea de apariție a șirului x N are lungimea N.
p1 N p2 N pn N
p( X ¿¿ N )= p 1 p2 … pn ¿

Informația conținută de acest cuvâ nt:

I ( X ¿¿ N )=−λ log p( X ¿¿ N ), ¿ ¿
I ( X ¿¿ N )=− p1 Nlog p 1−p 2 Nlog p2−…− pn Nlog p n ¿

Definiție: Se numește ENTROPIE a unui șir de simboluri X cantitatea

de informație medie cuprinsă în fiecare din simbolurile șirului X și
se notează H ( x ) și pieste probabilitatea de apariție a simbolului x i.
H (X )=(− p1 Nlog p 1−p 2 Nlog p2−…− pn Nlog p n)/ N
n
H (X )=−p 1 log p1− p2 log p2−…− pn log p n=∑ pi log p i
i=1

Proprietă țile entropiei:

13
Teoria transmisiunii informației

1. H ( X ) este o funcție continuă și aditivă .

2. H (X ) este maximă atunci câ nd p1= p2=…= pn H ( X )=¿ H max (X )
n n
H ( X )=−∑ p i log pi și ∑ pi=1
i=1 i=1

Ș i paralel trebuie de gă sit maximul unei funcții cu ajutorul

multiplicatorilor LaGrange
n
Φ ( p ¿¿ i)=H ( X ) + λ ( ∑ pi−1)¿
i=1

n n
Φ ( p ¿¿ i)=−∑ p i log pi + λ (∑ pi−1)¿
i=1 i=1

Condiția ca funcția supusă la legă turi să fie maximă :

Φ ( p¿¿ i) Φ (p ¿¿ j)
∂ =0 și ∂ =0 ¿¿
∂ pi ∂ pj
− pi log p i−loge + λ=0

− p j log p j−loge+ λ=0

λ=log pi +loge

log pi=log p j−condiția pentru care entropia este maximă

1.5 Canale discrete

Canal de comunicații este mediul fizic prin care se face
transmisia informației de la sursă (emisie) la utilizator (recepție).
Conform definiției, un sistem de transmisie în cazul cel mai general
poate fi reprezentat prin:

14
Teoria transmisiunii informației

Canalul este discret dacă atât sursa de intrare cât ți receptorul

sunt de natura discretă. Semnalele apar numai la anumite momente
de timp și au de obicei valori binare.
Un canal este continuu dacă mărimile de intrare și de ieșire sunt
continue de tip.
Dacă mărimea y recepționat în urma emisiei x nu depinde de
transformările anterioare, canalul se numește canal fără memorie, în
caz contrar se va numi canal cu memorie.
Dacă mărimea x transmisă de sursă nu depinde de momentul de
timp la care acestea au loc, canalul se numește staționar.

1.6 Entropia la intrare și la ieșirea din canal

Fie [ X ] =[ x1 + x 2+ …+ x n ] - mulțimea simbolurilor emise

[ P( x) ] =¿ - mulțimea probabilităților de apariție a simbolurilor

emise
[ Y ] =[ y 1 + y 2 +…+ y n ] – mulțimea simbolurilor recepționate

15
Teoria transmisiunii informației

[ P( y ) ]=¿ - mulțimea probabilităților de apariție a

simbolurilor recepționate
Se poate defini spațiul produs intrare-ieșire sub forma:

[ ]
x1 y 1 x 1 y 2 … x1 yn
x y x y … x2 yn
[ X Y ]= 2 1 2 2
… … … …
xn y1 xn y2 … xn yn

Unde x i y j se consideră evenimentul de emitere a simbolului x i și de

recepționare y j
xi y j → xi ∩ y j

Acestui spațiu de evenimente i se poate atașa o matrice de

probabilități:
¿

Dacă considerăm ca spațiul evenimentelor un spațiu complex de

evenimente, atunci:
P( x ¿ ¿ i y j)¿ - câmp complet de probabilități și în această situație
evenimentul x i se poate scrie astfel:
x i=x i y 1 ∪ xi y 2 ∪ x i y 3 ∪… ∪ x i y n
n
p(x ¿¿ i)=∑ p ( x ¿ ¿i y j )¿ ¿
j=1

n
p( y ¿¿ j)=∑ p ( x ¿ ¿ i y j )¿ ¿
i =1

Similar se pot defini matrice de evenimente condiționate.

Entropia câmpului de intrare:
n
H ( X )=−∑ p (x¿ ¿i) log p( x¿¿ i )¿ ¿
i=1

Entropia câmpului de ieșire:

16
Teoria transmisiunii informației

n
H ( Y )=−∑ p( y¿ ¿ j) log p( y ¿¿ j)¿ ¿
j=1

Entropia intrare-ieșire:
n n
H ( X ,Y ) ≙−∑ ∑ p ( x¿¿ i y ¿¿ j) log p( x ¿¿ i y ¿¿ j)¿ ¿ ¿ ¿
i=1 j=1

1.7 Entropii condiționate

Mărimea incertitudinii când se transmit simbolurile x i și se
recepționează y jeste
U ( x ¿ ¿ i/ y j )=−log p(x ¿ ¿ i/ y j )¿ ¿

Pe baza definiției incertitudinii obținem:

H ( x i )=∑ p(x ¿¿ i)U ( x ¿¿ i) ¿ ¿
n
H (x ¿ ¿ i/ y j )=−∑ p( x ¿ ¿ i/ y j ) log p( x ¿ ¿ i/ y j )¿ ¿ ¿
j=1

Eroare medie:
n
H ( X /Y )=−∑ p( y ¿¿ j)H ( X / y j ) ¿
j=1

n n
H (X /Y )=−∑ ∑ p( y ¿¿ j) p (x ¿ ¿ i/ y j ) log p (x ¿ ¿ i/ y j )¿ ¿ ¿
i=1 j=1

n n
H ( X /Y )=−∑ ∑ p( x ¿¿ i y ¿¿ j )log p ( x¿¿ i/ y ¿¿ j)¿ ¿ ¿ ¿
i=1 j=1

Echivocație:
n n
H (Y / X )=−∑ ∑ p( x ¿¿ i y ¿¿ j)log p ( y ¿ ¿ j/ x i) ¿ ¿ ¿
i=1 j=1

1.8 Relații între entropii

17
Teoria transmisiunii informației

n n
H ( X ,Y )=−∑ ∑ p(x ¿¿ i y¿ ¿ j) log p( x ¿¿ i y ¿¿ j)¿ ¿¿ ¿
i=1 j=1

n n
p (a b)
Avem relația: p(a / b)= ¿>¿ H ( x , y )=−∑ ∑ p (x¿ ¿i y ¿¿ j) log ¿ ¿ ¿ ¿ ¿
p (b) i =1 j=1
n n

unde ∑ p( x¿¿ i y ¿¿ j)=p (x ¿¿ i) ¿¿ ¿ și ∑ p( x¿¿ i y ¿¿ j)=p ( y ¿¿ j)¿ ¿ ¿

j=1 i=1

Înlocuind în formula entropiei relațiile de mai sus obținem:

n n n n
H ( x , y )=−∑ p ( y ¿¿ j) ∑ log p( y ¿¿ j)−∑ ∑ p( x ¿¿ i y ¿¿ j)log p( x¿¿ i/ y ¿¿ j)=H ( y )+ H (x / y) ¿ ¿ ¿ ¿ ¿¿
i =1 j=1 i=1 j=1

Dacă înlocuim în relația H ( X ,Y ) termenul de sub logaritm cu

p( x ¿¿ i y ¿¿ j)= p(x ¿¿ i) p( y ¿ ¿ j/x i )¿ ¿ ¿ ¿ obținem:
n n
H ( x , y )=−∑ ∑ p ( x¿ ¿i y ¿¿ j) log ¿ ¿ ¿ ¿ ¿
i =1 j=1

Procedând ca în cazul anterior obținem:

n n n n
H ( x , y )=−∑ p ( x¿¿ i) ∑ log p(x ¿¿ i)−∑ ∑ p( x ¿¿ i y ¿¿ j) log p ( y ¿ ¿ j/ x i)=H (x)+ H ( y / x )¿ ¿ ¿ ¿ ¿
j=1 i=1 i=1 j=1

În final avem:
H ( x , y )=H ( y)+ H ( x / y)
H ( x , y )=H ( x )+ H ( y / x)

1.9 Transinformația
Incertitudinea: U ( x ¿ ¿ i , y j)=U ( x¿ ¿i)−U ( y ¿ ¿ j/ xi )¿ ¿ ¿
Informația: i( x ¿ ¿ i , y j )=i(x ¿¿ i)−i(x ¿ ¿ i/ y j )=−log p(x ¿¿ i)+ p(x ¿ ¿ i/ y j )¿ ¿ ¿ ¿ ¿
( x ¿ ¿ i/ y j) p (a b)
i( x ¿ ¿ i, y j )=log p
p ( x ¿¿ i) ¿
¿¿ , utilizând relația p(a / b)=
p (b)
obținem:

( x ¿ ¿ i , y j)
i (x ¿ ¿ i , y j )=log p ¿¿
p( x¿¿ i ) p( y ¿¿ j) ¿ ¿

18
Teoria transmisiunii informației

Valoarea medie a informației:

n n n n
( x ¿ ¿ i , y j)
I (x ¿ ¿i , y j )=∑ ∑ p( x ¿¿ i y ¿¿ j)i( x¿¿ i y ¿¿ j)=¿ ∑ ∑ p( x ¿¿ i y ¿¿ j)log p n n
p(x ¿ ¿ i) p ( y ¿ ¿ j)=¿ ∑ ∑ p(x ¿ ¿
i=1 j=1 i=1 j=1

i=1 j=1

I ( X , Y )= H ( X )+ H ( Y ) −H ( X , Y ) I ( X , Y )= H ( X )−H ( X /Y )

I ( X , Y )= H (Y )−H (Y / X )

1.10 Capacitatea canalului de transmisiune

Capacitatea canalului de transmisiune este definită ca fiind
valoarea maximă a transinformației.
C=max I ( X ,Y ) =max[ H (X )−H ( X /Y )]=max [H (Y )−H (Y / X )]

19
Teoria transmisiunii informației

Capitolul 2: Codarea surselor pentru canale

fără perturbații

2.1 Coduri unic decodabile

Pentru a putea transmite datele cu o eficiență cât mai bună este
necesară codificarea simbolurilor emise de sursă.
Fie S- mulțimea simbolurilor emise de sursă [ S ] =[s1 , s 2 , … , sn ] cu o
anumită probabilitate P care [ P ( s ) ]=[ p ( s1 ) , p (s 2) , … , p (s n)] . Pentru
codificare este necesară utilizarea unui alfabet ale cărui simboluri
sunt [ X ] =[ x1 , x2 , … , x n ] care apar cu[ P ( x ) ]=[ p ( x1 ) , p ( x 2) , … , p( xn )].
sursă -> codificare -> canal -> decodificare -> recepție
Pentru fiecare cuvânt Sk se folosește un cuvânt codC k.
Totalitatea cuvintelor C kutilizate pentru desemnarea elementului unei
surse formează un cod.
Dacă fiecărei succesiuni de cuvinte de cod îi corespunde o
singură succesiune de cuvinte a sursei, codul se numește cod unic
decodabil.
Dacă un cod unic decodabil nu utilizează simboluri specifice
pentru separarea cuvintelor, codul se numește cod separabil.
Se numește cod instantaneu, codul la care, prin adăugarea unei
litere la un cuvânt de cod, nu se obține un alt cuvânt de cod.
Se numește prefix al unui cuvânt de cod de lungimea l, primele
m<l simboluri de cuvânt de cod.

20
Teoria transmisiunii informației

Teoremă: Condiția necesară și suficientă pentru ca un cod să fie

instantaneu este aceea ca nici un cuvânt din cod să nu fie prefix al
unui alt cuvânt din acel cod.
Codurile binare instantanee pot fi construite după următorul
algoritm: se împarte alfabetul [ S ] =[s1 , s 2 , … , sn ] al sursei în două grupe
egale. Simbolurilor din prima grupă li se alocă prefixul zero, celor din
a doua grupă li se alocă prefixul unu. Se i-au simbolurile dintr-o
subgrupă care se împart în două grupe fiecare, din aceste noi grupe, li
se alocă, după același principiu, simbolul zero și unu, păstrându-se
prefixul anterior. Se continuă procesul până se ajunge la codificarea
fiecărui simbol.

2.2 Lungimea medie a unui cuvânt de cod

Fie S- sursa de simbol, fiecăruia dintre aceste simboluri li se
alocă câte un cod [ C ] =[ c 1 , c 2 ,… , c n ]a.î. s1 →c 1 , s 2 → c 2 , … , s n → c n. Probabilitățile
p ( s i )= p ( c i )pentru că nu există perturbații (zgomot).

Codificarea se face cu ajutorul cuvintelor de cod [ X ] =[ x1 , x2 , … , x n ]

cu [ P ( x ) ]=[ p ( x1 ) , p ( x 2) , … , p( xn )]. Pentru a transmite un cuvânt de cod se
presupune că intervine un cost C ipe care îl definim ca C i=t i, unde t ieste
timpul de transmitere a cuvîntului de cod. Se poate defini costul
mediu:
N N N
C=∑ C i ∙ p( si )=∑ C i ∙ p (c i)=∑ t i ∙ p (c i)
i=1 i=1 i=1

Considerând timpul de transmisie t i a unui cuvînt de cod

proporțional cu lungimea cuvîntului de cod l , putem afirma că:
N N
C=∑ l i ∙ p( ci )=∑ l i ∙ p( si )=l
i=1 i=1

21
Teoria transmisiunii informației

Costul mediu poate fi considerat = cu lungimea medie a

cuvântului de cod.

2.3 Limita inferioară a lungimii unui cuvânt de cod

Fie sursa de simboluri[ S ] =[s1 , s 2 , … , sn ] cu [ P ( s ) ]=[ p ( s1 ) , p (s 2) , … , p (s n)],
căreia i se alocă cuvintele de cod [ C ] =[ c 1 , c 2 ,… , c n ] cu
[ P ( c ) ]=[ p ( c 1 ) , p(c 2), … , p( c n)] transmise pe un canal fără perturbații cu
p ( s i )= p ( c i )alcătuit din cuvintele de cod [ X ] = [ x 1 , x 2 , … , x n ] cu probabilitățile
[ P ( x ) ]=[ p ( x1 ) , p ( x2 ) , … , p ( x n ) ].

Informația medie dată de sursa [S] are expresia H ( s)=H ( c ). De

aici rezultă:
N
H ( s )=H ( c )=−∑ p(s i) log p (s i ) – entropia sursei
i=1

N
H ( x ) =−∑ p(x i) log p( x i) – entropia alfabetului, informația medie a unui
i=1

simbol din alfabet

H (s)
l=
H ( x)
– lungimea medie a unui cuvânt de cod¿>¿

H (s)=l ∙ H ( x) – informația medie într-un cuvânt de cod

Scopul principal este ca l a unui cuvînt de cod să fie minimă,

l →l min dacă H (x )→ H (max). Entropia este maximă dacă P( X i) sunt egale,
adică p ( x 1) = p ( x 2) =…=p ( x i)
1
H ( x ) =max=
D
este un cîmp complet de probabilități
D
1 1 1 1 D log D
H ( x ) =−∑ log 2 = ∑ log 2 = =log D
D D D i=1 D D

H ( s)
l=
log D

22
Teoria transmisiunii informației

Singurul element asupra căruia se poate de intervenit pentru a

obține lmin este H (x ), cuvintele de cod care se alocă fiecărui element.

2.4 Capacitatea, eficiența și redundanța codului

Se numește capacitatea codului- valoarea maximă a entropiei
alfabetului.
C=max ⁡[H ( x)]=log 2 D

Se numește eficiența codului- raportul dintre lungimea medie

minimă a unui cuvânt de cod și lungimea medie reală a unui cuvânt de
cod.
l min
ŋ= , ŋ ≤1
l
H (s ) H ( s)
l min = =
log D C
l min H (s)
l= =
ŋ ŋC

Există cuvinte formate dintr-un anumit grup de simboluri, dar

care nu au sens, adică cuvinte redundante. Dacă la recepția
semnalului se percep astfel de cuvinte redundante, rezultă că există
perturbații în canal. Redundanța semnalului se exprima ca:
ρ=1−ŋ

2.5 Codarea absolut optimală

Fie sursa de simboluri [ S ] =[s1 , s 2 , … , sn ] cu [ P ( s ) ]=[ p ( s1 ) , p (s 2) , … , p (s n)],
care se codează și se obține codul [ C ] =[ c 1 , c 2 ,… , c n ] cu
[ P ( c ) ]=[ p ( c 1 ) , p(c 2), … , p( c n)] alcătuit din [ X ] = [ x 1 , x 2 , … , x n ] simboluri cu
probabilitățile [ P ( x ) ]=[ p ( x1 ) , p ( x2 ) , … , p ( x n ) ].

23
Teoria transmisiunii informației

s1 →c 1 , s 2 → c 2 , … , s n → c n

H (s ) H ( c)
l min =
log D
și H ( s )=H ( c ) de unde rezultă că l min =
log D

În cazul codurilor de l min avem H ( c )=lmin ∙ log D , relație valabilă

pentru
1
p ( x 1) = p ( x 2) =…=p ( x D ) =
D
H (x)
În situația în care l=l min , eficiența ŋ=
log D
=1 .

Codurile a căror ŋ=1 îndeplinesc condiția de mai sus și poartă

denumirea de coduri absolut optimale. Codurile absolut optimale
reprezintă un ideal, de obicei nu se pot simbolurile [S] cu ajutorul
unui alfabet care să furnizeze un cod absolut, astfel încât obținem
relația lui Macmillan:
n

∑ D−l ≤ 1 i

i=1

2.6 Teorema codării canalelor fără pierderi (teorema I

Shannon)
p ( s i )= p ( c i ) =D−l i

Lungimea cuvântului de cod C i care denotă elementele Si ale

sursei, poate fi scrisă:
−log p ( s i )
log p( si )=−log D ∙ li de unde rezultăl i= pentru li ∈ N (∈ Z )
log D
−log p ( s i )
≤ l i← log p ¿ ¿ ¿
log D

24
Teoria transmisiunii informației

−log p ( s i ) ≤l i ∙ log D← log p ( si ) + log D

∑ D−l =1=∑ p ( si )
i

−p ( s i ) log p ( si ) p ( si ) log p ( si )
≤ p ( si ) ∙l i ← + p i , pentru log D−constant
log D log D

−1
n n
∑ p ( s i ) log p ( si ) + n p(s )
∑ ( i)
log D i=1
p s log p ( i) ∑ ( i ) i
s ≤ p s l ←
log D
∑ i
i=1 i=1

H (s ) H ( s)
≤ l< +1 , valabilă pentru ∀ sursă fără memorie
log D log D

Presupunem că în loc de transmiterea secvențială (derulată în

timp) a simbolurilor [S], simbolurile care formează succesiunea sunt
transmise toate simultan. Acest lucru este echivalent , ca în loc de
transmiterea succesivă a k mesaje/simboluri să considerăm k surse
care transmit simultan simboluri din [S]. Informația medie la
transmiterea a n simboluri este
H ( S n )=n∙ H ( S)

Dacă avem 2 evenimente independente X și Y, atunci

H ( X ,Y )=H ( X ) + H (Y )

Considerăm că avem n surse care transmit n cuvinte de cod:

H(S )
n n
H (S )
≤l n < +1
log D log D
H (S ) nH ( S )
n ≤ l n< +1
log D log D
H (S ) l H ( S ) 1
≤ < +
log D n log D n

Pentru un n suficient de mare:

l 1 H (S) H (S ) H (S )
l →∞ , =l, → 0 , ≤l < , l=
n n log D n log D log D

25
Teoria transmisiunii informației

Pentru lungimi de cod suficient de mari, relația lui Macmillan

poate fi îndeplinită (se poate găsi un cod optimal).

2.7 Codarea binară Huffman

Această metodă realizează codarea pe grupuri de simboluri,
atribuind fiecărui grup un anumit cod. Fiecare grup este împărțit
după un algoritm, care tinde să asigure o codare absolut optimală, în
alte subgrupuri de simboluri și acestor subgrupe li se alocă un nou
cod. Procesul se continuă până se ajunge la codarea fiecărui element.
Pentru abordarea codării Huffman se aplică principiile:
Pentru o codare optimală este necesar ca cel mai scurt cuvânt
de cod să fie atribuit mesajului cu cea mai mare probabilitate de
apariție.
Pentru o codare optimală este necesar ca lungimea ultimilor
două mesaje (ordonate după probabilitate) să fie în relația lN −1=lN .
Observație: Această condiție este obligatorie deoarece,
nerespectând lN =l N−1 +1, adică cuvintele de cod N−1 ar fi prefixpentru
cuvîntul de cod N .
Codarea Huffman se bazează pe ideea de a împărți mesajele [S]
în două grupe S0 și S1cu probabilități cînt mai apropiate, grupe, care la
rîndul lor, vor fi împărțite în alte subgrupe: S00 , S 01 , S 10 , S11 cu probabilități
cât mai apropiate ș.a.m.d. Dacă probabilitățile sunt egale până la
codificarea la nivel de simbol, se ajunge la un cod optimal absolut.
Gruparea mesajelor:
Mesajele sunt grupate în ordinea probabilităților
p ( s 1 ) > p( s2 )> …> p( sn ). Se consideră că mesajul este format din N−1

26
Teoria transmisiunii informației

elemente, setul de mesaje fiind completat cu un mesaj nou

r 1=S N −1 ∪ S N , de unde rezultă p ( r 1 )= p ( s N−1 ) + p(s N ) .

Se obține astfel un nou șir de mesaje în care dispar S N−1 și S N , dar

apare suplimentar mesajul r 1 . Astfel, noul set de mesaje va conține
N−1 mesaje. Se ordonează din nou șirul obținut după probabilități
( s1 , s 2 , … , r 1 , … , s N−2 ) și (p ( s 1) > p ( s 2) > …> p ( r 1 ) >…> p ( s N−2 ) )

Se formează în continuare cuvântul de cod r 2 din elementele

S N−3 ∪S N −2 , unde, de data aceasta, S N−3 sau S N−2 pot fi cuvîntul anterior
creat r 1 .
Se realizează această ordonare până se obține un șir realizat din
Rn =[r n−1 ,r n ] , n fiind numărul de iterații, astfel încât probabilitățile celor
două elemente finale să fie cât mai apropiate (se poate ajunge la
p(r n−1 )≅ p (r n )).

Se alocă fiecărui grup simbolul zero sau unu. Grupurile din Rn

pot fi divizate fiecare în câte două subgrupuri cărora li se alocă 00, 01,
pentru cele provenite din r n−1 și, respectiv, 10 și 11 pentru cele
provenite din r n . Se continua pînă în momentul în care se ajunge la
codarea fiecărui simbol [S].

2.8 Codarea simbol cu simbol Shannon- Fano

Această codare realizează codarea simbol cu simbol și tinde
spre o codare absolut optimală. Se presupune că fiecare simbol este
codat în mod individual. Presupunem că mulțimea de mesaje [S] cu
probabilitățile P(S) poate fi împărțită în două grupe de mesaje S0 și S1
cu p ( s )= p ( s1 )=2−1 (jumătate de probabilitate). Se sub-împarte fiecare din
aceste grupuri în alte subgrupe de simboluri cu probabilități egale
p ( s 00 )= p ( s01 )= p ( s10 ) = p ( s 11) =4 .
−1

27
Teoria transmisiunii informației

Fiecare va fi codat pe 2 biți s00 →00 , s01 → 01 , s 10 →10 , s11 → 11 . Se

continuă această divizare până se ajunge la nivel de simbol.

28
Teoria transmisiunii informației

Capitolul 3: Codarea canalelor cu

perturbații

În cazul transmiterii informației pe canal cu perturbații, este

posibil și probabil ca simbolurile emise de sursă să fie alterate pe
canal astfel încât la destinație să recepționeze simbolul eronat.
Simbolurile care formează mesajul util se numesc simboluri de
informații.
Pentru a depista erorile care apar la transmiterea mesajului prin
canale se adaugă mesajului simbolului de control, care indică
utilizatorului prezența unei erori.
Introducerea simbolului de control creează o redundanță a
cuvintelor transmise.
Simbolurile de control au rolul de a semnala apariția unor erori.
Codurile formate în acest caz din cuvintele utile transmise și
simbolurile de control poartă denumirea de coduri detectoare de
erori.
Dacă cuvintele de control introduse în mesaj pot determina
corectarea erorilor, codul poartă denumirea de cod corector de erori.
În cazul detecției erorilor se poate transmite către sursă cererea
de repetare a mesajului, obținându-se astfel un sistem ARQ
(automatic repetition request).

29
Teoria transmisiunii informației

Schema bloc a unui astfel de sistem este:

CD

ZG

S R

CI

Zg

CD → canalul direct
CI → canalul invers, semnalează eventuale erori

S → sursă

R → receptor

Zg→ zgomot

30