1

1. INTRODUCERE

n anii 40, comunitatea stiinific credea c mrind cantitatea de informaie transmis
printr-un canal, crete i probabilitatea eronrii ei. Shannon a surpris lumea tiintifica, artnd
c transmisia poate fi fcut corect, cu condiia ca rata de transmisie s nu depeasc
capacitatea canalului ; capacitatea canalului se poate calcula din caracteristicile zgomotului
existent n canal.
Shannon a artat c datele reprezentnd procese aleatoare ca muzica sau vorbirea, nu pot
fi compresate sub o anumit limit pe care a numit-o entropie, un termen folosit deja n
termodinamic ; apoi a artat c dac entropia este mai mic dect capacitatea canalului,
atunci transmisia datelor se poate face far erori.




1.1. Schema general a unui sistem de comunicaii

Un sistem de transmisiune (de comunicaie) este un ansamblu fizic care realizeaz
transmiterea unui mesaj de la o surs la un utilizator.




S sursa de mesaje
CoS Codor de surs (compresia datelor)
CoC Codor de canal (protecie contra perturbaiilor)
M modulator
CANAL Canal de comunicaie
P Perturbaii
DecC Decodor de canal
DecS Decodor de surs
U Utilizator

Aceasta este o schem complet; n funcie de de aplicaie, unele bolcuri pot lipsi.










m dm
S CoS CoC C A N A L DecC DecS
U
P
2
2. INTRODUCERE N TEORIA PROBABILITILOR


2.1. Experiment aleator, evenimente

Definiie : Un experiment aleator este un experiment cu mai multe rezultate posibile.

Definiie : Rezultatele unui experiment aleator se numesc evenimente.


Exemplu : aruncarea unui zar

Este un experiment cu 6 evenimente posibile.
Mulimea evenimentelor posibile [ ]
6 1
, , E E =
Mulimea evenimentelor se poate lrgi adaugand: - evenimentul sigur (orice fa)
- evenimentul imposibil (faa 7)
- evenimente compuse (faa par)

Rezultatul unui experiment aleator nu este cunoscut dinainte ; realizarea unui anumit
eveniment este caracterizat de o probabilitate.


2.2. Probabilitatea unui eveniment
i
E

Definiia 1 (clasic, de cum cateva secole) : ( )
p
f
i
N
N
E p = unde
f
N este numarul de cazuri
favorabile evenimentului si
p
N numarul de cazuri posibile.

Definiia 2 (Von Mises, inceput de sec XX): ( )
n
n
E p
a
n
i

= lim unde
a
n este numrul de
apariii ale evenimentului i n este numrul total de experimente.

Definitia 3 (Kolmogoroff, 1933) : Axiomele probabilitatilor

a) 0 p probabilitatea este un numr nenegativ
b) ( ) 1 = S p probabilitatea evenimentului sigur este 1
c) ( ) ( ) ( )
2 1 2 1
E p E p E E p + = + probabilitatea a dou evenimenete mutual exclusive
(care nu pot avea loc n acelai timp),
1
E si
2
E , este egal cu suma probabilitilor
evenimentelor.


2.3.Variabil aleatoare

Variabila aleatoare este o notiune folosit pentru a descrie evenimentele rezultate n
urma unui experiment aleator.

3
Definitie: Variabila aleatoare (v.a.) este o funcie care asociaz fiecarui eveniment o valoare
numeric.

Notam cu X v.a.

X : R ( X asociaz fiecarui eveniment o valoare numeric)

Exemplu:

Zarul X : [ ] [ ] 6 , 5 , 4 , 3 , 2 , 1 , ,
6 1
= E E

Observaie:

a) Oricarei submultimi a multimii valorilor lui X ii corespunde un eveniment
b) 6 , 5 , 4 , 3 , 2 , 1 se numesc realizari particulare a le v.a. X .


2.4. Probabilitile unei v.a.

Notm probabilitatea ca un eveniment
i
E s se realizeze cu:

( ) ( ) ( )
i i i i
p x p x X p E p = = = =

Exemplu:

Zarul : multimea valorilor lui X este discreta
Temperatura ia valori intr-un interval.


Definiia 1 (tipul v.a.) : V.a. discret ia valori intr-o multime discret
V.a. continu ia valori intr-un interval
V.a. mixt

Definiie: Funcia de repartiie a unei v.a. (sau distribuia v.a.)

( ) { } x X p x F =

Definiie: Densitatea de probabilitate a v.a. (derivata funciei de repartiie)

( )
dx
dF
x f =

Exemplu:

Zarul: Funcia de repartiie este o funcie n scar
Densitatea de probabilitate este o serie de funcii Dyrac

4
Densitate de probabilitate gaussian (sau normal): ( )
( )


2
2 2
2 /
=
x
x
x f unde este
media v.a., iar
2
este varianta v.a. ( se numeste dispersie).


Alte modele de distribuii continue:

Densitatea de probabilitate uniform: ( )
[ ]

=
rest in
a x a
x f
_ 0
0 / 1


Densitatea de probabilitate exponential: ( )

rest in
x e
x f
x
_ 0
0

Definiia 2 (tipul v.a.) : O v.a. este discret daca are o funcie de repartitie n scar; o v.a. este
continu daca are o funcie de repartiie continu.


2.5. Probabiliti condiionate

Exemplu: La aruncarea cu zarul, probabilitatea de a avea un 2 cnd tim c faa aprut este
par.

Definiie: Probabilitatea unui eveniment
i
E , condiionat de un alt eveniment , M , este
probabilitatea de a se realiza
i
E cnd M este deja realizat

( )
( )
( ) M p
M E p
M E p
i
i
,
/ = unde ( ) M E p
i
, este probabilitatea ca att
i
E ct i M s
se realizeze.

Observaie:
i
E si M pot fi evenimente ale aceluiai experiment (aceeai v.a.) sau pot fi
evenimente a dou experimente diferite (2 v.a.).

( )
( )
( )
j
j i
j i
x p
x x p
x x p
,
/ = (aceeai v.a.)
( )
( )
( )
j
j i
j i
y p
y x p
y x p
,
/ =

Teorema lui Bayes: ( )
( ) ( )
( )
j
i i j
j i
y p
x p x y p
y x p
/
/ =


Teorema probabilitaii totale :

5
( ) ( ) ( ) ( ) ( ) ( ) ( )
N N i i i i
y p y x p y p y x p y p y x p x p / / /
2 2 1 1
+ + + =

Unde
N
y y y , , ,
2 1
constituie o partitie a multimii valorilor v.a. Y .

Observaii:

a) Funcia de repartiie i densitatea de probabilitate se definesc i pentru v.a. conditionate

( ) { } M x X p M x F = ( )
( )
dx
M x dF
M x f =

b) Funcia de repartiie i densitatea de probabilitate se definesc i pentru 2 sau mai multe v.a.

( ) { } y Y x X p y x F = , , ( )
( )
dxdy
y x dF
y x f
,
, =


2.6. Noiunea de independen statistic

Definiie: Dou evenimente,
i
E si
j
E , sunt independente dac

( ) ( ) ( )
j i j i
E p E p E E p = ,

Definiie: Dou v.a., X si Y , sunt independente dac oricare dintre realizarile lor particulare
sunt independente.

( ) ( ) ( )
j i j i
y p x p y x p = , unde
i
x este o realizare particulara a lui X i

j
y este o realizare particulara a lui Y .

2.7. Semnalele numerice ca iruri de v.a.

Prin eantionarea i cuantizarea semnalului continuu se ajunge la un semnal
numeric.Un semnal numeric poate fi modelat ca un sir de v.a.: , , , ,
1 1 + k k k
X X X , unde k
este indice de timp. Toate v.a. iau valori n aceeai multime i, dac semnalul este stationar,
au acelai set de probabiliti.












6




3. SURSE DE INFORMAIE


3.1. Informaia


3.1.1. Definiii i notaii


Definiie : Informaia este cantitatea de incertitudine pe care o avem asupra producerii unui
viitor eveniment, rezultat n urma unui experiment aleator.


Fie un experiment aleator ale crui rezultate sunt descrise prin v.a. X , care ia valori n
mulimea [ ] [ ]
n
x x x X , , ,
2 1
= . Incertitudinea asupra evenimentului
i
E , cruia i corespunde
realizarea particular
i
x , se noteaz:

( ) ( ) ( )
i i
x U x X U
i
E U = = =
U de la uncertainty

Incertitudinea i informaia sunt, din punct de vedere cantitativ, dou noiuni echivalente.
Vorbim despre incertitudine nainte de producerea evenimentului i de informaie dup
producerea sa.

( ) ( )
i i
x i x U =

i de la information

Incertitudinea/informaia unui eveniment este o funcie de probabilitatea de apariie
i
p a
evenimentului:

( ) ( ) ( )
i i i
p F x i x U = =

3.1.2. Specificarea funciei F

Trei proprieti intuitive pentru F :

a) F trebuie sa fie descrescatoare (incertitudinea este mai mic atunci cnd probabilitatea de
apariie a evenimentului este mare).

b) F trebuie s fie aditiv (incertitudinea asupra a dou evenimente, rezultate din
experimente independente, trebuie s fie egal cu suma incertitudinilor asupra celor dou
evenimente):
7

( ) ( ) ( )
j i j i
q F p F q p F + = ,

unde
i
p si
j
q sunt probabilitile celor dou evenimente independente.

c) ( ) 0 1 = F (incertitudinea asupra unui eveniment sigur este nul).

Observaie: Cele dou evenimente pot aparine i aceluiai experiment; n acest caz,
independena se traduce prin condiia ca producerea unuia s nu influeneze n niciun fel
producerea celuilalt.


Funcia care ndeplineste cerinele b) i c) este logaritmul; pentru a satisface i cerinta a),
lum negativul logaritmului:

( ) ( )
i i
p p F log =
Deci, incertitudinea/informaia asupra unui eveniment care are probabilitatea
i
p , este:

( ) ( ) ( )
i i i
p x i x U log = =

Proprieti :

- informaia este totdeauna o cantitate pozitiv
- informaia adus de un eveniment sigur este zero


3.1.3. Uniti de masur pentru informaie

a) BIT (BInary uniT)

Definiie : 1 bit este cantitatea de informaie care se obine cnd se realizeaz un eveniment
cu probabilitatea 1/2.

( ) 2 / 1 log 1
2
= bit

b) DIT (Decimal unIT)

Definiie : 1 dit este cantitatea de informaie care se obine cnd se realizeaz un eveniment
care are probabilitatea 1/10..

( ) 10 / 1 log 1
10
= dit

c) NAT (Natural uniT)

Definiie : 1 nat este cantitatea de informaie care se obine cnd se realizeaz un eveniment
cu probabilitatea 1/e.

( ) e nat / 1 ln 1 =
8

Transformarea unittilor :

bit dit 32 , 3 1 =
bit nat 44 , 1 1 =

3.1.4. Informaia mutual a dou evenimente

De ce este necesar studiul a dou evenimente ? n transmisia semnalelor, pe canalul de
comunicaie, de cele mai multe ori, apar perturbati care modific semnalul. De aceea,
semnalul de la intrarea n canal i cel de la ieire se descriu prin dou v.a. diferite, X si Y.
Dac puterea perturbaiilor este finit, atunci aceste v.a. nu sunt independente.

Fie
i
x i
j
y dou realizri particulare ale lui X i Y. S pp. c
j
y se produce naintea lui
i
x .
Informaia mutual a celor dou evenimente este:

( ) ( ) ( )
j i i j i
y x U x U y x i / , =

unde ( )
j i
y x U / este incertitudinea care rmne asupra lui
i
x dup producerea lui
j
y (cnd se
cunoate
j
y ) .

( ) ( ) ( )
( )
( ) ( )
j i
j i
j i i j i
y p x p
y x p
y x p x p y x i
,
log / log log , = + =

Observaie: informaia mutual poate fi i negativ.

Exemplu:

( ) 2 / 1 =
i
x p
( ) 4 / 1 / =
j i
y x p

( ) 1 2 1 , = =
j i
y x i


Cazuri posibile de dependen ntre X si Y :


a) Canal fr perturbaii: X i Y sunt identice

( ) ( )
i j i
x p y x p = , si ( ) ( )
i j i
x i y x i = ,


b) Canal cu perturbaii de putere finite: X i Y sunt diferite, dar dependente statistic

( ) 1 / <
j i
y x p i ( ) ( )
i j i
x i y x i < ,

9

c) Canal cu perturbaii infinite: X i Y sunt independente statistic

( ) ( ) ( )
j i j i
y p x p y x p = , si ( ) 0 , =
j i
y x i
3.2. Surse discrete de informaie


3.2.1. Definiii i notaii

Definiie :

Sursa discret de informaie este un mecanism de generare a unui ir de v.a.discrete
: , , , ,
1 1 + k k k
X X X , unde k este, de cele mai multe ori, un indice de timp.

Sursa de informaie este definit printr-un alfabet [ ] [ ]
N
x x x X , , ,
2 1
= , care este
mulimea realizrilor particulare ale irului de v.a. , , , ,
1 1 + k k k
X X X i
un set de probabiliti [ ] [ ]
N
p p p P , , ,
2 1
= , unde ( )
i i
x p p = (setul de probabiliti poate
varia n funcie de k ).

1 =

i
i
p

Definiii :

Simbolul (sau litera) este elementul fundamental, ireductibil, care conine informaie.

N
x x x , , ,
2 1
sunt simboluri

Alfabetul este totalitatea simbolurilor diferite care pot fi generate de surs.
[ ] X este alfabetul sursei

Cuvntul este o succesiune de simboluri (Exemplu: un byte este o succesiune de 8
simboluri binare).

Limba este totalitatea cuvintelor formate cu un alfabet (Exemplu: 256 de cuvinte
binare de 8 biti).


Exemple de surse discrete:

1. Banda cu text de la TV este o surs care emite litere: N TARA AU FOST
INUNDAII
2. Un semafor este o surs cu trei simboluri: rosu, galben, verde
3. Un iPod este o sursa care genereaza simboluri binare care sunt convertite intr-o
melodie.


3.2.2. Clasificarea surselor discrete

10
a) Din punctul de vedere al dependentei dintre v.a
k
X .:

- surse far memorie
- surse cu memorie

Definiie: Sursa fr memorie (simpl sau independent) genereaz v.a. independente. Cu
alte cuvinte, probabilitatea de a genera un anumit simbol
i
x la momentul k nu depinde de
simbolurile generate anterior.

) ( ,...) , / (
2 1 i k k k i k
x X p X X x X p = = =



Definiie: Sursa cu memorie genereaz v.a. dependente.

Definiie: Dimensiunea memoriei sursei este egal cu numrul de simboluri anterioare care
conditioneaz probabilitatea de apariie a unui nou simbol.

Exemplu: ) / (
1
=
k i k
X x X p este o surs cu memorie de lungime 1.


b) Din punctul de vedere al stabilitii setului de probabiliti

- surse staionare
- surse nestaionare

Definiie: o surs stationar are un set de probabiliti care nu variaz n funcie de k .

) ( ) (
i k i k
x X p x X p = = =
+
oricare ar fi k , sau i .

Un caz particular al surselor staionare este sursa ergodic. Pentru a defini sursa ergodic, ne
bazam pe noiunea de ir tipic.

Definiie: ir tipic

Fie un ir de simboluri generat de surs, suficient de lung a.. s putem estima
probabilitile de apariie a simbolurilor (folosind definiia probabilitii ca raport ntre
numrul de cazuri favorabile i numrul total de cazuri).
Dac ntr-un sir, probabilitile astfel estimate ale simbolurilor sunt egale cu
probabilitile din setul sursei, atunci sirul este tipic.

Altfel spus, dac n este lungimea irului tipic considerat i
i
n este numrul de
simboluri
i
x din sir, atunci
i i
np n = oricare ar fi i.

Definiie: O surs ergodic este o surs care genereaz numai iruri tipice.


Observaie: Definiiile staionaritii i ergodicitii de mai sus sunt valabile pentru sursa
fr memorie. n cazul sursei cu memorie, ele se enun nlocuind noiunea de simbol cu cea
de stare (definiia strii este dat n subcapitolul de Surse Markov).
11

3.3. Surse Markov


Sursa Markov este un model matematic des folosit n practic pentru a descrie sursele dicrete
de informaie, cu memorie. Exist diverse definiii pentru sursa Markov.

3.3.1. Definiii i notaii

Definiia I : Sursa Markov este o surs discret cu memorie de lungime constant.

Definiie : Ordinul sursei Markov este dat de lungimea memoriei.

Definiie : Starea sursei Markov la un moment k este dat de irul de simboluri de lungime
egal cu ordinul sursei, generat anterior.


Exemplu : Sursa Markov binar de ordinul 2

Alfabetul : [ ] [ ] 1 , 0 = X
Probabilitile de apariie a simbolurilor sunt probabiliti condiionate, de forma
) , / (
2 1
=
k k i k
X X x X p

) 0 , 0 / 0 ( p ) 1 , 0 / 0 ( p ) 0 , 1 / 0 ( p ) 1 , 1 / 0 ( p
) 0 , 0 / 1 ( p ) 1 , 0 / 1 ( p ) 0 , 1 / 1 ( p ) 1 , 1 / 1 ( p

Mulimea strilor [ ] [ ] 11 10 01 00 = S

Multimea strilor are
R
N , unde N este dimensiunea alfabetului, iar R este ordinul sursei.

Surse ergodice
Surse staionare
Surse discrete
12

Definiie: Probabilitatea ca sursa Markov s fie intr-o anumit stare este egal cu
probabilitatea de apariie a irului de simboluri care constituie starea.


Definiia II: O surs Markov se definete prin urmatoarele mrimi:

Alfabetul simbolurilor: [ ] [ ]
N
x x x X , , ,
2 1
=
Setul de probabiliti ale simbolurilor: ( ) [ ] [ ]
N
p p p X P , , ,
2 1
= cu

=
i
i
p 1
Mulimea strilor: [ ] [ ]
k
N
k
s s s S , , ,
2 1
=
Setul de probabiliti ale strilor: ( ) [ ] [ ]
k
N
k
q q q S P , , ,
2 1
= unde ( )
i i
s p q = i

=
i
i
q 1

Relaia dintre probabilitile simbolurilor i probabilitile strilor este (T. probabilitii
totale) :

( ) ( ) ( )

=
j
j j i i
s p s x p x p / ( )

=
j
j j i i
q s x p p /

Fiecare simbol nou generat constituie, mpreun cu cele anterioare, o noua stare :

Exemplu : Sursa Markov binar de ordinul 2


) 0 , 0 / 1 ( p ) 0 , 0 / 0 , 1 ( p

Probabilitatea ca sursa s genereze simbolul 1 cnd se afla n starea 0,0 este totuna cu
probabilitatea ca sursa s treac din starea 0,0 n starea 1,0.

Definiia II : O surs Markov este o surs cu memorie la care probabilitatea de apariie a
unei stri nu depinde dect de starea anterioar.


3.3.2. Descrierea surselor Markov prin diagrame de stare


Exemplu : Sursa binar Markov de ordinul 2

[ ] [ ] [ ] 11 10 01 00 , , ,
4 3 2 1
= = s s s s S


3 / 1 ) 0 , 0 / 0 , 0 ( ) 0 , 0 / 0 ( = = p p 3 / 2 ) 0 , 0 / 0 , 1 ( ) 0 , 0 / 1 ( = = p p
3 / 2 ) 1 , 0 / 0 , 0 ( ) 1 , 0 / 0 ( = = p p 4 / 3 ) 1 , 0 / 0 , 1 ( ) 1 , 0 / 1 ( = = p p
3 / 1 ) 0 , 1 / 1 , 0 ( ) 0 , 1 / 0 ( = = p p 5 / 4 ) 0 , 1 / 1 , 1 ( ) 0 , 1 / 1 ( = = p p
4 / 1 ) 1 , 1 / 1 , 0 ( ) 1 , 1 / 0 ( = = p p 5 / 1 ) 1 , 1 / 1 , 1 ( ) 1 , 1 / 1 ( = = p p
13


Observatie : Descrierea prin diagrame de stare este util cnd sursa Markov este staionar.


i. Descrierea surselor Markov prin matricea de tranziie i
prin vectorul probabilitilor strilor

Definiie : Matricea de tranziie are ca elemente probabilitatile conditionate ale sursei
Markov.

(
(
(
(
(

=
k k k k
k
N N N N
N
p p p
p p p
T
, 2 , 1 ,
, 1
2 , 1 1 , 1


unde
j i
p
,
este probabilitatea ca sursa s treac din starea
i
s n starea
j
s .

Proprietate: suma elementelor de pe orice linie este egala cu 1, de aceea spunem c T este o
matrice stohastica.

Definiie : Vectorul probabilitilor strilor este constituit din probabilitile tuturor
strilor:

( ) [ ]
R
N
q q S P
1
=

Observaie: Matricea de tranziie este util n descrierea surselor Markov nestaionare
(probabilitile strilor variaz n timp, nu i probabilitile de trecere de la o stare la alta).

Dac ( )
k
S P este vectorul probabilitilor strilor la momentul k i ( )
1 k
S P acelasi vector
naintea ultimei tranzitii, atunci:

( ) ( )T S P S P
k k 1
= (conform Teoremei probabilitii totale)
1/3
1/5
01
2/3
2/3
4/5
1/4
3/4 1/3 00
10
11
14

Prin tranzitivitate:

( ) ( ) ( ) ( )
k
k k k
T S P T S P T S P S P
0
2
2 1
= = = =



unde ( )
0
S P este vectorul probabilitilor n starea iniial a sursei


Definiie : Sursa Markov este regulat dac, atunci cnd n , ( )
n
S P devine constant. n
acest caz, ( )
n
S P se numete distribuie de echilibru sau asimptotic a strilor sursei
Markov.

Exemplu : sursa Markov regulate (binar de ordinul 1).

( ) [ ] 3 / 2 3 / 1
0
= S P
(

=
2 / 1 2 / 1
4 / 3 4 / 1
T
































15
4. ENTROPIA SURSELOR DISCRETE DE INFORMAIE


Definiie : Entropia unei surse discrete de informaie este cantitatea de informaie, medie pe
simbol, generat de surs.

4.1. Entropia sursei fr memorie

4.1.1. Expresia entropiei

Entropia unei surse fr memorie se calculeaz cu urmatoarea expresie :

( ) ) ( log
i
i
i
p p X H

=

Justificare: Fie
n
X X X S , , , :
2 1
un sir tipic generat de surs. Din numrarea simbolurilor
de acelai fel rezult valorile
n
n n n , , ,
2 1
( n n
i
i
=

). irul fiind tipic, pentru 1 >> n ,

numrul de apariii ale unui simbol este aproximativ
i i
np n . Probabilitatea unui ir tipic este
egal cu ( )
n
n
n
n n
p p p S p
2 1
2 1
= . Deoarece avem un ir tipic putem scrie ca n p n =
1 1
.
Deci, probabilitatea estimat de apariie a sirului este: ( ) ( )
n
p
n
p p
n
p p p S p
2 1
2 1
= i, n
consecin, informaia sirului este:


( ) ( ) ( )

= =
i i
p p n S p S i log log

iar entropia ( )
( )
) ( log
i
i
i
p p
n
S i
X H

= =
Informaia unui simbol sau a unui ir este mereu pozitiv
Observaie : Aceast expresie a entropiei este valabil i pentru sursele neergodice sau
sursele nestaionare.

Unitatea de masur pentru entropie : bit/simbol.


4.1.2. Proprietile entropiei

a) Entropia este totdeauna mai mare sau egal cu zero
b) Continuitate : ( ) X H este continu n raport cu variabilele
i
p
( ) ) ( log
2 i
i
i
p p X H

=
c) Simetrie : ( ) X H este simetric n raport cu variabilele
i
p
d) ( ) X H este maxim cnd simbolurile sursei sunt echiprobabile
n
p p p .......
2 1
= =
e) Aditivitate:
e1) compunerea simbolurilor descrete entropia
e2) scindarea simbolurilor crete entropia
16

Justificarae proprietii d): Demonstratia se face folosind metoda multiplicatorului lui
Lagrange. Este o metod ce ne permite sa aflm maximul unei funcii ale cror puncte sunt
supuse unor constrngeri
Constrngerea noastr este 1
1
=

=
N
i
i
p
Construim o funcie care are acelai extrem ca i entropia
|

\
|
+ =

= =
n
i
i
n
i
i i
p p p
1 1
2
1 log
- multiplicatorul lui Lagrange
Cutm punctul de extrem pentru
|
|

\
|
+ =

i
i i
i
p
e
p p
p
2
2
log
log rezult
e
p
i

2
=
Evenimentul se obine cnd toate probabilitile sunt egale i egale cu
e

2

Sa artm ca punctul de extrem este unul de maxim:
0
log
2
2
2
< =

i i
p
e
p
rezult ca avem de-a face cu o funcie concav
Justificarea proprietailor e1) i e2):document scanat

4.1.3. Entropia sursei binare

Fie alfabetul [ ] [ ]
2 1
, x x X = cu probabilitile [ ] [ ] p p P = 1

Entropia ( ) ( ) ( ) ( ) p p p p X H = 1 log 1 log
Pentru 0 = p sau 1 = p , ( ) simb bit X H / 0 =
Pentru 2 / 1 = p , entropia este maxim ( ) simb bit X H / 1 =


4.2. Entropia sursei Markov

H(X)
p 1/2 1
1
17
Fie sursa Markov de ordin k, cu alfabetul :

[ ] [ ]
N
x x x X , , ,
2 1
=

si alfabetul strilor :

[ ] [ ]
k
N
k
s s s S , , ,
2 1
=

Definiie : Entropia sursei Markov este informaia medie pe stare, generat de sursa:

( ) ( ) ( )
j k
j
j k
s S H s p S H

=

unde ( )
j k
s S H este informaia medie cnd sursa se afl n starea particular
j
s :

( ) ( ) ( )
j i
i
j i j k
s s p s s p s S H

= log

Proprietate : Entropia sursei Markov este mai mic dect entropia unei surse fr memorie
care ar genera aceleai simboluri (dependena de trecut diminueaz cantitatea medie de
informaie pe simbol):

( ) ( )
0
S H S H
k
<

Justificare:

Demonstraia se bazeaz pe urmtorul rezultat:

Inegalitatea fundamental (lema):

Fie [ ] [ ]
N
p p p P , , ,
2 1
= cu 1 =

i
i
p i
[ ] [ ]
N
q q q Q , , ,
2 1
= cu 1 =

i
i
q
dou seturi de probabiliti.
Atunci 0 log
2

i
i
i
i
p
q
p


Demonstraie lem (indicatie): se porneste de la 1 log
2
x x si se noteaz
x
p
q
i
i
= .

Definiie: Mrimea
i
i
i
i
q
p
p
2
log

se numeste entropie relativ sau distana

Kullback-Liebler. Entropia relativ este o marime nenegativa; ea ia valoarea zero cnd cele
dou distribuii sunt egale (se folosete pentru a masura similaritatea a dou distribuii).
18


4.3. Decorelarea sursei Markov

Definiie : Decorelarea este operaia prin care un semnal numeric, modelat printr-o surs
Markov, este transformat ntr-o surs fr memorie. n practic se realizeaz o quasi-
decorelare, adic se obine o surs cu memorie de lungime redus i cu dependen mic ntre
simboluri.

Cea mai simpl metod de decorelare este predicia liniar cunoscut i sub numele de DPCM
(Differential Pulse Code Modulation)

4.3.1. Cazul semnalelor 1D

Fie un semnalul numeric format din urmatoarele esantioane : , , , ,
2 1 n
x x x

Semanalul decorelat se obine calculnd diferena ntre simbolurile consecutive :

, , , ,
1 1 2 1

n n
x x x x x

4.3.2. Cazul semnalelor 2D

Fie imaginea constituit din pixelii :







j i j i i
j i j i i
j j
i i i
i i i
i i i
, 1 , 1 ,
, 1 1 , 1 1 , 1
, 1 1 , 1 1 , 1

Imaginea decorelat este constituit din pixelii diferent
1 , 1 , 1 , 1 ,
75 , 0 5 , 0 75 , 0

+ =
j i j i j i j i
i i i d :







j i j i i
j i j i i
j j
d d i
d d i
i i i
, 1 , 1 ,
, 1 1 , 1 1 , 1
, 1 1 , 1 1 , 1

4.4. Debit, redundan, redundan relativ


Definiie : Debitul de informaie al unei surse este cantitatea medie de informaie generat
pe secund de surs.

19
( )
( )

X H
X H
t
= unde este durata unui symbol

Unitatea de msur pentru debit este bit/sec.


Definiie : Redundana unei surse de informaie este:

( ) ( ) ( ) X H X H X R =
max


Unde ( ) X H
max
este entropia maxim a sursei (entropia n cazul simbolurilor echiprobabile) i
( ) X H este entropia sursei.

Unitatea uzual de masur este bit/simbol.

Definiie : Redundana relativ a unei surse este

( )
( ) ( )
( ) X H
X H X H
X
max
max

= ( ) [ ] 1 0 X

Redundana relativ este adimensional.

4.5. Entropia conjugat a dou surse de informaie

Fie dou surse de informaie:

[ ] [ ]
N
x x x X , , ,
2 1
=
[ ] [ ]
N
p p p P , , ,
2 1
= cu 1 =

i
i
p
i

[ ] [ ]
M
y y y Y , , ,
2 1
=
[ ] [ ]
M
q q q Q , , ,
2 1
= cu 1 =

i
i
q

Definiie : Entropia conjugat (sau compus) a surselor X si Y este

( ) ( ) ( )
j i
i j
j i
y x p y x p Y X H , log , ,

=
Observaii:

a) Informaia conjugat este totdeauna pozitiv
b) Unitatea uzual de masur pentru informaia conjugat este bit/simbol.

Cazuri particulare :

1. Dac sursele de informaie sunt independente :

20
( ) ( ) ( ) Y H X H Y X H + = ,

Demonstraia se bazeaz pe definiia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = ,

2. Dac sursele sunt identice:

( ) ( ) ( ) Y H X H Y X H = = ,

3. Dac sursele sunt dependente statistic:

( ) ( ) ( ) Y H X H Y X H + ,

Demonstraia se face folosind inegalitatea fundamental, n cazul seturilor de
probabiliti ( )
j i
y x p , si ( ) ( )
j i
y p x p .


4.6. Informaia mutual a dou surse

Definiie : Informaia mutual a dou surse X i Y este media informaiilor mutuale a
perechilor de simboluri ( )
j i
y x , generate de surse:

( ) ( )
( )
( ) ( )
j i
j i
i j
j i
y p x p
y x p
y x p Y X I
,
log , ,

=

Unitatea de masur uzuala pentru ( ) Y X I , este bit/simbol.


Cazuri particulare :

1. Dac X i Y sunt independente:

( ) 0 , = Y X I

Demonstraia se bazeaz pe definiia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = , .

2. Dac X i Y sunt identice:

( ) ( ) ( ) Y H X H Y X I = = ,

3. Dac X i Y sunt dependente statistic:

( ) ( ) X H Y X I , si ( ) ( ) Y H Y X I ,

Proprieti:

1. ( ) ( ) ( ) ( ) Y X H Y H X H Y X I , , + =
21

Justificare: Se calculeaz expresia din stanga, scriindu-i pe ( ) X H si ( ) Y H ca funcii
de probabilitile ambelor v.a. De exemplu, ( ) ( )

=
j
j i i
y x p x p , , conform Teoremei
probabilitatii totale.

2. Informaia mutual este o marime nenegativ: ( ) 0 , Y X I .

Justificare: Rezult din proprietatea entropiei conjugate ( ) ( ) ( ) Y H X H Y X H + ,

Observaie: Dei informaia mutual a dou simboluri poate fi si negativ, informaia
mutual a dou surse este totdeauna nenegativ.


4.7. Entropia condiionat a sursei de informaie

Definiie : Entropia sursei X , condiionat de sursa Y , este cantitatea medie de
incertitudine care rmne asupra lui X , cnd se cunoate Y .

( ) ( ) ( )
j i
i j
j i
y x p y x p Y X H

= log ,

Observaie: ( ) ( ) ( )
j i
i
j i j
y x p y x p y X H

= log este incertitudinea medie asupra lui X , cnd
Y a generat simbolul
j
y . n medie, aceast incertitudinea este

( ) ( ) ( )

=
j
j j
y X H y p Y X H .

Cazuri particulare:

1. Dac X si Y sunt independente:

( ) ( ) X H Y X H =

Demonstraia se bazeaz pe definiia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = , .

2. Dac X i Y sunt identice:

( ) 0 = Y X H

3. Dac X i Y sunt dependente statistic:

( ) ( ) X H Y X H /


4.8. Relaii ntre entropii (Diagrame Venn)
22


4.8.1. Reprezentarea entropiilor prin Diagrame Venn :


Sursele X i Y sunt independent











Sursele X si Y sunt identice





Sursele X i Y sunt dependente statistic









4.8.2. Relaii intre entropii

( ) ( ) ( ) X H X Y H Y X H + = , si ( ) ( ) ( ) Y H Y X H Y X H + = ,

( ) ( ) ( ) ( ) ( ) Y H X H Y X H X H Y X H + , /

4.9. Generalizare (cazul a n surse)


Diagrama Venn pentru 3 surse de informaie :







H(X) H(Y)
H(X)
H(Y)
H(X/Y) H(Y/X)
23













a) ( ) ( ) ( ) ( ) Y X Z H X Y H X H Z Y X H , , , + + = (se deduce din Diagrama Venn)

unde ( ) ( ) ( )
j i k
i j k
k j i
y x z p z y x p Y X Z H , log , , ,

=

b) ( ) ( ) ( ) Z H X Z H Y X Z H , 0

Pentru n surse, prin analogie cu relaiile anterioare, putem scrie:

a) ( ) ( ) ( ) ( )
1 1
1
2 1 1
, , , ,

+ + + =
n n n
X X X H X X H X H X X H

Dac sursele sunt independente, atunci: ( ) ( )

=
i
i n
X H X X H , ,
1


b) ( ) ( ) ( ) ( )
n n n n n n
X H X X H X X X H X X X H
1 2 1 1 1
, , , , 0




















H(Y/X,Z)
H(X/Y,Z)
H(Z/X,Y)
24
5. CANALE DE TRANSMITERE A INFORMAIEI

Definiie : Un canal de transmitere a informaiei este constituit din mediul de transmitere si
echipamentele care fac posibile transmiterea informaiei de la surs la utilizator.











Mediul de transmisie : fire de cupru, fibrele optice, atmosfera, etc.


5.1. Clasificri ale canalelor


a) Dup domeniul de valori al v.a. X i Y de la intrarea, respectiv ieirea canalului :

- continuu/continuu
- discret/continuu
- continuu/discret
- discret/discret


b) Dupa evolutia in timp a v.a. X si Y :

- continuu in timp
- discret in timp

c) Dupa redundanta transmisiei :

- canal fara memorie
- canal cu memorie

d) Dupa statistica trasmisiei :

- stationar
- nestaionar


5.2. Canale discrete de transmitere a informaiei

Aceast seciune priveste canalele discrete/discrete, fr memorie i staionare. Noiunile
prezentate nu depind de tipul i de continuitatea n timp

S
R C A N A L
S U
[X] [Y]
P
Mod DeM
25

5.2.1. Marimi caracteristice

Fie X , sursa de informaie care genereaz la intrarea n canal:

[ ] [ ]
N
x x X , ,
1
=
[ ] [ ]
N
p p P , ,
1
=

i Y , sursa de informaie care modeleaz ieirea din canal (sursa de informaie pentru
utilizator):

[ ] [ ]
M
y y Y , ,
1
=
[ ] [ ]
M
q q Q , ,
1
=

Din cauza perturbaiilor de pe canal, X i Y sunt, n general, diferite.


Spaiul produs:
innd cont de spaiul de intrare [ ] X i de spaiul de ieire [ ] Y , se poate defini un
spaiu produs (sau cmp reunit) [ ] Y X, , prin matricea:


[ ]
(
(
(
(

=
M N N N
M
M
y x y x y x
y x y x y x
y x y x y x
Y X
, , ,
, , ,
, , ,
,
2 1
2 2 2 1 2
1 2 1 1 1

unde prin produsul x
i,
y
j
s-a notat realizarea att a evenimentului x
i
, ct i a evenimentului y
j
,
adic emisia simbolului x
i
i recepia simbolului y
j
.

Matricea probabilitilor corespunzatoare spaiului produs
Matricei de mai sus i corespunde matricea de probabiliti urmtoare:

( ) [ ]
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
(
(
(
(

=
M N N N
M
M
y x p y x p y x p
y x p y x p y x p
y x p y x p y x p
Y X P
, , ,
, , ,
, , ,
,
2 1
2 2 2 1 2
1 2 1 1 1

Matricea de zgomot a canalului:

( ) [ ]
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
(
(
(
(
(

=
N M N N
M
M
x y p x y p x y p
x y p x y p x y p
x y p x y p x y p
X Y P

2 1
2 2 2 2 1
1 1 2 1 1

26

Matricea de zgomot este stohastic:

( ) 1 =

j
i j
x y p (suma elementelor de pe orice linie este 1).

Canalele studiate sunt stationare, deci ( ) . / ct x y p
i j
= .
Canalele sunt fr memorie, deci probabilitatea de apariie a lui
j
y nu depinde dect de
simbolul generat simultan la intrarea n canal, simbolul
i
x pentru ( )
i j
x y p / .


5.2.2. Reprezentarea grafic a transmisiei prin canalele discrete


1
x
1
y

2
x
2
y

.

M
y
N
x


5.2.3. Entropii caracteristice


Entropia la intrarea in canal:
Dac [ ] X este mulimea tuturor simbolurilor pe care canalul poate s le transmit,
unde [ ] [ ]
n
x x x X ,..., ,
2 1
= , i dac fiecare simbol x
i
este utilizat cu probabilitatea p(x
i
),
atunci se poate defini urmtorul set de probabiliti: [ ] [ ] ) ( ),..., ( ), ( ) (
2 1 n
x p x p x p X p = .
Aceste probabiliti nu depind de canal, ns de ele depinde informaia transmis prin canal.
Entropia la intrarea n canal se definete astfel:

=
=
n
i
i i
x p x p X H
1
) ( log ) ( ) ( [bit/simbol].
Observaie: Toi logaritmii sunt n baza 2.
Entropia H(X) are valoarea maxim logn pentru setul de probabiliti:
n
x p x p x p
n
1
) ( ... ) ( ) (
2 1
= = = i se anuleaz dac un simbol din spaiul de intrare are
probabilitatea 1, iar celelalte 0.
Entropia H(X) este o mrime continu, pozitiv, simetric n raport cu setul de
variabile p(x
i
) i aditiv.

Entropia la ieirea din canal:
Dac [ ] Y este mulimea tuturor simbolurilor de la ieirea din canal:
[ ] [ ]
m
y y y Y ..., ,
, 2 1
= , iar probabilitile simbolurilor de ieire sunt:
( )
1 1
/ x y p
27
[ ] [ ] ) ( ),..., ( ), ( )] (
2 1 m
y p y p y p y p = , atunci entropia la ieirea din canal poate fi definit
asemntor cu cea de la intrarea n canal:
( ) ( ) ( )
i
i
i
y p y p Y H

= log [bit/simbol].
Se poate arta i n acest caz c entropia la ieirea din canal este maxim pentru
probabiliti egale ale simbolurilor de la ieirea din canal.

Entropia reunit a intrrii si ieirii
Tinnd cont de spaiului produs (sau cmp reunit) [ ] Y X, si de matricea de probabiliti
( ) [ ] Y X P , corespunztoare spatiului produs se poate defini entropia spaiului reunit (cmpului
produs) intrare-ieire cu ajutorul relaiei:

= =
=
n
i
j i j i
m
j
y x p y x p Y X H
1 1
) , ( log ) , ( ) , ( [bit/simbol].


Echivocatia
Dac spaiul de la ieirea din canal este cunoscut, datorit efectelor perturbaiilor
rmne totui o oarecare incertitudine asupra spaiului de la intrare. Valoarea medie a acestei
incertitudini se numete entropia spaiului [ ] X condiionat de spaiul [ ] Y i se noteaz
H(X/Y).

= =
=
n
i
j i j i
m
j
y x p y x p Y X H
1 1
) / ( log ) , ( ) / ( [bit/simbol].
Entropia H(X/Y) se numete echivocaie, fiindc este o msur a echivocului care
exist asupra spaiului de la intrare cnd se cunoate spaiul de la ieire.
Definiie: Echivocatia este cantitatea medie de incertitudine care ramne asupra
simbolurilor de la intrarea n canal, atunci cnd se cunosc simbolurile de la ieire
ntotdeauna
) / ( ) ( Y X H X H .
Pentru determinarea echivocaiei este necesar s se cunoasc probabilitile p(x
i
/y
j
),
i = 1, , n, j = 1, , m, date de matricea [ ] ) / ( Y X P .


Eroarea medie
n mod analog cu echivocaia se poate determina entropia spaiului de la ieire cnd se
cunoate spaiul de la intrare:

= =
=
n
i
i j j i
m
j
x y p y x p X Y H
1 1
) / ( log ) , ( ) / ( [bit/simbol].
Entropia H(Y/X) se numete eroare medie, fiindc este o msur a incertitudinii (deci a
erorii) asupra spaiului de la ieire cnd se cunoate spaiul de la intrare.

Definiie: Eroarea medie este cantitatea medie de informaie eronata, la ieirea din canal.



28
ntotdeauna
( ) ( ) X Y H Y H / .
Pentru determinarea erorii medii este necesar s se cunoasc probabilitile
( ) m j n i x y p
i j
, 1 , 1 , / = = , date de aa-numita matrice de zgomot (sau de tranziie sau de
eroare) P[Y/X]. Matricea de zgomot se construiete pe baza grafului de tranziii asociat
canalului.

Informaia medie transmis prin canal
Transinformaia se definete ca fiind valoarea medie a informaiei transmise pe canal.
I(X,Y) = H(X) + H(Y) - H(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X).
sau
( ) ( )
( )
( ) ( )
j i
j i
i j
j i
y p x p
y x p
y x p Y X I
,
log , ,

=
ntotdeauna
( ) 0 , Y X I .

Definiie: Informaia medie este cantitatea medie de informaie care se transmite corect prin
canal.


Cazuri particulare :

a) Canale cu perturbaii infinite ( X si Y sunt independente)

( ) ( ) ( ) Y H X H Y X H + = ,

( ) ( ) X H Y X H = (la ieire, nu aflam nimic despre X ; incertitudinea asupra lui X ramane la
fel de mare)

( ) ( ) Y H X Y H = (toat informaia de la iesire este eronat)

( ) 0 , = Y X I (informaia medie transmis prin canal este nul)


b) Canale fr perturbaii (sursele X i Y sunt identice)

( ) ( ) ( ) Y H X H Y X H = = ,

( ) 0 = Y X H (cunoscnd ieirea din canal, nu mai exist nici o incertitudine asupra lui X )

( ) 0 = X Y H (nu exist erori la iesirea din canal)

( ) ) ( , X H Y X I = (informaia de la intrare se transmite integral prin canal)
29


c) Canale cu perturbaii finite ( X i Y sunt diferite, dar dependente statistic)

( ) ( ) ( ) Y H X H Y X H + < ,

( ) ( ) X H Y X H < (cunoscnd ieirea din canal, incertitudinea asupra lui X devine mai mic)

( ) ( ) Y H X Y H < (o parte a informatiei de la iesirea din canal este corect)

( ) ) ( , X H Y X I < (informaia de la intrare se transmite parial prin canal)


5.3. Capacitatea canalului discret

Pentru a defini o msur a eficienei cu care se transmite informaia i a gsi limita
superioar a acesteia s-a introdus noiunea de capacitate a canalului.

Definiie : Capacitatea canalului discret cu zgomot se definete ca fiind valoarea maxim a
transinformaiei.
)} ( { )} ( { )} ( {
)] / ( ) ( max[ )] / ( ) ( max[ ) , ( max
i i i
x p x p x p
X Y H Y H Y X H X H Y X I C = = = [bit/simbol].
Unitatea de masura pentru capacitate este bit/simbol.

Observaie: maximul se ia dupa probabilitile sursei de la intrarea n canal, pentru ca aceste
probabiliti pot fi controlate, ntr-o aplicaie practic.

Valoarea maxim a transinformaiei are loc pentru valori bine determinate ale acestor
probabiliti, care definesc astfel o anumit surs secundar. Pentru a transmite prin canal
transinformaia cu valoarea ei maxim este necesar ca sursa primar s fie transformat prin
operaia de codare n sursa secundar specificat de probabilitile care dau maximul expresiei
transinformaiei. Acest lucru se numete adaptarea statistic a sursei la canalul de comunicaii.
Pentru capacitatea canalelor discrete se deosebesc urmtoarele cazuri particulare:

1. Canalul discret fr perturbaii
n X H Y X I C
i i
x p x p
log )] ( max[ ) , ( max
)} ( { )} ( {
= = = [bit/simbol].
2. Canalul discret cu perturbaii foarte puternice
C = 0 [bit/simbol].
3. Canalul discret simetric
Capacitatea oricrui canal simetric se atinge pentru o distribuie uniform a setului de
probabiliti : )} ( {
i
x p
n
x p x p x p
n
1
) ( ... ) ( ) (
2 1
= = = i este dat de relaia:




30



= =
+ =
n
i
i j i j
m
j
m x y p x y p
n
C
1 1
log ) / ( log ) / (
1
[bit/simbol].


Definiie : Redundana canalului este : ( ) Y X I C R , = [bit/simbol].

Definiie : Redundana relativ a canalului este :
( )
[ ] 1 , 0
,
1 =
C
Y X I
C
.

Definiie : Randamentul sau eficiena canalului arat ct de mic este cantitatea medie de
informaie transmis prin canal, n raport cu capacitatea canalului.


( )
[ ] 1 , 0
,
=
C
Y X I
C


Observaie: redundana i randamentul sunt mrimi complementare:
C C
=1

Definiie : Debitul de informaie prin canal este : ( )
( )

Y X I
Y X I
t
,
, = [bit/sec], unde este
durata unui simbol.

Observaie: Debitul maxim de informaie prin canal este:

C
C
t
= .

Proprieti :

a) Capacitatea canalului este o mrime nenegativ :

0 C (deoarece ( ) 0 , Y X I )

b) Capacitatea canalului este mai mic sau egal cu entropia sursei de la intrare:

( ) X H C (deoarece ( ) ( ) X H Y X I , )

c) Capacitatea este o funcie continu in raport cu probabilitatile ( ) [ ] X P .


5.4. Calculul capcitii canalului discret

Date iniiale : probabilitile matricii de zgomot ( ) [ ] X Y P / .

Etape:

31
1) Aplicand Metoda multiplicatorului lui Lagrage, se calculeaz probabilitile
max
i
p ,
care maximizeaz funcia ( ) ( ) ( ) X Y H Y H Y X I / , = .
2) Capacitatea se obine calculand ( ) ( ) ( ) X Y H Y H Y X I / , = pentru probabilitatile
obinute.


Rezolvare:

Se construiete funcia:

( ) ( ) |

\
|
+ =

1 /
i
i
p X Y H Y H

Pentru a pune n eviden probabilitile
i
p n expresia lui ( ) Y H , probabilitile [ ] Q se scriu:

( ) ( ) ( ) ( )
i
i
i j i
i
i j
i
j i j
p x y p x p x y p y x p q

= = = ,

Se calculeaz derivatele pariale ale lui n raport cu
i
p :

- derivata lui ( ) Y H n raport cu
i
p :


( ) ( )
( )
( ) ( ) ( )


= =
=
|
|

\
|
+ =

j
j i j
j
j i j
j
i j
j j
i j j
i
j
j i
q x y p
e
q x y p x y p
e
x y p
e
q
p
q
q
Y H
p
Y H
log /
log
1
log / /
log
1
/
log
1
log


- derivata lui ( ) X Y H / n raport cu
i
p :


( )
( ) ( )
( ) ( )

j
i j i j
i
j i
i j i i j
i
x y p x y p
p
x y p p x y p
p
X Y H
/ log /
/ log /
/


- derivata termenului n :

\
|


i
i
i
p
p 1


Se egaleaz derivatele pariale ale lui cu zero; din rezolvarea sistemului, rezult
probabilitile
max
i
p , care maximizeaz i, deci, informaia transmis prin canal:
( ) ( ) ( ) 0 / log / log /
log
1
= + +


j
i j i j
j
j i j
x y p x y p q x y p
e
N i pentru , 1 =

32

Grupnd termenii cu sume i constantele, se obtin ecuaiile:

( )
( )
ct
q
x y p
x y p
j j
i j
i j
=

/
log / N i pentru , 1 =

Completnd aceste ecuaii cu:

( )

=
i
i i j j
p x y p q / M j pentru , 1 =
i

=
i
i
p 1

se obine un sistem cu 1 + + M N ecuaii i acelai numar de necunoscute, din care se pot
obine probabilitile
max
i
p i
max
j
q , care maximizeaz informaia transmis prin canal.

Capacitatea canalului se calculeaz cu relaia:

( )
( )

=
i j
j
i j
i i j
q
x y p
p x y p C
max
max
/
log /

Observtii:

- acest sistem nu are, n general, o soluie analitic; cnd nu exist o solutie analita,
capacitatea se calculeaz cu metode numerice (algoritmul lui Frank-Wolfe, care este
bazat pe metoda gradientului, sau algoritmul iterativ al lui Arimoto si Blahut)
- dac alfabetele surselor de la intrarea i de la ieirea din canal au acelai numr de
simboluri i, dac, determinantul matricii de zgomot este diferit de zero, atunci
sistemul are soluie analitic

5.5. Modele de canale discrete

Aceast seciune cuprinde patru cazuri particulare de canale (modele), pentru care capacitatea
se poate calcula analitic.

5.5.1. Canalul uniform fa de intrare

Definiie: Fiecare linie a matricii de zgomot a canalului uniform fa de intrare este o
permutare a altei linii (pe fiecare linie gsim aceleai probabilitati, diferit ordonate).

Exemplu:

( )
(
(
(

=
6
1
2
1
3
1
2
1
6
1
3
1
/ X Y P

33
Proprieti:

a) Eroarea medie nu depinde de probabilittile simbolurilor de la intrarea n canal:



( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( ) ct x p ct x y p x y p x p
x y p x p x y p
x y p y x p X Y H
i
i
j
i j i j
i
i
i j
j i
i i j
i j
j i
j i
= = =
= =
= =

/ log /
/ log /
/ log , /
,
,


b) Capacitatea canalului este:


[ ]
( )
[ ]
( ) ( ) [ ]
[ ]
( ) ( ) X Y H Y H X Y H Y H Y X I C
P P P
/ max / max , max = = =

5.5.2. Canalul uniform fa de ieire

Definiie: Fiecare coloan a matricii de zgomot a canalului uniform fa de ieire este o
permutare a altei coloane (pe fiecare coloan gasim aceleai probabiliti, diferit ordonate).

Exemplu:

( )
(
(
(

=
3 , 0 7 , 0
7 , 0 3 , 0
5 , 0 5 , 0
/ X Y P

Proprietate:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire
sunt echiprobabile:

( ) ( ) ( ) ( ) .
1
/
1
/ ct
N
x y p
N
x p x y p y p
i
i j
i
i i j j
= = =




5.5.3. Canalul simetric

Definiie: Canalul simetric este canalul uniform att fa de intrare ct i fa de ieire.

Exemplu:

( )
(
(
(

=
3 , 0 5 , 0 2 , 0
2 , 0 3 , 0 5 , 0
5 , 0 2 , 0 3 , 0
/ X Y P


34



Proprieti:

a) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i
este:

( ) X Y H M C / log = unde M este numarul de simboluri ale sursei de la iesirea din
canal (simbolurile de la ieire sunt echiprobabile, dac i cele de la intrare sunt echiprobabile).


5.5.4. Canalul slab simetric

Definiie: Canalul slab simetric este uniform fa de intrare i are suma probabilitilor de pe
fiecare coloan constant.

Exemplu:

( )
(
(
(

=
6
1
2
1
3
1
2
1
6
1
3
1
/ X Y P


Proprietati:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire
sunt echiprobabile:

( ) ( ) ( ) ( ) .
1
/
1
/ ct
N
x y p
N
x p x y p y p
i
i j
i
i i j j
= = =



b) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i
este:

( ) X Y H M C / log =

Observaie: Uniformitatea fa de ieire nu este indispensabil pentru a putea avea o
expresie analitic pentru capacitatea canalului. Aceast condiie poate fi relaxat la
condiia c suma probabilitilor de pe coloane sa fie constant.


5.6. Exemple de canale discrete

5.6.1. Canalul binar simetric

Matrice de zgomot:

35
( )
(

=
p p
p p
X Y P
1
1
/


Reprezentare grafic:


0 0



1 1


Calculul capacitii:

( ) ( ) X Y H X Y H C / 1 / 2 log = =

unde

( ) ( ) ( )
( ) ( ) p p p p
x y p x y p X Y H
j
i j i j
=
= =

=
1 log 1 log
/ log / /
2
1


deci

( ) ( ) p p p p C + + = 1 log 1 log 1



Cazuri particulare:

a) Canal fr perturbaii:

Matricea de zgomot: ( )
(

=
1 0
0 1
/ X Y P

Reprezentare grafic: 0 0



1 1

Capacitatea este maxim : simbol bit C / 1 =

Observaie:
Cellalt punct de maxim al capacitii corespunde canalului inversor:
H(X), C
p 1/2 1
1
p
1-p
1-p
p
36

( )
(

=
0 1
1 0
/ X Y P 0 0

simbol bit C / 1 =

1 1

b) Canalul cu perturbaii infinite (foarte puternice)

Matricea de zgomot: ( )
(

=
2 / 1 2 / 1
2 / 1 2 / 1
/ X Y P

Capacitatea : simbol bit C / 0 =


5.6.2. Canalul binar cu erori si anulri

Matrice de zgomot:

( )
(

=
q q p p
q p q p
X Y P
1
1
/ Canalul este uniform doar fa de intrare.

Reprezentare grafic:

0 = X 0 = Y



a Y =


1 = X 1 = Y


Calculul capacitii:

[ ]
( ) [ ] ( ) X Y H Y H C
P
/ max =

unde

( ) ( ) ( )
( ) ( ) q p q p q q p p
x y p x y p X Y H
j
i j i j
=
= =

=
1 log 1 log log
/ log / /
2
1



1-p-q
q
p
37
Calculul lui
[ ]
( ) [ ] Y H
P
max :

- se noteaz ( ) x X p = = 0 si ( ) x X p = = 1 1
- se exprim ( ) ( ) ( )
i
i
i
x p x Y p Y p

=
= = =
2
1
/ 0 0 , ( ) = = a Y p si ( ) = =1 Y p
ca funcii de x
- se exprim ( ) Y H ca funcie de x , folosind probabilitile calculate mai sus
- se rezolv ecuaia
( )
0 =

x
Y H

- cu soluia ecuaiei de mai sus, se obine
[ ]
( ) [ ] Y H
P
max

Exercitiu:

Calculul capacitii canalului binar cu erori si anulri.
Rspuns ( ) ( ) ( ) ( ) q p q p p p q q q C + + = 1 log 1 log 1 log 1 1 .

Observaie: Capacitatea canalului devine zero pentru
2
1 q
p

= (se rezolv ecuaia
0 =

p
C
i se obine soluia
2
1 q
p

= )
5.6.3. Canalul binar cu anulri

Este un caz particular al canalului binar cu erori i anulri ( 0 = p ).Acest canal modeleaz
cazul transmisiei binare n care un simbol poate fi transmis corect, poate fi confundat cu
cellalt simbol, sau poate fi recepionat cu o valoare incert (acest al treilea simbol poart
denumirea de simbol de anulare sau de tergere). Este caracterizat de urmtorul graf de
tranziii
Matricea de zgomot:

( )
(

=
q q
q q
X Y P
1 0
0 1
/
Reprezentarea grafic:


0 = X 0 = Y



a Y =


1 = X 1 = Y



Capacitatea: q C = 1
1-q
1-q
q
q
38


6. SURSE DE INFORMAIE I CANALE CONTINUE

6.1. Entropia sursei de informaie continue

Definiie :

Sursa continu de informaie este un mecanism de generare a unui sir de v.a.continue :
: , , , ,
1 1 + k k k
X X X , unde k este, de cele mai multe ori, un indice de timp.

k
X sunt v.a. continue, care iau valori in R .
k
X poate fi si complex (de exemplu, cnd prin Tranformare Fourier, s-a trecut n domeniul
frecvenelor).

V. a. Continue
k
X sunt caracterizate de densitatea de probabilitate ) (x f

Definiie : Entropia unei surse de informaie continue este:

( ) ( ) ( )

=
R
dx x f x f X H
2
log
(Entropia unei surse de informaie discrete ( ) ) ( log
i
i
i
p p X H

= )

Observaie : ( ) X H poate fi i negativ pentru c ) (x f poate fi > 1 .

Exemplu: v.a. X cu distribuie uniform pe intervalul [ ] 2 / 1 0

( )
[ ]

=
rest in
x
x f
_ 0
2 / 1 0 2


( ) 1 2 2 log 2
2 / 1
0
2 / 1
0
2
= = =

dx dx X H

6.1.1. Semnificaia entropiei unei surse continue

Faptul ca ( ) X H poate fi i negativ pune un semn de ntrebare asupra semnificaiei acestei
mrimi, n cazul surselor de informaie continue.

Fie un semnal continuu, modelat printr-un ir de v.a. continue
k
X cu distribuia ( ) x f . Altfel
spus, fie o surs de informaie continu, pe care o notm cu X . Pp. pentru simplitate ca
realizarile particulare ale lui
k
X sunt cuprinse n intervalul [ ] Nq 0 , unde q este un numr
pozitiv, iar N un numr natural.

Prin cuantizare cu cuanta q , toate valorile semnalului cuprinse ntr-un anumit interval de
lime q , devin egale cu o valoare fix (semnalul continuu este discretizat) :
39

dac ( ) [ ] nq q n x
t
1 atunci nq x x
n t
= (cu
t
x s-a notat realizarea particular a lui
t
X la momentul t ).

Semnalul continuu poate fi modelat de un sir de v.a. discrete
( ) q
k
X , altfel spus, sursa de
informaie continu devine o surs discret
( ) q
X .

V.a.
( ) q
k
X iau valori n mulimea [ ] [ ]
N
x x x X , , ,
2 1
= unde nq x
n
= .

Mulimea probabilitilor sursei discrete este constituit din urmatoarele valori:

( ) ( )
( )
( ) nq qf dx x f x p
nq
q n
n
=

1


Entropia sursei discrete este:

( ) ( ) ( ) ( ) ( ) ( ) nq qf nq qf x p x p X H
N
n
n
N
n
n
q

= =
= =
1 1
log log

Prelucrnd relatia entropiei, obinem :

( ) ( ) ( ) ( ) ( )

= =
=
N
n
N
n
q
nq f nq qf nq qf q X H
1 1
log log

La limit, cnd cuanta q tinde catre zero :

( ) ( ) x f nq f si dx q

i relaia entropiei devine:

( ) ( ) ( ) ( ) ( ) X H q dx x f x f dx x f q X H
q
+ = =

log log log
Concluzie:

a) ( )
q
X H este entropia unei surse de informaie discrete, deci are semnificaia unei informaii
medii. La limit, cnd 0 q , sursa devine continu i
( )
( )
q
q
X H
0
lim

este informaia medie a

sursei continue, ceea ce nu este acelasi lucru cu ( ) X H din cauza termenului q log . Deci,
entropia sursei continue nu are semnificaia unei cantiti medii de informaie.

b) La limit, termenul q log tinde catre infinit, de aceea, spunem ca informaia medie a
sursei continue este infinit (n timp ce entropia ( ) X H este de cele mai multe ori finit).



40

6.1.2. Inegalitatea fundamental n cazul distribuiilor continue

Fie ( ) x f i ( ) x g dou densiti de probabilitate.
Se poate arata, cu acelai demers logic ca n cazul distribuiilor discrete, c:

( )
( )
( )

R
x f
x g
x f 0 log

( )
( )
( )

R
x g
x f
x f log este entropia relativ sau distana Kullback-Leibler n cazul
distribuiilor continue. Este o mrime nenegativ; ia valoarea zero cnd cele dou distribuii
sunt indentice.


6.1.3. Cazuri de entropie maxim


Maximul absolut al entropiei surselor continue este infinit. Ne intereseaz maximul n
anumite condiii restrictive.

a) V.a. ia valori ntr-un domeniu limitat [ ] b a

Se caut maximul lui ( ) ( ) ( )

=
b
a
dx x f x f X H
2
log cu restricia ( )

=
b
a
dx x f 1

Indicaie: Se folosete metoda multiplicatorului lui Lagrange; se construiete functia
( ) ( )
|
|

\
|
+ =

b
a
dx x f x H 1 i se deriveaza in raport cu f .

Rezultat: distribuia care maximizeaz entropia este distribuia uniform.

( )
( ) [ ]

=
rest in
b a x a b
x f
_ 0
/ 1



( ) ( ) a b X H = log
max



b) V.a. ia numai valori pozitive i are media statistic m

Se caut maximul lui ( ) ( ) ( )

=
0
2
log dx x f x f X H cu restriciile ( )

=
0
1 dx x f i media
statistic m.

41
Indicaie: Se foloseste metoda multiplicatorului lui Lagrange; se construiete funcia:

( ) ( ) ( )
|
|

\
|
+
|
|

\
|
+ =


0 0
1 m dx x xf dx x f x H i se deriveaza n raport cu f .

Rezultat: distribuia care maximizeaz entropia este distributia exponential.


( )

rest in
x me
x f
mx
_ 0
0



( )
e
m
m X H
log
log
max
+ =


c) V.a. ia numai valori pe R i are media statistica zero i varianta
2
.

Se caut maximul lui ( ) ( ) ( )

= dx x f x f X H
2
log cu restriciile ( )

= 1 dx x f , media
statistic 0 = m si variana
2
.


Indicatie: Se folosete metoda multiplicatorului lui Lagrange; se construieste functia:

( ) ( ) ( ) ( )
|
|

\
|
+
|
|

\
|
+
|
|

\
|
+ =


0
2 2
0 0
1 dx x f x dx x xf dx x f x H i se deriveaz n raport cu
f .

Rezultat: distribuia care maximizeaz entropia este distribuia gaussian:





( ) ( ) e X H 2 log
max
=



6.1.4. Variaia entropiei cu schimbarea spaiului de reprezentare a semnalului

Fie un semnal continuu, modelat printr-un ir de v.a. continue
N
X X , ,
1
, dependente
statistic (cazul majoritii semanlelor ntalnite n practic), unde, de multe ori, indicele este un
indice de timp . Altfel spus, fie o sursa de informaie continu, cu memorie.
( )

2
2 2
2 / x
x
x f

=
42

Printr-o transformare F (de exemplu, Fourier), se trece din spaiul N-dimensional al
eantioanelor temporale, ntr-un alt spatiu spatiul N-dimensional (al eantioanelor
frecveniale, dac am aplicat Transformarea Fourier). n acest spaiu, semnalul este
reprezentat prin irul de v.a. :
N
, ,
1
.

[ ]
N
, ,
1
=F([ ]
N
X X , ,
1
)

Pp. ca densitile de probabiliate conjugate ale celor dou iruri de v.a. sunt :

( )
N
X X f , ,
1
n spaiul eantioanelor temporale

i

( )
N
V V g , ,
1
n spaiul eantioanelor frecveniale.

Probabilitile ca irurile s aib realizri particulare foarte apropiate de irurile de valori :


N
x x , ,
1
i
N
, ,
1

sunt

( )
N N
dx dx x x f
1 1
, , i ( )
N N
d d g
1 1
, ,

Variaiile dX dx dx
N
=
1
determin variaiile dV d d
N
=
1
.
Se poate arata c |

\
|
=
X
V
J
dX
dV
unde cu |

\
|
X
V
J s-a notat jacobianul transformrii:

(
(
(
(
(

=
|

\
|
N
N
N
N
dx
d
dx
d
dx
d
dx
d
X
V
J

1
1 1
1


Cum transformarea F , face numai o schimbare de coordonate (nu de semnal), trebuie
satisfacut relaia:

( ) ( )
N N N N
d d g dx dx x x f
1 1 1 1
, , , , =

Imprind relaia prin
N
dx dx
1
, se obine:

( ) ( )
|

\
|
=
X
V
J g x x f
N N
, , , ,
1 1


ceea ce conduce la urmtoarea relaie ntre entropiile semnalului nainte i dup transformare:

43

( ) ( ) ( )
( ) ( )
( ) ( ) ( )
( ) ( ) V H dx dx
X
V
J x x f
d d g g dx dx
X
V
J x x f
dx dx
X
V
J g x x f
dx dx x x f x x f X H
N
X
N
N N
V
N N
X
N
N N
X
N
N N
X
N
+
|

\
|
=
=
|

\
|
=
=
|

\
|
=
= =

1 1
1 1 1 1 1
1 1 1
1 1 1
log , ,
, , log , , log , ,
, , log , ,
, , log , ,




ceea ce arat c, n general, entropia semnalului se schimb atunci cnd se aplic o
transformare.

Se poate arata c, n cazul unei transformri ortogonale (Fourier, Cosinus, etc.) :

1 = |

\
|
X
V
J

i atunci

( ) ( ) V H X H = deoarece ( ) 1 , ,
1 1
=

V
N N
d d g .

Concluzie: O transformare ortogonal nu schimb entropia unui semnal.


6.2. Canale continue de transmisie a informaiei

Printr-un canal continuu, trec semnale continue att n timp ct i n amplitudine. De aceea,
intrarea i iesirea canalului sunt modelate prin dou surse continue de informaie.

n acest subcapitol, se studiaz canalele continue fr memorie (eantioanele semnalului
continuu sunt independente) i stationare (statistica semnalului este constant n timp).

Fie X sursa continu de la intrare, cu densitatea de probabilitate ( ) x f
X

Y sursa continu de la ieire, cu densitatea de probabilitate ( ) y f
Y




6.2.1. Informaia mutual n canalele continue

Pentru a deduce informaia medie transmis prin canalul continuu, vom porni de la rezultatul
obinut pentru canalul discret i, prin trecere la limit, vom obine informaia mutual n
canalul continuu.

Pp ca semnalul de la intrare este eantionat cu frecvena W 2 , unde W este frecvena maxim
din spectrul semnalului (criteriul lui Nyquist). Aceast ipotez nu reduce generalitatea
44
rezultatelor urmtoare deoarece un semnal continuu poate fi reconstruit identic din
eantioanele sale dac acestea au o frecven W 2 .

Pp., de asemenea, c semnalul este cuantizat cu cuanta q . Rezultatul este un semnal discret
care poate fi modelat printr-o surs de informaie discret avnd alfabetul:

[ ] [ ]
N
x x x X , , ,
2 1
= unde nq x
n
=

si probabilitile :

[ ] ( ) ( ) ( ) [ ]
N
x p x p x p P , , ,
2 1
= unde ( ) ( )q x f x p
n X n


La ieirea din canal, prin eantionare (sincron cu intrarea) i cuantizare cu cuanta q , se
obine un semnal discret care poate fi modelat de o surs de informaie discret avnd
alfabetul:

[ ] [ ]
M
y y y Y , , ,
2 1
= unde mq y
m
=

si probabilitile:

[ ] ( ) ( ) ( ) [ ]
N
y p y p y p Q , , ,
2 1
= unde ( ) ( )q y f y p
m Y m


Informaia medie pe eantion transmis prin canal este (cf. rezultatului obinut la canalele
discrete):


( ) ( )
( )
( ) ( )

=
= =
i j Y X
Y X
Y X
i j j i
j i
j i
q y qf x f
q y x f
q y x f
y p x p
y x p
y x p Y X I
) ( ) (
) , (
log ) , (
,
log , ,
2
, 2
,


La limit, cnd 0 q , suma dubl se transform ntr-o integral:

( ) ( )
( )
( ) ( )
dxdy
y f x f
y x f
y x f Y X I
Y X
Y X
Y X

=
,
log , ,
,
,


Prelucrnd integrala dubl, se ajunge la o relaie similar cazului canalelor discrete:


( ) ( ) ( ) ( )
( )
( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) X Y H Y H dxdy x y f y x f dy y f y f
dxdy x y f y x f dy dx y x f y f
dxdy
y x f
x f
y x f dxdy y f y x f Y X I
Y X Y X Y Y
Y X Y X Y X Y
Y X
X
Y X Y Y X
/ / log , log
/ log , ) , ( log
,
log , log , ,
, ,
, , ,
,
, ,
= + =
= + =
= =





unde, prin analogie cu cazul discret, se definete eroarea medie prin canalul continuu:
45

( ) ( ) ( )dxdy x y f y x f X Y H
Y X Y X

= / log , /
, ,


Observaie: Spre deosebire de entropie, care i pierde semnificaia la trecerea de la discret la
continuu, ( ) Y X I , ii pstreaza semnificaia de cantitatea medie de informaie pe eantion.

Pe durata D a semnalului, dac eantioanele de semnal sunt independente, se transmite o
cantitate de informaie egal cu ( ) Y X I W D , 2 , unde W D 2 este numrul total de entioane
transmise.


6.2.2. Proprietile informaiei mutuale n canalele continue

a) Informaia medie este o mrime nenegativ :

( ) 0 , Y X I

Justificare:

Ne bazm pe inegalitatea fundamental, n cazul continuu. Considernd densitile de
probabilitate ( ) y x f
Y X
,
,
i ( ) ( ) y f x f
Y X
, se poate scrie urmtoarea inegalitate:

( ) ( )
( ) ( )
( )
0
,
log , ,
,
,
=

dxdy
y x f
y f x f
y x f Y X I
Y X
Y X
Y X


b) Informaia medie este, n general, o mrime finit.

c) Relaia ( ) ( ) X H Y X I , din cazul discret, nu mai este valabil, deoarece entropia n
continuu nu mai are aceeai semnificaie ca n discret (n unele cazuri, entropia poate fi chiar
negativ).

d) ( ) Y X I , este invariant la schimbarea coordonatelor

Pp. ca eantioanele semnalelor de la intrarea i ieire din canal, sunt transformate n
eantioane de frecven, prin aplicarea Transformarii Fourier:

U X
F
i V Y
F


Se poate demonstra c:

( ) ( ) V U I Y X I , , =





46
6.2.3. Capacitatea canalelor continue

Definiie : Capacitatea canalului continuu este dat de maximul cantitii de informaie
care poate fi transmis prin canal n unitatea de timp ( .) sec 1 = D


( )
( ) [ ]
( )
( ) ( ) [ ] X Y H Y H W Y X I W C
x f x f
X X
/ max 2 , 2 max = =

Pentru calculul capacitii, se fac urmtoarele ipoteze:

a) Pp. c avem urmtoarele limitri de putere pentru semnale i zgomotul din canal :

X
P este puterea semnalului la intrarea n canal

Y
P este puterea semnalului la ieirea din canal
N este puterea zgomotului din canal

b) Pp. c zgomotul este aditiv i independent de semnalul X , transmis prin canal. Se poate
demostra c, n acest caz :

N P P
X Y
+ =

c) Pentru fiecare valoare particular a lui,
0
x X = , incertitudinea medie asupra ieirii este dat
numai de zgomot. Prin cuantizarea zgomotului cu cuanta q , numrul de nivele pe care
zgomotul le poate lua este:


q
N
K =

Dac zgomotul este staionar i are o distribuie uniform, atunci nivelele de cuantizare sunt
echiprobabile, iar entropia condiionat este egal cu:


( )
q
N
K x X Y H log log /
0
= = =

Dac, n plus, canalul este simetric, atunci eroarea medie pentru toate valorile lui X are
expresia de mai sus. Deci, entropia condiionat nu depinde de distribuia lui X , iar
capacitatea devine:


( )
( )
(

=
q
N
Y H W C
x f
X
log max 2

Prin cuantizarea semnalului de la ieire cu cuanta q , se obin m nivele diferite:


q
P
m
y
=

47
Entropia la ieire i atinge maximul cnd nivelele sunt echiprobabile :


( )
( )
q
P
Y H
y
x f
X
log max =

Deci, capacitatea canalului este:

|

\
|
+ =
|
|

\
|
=
N
P
W
N
P
W C
x
y
1 log log 2

Prin trecere la limit, pentru 0 q , din relaia anterioar se obine capacitatea canalului
continuu :

|

\
|
+ =
N
P
W C
x
1 log unde
N
P
x
este raportul semnal zgomot

Relaia de mai sus ne arat c, n cazul canalului continuu, capacitatea crete cu banda i cu
puterea semnalului de la intrare i descrete cu puterea zgomotului.

Dac zgomotul de pe canal este alb i de densitate spectral de putere
0
N , atunci
0
WN N = .
i:


|
|

\
|
+ =
0
1 log
WN
P
W C
x


Reprezentarea grafic a acestei relaii, arat o curb a capacitii tinznd asimptotic spre:

( ) e log 1 log lim
0 0
N
P
WN
P
W C
x x
W
=
|
|

\
|
+ =

Concluzie: Creterea lrgimii de band peste o anumit valoare nu mai este raional deoarece
capacitatea canalului nu mai crete dect foarte puin.

W
C
(P
x
/N
0
) loge
48
7. CODAREA DE SURS


Locul codrii de surs ntr-o schem de transmisiune a datelor :




Rolul codrii de surs :

- adaptarea alfabetului sursei la alfabetul canalului
- adapatarea statistic (simboluri echiprobabile pentru alfabetul de canal)
- compresia datelor (este o consecin a adaptrii statistice)

Observaii :

- codarea de surs privete sursele discrete de informaie
- codarea de surs nu rezolv problema erorilor cauzate de perturbaii
- prin codare, sursa de informaie, numit i surs primar, este transformat ntr-o
nou surs de informaie, numit surs secundar, care debiteaz informaie pe
canal.

Dou exemple de codare :

Fie o surs de informaie primar care genereaz simboluri dintr-un alfabet :

[ ] [ ]
4 3 2 1
, , , x x x x X = cu probabilitile [ ]
(

=
8
1
,
8
1
,
4
1
,
2
1
P

Simbolurile trebuie transmise pe un canal binar cu alfabetul [ ] 1 , 0 . De aceea, ele trebuie
transcrise n binar, nainte de transmisie. Transcrierea n binar - codarea - se poate face n
multe feluri. De exemplu:

1) 0 0
1
x
1 0
2
x
0 1
3
x
1 1
4
x

2) 0
1
x
0 1
2
x
0 1 1
3
x
1 1 1
4
x

S CoS C A N A L U DecS
49

Definiie : Codarea este operaia prin care fiecare simbol al sursei primare este nlocuit
printr-o succesiune de simboluri ale alfabetului canalului. Decodarea este operaia invers
codarii.

Definiie : Cuvntul de cod este succesiunea finit de simboluri din alfabetul canalului, cu
care este nlocuit un simbol al sursei primare

Definiie : Codul este totalitatea cuvintelor de cod folosite n codarea unei surse.

Definiie : Lungimea unui cuvnt de cod este egal cu numrul de simboluri din alfabetul
canalului, care constituie cuvntul considerat.

Observaii :
- Codarea stabilete o coresponden biunivoca ntre simbolurile sursei primare i
cuvintele codului
- O succesiune de simboluri ale alfabetului canalului, care nu corespunde niciunui
simbol al sursei, se numeste cuvnt fr sens. Prin analogie, un cuvnt de cod se
mai numete i cuvnt cu sens.

Exemplele de mai sus cuprind un cod de lungime fix (exemplul 1), care are toate cuvintele
de aceeasi lungime, i un cod de lungime variabil (exemplul 2), care are cuvinte de lungime
variabil. n acest caz, se definete noiunea de lungime medie a cuvinelor de cod.

Definiie : Lungime medie a cuvintelor de cod se calculeaz cu expresia :

=
=
N
i
i i
l p l
1


unde cu
i
l s-a notat lungimea cuvintelor, iar cu
i
p , probabilitile simbolurilor
i
x .

Exemplu: 7 , 1
8
14
3
8
1
3
8
1
2
4
1
1
2
1
= + + + = l

Observaii :
- lungimea medie a cuvintelor de cod se numete, pe scurt, lungime a codului
- la codurile formate din cuvinte de lungime fix, lungimea codului este egal cu
lungimea unui cuvant de cod ( ) l l l
i
= = .

De cele mai multe ori, prin codarea cu cuvinte de lungime variabil, se realizeaz o compresie
a datelor (reducere a volumului de date).

Definiie : Raportul de compresie obinut prin codare cu un cod de lungime variabil l se
calculeaz cu expresia :


l
l
R =

50
unde cu l s-a notat lungimea unui cod de lungime fixa, obtinut cu acelasi alfabet al canalului.

Exemplu : 15 , 1
7 , 1
2
= R

Definiie : Rata de compresie este inversul raportului de compresie :


R
rata
1
=

7.1. Clasificarea codurilor de surs


CODURI reversibile de lungime variabil unic decodabile instantanee

neinstantanee

nu sunt unic decodabile

de lungime fix

ireversibile



7.1.1. Coduri ireversibile i coduri reversibile

Exemplu :

1) Cod binar ireversibil (la decodare, codul lui
1
x nu poate fi distins de cel al lui
2
x ; la fel
pentru
3
x si
4
x )

0
1
x
0
2
x
1
3
x
1
4
x

2) Cod binar reversibil

0 0
1
x
1 0
2
x
0 1
3
x
1 1
4
x

7.1.2. Coduri unic decodabile i coduri care nu sunt unic decodabile


51
Exemplu :

1) Cod care nu este unic decodabil :

0
1
x
0 1
2
x
1 1
3
x
0 1 1
4
x

La decodare, grupul 0 1 1 poate fi interpretat fie ca simbolul
4
x , fie ca grupul de simboluri
1 3
x x .

2) Cod unic decodabil

0
1
x
0 1
2
x
0 1 1
3
x
0 1 1 1
4
x

7.1.3. Coduri neinstanee i coduri instantanee

Exemplu :

1) Cod neinstantaneu :

0
1
x
0 1
2
x
0 1 1
3
x
0 1 1 1
4
x

Trebuie ateptat primul simbol al urmatorului cuvt de cod pentru a face decodarea cuvntului
recepionat (acest cod se mai numete i cod cu separator).

2) Cod instantaneu

0
1
x
0 1
2
x
0 1 1
3
x
1 1 1
4
x

Decodarea se poate face la primirea ultimului simbol al cuvntului de cod.


Observaie:
- codurile instantanee sunt cele mai utilizate n practic.

52
7.2. Coduri instantanee sau ireductibile

Definiie : Fie cuvantul de cod C , constituit din n simboluri :

[ ]
n
c c C
1
=

irul format din primele k simboluri, se numete prefix al cuvntului.

Teorem : Condiia necesar i suficient ca un cod sa fie instantaneu este ca niciun cuvnt al
su sa nu fie prefix al altui cuvnt.

Observaii:

- spunem despre un cod instantaneu c are proprietatea de prefix.
- codurile instantanee se mai numesc i ireductibile.


7.3. Inegalitatea Kraft-McMillan

Teorem : Fie sursa primar de informaie cu alfabetul :

[ ] [ ]
N
x x X , ,
1
=

i alfabetul de canal [ ] [ ]
D
c c C , ,
1
= , cu simbolurile cruia se vor forma cuvinte de cod
pentru sursa primar. O condiie necesar i suficient pentru a construi un cod ireductibil
(instantaneu) cu cuvinte de lungime
N
l l , ,
1
este :


1
1
i
N
l
i
D

(Inegalitatea Kraft-McMillan)

Justificare: ne folosim de reprezentarea prin arbori a codurilor ireductibile


7.4. Limita inferioar a lui l

Fie o surs primar de informaie cu alfabetul :

[ ] [ ]
N
x x X , ,
1
= si probabilitile [ ] ( ) ( ) [ ]
N
x p x p P , ,
1
=

Simbolurile sursei sunt codate cu un cod de lungime medie l . Cuvintele de cod sunt
constituite din simboluri ale alfabetului de canal [ ] [ ]
D
c c C , ,
1
= .
Dac ( ) X H este entropia sursei, atunci fiecare simbol
d
c poart n medie o cantitate de
informaie:


( )
l
X H


53
Entropia sursei este:

= =
= =
N
1 i
i 2 i
N
1 i
i
2
i
p log p
x
log
x
) p( ) p( H(X)

Aceast cantitate
( )
l
X H
, nu poate fi mai mare dect entropia maxim a sursei secundare
( ) D C H
2 max
log = :


( )
D
l
X H
2
log

Deci, limita inferioar pentru lungimea medie a oricarui cod este:


( )
D
X H
l
2
min
log
=

Observaii:

- dac codarea se face cu alfabet binar, atunci limita inferioar pentru l este
entropia sursei primare ( ) X H
- rezultatele acestei seciuni sunt valabile pentru toate tipurile de coduri, deci i
codurilor ireductibile (instantanee)
- aceast relaie poate fi interpretat i ca o a doua definiie a entropiei

Definiie : Entropia unei surse este egal cu lungimea medie a unui cod binar minim cu care
sursa poate fi codat (nu totdeauna acest cod exist).


7.5 . Coduri absolut optimale

n practic, ne intereseaz codurile cu l ct mai mic.

Definiie: Codurile care au
( )
D
X H
l l
log
min
= = se numesc coduri absolut optimale.

Conform Sectiunii 7.4, cantitatea medie de informaie transmis fiecarui simbol de canal prin
codare, altfel spus entropia sursei secundare ( ) C H , este invers proporional cu l :

( )
( )
l
X H
C H =

Aceast relaie arat c l ii atinge minimul cnd ( ) C H este maxim, adic atunci cnd, prin
codare, simbolurile
d
c ajung s fie transmise echiprobabil:

( ) ( )
D
c p c p
D
1
1
= = =
54

Considernd c nu exist dependen statistic ntre simbolurile
d
c , care intr n componena
cuvintelor de cod, rezult urmatoarele probabiliti pentru cuvintele de cod i, deci, pentru
simbolurie sursei primare:

( )
i
l
i
D
x p |

\
|
=
1
unde
i
l este lungimea cuvntului de cod pentru
i
x .

Cum ( ) 1 =

i
i
x p , rezult c, o condiie pentru a avea un cod absolut optimal este:

1
1
=

N
i
l
i
D

Observaii:

- egalitatea de mai sus este o condiie de existen pentru codurile absolut optimale;
n cazul codrii binare, aceast condiie se traduce prin a cere ca simbolurile sursei
primare s aibe probabiliti care sunt puteri ntregi negative ale lui 2 (exemplu:
[ ]
(

=
8
1
,
8
1
,
4
1
,
2
1
P
- codurile absolut optimale sunt un caz limit pentru Inegalitatea Kraft-McMillan,
deci pot fi i ireductibile


7.6. Coduri optimale

Codarea unei surse de informaie cu un cod binar absolut optimal este posibil numai dac
probabilitile sursei satisfac condiia:

( )
i
l
i
D
x p |

\
|
=
1

( )
( )
i
i
i
x p
D
x p
l
2
2
2
log
log
log
= =

De cele mai multe ori, ( )
i
x p
2
log nu este un numr zecimal. De aceea, se construiesc
cuvinte de cod cu lungimea minim posibil, adic ( )
( i i
x p l
2
log = . Aceste cuvinte satisfac
condiia:


( ) ( )
1
log
log
log
log
2
2
2
2
+
D
x p
l
D
x p
i
i
i
i

Amplificnd inegalitile cu ( )
i
x p i nsumndu-le dup I, rezult:

( )
( ) ( )
( )

+
i
i
i
i
i
i
i i
x p
D
x p x p
l x p
2
2
log
log


55
Deci


( )
1
log
2
+
D
X H
l ceea ce arat c se poate gsi un cod unic decodabil, care s aibe
lungimea mai mic dect limita superioar
( )
1
log
2
+
D
X H
.

Vom demonstra, n continuare, c aceste coduri satisfac Inegaliatea Kraft-McMillan,
deci c ele sunt i coduri ireductibile (instantanee).

Deoarece ( )
( i i
x p l
2
log = , putem scrie:


( )
i
i
l
D
x p

2
2
log
log
( )
i
l
i
D x p

i

nsumand dupa I, rezult :

( )

i
l
i
i
i
D x p 1

i
l
i
D

Deci, aceste coduri satisfac Inegalitatea Kraft-McMillan care este condiia necesar i
suficient pentru a avea un cod ireductibil.

Definiie: Codurile constituite din cuvinte de lungime ( )
( i i
x p l
2
log = sunt coduri
optimale.

7.7. Capacitatea, eficient i redundana codurilor

Definiie : Capacitatea unui cod este maximul cantitii medii de informatie ce poate fi
transmis de simbolurile din alfabetul canalului :

( ) D C H C log
max
= =

Definiie : Eficiena unui cod se definete prin :

1
min
=
l
l



( )
( )
( )
D
C H
D
l
X H
l
D
X H
log log
log
= = =

Definiie : Redundana unui cod se definete prin :


( )
[ ] 1 , 0
log
1 1 = =
D
C H


56
Observaie: Capacitatea, eficiena i redundana codului sunt mrimi similare celor
prezentate la capitolul de Canale discrete. Expresiile sunt diferite pentru c, n cazul canalelor,
se folosete noiunea de cantitate medie de informaie pe simbolurile generate de sursa
primar, iar n cazul codurilor, se consider informaia medie pe simbolurile sursei secundare


7.8. Extensia unei surse de informaie

Fie o surs de informaie cu alfabetul :

[ ] [ ]
N
x x X , ,
1
= si probabilitile [ ] ( ) ( ) [ ]
N
x p x p P , ,
1
=

Presupunem c sursa X genereaz urmatorul ir de v.a.:

, , , , , , ,
1 2 2 3 2 1 0 + n n
X X X X X X

Definiie : Extensia de ordin 2 a sursei X , este o surs notat
2
X , care genereaz irul:

, , , ,
1 0 n
Z Z Z

unde v.a.
n
Z sunt iruri de dou v.a. consecutive ale irului , , , , , , ,
1 2 2 3 2 1 0 + n n
X X X X X X
Mai precis: ( )
1 0 0
, X X Z = , ( )
3 2 1
, X X Z = , , ( )
1 2 2
,
+
=
n n n
X X Z

Observaii:

- extensia de ordin m se noteaz cu
m
X i este o surs ale crei simboluri sunt iruri de
lungime m
- alfabetul extensiei
m
X este constituit din
m
N simboluri (iruri).

Teorema : Entropia extensiei
m
X , fr memorie, este de m ori mai mare dect entropia
sursei X :

( ) ( ) X mH X H
m
=


7.9. Prima Teorem a lui Shannon

Conform rezultatelor din Sectiunile 7.4 si 7.6, lungimea unui cod folosit pentru codarea unei
surse de informaie fr memorie X , satisface urmatoarele inegaliti :



( ) ( )
1
log log
2 2
+
D
X H
l
D
X H


Aceast dubl inegalitate este valabil i pentru extensia
m
X , care este tot o surs fr
memorie :

57

( )
( )
( )
1
log log
2 2
+
D
X H
l
D
X H
m
m
m


unde
( ) m
l este lungimea medie a cuvintelor de cod pentru simbolurile sursei extinse, care
sunt iruri de m simboluri ale sursei iniiale. Deci,
( )
l m l
m
= , unde l este lungimea medie a
cuvintelor de cod pentru simbolurile sursei iniiale.
Aplicnd rezultatul Sectiunii 7.8, dubla inegalitate devine:


( ) ( )
m D
X H
l
D
X H 1
log log
2 2
+ unde ( ( ) ( ) X mH X H
m
= )

ceea ce reprezint expresia matematic a Primei teoreme a lui Shannon

Prima teorem a lui Shannon sau Teorema codarii canalelor fr zgomot: Codnd iruri
de simboluri suficient de lungi, ne putem apropia orict de mult de codarea absolut optimal.

7.10. Metode de codare binar
7.10.1 Codarea Shannon-Fano
Se consider c simbolurile sursei sunt codate n mod individual unul cte unul .n
cazul particular n care mulimea simbolurilor sursei [X]=[x1 ,.xN], poate fi mprit n
dou mulimi Xo i X1 de aceeai probabilitate P(Xo)=P(X1)=1/2 iar mulimile Xo i X1 la
nivelul lor pot fi divizate n Xoo i Xo1 respectiv n X1o i X11 toate avnd aceeai probabilitate
egal cu .Continum aceast operaie pn cnd mulimile respective nu conin dect un
singur element. n acest fel codarea Shannon-Fano conduce la un cod absolut optimal.
EX:

=
16
1
16
1
16
1
16
1
8
1
8
1
4
1
4
1
8 7 6 5 4 3 2 1 x x x x x x x x
X

Ck Lk
X1
Xo
X2
Xoo

Xo1


00

01
2

2
X100 100 3

X1o X101 101 3
X1100 1100 4

X110 X1101 1101 4
X1110 1110 4
X3 1/8

X4 1/8

X5
X1
X6
X7

X8


X11



X111 X1111 1111 4
pi=1 I=2.75
Avnd n vedere ca entropia sursei este:

= =
= =
N
1 i
i 2 i
N
1 i
i
2
i
p log p
x
log
x
) p( ) p( H(X)
58

rezult ca:
H(X)=2x 0.25log0.25+2x 0.125log0.125+4x 0.0625log0.0625=2.75 bii/simbol

( )
75 . 2 ) (
log
min
= = = X H
D
X H
l
eficiena % 100 1
75 . 2
75 . 2
min
= = = =
l
l


7.10.2 Codarea binar Huffman

Algoritmul Huffman constitue un algoritm optimal, n sensul ca nici un alt algoritm
nu asigur o lungime medie mai mic. Sunt situaii n care ali algoritmi pot da o lungime
medie egal cu cea dat de Huffman, dar niciodat mai mic.

Fie sursa

=
p p
x x
N
N
X
...
...
1
1
cu probabilitile ordonate P1P2P3 PN
Codarea Huffman este bazat pe ideea de a mpri mulimea mesajelor X = x
1
..x
N
ordonat descresctor n funcie de probabilitile corespunztoare n submulimile Xo i X1
cu probabiliti ct mai apropiate, iar mulimile X
00
i X
01
respectiv cu probabiliti ct mai
apropiate. n cazul particular n care probabilitile mulimilor obinute sunt egale codarea este
absolut optimal de tip Shannon-Fano. Algoritmul de codare funcioneaz dup urmtorii
pai:
1) Se ordoneaz mulimea mesajelor [X] n ordinea probabilitilor descresctoare.
X=[x
1
,x
2
, .. x
N
]
p(x
1
)p(x
2
).p(x
N
)
2) Se formeaz mulimi de simboluri care s poat fi furnizate n dou submulimi de
probabiliti ct mai apropiate:
a) Se grupeaz r1=xN U xN-1 => p(r1)=p(xN)+p(xN-1)
b) Mulimea r1 se consider ca un nou mesaj care se include n mulimea celorlalte
mesaje n ordinea probabilitilor descresctoare.
[R1]=[x1,x2, .r1] cu p(x
1
)>p(x
2
)..p(r1)..
Ultimele dou mesaje se grupeaz ca i n cazul precedent operaia continund pn n
cazul n care se ajunge la un ir de numai dou elemente [r
n
,r
n-1
]=[R
n
]
c) Cuvintele de cod corespunztoare fiecrui mesaj se obin n felul urmtor:
-mulimii r
n
i se aloc simbolul 0;
-mulimii r
n-1
i se aloc simbolul 1;
-la fiecare nou diviziune se aloc n plus un nou simbol 0 sau 1 pn cnd se ajunge
la o mulime care conine un singur element x
k
.
d) Din cele precedente rezult c formarea cuvntului de cod corespunztor
mesajului xk nu este unic fiindc la fiecare diviziune alocarea lui 0 sau 1 este arbitrar.
Rezult c se pot forma mai multe coduri care au aceeai lungime medie.







59
EX: Se consider sursa:
)
`

=
05 . 0 1 . 0 15 . 0 15 , 0 25 , 0 3 , 0
6 5 4 3 2 1 x x x x x x
X
Se aranjeaz simbolurile sursei n ordinea descresctoare a probabilitilor i se construiete
urmtorul tablou al surselor restrnse:
C
k
R
1
R
2
R
3

X
1
0.3(00) 0.3(00) 0.3(00) 0.4(1) 0.6(0)
0.3 (01)
X
2
0.25(10) 0.25(10) 0.25 (10) 0.3 (00) 0.4(1)

X
3
0.15(11) 0.15(11) 0.15 (11) 0.3 (01)

X
4
0.15(010) 0.15(010)
0.15(011)
X
5
0.10(0110)

X
6
0.05(0111)


= =
= =
N
1 i
i 2 i
N
1 i
i
2
i
p log p
x
log
x
) p( ) p( H(X)

H(X)=0.3log0.3+0.25log0.25+0.3log0.15+0.1log0.1+0.05log0.05=2.4 bit/simbol
l = 2.45 bit/simbol = l
i
P
i


975 , 0
2
) (
log
2
= =
l
X H



7.10. Algoritmi de codare entropic

7.10.1. Codarea Shannon-Fano

7.10.2. Codarea Huffman

7.10.3. Codarea aritmetic














60



8. CODAREA DE CANAL

Locul codrii de canal ntr-o schem de transmisiune a datelor :



Rolul codrii de canal : La trecerea prin canal, se produc modificri aleatoare ale
informaiei din cauza perturbaiilor. De aceea, la ieirea din canal, informaia nu poate fi
reconstituit fidel. Putem construi totui, un Codor de canal care s reduc probabilitatea de
eroare printr-o codare adecvat a irului de simboluri, nainte ca acestea s fie transmise prin
canal. La ieirea din canal, Decodorul de canal, face operaia invers pentru a reconstitui irul
de simboluri.

Observaie : Codarea de canal nu elimin erorile, ci doar reduce probabilitatea lor de apariie.


8.1. Probabilitatea de eroare la decodare

Fie [ ] [ ]
N
x x X , ,
1
= , sursa de informaie care emite la intrarea n canal, si [ ] [ ]
M
y y Y , ,
1
= ,
sursa care modeleaz ieirea canalului (se folosesc notaii diferite pentru intrare i ieire
pentru ca receptorul de la ieirea din canal poate schimba alfabetul). S presupunem c n
condiiile unei transmisii far perturbaii,
j
y se recepioneaza atunci cnd a fost transmis
i
x .

Probabilitatea ca
j
y s fie decodat gresit este:

( )
j i
y x p / 1

Pentru a minimiza aceast eroare, putem construi un decodor care s decodeze pe
j
y n
simbolul
i
x cel mai probabil, adic simbolul pentru care ( )
j i
y x p / este maxim. Presupunnd
c acest simbol este
j
x , atunci probabilitatea minim ca decodarea s fie greit va fi:

( )
j j
y x p / 1

n medie, probabilitatea de eroare la decodare va fi:

( ) ( ) ( ) ( )
j
j
j j
y p y x p E P

= / 1

U
P
S CoS C A N A L DecS DecC CoC U R
61

Observaii:

- decodorul care lucreaz pe acest principiu se numete Decodor cu rat minim de eroare
- aceast probabilitate poate fi calculat dac se cunoate matricea de zgomot a canalului i
probabilitile simbolurilor la intrarea n canal:

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
j
j
j j
j
j j
j
j j
j
j j
x p x y p y x p y p y p y x p E P

= = = / 1 , / 1


Exemplul 8.1 : Canalul binar simetric

Fie canalul cu matricea de zgomot: ( )
(

=
p p
p p
X Y P
1
1
/ unde p este probabilitatea de
transmisie eronat. Pentru un 2 , 0 = p , simbolurile cele mai probabile, cnd se receptioneaz,
1
y si
2
y , sunt
1
x si, respectiv,
2
x (probabilitile ( )
j i
y x p / maxime corespunzatoare sunt
8 , 0 ). n plus, dac nainte s-a facut o codare de surs care a condus la simboluri
echiprobabile :

( ) ( )
2
1
2 1
= = x p x p

atunci probabilitatea total de eroare a Decodorului cu rata minim de eroare va fi :

( ) ( ) ( ) ( ) 2 , 0
2
1
1 2 1 / 1 = = = =

p p x p x y p E P
j
j
j j



8.2. Codarea prin repetarea simbolurilor

O metod simpl de codare de canal este prin repetarea simbolurilor. Ea const din a
transmite fiecare simbol de un numar impar de ori. Decodarea se face prin logic majoritar.

Exemplul 8.2 :

a) Codarea unui ir binar prin repetare de trei ori a fiecarui simbol (transmisia se face prin
canalul din exemplul anterior)

Codarea : 0 -> 000
1-> 111

Decodarea : 000->0 111->1
001->0 110->1
010->0 101->1
100->0 011->1


62
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) p p p p p
x p x p x p x p x y p
decodat
2 1 1 1 3 1
0 / 100 0 / 010 0 / 001 0 / 000 0 / 0
2 2 3
+ = + =
= = + = + = + = = = =


( ) ( ) ( ) p p x y p
decodat
2 1 1 ... 1 / 1
2
+ = = = =

Rezult :
( ) ( ) ( ) ( ) ( ) ( ) 1 , 0 2
2
1
2 1 1 2 1 / 1
2
= + = =

p p p p x p x y p E P
j
j
j j


Observaii:

- probabilitatea total de eroare a scazut la jumatate
- se transmit de trei ori mai multe simboluri, deci rata de emisie a sursei (nr. de
simboluri pe secund) trebuie s fie mai mic dect capacitatea de transmisie a
canalului (nr. maxim de simboluri pe secund, care se pot transmite prin canal)

b) Codarea prin repetarea de cinci ori a fiecarui simbol :

( ) ( ) ( ) ( ) ( ) ( )
2 3 3 2 2
5
4 1
5
5 0
5
6 3 1 1 1 1 1 0 / 0 p p p p p C p p C p C x y p
decodat
+ + = + + = = =

( ) ( ) ( ) 05 , 0 6 3 1 1 1
2 3
+ + = p p p E P

Observaie :

- probabilitatea de eroare a sczut i mai mult, dar rata de emisie R trebuie s fie cel
mult o cincime din capacitate de transmisie C :


5
C
R

8.3. Teorema a 2-a a lui Shannon

Teorem : Dac avem o surs cu o rat de emisie R i un canal cu perturbaii, cu o capacitate
de transmisie R C > , exist un cod cu cuvinte de lungime n , astfel ncat probabilitatea de
eroare s fie :

( )
( ) R nE
E P

2

unde ( ) R E este o funcie nenegativ numit exponentul erorii.








R C
E(R
63
Observaii :

- Teorema a 2-a a lui Shannon este cunoscut i sub numele de Teorema codrii
canalelor cu perturbaii
- Funcia ( ) R E este o caracteristic a canalului de transmisiune
- Teorema a 2-a stabilete c pe un canal se poate face o transmisie cu probabilitate de
eroare ( ) E P orict de mic, dac rata de emisie a sursei se diminueaz suficient de mult.
- ntr-o aplicaie practic, dac se impune ( ) E P , cunoscnd funcia ( ) R E , se poate
determina rata (maxim) de emisie R a sursei sau, dac se impune R , se poate afla ( ) E P cu
care se va face transmisia pe canal pentru rata impus.

8.4. Spaiul cuvintelor

n Exemplul 8.2, fiecare simbol al sursei binare era codat printr-un cuvant de lungime 3,
obinut prin repetarea simbolului. Se obinea, astfel, o carte de cod constituit din dou
cuvinte :

Codarea : 0 -> 000
1-> 111

La decodare, din cauza perturbaiilor, poate fi recepionat orice cuvnt de lungime 3 :

Decodarea : 000->0 111->1
001->0 110->1
010->0 101->1
100->0 011->1

Definiie : Cuvintele emise de codor se numesc cuvinte cu sens, iar restul cuvintelor de
aceeasi lungime se numesc cuvinte fr sens. mpreun, ele constituie mulimea cuvintelor
de lungime n ( 3 = n n exemplul 8.2).

8.5. Reprezentarea grafic a cuvintelor

n Exemplul 8.2, s-au folosit cuvinte de lungime 3. ntr-un spatiu 3D, aceste cuvinte pot fi
reprezentate prin puncte :














64


Observaii :

- cuvintele cu sens sunt marcate cu negru
- schimbarea unui bit intr-un cuvnt este echivalent cu deplasarea pe una din laturile
cubului, spre unul dintre cuvintele vecine
- pentru a trece de la un cuvnt cu sens la cellalt, trebuie facui minim 3 pai
- decodorul cu logic majoritar din Exemplul 8.2 a decodat cuvintele fr sens
cautnd cuvntul cu sens cel mai apropiat


8.6. Distana Hamming

Definiie: Distana Hamming dintre dou cuvinte este egal cu suma biilor prin care
cuvintele difer.

( ) 3 111 , 000 =
H
d

Observaie : n reprezentarea grafic, distana Hamming este numrul minim de pai necesari
pentru a trece de la un cuvnt la cellalt.

R.W. Hamming (1915-1998) a lucrat la Los Alamos ntre 1944 si 1946 i apoi la Bell Labs i
Univ. Princeton.


8.7. Erori detectabile i erori corectabile

Codurile de canal pot fi :

- corectoare de erori (cuvintele fr sens sunt detectate i corectate)
- detectoare de erori (cuvintele fr sens sunt detectate i rejectate, iar decodorul
cere retransmisia cuvntului)

Codul din Exemplul 8.2. poate corecta o singur eroare (numai cuvintele fr sens care difer
printr-un singur bit de un cuvnt cu sens sunt corectate). Dac apar dou erori, cuvntul este
decodat greit. Cu acelai cod, dac nu se ncearc corectare ci se face doar rejecia cuvntului
fr sens, atunci pot fi eliminate dou erori. Spunem c avem un cod corector de o eroare i
detector de dou erori.




8.8. Specificarea cuvintelor cu sens

Cuvintele cu sens trebuie alese astfel nct distana Hamming minim dintre ele s fie ct mai
mare.

Dac 1 2
min
+ = e d
H
, codul este corector de e erori i detector de e 2 erori.
Dac e d
H
2
min
= , codul este corector de 1 e erori i detector de 1 2 e erori.
65
Exemplu: Codare prin adaugarea bitului de paritate (cuvinte de lungime 3)


Codarea : 00 -> 000
01-> 011
10-> 101
11-> 110















Observaie: este un cod detector de o eroare (de fapt, detector de orice numr impar de erori).

Exercitiu: Cte erori poate corecta/detecta urmatorul cod:

00000, 00111, 11001, 11110























66
9. CODURI CORECTOARE/ DETECTOARE DE ERORI


Clasificare :

- coduri bloc : - coduri grup

- coduri ciclice

- coduri convolutionale

Codurile bloc se obin tind irul de simboluri ce urmeaz s fie codat n blocuri de lungime
fix, numite blocuri de informaie, la care se aduag simboluri de control, calculate pe baza
simbolurilor de informaie. Simbolurile de control constituie blocul de control.










Coduri bloc :

- sistematice (simbolurile de control sunt grupate la nceputul sau sfrsitul
cuvtului)
- nesistematice (simbolurile de control sunt inserate n blocul de informaie)


La codarea cu coduri convolutionale, irul de simboluri de informaie se prelucreaz
continuu.


9.1. Coduri grup


Formalism matematic :

blocul de informaie : [ ]
k
i i i
1
=
blocul de control : [ ]
m
c c c
1
=
cuvntul de cod : [ ] [ ]
n k m
v v i i c c v
1 1 1
= =
cuvntul de eroare : [ ]
n

1
=
cuvntul de cod eronat : = v v'

Lungimea cuvntului de cod este k m n + = .

Observatii :
Bloc de control Bloc de informaie
CUVNT de COD
67
- cuvintele corecte sunt cuvintele de cod ; ele se mai numesc i cuvinte cu sens
- cuvintele eronate se mai numesc i cuvinte fr sens
- cuvntul de cod este un vector de dimensiune n
- elementele vectorilor sunt numere binare
- cuvintele de cod aparin unui spatiu vectorial, care are o structur de grup n raport
cu operaiile de adunare i nmulire modulo 2 (proprietate care d numele de coduri grup):


+ 0 1
0 0 1
1 1 0


x 0 1
0 0 0
1 0 1



9.1.1. Codarea

Pentru a nelege mecanismul codrii, trebuie cunoscut, mai nti, principiul coreciei/deteciei
de erori. Corecia sau detecia erorilor se fac cu ajutorul corectorilor.


Definiie : Corectorul este un vector, notat cu [ ]
m
z z z
1
= , care se obine pe baza
simbolurilor cuvntului recepionat ' v :

( ) z v = '

unde este un operator liniar.

Observaii :

a) dac ' v este corect, atunci corectorul este nul ; dac ' v este un cuvnt eronat, atunci
se obine un 0 z .
b) pentru corecie, ntre mulimea cuvintelor fr sens i mulimea corectorilor trebuie
s existe o coresponden biunivoc.
c) pentru detecia de erori, este suficient condiia 0 z

Observaia b) ne d urmatoarea regul de calcul pentru lungimea blocului de control al unui
cod corector de e erori :

1 2
1

=
m
e
i
i
n
C
68
Aceast inegalitate traduce condiia Numrul total de configuraii posibile de erori trebuie
s fie mai mic sau egal cu numrul de corectori nenuli.

Definiie : codurile pentru care inegalitatea de mai sus devine egalitate, se numesc coduri
perfecte sau coduri de redundan minim.


n cazul particular al codurilor corectoare de o eroare, aceast condiie devine :

1 2 +
m
m k

Elementele corectorului se obin prin rezolvarea urmtorului sistem de ecuaii liniare :

= + +
= + +
m n mn m m
n n
z v h v h v h
z v h v h v h
' '
2 2
'
1 1
1
'
1
'
2 12
'
1 11

care se poate scrie sub forma matriceal

z v =

) (
'


unde H este o matrice cu dimensiunea mxn. H se numete matrice de control.


a) Codarea cu matricea de control H

Deoarece, prin convenie, corectorul 0 = z corespunde cuvintelor corecte, rezult c putem
construi cuvintele de cod rezolvnd ecuaia :

z v =

) (

care este echivalent cu un sistem de m ecuaii liniare, suficiente pentru a determina cele m
simboluri de control necunoscute din componena cuvntului de cod.

Observaie:

- matricea H este predefinit
- coninutul su depinde de capacitatea de corecie/detecie a codului
- matricea H nu este unic

Forma canonic a lui H :

[ ] Q I
q q
q q
q q
H
m
mk m
k
k
=
(
(
(
(

=




1
2 21
1 11
1 0 0
0 1 0
0 0 1


69
este util n obinerea codurilor sistematice, la care simbolurile de control sunt grupate la
nceputul cuvntului de cod (fiecare ecuaie liniar are ca necunoscut un singur simbol de
control).

[ ]

Qi c I
i
c
Q I
m m
=
(

Qi c =

b) Codarea cu matricea generatoare G

O cale alternativ de a obine cuvintele de cod este prin intermediul unei matrici G, numit
matrice generatoare. Cuvintele se obtin rezolvnd ecuatia:

iG v =

unde i este blocul simbolurilor de informaie.

Observaii:

- G are dimensiunea kxn
- Intre G si H exist urmtoarea relaie: 0 =

G
Demonstraie : deoarece 0 =

v
( ) 0 =

iG
0 =

i G i
rezult 0 =

G

- forma canonic a matricii generatoare este [ ]
k
I Q G =
Demonstraie: [ ] 0 = =
(

Q Q
I
Q
Q I
k
m

- cu forma canonic se obine un cod sistematic cu simbolurile de control grupate la
nceputul cuvantului; blocul de control se calculeaz cu relaia

iQ c = .
- Demonstraie: [ ] [ ] [ ] i c iI iQ I Q i v
k k k
= = =



9.1.2. Decodarea

La recepie, decodarea cuvintelor se face conform urmatoarelor etape:

a) calculul corectorului (n cazul codului sistematic) :

[ ] [ ]
' ' ' ' '
'
'
'
' '
c c Qi c I
i
c
Q I i c H Hv z
m m
= =
(

= = =


b) identificarea erorii (este o etap care difer de la cod la cod)
c) corecia cuvntului:

=
'
v v
70

Observaii :

-
' '
c este blocul de corecie calculat pe baza simbolurilor de informaie recepionate
(care pot fi greite)
-
'
c este blocul de corecie recepionat


9.1.3. Relaii intre coloanele matricii de control H

a) n cazul codurilor corectoare de e erori

Fie vectorul eroare

[ ]
n

1
=

i cuvntul eronat

= v v
'


Corectorul calculat la recepie este :

( )

H v H Hv z = = =
'


Dac notm
n
h h h , , ,
2 1
, coloanele matricii de control, atunci corectorul este:

=
i
i i
h z

Definiie : Ponderea unui cuvnt de cod este dat de numrul de simboluri 1 din
componena cuvntului.

Observaii :

- sumele oricror e coloane ale matricii de control trebuie s fie diferite ntre ele
(deoarece corectorii trebuie sa fie diferii ntre ei)
- ponderea cuvintelor de cod este minim 1 2 + e (excepie cuvntul constituit numai din
0)

Demonstrtie: fie dou cuvinte de cod, v si w; distana minim
dintre cuvinte trebuie s fie cel puin 1 2 + e (codul este corector
de e erori), deci:

( ) w v w v d = ,

Dar suma w v este un tot un cuvnt de cod, deoarece
( ) 0 =

w v H , deci ponderea sa minim trebuie s fie ( ) w v d , ,
deci 1 2 + e .
71

b) n cazul codurilor detectoare de e erori

Corectorii trebuie s fie nenuli, dar pot fi identici pentru erori diferite.

Cazuri particulare:

- la codul detector de o eroare, matricea H trebuie s aibe toate coloanele nenule.
- la codul detector de un numr impar de erori este suficient o matrice

[ ] 1 1 1 = H

deoarece suma modulo 2 a unui nr impar de 1 este 1

Observaii :

- bordand cu o linie de 1 matricea H a unui cod corector de e erori, acesta capt i
proprietate de cod detector de un numr impar de erori


(

=
1 1 1 1
0
'
1 n
h h
H



- simbolul de control calculat cu aceast linie de 1 se numete bit de paritate.

9.1.4. Tabele de decodare
Aa cum s-a artat mai sus instalaia de la recepie, adic decodorul, se implementeaz dup relaia:

'
Hv z = (1)
Relaia 1 este echivalent cu:
( )

H v H Hv z = = =
'
(2)
Se pune problema dac odat determinat corectorul cuvntului recepionat cu relaia (1), nu se poate deduce din
(2) cuvntul eroare care, adunat apoi modulo 2 la cuvntul recepionat s determine cuvntul de cod transmis.
Acest lucru nu se poate realiza, deoarece matricea de control fiind dreptunghiular, avnd un numr de linii m i
un numr de coloane n>m, nu are invers.
Depirea acestui obstacol se poate realiza dac se ine cont c la recepionarea unui cuvnt se va decide c s-a
transmis acel cuvnt de cod care se afl la distana Hamming minim fa de cuvntul recepionat. Aceasta este
echivalent cu identificarea cuvntului eroare de pondere minim care realizeaz acelai corector ca al cuvntului
recepionat. n scopul deducerii unui astfel de cuvnt eroare, se folosesc tabelele de decodare. Un tabel de
decodare conine dou coloane. n prima coloan se scriu cuvintele eroare posibile n ordinea cresctoare a
ponderilor, iar n coloana a doua se nscriu corectorii corespunztori, calculai cu relaia (2). Dac n procesul
calculului corectorilor rezult un corector care a mai fost obinut anterior dintr-un cuvnt eroare de pondere mai
mic, atunci cuvntul eroare de pondere mai mare este eliminat din tabel. Tabelul de decodare se consider
complet cnd prin acest procedeu se obin toi cei
m
2 corectori distinci.
Odat ntocmit tabelul de decodare, pentru corecia erorilor dintr-un cuvnt recepionat se procedeaz astfel:

- se calculeaz cu relaia (2) corectorul cuvntului recepionat;
- se identific n tabelul de decodare cuvntul eroare (evident de pondere
minim) care determin acelai corector;
- se adun modulo 2 cuvntul eroare identificat la cuvntul recepionat,
rezultnd astfel cuvntul de cod transmis.
Pentru fixarea ideilor se consider un cod bloc, liniar, binar, caracterizat de
matricea de control:
72
(
(
(

=
0 1 1 1 0 0
1 0 1 0 1 0
1 1 0 0 0 1
H
. Dac cuvntul recepionat este v=[101111], s se determine cuvntul de cod transmis.
Tabelul de decodare este de forma:

Linia nti a tabelului corespunde cuvntului eroare de pondere zero. Liniile 27 corespund cuvintelor eroare de
pondere unu. Deoarece n liniile 8 i 9 celor dou cuvinte eroare de pondere doi le corespund corectorii din linia
a aptea, respectiv a asea, obinui din cuvinte eroare de pondere unu, aceste cuvinte eroare se elimin din tabel.
Numrul corectorilor distinci este egal cu 8 2 2
3 m
= = . Corectorul cuvntului recepionat se calculeaz cu
relaia (1):

[ ]
(
(
(

=
(
(
(
(
(
(
(
(

(
(
(

= =
1
0
1
1
1
1
1
0
1
0 1 1 1 0 0
1 0 1 0 1 0
1 1 0 0 0 1
'

v H z [ ] [ ] 1 0 1 =

z
Cuvntul eroare identificat din tabelul de decodare corespunde liniei a asea.
nseamn c s-a transmis cuvntul de cod
[101101] = [000010] [101111] = v' = v
n general, structura cuvintelor eroare care compun tabelul de decodare determin structura erorilor ce pot fi
corectate. n exemplul de mai sus se pot corecta toate erorile singulare. Deoarece corectorul [111] =

z
poate rezulta i din alte cuvinte eroare de pondere doi nseamn c, dac corectorul unui cuvnt recepionat
coincide cu cel din linia a zecea, se va decide c n cuvntul recepionat au aprut erori pe poziiile 1 i 4, dei
cele dou erori pot aprea i pe alte poziii. Prin definiie, se numete cod perfect codul care poate corecta toate
combinaiile de e erori sau mai puine, dar nici o combinaie de e+1 erori. Conform definiiei, nseamn c, n
cazul unui cod perfect, n tabelul de decodare vor exista 1
0
=
n
C cuvinte eroare de pondere zero, un numr de
n C
n
=
1
cuvinte eroare de pondere unu, un numr de
2
n
C cuvinte eroare de pondere doi .a.m.d., un numr de
e
n
C cuvinte eroare de pondere e, toate posednd corectori distinci. Numrul cuvintelor eroare corespunztoare
se poate determina cu relaia:

=
= + + + + =
e
i
i
n
e
n n n n
C C C C C N
0
2 1 0
.....
73
avind in vedere ca
(
(
(
(

=
m
z
z
z
z
2
1
{ } 1 , 0
i
z m i , 1 = rezult c se pot forma
m
2 corectori distinci.

Pentru a se realiza o bijecie ntre mulimea cuvintelor eroare posibile i mulimea corectorilor este necesar s fie
ndeplinit condiia:

e
i
i
n
m
C
0
2 sau 1 2
1

=
m
e
i
i
n
C
Numrul ntreg pozitiv m, cel mai mic, care satisface relaia de mai sus , definete marginea Hamming. Marginea
Hamming astfel obinut reprezint numai o condiie necesar i nu totdeauna i suficient pentru corecia a e
erori sau mai puine. Acest lucru se datoreaz faptului c exist cuvinte eroare distincte, de aceeai pondere,
crora le corespund corectori identici.
Datorit acestei particulariti, marginea Hamming (relaia de mai sus ) devine o condiie necesar i suficient
pentru codurile perfecte. Pn n prezent se cunosc coduri perfecte corectoare de o eroare i codul Golay,
corector de 3 erori sau mai puine, n care lungimea cuvintelor de cod este n=23, iar
numrul simbolurilor de control este m=11, deoarece:
3
23
2
23
1
23
0
23
11
2 C C C C + + + =




9.1.5. Codor i decodor Hamming corector de o eroare

Fie k numrul simbolurilor informaionale necesare transmiterii unei informaii. Conform relaiei
1 2
1

=
m
e
i
i
n
C , numrul simbolurilor de control, m, ce trebuie adugate n scopul coreciei unei erori, se
determin din relaia:
1 k m 2
m
+ + (1)
Pentru corecia unei erori matricea de control trebuie astfel ntocmit, nct toate coloanele acesteia s fie diferite
de matricea nul, ], [0 ] [h
i
n i , 1 = i, n plus, suma modulo 2 a oricror dou coloane distincte s fie, de
asemenea, diferit de matricea nul, adic ], [0 ] [h ] [h
j i
, oricare ar fi n i , 1 = i n j , 1 =
Pentru a satisface aceste cerine, Hamming a propus ntocmirea matricei de control dup urmtoarea regul:
coloana ] [h
i
s fie reprezentarea binar a numrului i pe m bii, cu bitul cel mai semnificativ n prima linie.
Conform acestei reguli matricea de control va avea forma:
(2)

n scopul simplificrii implementrii codorului, tot Hamming a propus ca n structura matriceal a cuvintelor de
cod simbolurile de control s fie plasate pe poziiile
1 - m 2 1 0
2 ..., , 2 , 2 , 2 , numrtoarea efectundu-se de la
stnga la dreapta. Cele k simboluri de informaie vor ocupa locurile rmase libere, adic:
(3)

unde prin {0,1} c
j
s-au notat simbolurile de control, iar pin {0,1} i
k
simbolurile informaionale.
74
Determinarea simbolurilor de control, cunoscute fiind simbolurile informaionale, se efectueaz cu relaia
0 ) ( =

v , n care matricea de control [H] are forma (2), iar cuvntul de cod structura (3), adic:
(4)

Ecuaia matriceal (4) este echivalent cu urmtorul sistem de ecuaii:
(5)
Instalaia de la emisie, adic codorul, care are misiunea de a calcula simbolurile de control, cunoscute fiind
simbolurile informaionale, va fi format dintr-un registru care conine n circuite basculante bistabile n care se
stocheaz simbolurile informaionale n poziiile corespunztoare din cuvntul de cod i o serie de sumatoare
modulo 2 care, conform sistemului de ecuaii (5), calculeaz simbolurile de control.
Simbolurile de control astfel calculate se stocheaz apoi n poziiile n care acestea intervin n cuvntul de cod.
Pentru fixarea ideilor, se presupune c pentru transmiterea unei anumite informaii sunt necesare k=4 simboluri.
Pentru a ntocmi instalaia de codare, se calculeaz mai nti numrul necesar de simboluri de control cu relaia
(1), adic:
7 k m n 3 m 5 m 2
m
= + = = +
Cele trei simboluri de control, conform sistemului de ecuaii (5), se calculeaz cu relaiile:
(6)
Codorul va avea atunci structura din figura

Fig.1 Codor Hamming

Instalaia de la recepie, adic decodorul, se implementeaz conform relaiei z v =

) (
'
(7)
Dac cuvntul recepionat este de forma:
(8)
75
atunci, nlocuind matricea de control H (2) i ) (
'
v (8) n relaia (7) i innd cont c
(
(
(
(

=
m
z
z
z
z
2
1
, rezult:
(9)
Pe de alt parte, se tie c n cuvntul recepionat exist o singur eroare, caracterizat de cuvntul eroare:
[ ]
i
= (10)
unde 1 =
i
( ) n i , 1 = , restul elementelor fiind nule.
Notnd cu ] [h ..., ], [h ], [h
n 2 1
coloanele matricei definite cu relaia (2), rezult din relaia
( )

H v H Hv z = = =
'
(11)
i relaia 10 structura matriceal a corectorului:
(12)
Deoarece coloana [hi] este reprezentarea binar a numrului i pe m bii, rezult c poziia erorii n cuvntul
recepionat se deduce astfel:
- se calculeaz componentele corectorului cu relaia (7), sau, echivalent, cu sistemul de ecuaii (9);
- se transcrie n zecimal numrul binar corespunztor componentelor corectorului, adic:
(13)
n felul acesta se precizeaz poziia i a erorii. Decodorul Hamming, corector de o eroare va fi format, deci, dintr-
un registru cu n circuite basculante bistabile n care va fi memorat cuvntul recepionat, o serie de sumatoare
modulo 2 care, conform sistemului de ecuaii (9), calculeaz componentele corectorului i un descifrador care,
conform relaiei (13), este un decodificator din binar n zecimal cu m intrri i
n ieiri.

Pentru fixarea ideilor, se presupune c s-a recepionat cuvntul ] i i i c i c [c ] [v'
'
7
'
6
'
5
'
4
'
3
'
2
'
1
= . Conform relaiei
(9), se poate scrie, n acest caz particular, sistemul de ecuaii:
(14)
76

Fig.2. Decodor Hamming



9.1.6. Codor i decodor Hamming corector de o eroare,detector de erori duble

n scopul coreciei unei erori i a detectrii erorilor duble trebuie adugat la cele k simboluri informaionale, pe
lng simbolurile de control necesare coreciei unei erori, un simbol suplimentar, numit de control al paritii,
prin care se decide dac n cuvntul recepionat sunt dou erori sau o eroare.
Structura matriceal a cuvntului de cod n acest caz este de forma:
(9.1.6..1)
unde
0
c este simbolul suplimentar de control al paritii, ales astfel nct s respecte relaia:
(9.1.6.2)

Pentru ca simbolurile de control ... , c , c , c
4 2 1
s fie calculate cu aceleai relaii ca n cazul codului Hamming
corector de o eroare (5) i s aib loc suplementar relaia (9.1.6x.2), matricea de control trebuie s aib structura:
(9.1.6.3)
unde ] [h
i
, n i , 1 = , reprezint coloanele matricei de control din cazul codului Hamming corector de o eroare

Fie
(9.1.6.4)

cuvntul recepionat.

Calculnd corectorul acestui cuvnt cu relaia (7), n care [H] este dat de relaia (9.1.6.3), structura matriceal a
corectorului va fi de forma:
, (9.1.6.5)
unde componentele corectorului z ..., , z , z
m 2 1
vor fi calculate cu aceleai relaii ca n cazul codului Hamming
corector de o eroare (relaia 9), n timp ce

(9.1.6.6)
Comparnd relaia (9.1.6.2)cu (9.1.6.6), rezult c, dac n cuvntul recepionat a aprut un numr impar de
erori, atunci 1 z
0
= , iar dac a aprut un numr par de erori, atunci 0 z
0
= .
Dac pe canalul de transmisiuni pot s apar cel mult dou erori, rezult urmtoare trei situaii:
a) Toate componentele corectorului sunt nule, adic:
(9.1.6.7)
77
n acest caz se decide c ceea ce s-a recepionat este corect.
b) Componenta 1 z
0
= . n acest caz, n cuvntul recepionat a aprut o eroare a crei poziie se
determin transcriind n zecimal numrul binar format din componentele corectorului z ..., , z , z
m 2 1
, adic:
(9.1.6.8)
c) Componenta 0 z
0
= , iar celelalte componente ale corectorului nu sunt toate nule. n acest caz se
decide c n cuvntul recepionat sunt dou erori necorectabile, caz n care se va cere retransmisia cuvntului
respectiv.


9.2. Coduri ciclice

Codurile ciclice fac parte din categoria codurilor bloc. Pentru reprezentarea cuvintelor de cod,
se folosesc aceleai notaii ca la codurile grup (Sectiunea 8.1):

blocul de informaie : [ ]
k
i i i
1
=
blocul de control : [ ]
m
c c c
1
=
cuvntul de cod : [ ] [ ]
n k m
v v i i c c v
1 1 1
= =
cuvntul de eroare : [ ]
n

1
=
cuvntul de cod eronat : = v v'

Elementele vectorilor ( ) 2 GF .

Lungimea blocului de control se calculeaz la fel ca n cazul codurilor grup:

1 2
1

=
m
e
i
i
n
C

unde e este numrul maxim de erori pe care codul le poate corecta.


9.2.1. Reprezentarea cuvintelor de cod ca polinoame

n studiul codurilor ciclice, un cuvnt de lungime n se reprezint printr-un polinom de grad
1 n :

[ ]
1 0
=
n
v v v ( )
1
1 1 0

+ + + =
n
n
x v x v v x v

Observaie :

- la codurile ciclice, numerotarea elementelor binare care constituie cuvntul se face cu
indici cuprini ntre 0 i 1 n pentru a avea o notaie congruent cu gradul polinomului ;
aceast schimbare de notaie nu modific lungimile blocurilor de informaie i control.

Blocurile de informaie i de control sunt polinoame de grad 1 k si, respectiv, 1 m :

( )
1
1 1 0

+ + + =
k
k
x i x i i x i
78

( )
1
1 1 0

+ + + =
m
m
x c x c c x c


9.2.2. Spaiul cuvintelor

Cuvintele unui cod ciclic de lungime n sunt clase de resturi modulo ( ) : 1 + =
n
x x p

Clasa de resturi 0 : ( ) 0 = x v ( ) ( ) x p x v = .
Clasa de resturi 1 : ( ) 1 = x v ( ) ( ) 1 + = x p x v .
Clasa de resturi x + 1 : ( ) x x v + =1 ( ) ( ) x x p x v + + = 1 ..
.
( )
1
1

+ + + =
n
x x x v

Observaie :

- sunt
n
2 clase de resturi
- dintre ele, numai
k
2 sunt cuvinte cu sens


9.2.3. nmulirea claselor de resturi modulo ( ) 1 + =
n
x x p

Fie polinomul ( ) 1
3
+ = x x p i dou dintre clasele sale de resturi:

( ) x h h x h
1 0
+ =

( )
2
2 1 0
x v x v v x v + + =

Produsul celor dou clase este :

( ) ( ) ( ) ( )
3
2 1
2
1 1 2 0 0 1 1 0 0 0
x v h x v h v h x v h v h v h x v x h + + + + + =

Deoarece ( ) x p face parte din clasa de resturi 0, rezulta ca:

0 1
3
= + x 1
3
= x

Deci

( ) ( ) ( ) ( )
2
1 1 2 0 0 1 1 0 2 1 0 0
x v h v h x v h v h v h v h x v x h + + + + + =

Observaie:
- condiia ( ) ( ) 0 = x v x h este echivalent cu

0
2 1 0 0
= + v h v h
0
0 1 1 0
= + v h v h
79
0
1 1 2 0
= + v h v h

unde fiecare ecuaie conine produsul scalar dintre [ ] 0
1 0
h h h = i o permutare
circular a lui [ ]
2 1 0
v v v v = .

- setul de ecuaii se poate scrie sub form de matrice astfel:

0
0
0
0
2
1
0
0 1
0 1
1 0
=
(
(
(

(
(
(

v
v
v
h h
h h
h h



9.2.4. Specificarea cuvintelor cu sens

Cuvintele cu sens se aleg astfel nct s fie multiplii unui polinom ( ) x g , de grad m:

( )
m
m
x g x g g x g + + + =
1 0


Polinomul ( ) x g trebuie s fie un divizor al lui ( ) x p :

( ) ( ) ( ) x h x g x p =


9.2.5. Codarea


a) Obinerea codului nesistematic

( ) ( ) ( ) x g x i x v =

Observaii :

- gradul lui ( ) x v este 1 1 = + n m k


b) Obinerea codului sistematic

Polinomul care reprezint cuvntul cu sens trebuie s fie de forma :

( ) ( ) ( ) x i x x c x v
m
+ =

Calculul polinomului de control ( ) x c se bazeaz pe faptul c orice cuvnt cu sens este
multiplu al lui ( ) x g :

80
( )
( )
0 =
x g
x v
rest
( ) ( )
( )
( )
( )
( )
0 = + =
+
x g
x i x
rest x c
x g
x i x x c
rest
m m


Deci :

( )
( )
( ) x g
x i x
rest x c
m
=


9.2.6. Decodarea


Fie cuvntul recepionat :

( ) ( ) ( ) x x v x v + = '

unde ( ) x este un polinom de grad 1 n , care simuleaz eroarea:

( )
1
1 0

+ + =
n
n
x x

Corectarea se face, ca i n cazul codurilor grup, calculnd un corector. La codurile ciclice,
corectorul este un polinom ( ) x z , de grad 1 n .

a) Etapele decodrii la codurile nesistematice

- calculul corectorului:

( )
( )
( )
( )
( ) x g
x
rest
x g
x v
rest x z

= =
'


- identificarea poziiilor eronate se face prin cutare ntr-un tabel predefinit, n care
pe o coloan avem toate polinoamele ( ) x posibile i pe cealalt, corectorii ( ) x z
corespunztori. Acest tabel se numeste Tablou al claselor de resturi.

- corectarea cuvntului:

( ) ( ) ( ) x x v x v + = '

- extragerea blocului de informaie

( )
( )
( ) x g
x v
x i =

b) Etapele decodrii la codurile sistematice

81
- se calculeaz un polinom de control ( ) x c ' ' folosind simbolurile de informaie
receptionate, reprezentate prin ( ) x i' :

( )
( )
( ) x g
x i x
rest x c
m
'
' ' =

- corectorul se obine adunnd ( ) x c ' ' cu blocul de control recepionat, reprezentat
prin polinomul ( ) x c' :

( ) ( ) ( ) x c x c x z ' ' ' + =

- se identific pozitiilor eronate la fel ca la codurile nesistematice

- se corecteaz cuvntul:

( ) ( ) ( ) x x v x v + = '

- extragerea blocului de informaie prin reinerea ultimilor k coeficieni ai lui ( ) x v


Observaii :

- la codurile sistematice, decodarea este mai simpl pentru c se elimin imprirea
din ultima etap (de extragere a simbolurilor de informaie).
- n Tabloul claselor de resturi, fiecare rest corespunde unui singur polinom ( ) x ,
dar provine din mparirea a
n
2 cuvinte diferite:


Cuvinte eroare Cuvinte receionate corectori
Cuvinte cu sens 0
( ) ( ) x v x v
n
2
1

0
( ) x
1
( ) ( ) ( ) ( ) x v x x v x
n
2
1 1 1
+ + ( )
( ) x g
x
rest
1

( ) x
2
( ) ( ) ( ) ( ) x v x x v x
n
2
2 1 2
+ + ( )
( ) x g
x
rest
2

Cuvinte fr sens
........... ............ .............


Justificare pentru calculul corectorului la codurile sistematice:

( ) ( ) ( ) ( )
( )
( ) x g
x i x
rest x c x c x c x z
m
'
' ' ' ' + = + =
( ) x c' fiind de grad m < , relaia anterioar se poate scrie:

( )
( ) ( )
( )
( )
( )
( )
( ) x g
x
rest
x g
x v
rest
x g
x i x x c
rest x z
m

= =
+
=
' ' '

82

ceea ce arat c este vorba de acelai corector.


9.2.7. Codarea folosind polinomul ( ) x h

Din condiia ( ) ( ) ( ) x h x g x p = , rezult c ( ) x h este un polinom de grad k :

( )
k
k
x h x h h x h + + + =
1 0


i

( ) ( ) ( ) ( ) ( ) 0 = = x g x i x h x v x h

Relaia ( ) ( ) 0 = x v x h este o modalitate alternativ de obinere a cuvintelor cu sens.

Observaie:

- n calculul produsului ( ) ( ) x v x h trebuie inut seama de faptul c ( ) x h si ( ) x v sunt
clase de resturi modulo ( ) x p .

9.2.8. Codarea folosind calculul matriceal

a) Codarea cu polinomul generator ( ) x g

Relaia ( ) ( ) ( ) x g x i x v = se poate scrie :

( ) ( ) ( ) ( ) x g x i x xg i x g i x v
k
k
1
1 1 0

+ + =

Dac notm

( )
( )
( )
(
(
(
(
(
(

=
(
(
(
(
(
(

m
m
m
k
g g g
g g g
g g g
x g x
x xg
x g
G

1 0
1 0
1 0
1
0 0
0 0
0 0


[ ]
1 1 0
=
n
v v v v

[ ]
1 1 0
=
k
i i i i

atunci nmulirea de polinoame ( ) ( ) ( ) x g x i x v = se poate scrie ca o nmulire de matrice:

G i v =

83
b) Relaia ( ) ( ) 0 = x v x h este o alt modalitate de obinere a cuvintelor cu sens. Matriceal,
aceast ecuaie se poate scrie astfel (generalizarea exemplului din Seciunea 8.2.3.):

0
0
0 0
0
0
1
1
0
0 1
0
2 3 0 1
1 2 0
=
(
(
(
(
(
(

(
(
(
(
(
(

n k
k
v
v
v
h h h
h h
h h h h
h h h

Dac v sunt cuvinte de cod sistematice, numai m elemente trebuie determinate (simbolurile
de control). n acest caz, se lucreaz cu o matrice redus la m coloane:

(
(
(
(
(
(

0 1
0
1
1
0
0 0
0 0 0
0 0
h h h
h h
h h
h h
H
k
k
k k
k k








Observaie:

- ecuaia matriceal este echivalent celei de la codarea codurilor grup folosind
matricea de control H

0 =

Hv

- ntre G i H , exist aceeai relaie ca la codurile grup :

0 = =

HG GH


9.2.9. Dou proprieti ale codurilor ciclice

Proprietatea 1: Orice permutare circular a unui cuvant de cod este tot un cuvant de cod.

Justificare :

Fie cuvntul de cod [ ]
1 0
=
n
v v v reprezentat prin ( )
1
1 1 0

+ + + =
n
n
x v x v v x v .
Produsul ( ) x xv corespunde permutrii circulare la dreapta, cu o poziie, a cuvntului v :

( )
1
2
2
1 0 1 1
2
1 0

+ + + + = + + + =
n
n n
n
n
x v x v x v v x v x v x v x xv , deoarece n clasele de
resturi modulo ( ) x p , avem 1 =
n
x .

Din ( ) ( ) 0 = x v x h (condiie ndeplinit de toate cuvintele de cod), rezult c
( ) ( ) 0 = x xv x h , ceea ce arat c permutarea la dreapta a lui v este tot un cuvnt de cod.
84


Proprietatea 2: Orice combinaie liniar de cuvinte de cod este tot un cuvnt de cod.

Justificare:

Fie dou cuvinte de cod reprezentate prin polinoamele ( ) x v i ( ) x u . Cuvntul
( ) ( ) ( ) x bu x av x w + = este un cuvnt de cod deoarece
( ) ( ) ( ) ( ) ( ) [ ] ( ) ( ) ( ) ( ) 0 = + = + = x u x bh x v x ah x bu x av x h x w x h

Observaie:

- numele de coduri ciclice este dat de Proprietatea 1



9.2.10. Exemplu: Codarea i decodarea folosind un cod ciclic corector de o eroare, pentru
blocuri de informaie de lungime 4 = k .

Calculul lungimii blocului de control :

Din condiia 1 2 +
m
k m , rezult 3 = m si 7 = n

Codare cu cod sistematic obinut cu un polinom generator ( ) x g

Alegerea polinomului generator :

Divizorii lui ( ) 1
7
+ = x x p : ( ) ( )( )( ) 1 1 1
2 3 3
+ + + + + = x x x x x x p
Dintre divizorii lui ( ) x p , se alege un polinom ( ) x g de grad 3 = m . De exemplu,
( )
3 2
1 x x x g + + =

Calculul blocului de control :

Pentru fiecare polinom de informaie, se calculeaz polinomul de control cu relaia
( )
( )
( ) x g
x i x
rest x c
3
= . De exemplu, pentru [ ] 0 1 0 0 = i , rezult ( )
2
x x i = si ( ) x x c + =1 ,
deci [ ] 0 1 1 = c

Asamblarea cuvntului de cod:

( ) ( ) ( )
5 3
1 x x x i x x c x v + + = + =
deci [ ] 0 1 0 0 0 1 1 = v

Asamblarea carii de cod:

Se construiete un tabel cu
4
2 linii (numrul de blocuri de informaie posibile) i dou
coloane : bloc de informaie i cuvnt de cod corespunzator.
85

Asamblarea Tabloului claselor de resturi pentru corecia erorilor:

Se construiete un tabel cu 8 1 = + n linii (numarul de corectori distinci) i dou
coloane: eroarea ( ) x i corectorul ( ) x z . Corectorul se obine cu relaia ( )
( )
( ) x g
x
rest x z

= .

Decodarea cuvintelor recepionate, de exemplu a cuvantului [ ] 1 0 0 1 1 1 0 ' = v :

- se calculeaz polinomul de corecie ( )
( )
( )
( )
( )
x
x g
x x
rest
x g
x i x
rest x c + =
+
= = 1
1 '
' '
3 3 3

- se calculeaz corectorul ( ) ( ) ( )
2 2
1 1 ' ' ' x x x x x c x c x z + = + + + = + =

- se identific ( ) x prin cautare n Tabloul claselor de resturi

- se corecteaz cuvntul: ( ) ( ) ( ) x x v x v + = '


Alternativa 2: Codare cu cod sistematic folosind polinomul de control
( ) ( )( ) 1 1
3
+ + + = x x x x h

Alternativa 3: Codare cu cod nesistematic folosind polinomul generator ( ) x g

Alternativa 4: Codare cu cod nesistematic folosind matricea generatoare G

Alternativa 5: Codare cu cod sistematic folosind matricea de control H