Sunteți pe pagina 1din 38

Dr. ing.

Germn-Sall Zoltn


Transmisia datelor

Elemente de teoria transmisiunii informaiei
Partea I




Curs. Format electronic
Anii IV Calculatoare, Automatic, ISE




2012

Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
2
Cuprins

1 Introducere ............................................................................................................. 3
1.1 Modelul unui sistem de transmisie a informaiei ................................................. 3
1.2 Sarcina unui sistem de transmisie a informaiei ................................................. 4
2 Elemente de teoria transmisiunii informaiei ............................................................ 6
2.1 Msura informaiei n semnale discrete .............................................................. 6
2.1.1 Unitatea de msur a informaiei ................................................................ 8
2.2 Surse discrete de informaie ............................................................................. 10
2.2.1 Surse discrete de informaie fr memorie ................................................. 11
2.2.2 Entropia informaional a unei surse discrete fr memorie ....................... 11
2.2.3 Redundana si eficiena sursei .................................................................. 13
2.2.4 Momente. Debit de momente ..................................................................... 13
2.2.5 Debit de informaie. Debit de decizie. ........................................................ 14
2.3 Canale de transmisiune discrete. ..................................................................... 14
2.3.1 Probabiliti i entropii n canale discrete .................................................. 14
2.3.1.1 Entropie condiionat ............................................................................ 15
2.3.1.2 Relaii ntre entropii .............................................................................. 16
2.3.2 Transinformaia ....................................................................................... 17
2.3.3 Capacitatea canalului discret, redundana, eficiena .................................. 18
2.3.4 Capacitatea canalului prin band (B) i raport semnal/zgomot () .............. 20
2.3.4.1 Rezoluia n timp ................................................................................... 21
2.3.4.2 Rezoluia n amplitudine ........................................................................ 21
2.3.4.3 Capacitatea canalului de transmisie ....................................................... 21
2.4 Codarea surselor pentru canale fr perturbaii ................................................ 23
2.4.1 Coduri unic decodabile ............................................................................. 24
2.4.2 Coduri instantanee: .................................................................................. 24
2.4.3 Lungimea medie al unui cuvnt de cod ..................................................... 24
2.4.3.1 Limita inferioar a lungimii medii a unui cuvnt de cod. ......................... 25
2.4.4 Capacitatea , eficiena si redundana codului ............................................ 26
2.4.5 Teorema codrii canalelor fr zgomot ....................................................... 26
2.4.6 Metode de codare compact ...................................................................... 27
2.4.6.1 Metoda Shannon-Fano de codare binar ................................................ 27
2.4.6.2 Metoda Huffman de codare binar ......................................................... 28
2.4.6.3 Metoda Huffman de codare D-ar........................................................... 29
2.5 Codarea pentru canale cu perturbaii ............................................................... 29
2.5.1 Teorema lui Shannon pentru canale cu perturbaii .................................... 29
2.5.2 Coduri grup ............................................................................................. 29
2.5.2.1 Distana Hamming ................................................................................ 30
2.5.2.2 Decizie pe baza distanei minime ........................................................... 30
2.5.2.3 Cuvntul de eroare ................................................................................ 31
2.5.2.4 Mecanismul de detecie i corecie a erorii .............................................. 31
2.5.2.5 Matricea de corecie ............................................................................... 32
2.5.2.6 Codarea codurilor grup cu matricea de corecie ...................................... 33
2.5.2.7 Relaiile ntre coloanele matricei H n cazul coreciei erorilor ................... 33
2.5.2.8 Codarea codurilor grup cu ajutorul matricei generatoare G ..................... 35
2.5.2.9 Formarea corectorilor ............................................................................ 36
2.5.3 Coduri Hamming grup .............................................................................. 36
2.5.3.1 Codul Hamming grup corector de o eroare .............................................. 36
2.5.3.1.1 Codarea ........................................................................................... 37
2.5.3.1.2 Decodarea ........................................................................................ 37
2.5.3.2 Coduri Hamming modificate .................................................................. 38
2.5.3.3 Codul Hamming extins (corector de o eroare i detector de erori duble) .... 38
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
3

1 Introducere

In transmisii de date este foarte important ca informaia s ajung de la surs la
utilizator fr s fie deteriorat n timpul trecerii prin canal.


fig 1 Locul transmisiei datelor ntr-un sistem numeric

De aceea informaia este codat apoi modulat inainte ca ea s ajung pe canalul de
transmisie. Dup ce semnalul ajunge prin canalul de transmisie la destinaie (utilizare),
semnalul este demodulat iar apoi decodat.Deci rolul codrii este, ca informaia s nu fie
distrus n timpul transmisiei, de perturbaii , zgomote.

1.1 Modelul unui sistem de transmisie a informaiei

Cel mai simplu model al unui sistem de transmisiune a informaiei este prezentat n
figura 2.

fig 2 Modelul unui sistem de transmisia informaiei

n acest caz se presupune c mesajul sub forma n care este dat de surs poate fi
transmis direct prin canal fr a suferi transformri.Sursa de perturbaie este un element
ce apare n mod inevitabil n orice sistem de transmisiune a informaiei.
Modelul din figura 2 corespunde n general cazurilor cnd informaia trebuie
transmis la distan mic i erorile pricinuite de zgomot sunt mici. Dac mesajul nu
poate fi transmis ca atare prin mediu (din cauza dificultilor de propagare sau din cauza
necesiii de a realiza transmisiuni multiple) se introduc elementele de modulare si
demodulare asa cum se arat in figura 3.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
4


fig 3 Structura unui sistem de transmisii cu modulare/demodulare

Marea majoritate a sistemelor de transmisie a informaiei utilizate n prezent au
structura prezentat in figura 3. n cazurile in care se caut mrirea eficienei, respectiv a
posibilitii transmiterii unor cantiti ct mai mari de informaie n prezena
perturbaiilor, se utilizeaz si elemente de codare i decodare cum se prezint n figura
4.n care se includ uneori procedee de decizii statistice.
fig. 4 Structura unui sistem de transmisii cu modulare/demodulare i codare-decodare

1.2 Sarcina unui sistem de transmisie a informaiei

Sarcina unui sistem de transmisie a informaiei este de a pune la dispoziia
utilizatorului informaia generat de surs cu un grad de deteriorare specificat admis.n
tehnicile de comunicaii se obinuiete s se introduc un criteriu de fidelitate, pentru
aprecierea reproducerii semnalului generat de surs, la corespondent. In sistemele de
transmisiune analogice criteriul de fidelitate este ales uneori eroarea medie ptratic:

= [ ( ) ( )] x t y t
2


Unde, x(t)-este mesajul transmis; y(t)-este mesajul receptionat, n(t)-este semnalul
perturbator iar media se face n raport cu timpul; alteori se alege drept criteriu de
fidelitate raportul semnal/perturbaie

=
[ ( )]
[ ( )]
x t
n t
2
2


La sistemele numerice criteriul de fidelitate ales este probabilitatea recepionrii
unui simbol eronat. Majoritatea sistemelor de comunicaii utilizate n prezent se
caracterizeaz prin faptul c la capetele terminale ale canalului sunt fiine umane.n
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
5
cazul acesta mijloacele de comunicaii pot fi considerate c ar fi de fapt o prelungire a
simurilor: telefonul, de exemplu, face posibil convorbirea a dou persoane ca i cnd ele
ar fi prezente in acelai loc. Perturbaiile prezente in majoritatea sistemelor de
comunicaii sunt asemntoare perturbaiilor naturale la care simurile umane s-au
adaptat. Acesta este motivul pentru care sistemele clasice de comunicaii dau rezultate
satisfctoare cu un echipament terminal redus.
Se tie din experien c n cazul unei convorbiri telefonice n care intervin
perturbaii foarte puternice, se vorbete mai tare, mai rar i se utilizeaz un vocabular
mai redus de cuvinte uzuale.Prin acesta se adapteaz sursa de informaie la cablul de
comunicaie disponibil (existent).
Comunicaia de la main la main se dezvolt n prezent din ce n ce mai mult pe
lng mijloacele tradiionale de comunicaie.Automatizrile complexe ale proceselor de
producie, schimbul de date cu calculatoarele fac ca sistemele de comunicaie main-
main s se dezvolte vertiginos.
Spre deosebire de comunicaia de la om la om, n comunicaia de la main la
main nu mai are loc o codare natural pe care o efecueaz creierul n vederea adaptrii
la canalul de informaie.Acest fapt conduce la mrirea complexitii echipamentului
terminal n vederea obinerii la procesul de transmisiune a fidelitii cerute.
mbuntirea calitii transmisiunii se poate face i prin mbuntirea canalului.
n alegerea metodei de imbuntire a calitii a transmisiunii trebuie s se fac o
comparaie ntre preul echipamentului terminal i cel al canalului.
Tendinele actuale de dezvoltare indic o tendin spre creterea complexitii
echipamentului terminal al crui pre devine din ce n ce mai sczut datorit utilizrii
circuitelor integrate pe scar larg i foarte larg(LSI, VLSI), a cror producie de mas se
face la un pre sczut.
Nu acelai lucru se poate spune despre costul canalelor de transmisiune Dei n
acest domeniu se fac progrese mari, prin faptul c ele nu se preteaz la o producie de
mas, probabil c preul lor nu va scdea nici in viitor. Acest fapt explic tendina spre o
utilizare mai raional a canalului de transmisie prin mrirea complexitii
echipamentului terminal, astfel ca acesta s poat efectua operaiile necesare mririi
eficienei transmisiunii.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
6
2 Elemente de teoria transmisiunii informaiei

Una din problemele fundamentale ale teoriei informaiei este msurarea cantitii
de informaie pe care o furnizeaz un cmp de probabilitate produs de un experiment sau
de o variabil aleatoare. Mrimea intuitiv de cantitate de informaie trebuie s posede
proprietile naturale pe care le impune noiunea de cantitate, ca de exemplu aditivitatea,
asociativitatea, etc. Aceste proprieti constituie axiomele fireti cu ajutorul crora se
definete noiunea de cantitate de informaie

2.1 Msura informaiei n semnale discrete

Msura informaiei este o msur a nedeterminrii asupra unui sistem de
evenimente, respectiv o msur a incertitudinii asupra rezultatului alegerii printr-un
mecanism aleator a unui eveniment din mulimea evenimentelor posibile, distincte.
Pentru precizare se consider mulimea discret i finit a tuturor evenimentelor
posibile, ale unui experiment care se va numi spaiul esantioanelor i se va nota sub
urmtoarea form matricial:
[ ] [ ]
n
x x x X ...
2 1
= n care E x
n
i
i
=
=
U
1
i =
j i
x x j i
unde E este evenimentul sigur.Fiecrui element al mulimii [ ] X i este asociat o
probabilitate dat de matricea:

[ ] ( ) ( ) ( ) [ ] [ ]
n n x
p p p x p x p x p P ... ...
2 1 2 1
= = n care ( )

=
=
n
i
i
x p
1
1

Msura incertitudinii asupra realizrii unui eveniment
i
x pe care o notm cu
( )
i
x U este o funcie ( )
i
p F a probabilitii apriori ( )
i i
x p p = de realizare a acestui
eveniment:
( ) ( )
i i
p F x U =

i reprezint incertitudinea iniial (apriori) asupra realizrii evenimentului
i
x . cnd
evenimentul
i
x se realizeaz, aceast incertitudine este nlturat i se poate spune c s-
a obinut o informaie ( )
i
x i asupra realizrii lui
i
x . Aceasta poate fi definit ca:
- informaia obinut asupra lui
i
x prin realizarea lui
i
x ; sau ca:
- anularea incertitudinii asupra realizrii lui
i
x , dup ce
i
x s-a realizat
Prin urmare:
( ) ( )
i i
x U x i = ( ) ( )
i i
p F x i =

Informaia n sensul de mai sus este o msur a incertitudinii. Dac se consider c n
procesul de observare a evenimentelor
i
x intervin perturbaii, atunci ntre evenimentele
realizate
i
x i cele observate
j
y nu exist totdeauna o coresponden, uneori
evenimentul observat
j
y difer de evenimentul
i
x , alteori nu difer, totul depinde de de
aciunea ntmpltoare a perturbaiilor. Dac se noteaz cu [ ] [ ]
n
y y y Y ...
2 1
=
mulimea evenimentelor observate atunci msura incertitudinii asupra realizrii
evenimentului
i
x dac s-a observat evenimentul
j
y
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
7
respectiv ( )
j i
y x U este o funcie de ( ) [ ]
j i
y x p F de probabilitatea lui
i
x condiionat de
j
y :

( ) ( ) [ ]
j i j i
y x p F y x U =

Aceast funcie reprezint incertitudinea aposteriori asupra realizrii
evenimentului
i
x dac s-a realizat
j
y , adic dup observarea evenimentului
j
y rmne
totui o incertitudine asupra evenimentului care s-a realizat. Aceast incertitudine se
datoreaz perturbaiilor existente, n lipsa acestor perturbaii s-ar putea afirma cu
probabilitatea maxim (unu) ca observnd evenimentul
j
y s-a realizat
i
x .
Informaia obinut asupra realizrii lui
i
x cnd se observ
j
y reprezint de fapt
scderea incertitudinii apriori asupra realizrii lui
i
x din starea iniial, nainte de
observarea lui
j
y , la starea final cnd s-a observat
j
y i cnd rmne o incertitudine
aposteriori, adic:
( ) ( ) ( )
j i i j i
y x U x U y x i = ,

- informaia obinut asupra realizrii
i
x cnd se observ
j
y
- descreterea incertitudinii asupra lui
i
x prin recepionarea lui
j
y
Dac nu sunt perturbaii i se realizeaz
i
x se observ
j
y =
i
x iar ( ) 0 =
j i
y x U
fiindc nu mai este nici un fel de incertitudine aposteriori asupra lui
i
x . Relaia de mai
sus devine:
( ) ( )
i j i
x U y x i = ,
Dac perturbaiile sunt foarte mari atunci nu se mai poate face nici o legtur
ntre
j
y recepionat i
i
x realizat i
i
x i
j
y sunt evenimente independente, in aceast
situaie:
( ) ( ) [ ] ( ) [ ] ( ) ( ) 0 , = = = =
j i i i j i j i
y x i x U x p F y x p F y x U

adic prin observarea lui
j
y nu se obine nici o informaie asupra lui
i
x
n cazul general se poate scrie:
( ) ( ) [ ] ( ) [ ]
j i i j i
y x p F x p F y x i = ,

Funcia U poate fi aleas dintr-o clas foarte larg de funcii ns din punct de
vedere practic, numai cteva prezint interes. O condiie esenial pe care trebuie s o
indeplineasc funcia este aditivitatea, fiindc n conformitate cu sensul dat informaiei
aceasta trebuie s fie aditiv.
Dac se consider c evenimentul
i
x este format din dou evenimente
independente
1 i
x i
2 i
x , respectiv:
2 1 i i i
x x x = postulnd c informaia este
aditiv:
( ) ( ) ( ) ( ) ( ) ( )
2 1 2 1 i i i i i i
x U x U x U x i x i x i + = + =
rezult:
( ) [ ] ( ) ( ) [ ] ( ) ( ) [ ] ( ) [ ] ( ) [ ]
2 1 2 1
,
2 1
2 1
i i i i
te independen x x
i i i
x p F x p F x p x p F x p x p F x p F
i i
+ = + =
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
8
Aceast ecuaie funcional are soluia: ( ) p p F log = unde este o
constant pozitiv, iar nlocuind n relaia anterioar se obine:

( ) ( )
i i
x p x i log = informatia proprie asociat cu evenimentul
i
x
( ) ( ) ( )
( )
( )
i
j i
j i i j i
x p
y x p
y x p x p y x i log log log , = + = informaia mutual
Informaia mutual se obine prin realizarea evenimentului
i
x i recepionarea
evenimentului
j
y

2.1.1 Unitatea de msur a informaiei

Deoarece informaia este o msur a incertitudinii, n procesul alegerii la
ntmplare dintr-un numr de evenimente posibile, cea mai simpl alegere este aceea
dntre dou evenimente posibile. Astfel s-a convenit s se aleag ca unitate de informaie,
informatia ce se obine prin alegerea la ntmplare, a unui eveniment din dou egal
probabile. n acest caz, avnd:

[ ]
(

=
2 1
x x X [ ]
(

=
2
1
2
1
P
( ) ( ) bit x i x i
baza alege se
1 2 log 1
2
1
log
2
2
2 1
= = = =

Unitatea de informaie astfel definit se numete bit. n acest caz relaiile anterioare
devin:
( ) ( ) ( )
i i i
x ldp x p x i = =
2
log respectiv ( )
( )
( )
( )
( )
i
j i
i
j i
j i
x p
y x p
ld
x p
y x p
y x i = =
2
log ,
n unele cazuri se lucreaz cu logaritm n baza e sau baza zece, n aceste situaii avem
relaiile:
bit e
e
nit 44 , 1 log
1
ln 1
2
= = = (se alege 1 din e)
bit dit 32 , 3 10 log
10
1
lg 1
2
= = = (se alege 1 din 10

Aplicaie

Dac simbolurile A, B, C, D apar cu probabilitile 1/2,1/4,1/8,1/8 atunci un
mesaj format din trei simboluri X=BDA conine informaia:
bit I I I I
A D B x
6 1 3 2
2
1
log
8
1
log
4
1
log
2 2 2
= + + = = + + =
Aplicaie

S determinm cantitatea de informaie dintr-o carte de 450 de pagini care are 500
de cuvinte pe pagin a cte 5 simboluri. Simbolurile se aleg din 26 de litere, 10 cifre i un
spaiu (alfabet cu 37 de simboluri)
bit I
carte
6
2
10 86 . 5 37 log 5 500 450 = =
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
9
Aplicaie

O aplicaie din biologie. ADN-ul este o molecul ce conine informaia genetic a
vieii. Informaia este stocat ca o succesiune de nucleotide.
nucleotida numele probabilitatea
A Adenin 0.25
C Citozin 0.25
T Thinin 0.25
G Guanin 0.25
ADN-ul bacteriei E Coli are
6
10 4 asemenea baze. Coninutul de informaie va fi:
bit I
EColi
6
2
6
10 8
4
1
log 10 4 = = . AND-ul uman are
9
10 3 din aceste baze. Informaia
corespunztoare:
bit I
uman
10
2
9
10 2 . 1
4
1
log 10 3 = = n jur de 17 CD ROM-uri (650 MByte).

Aplicaie

S se calculeze cantitatea de informaie necesar pentru precizarea poziiei unei figuri pe
o tabl de ah.
a. o prim posibilitate pentru precizarea poziiei unei figuri const n numerotarea
fiecrui ptrat. n total sunt necesare 64 = m cifre, figura putnd ocupa oricare din aceste
ptrate, deci pentru precizare va fi necesar o cantitate de informaie:
bit
m
I
fig
6 64 log
1
log
2 2
= = =
b. o a doua posibilitate ar fi precizarea poziiei figurii de ah prin coordonate. Astfel
sunt necesare 8 cifre pe orizontal i 8 cifre pe vertical. Cantitatea de informaie
necesar pentru precizarea poziiei figurii va fi:
bit I
fig
6 8 log 2
2
= =
Aplicaie

Fie 12 monede dintre care una este fals (mai uoar sau mai grea dect celelalte). Se
cere s se determine numrul minim de cntriri necesar depistrii monedei false i
precizrii dac ea este mai uoar sau mai grea. Se folosete pentru cntriri o balan
fr mase marcate. Soluie
cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai
usoara este I
2 2 2
1
1
2
2 = = log log
cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
I
3 2 2
1
1
3
3 = = log log numarul minim de cantariri I kI k
k
=
3
24 3 3.
sa se propuna un algoritm de depistare.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
10
Aplicaie

Se d un display monocolor cu 24 linii, 80 caractere/linie, 128 puncte/caracter
i 3 tonuri de gri/punct. Se cere
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informaie stiind ca frecvena cadrelor este de 24 cadre/secund ?

Solutie

(a) I = 24 80 128 3
2
log [ ] biti (b) =
1
f
c
durata unui cadru
R
I
I f
c
= =

[ ] bps

2.2 Surse discrete de informaie

Sursele care debiteaz mesaje n form discret ( succesiune de impulsuri de
tensiune) se numesc surse discrete. n legtur cu sursele discrete se utilizeaz
urmtoarea terminologie:

- simbol sau liter-elementul fundamental ireductibil care conine o informaie
- alfabet-totalitatea simbolurilor (literelor)
- cuvnt-succesiune finit de simboluri
- limb-totalitatea cuvintelor formate cu un anumit alfabet
- codare-stabilirea unei corespondene (biunivoce) ntre dou limbi
- decodare-operaia invers codrii
- surs discret fr memorie-sursa la care probabilitatea de apariie a unui
simbol nu depinde de simbolurile precedente

p x x x p x
i i i i
( / , ,...) ( )

=
1 2


- surs discret cu memorie-sursa la care probabilitatea apariiei unui simbol
depinde de simbolul precedent sau de un ir de simboluri anterioare, dac sursa are o
memorie mai mare
- surs staionar-sursa la care probabilitile diferitelor simboluri nu depind de
originea timpului ci numai de poziia lor relativ, adic proprietile statistice ale sursei
nu depind de originea timpului

p X x p X x
t i t i
i i
( ) ( ), = = =
+


- surs cu debit controlabil-sursa care genereaz mesaje la o indicaie exterioar
sursei, fr a exist constrngeri interne privind timpul la care trebuie transmise
mesajele
- surs cu debit necontrolabil-sursa care genereaz mesaje cu un debit fix ce nu
poate fi controlat, el fiind o proprietate intern a sursei. Din aceast categorie face parte
sursa care genereaz esantioanele cuantizate care se succed la intervale fixe .
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
11

2.2.1 Surse discrete de informaie fr memorie

Fie o surs de informaie discret, care genereaz un numr de n simboluri
distincte. Mulimea simbolurilor discrete generate de surs formeaz alfabetul
sursei.Sursa discret este fr memorie dac emisia unui simbol nu depinde de
simbolurile anterior emise. Pornind de la o surs discret fr memorie( ) X , putem forma
o nou surs, n care fiecare mesaj este o succesiune de m simboluri ale sursei primare.
Aceast nou surs, notat
m
X , se numete extensia de ordinul m a sursei ( ) X .

=
=
=
|
|

\
|
= =
|
|

\
|

=
=
) ( )... ( ) (
... m

1 , m 1, = i , :
1 , , 1 , :
2 1
2 1
n
j
m
1
1
m
j j j j
jm j j
j
j
j
j
m
n
i
i
i
i
x p x p x p p
x x x
unde
p
p
m
X
p n i
p
x
X

Sursa
m
X conine un numr de mesaje
j
m distincte ce se pot forma cu alfabetul sursei X.

Aplicaie

Fie sursa discret fr memorie: X

|
|
|

\
|
= +
|
|
|

\
|
2
2 1 2 2 1
2
1
2 2 1 2 2 1 1 1
2 2
2 1
2 1
2 1
1
p p p p p p
x x x x x x x x
X p p cu
p p
x x
X
ordinul de extensia


2.2.2 Entropia informaional a unei surse discrete fr memorie

Informaia proprie corespunztoare unui simbol
i
x al unei surse discrete fr memorie
am vzut c se determin cu :
i i
i
i
ldp p
p
x i = = =
2 2
log
1
log ) (
Cantitatea medie de informaie pe simbol emis de o surs discret fr memorie poart
denumirea de entropie informaional i se noteaz cu H(X):

( )

= = =
= = =
m
i
i i
m
i
i i i
m
i
i
p p ldp p x i x p X H
1
2
1 1
log ) ( : ) (

Entropia ( ) X H reprezint incertitudinea medie ce exist apriori asupra emisiei.

Observaie

Formula anterioar ( ) stabilit de Claude Shannon n 1948 n lucrarea A
mathematical theory of communications prezint o analogie perfect cu formula
entropiei termodinamice stabilit de Boltzmann, fapt pentru care ( ) X H s-a numit
entropie informaional.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
12
Entropia termodinamic exprim gradul de dezordine al particulelor ntr-un sistem
fizic, pe cnd entropia informaional (formula lui Shannon) exprim gradul de
nedeterminare din punct de vedere informaional al unui sistem. Ambele noiuni au n
comun faptul c msoar gradul de nedeterminare al unui sistem, dar aplicarea lor se
gsete n sfere de cunoatere complet diferite

Proprietile entropiei:

-Continuitatea: ( ) X H este o funcie continu n raport cu fiecare variabil
i
p fiindc
i
p este suma unor funcii continue.
-Simetria: ( ) X H este o funcie simetric n raport cu toate variabilele
i
p
-Aditivitatea: informaia proprie este aditiv, deci i ( ) X H care reprezint media
informaiilor proprii este aditiv.
-Valoare maxim entopia este maxim n cazul echiprobabilitii simbolurilor ;aceasta
valoare maxim se mainumete cantittatea de decizie a sursei: ( ) X D
ldm m X D X H = = =
2 max
log ) ( : ) (
Valoarea maxim a entopiei se obine determinnd valoarea maxim a functiei pentru
care exist constrngerea
1
1
=

=
m
i
i
p
Folosind metoda multiplicatorilor lui Lagrange, rezult:

)
`

\
|
+ = =

= =
1 ) ( max ) ( max
1 1
m
i
i i
m
i
i i
p ldp p p X H

Condiia necesar de extem se obine din:

= + =

= + =

= =

0
) (
0
) (
sau , 1 , 0
) (

lde ldp
p
p
lde ldp
p
p
m i
p
p
j
j
j
i
i
i
i
i


de unde rezult c m 1, = j i, , p = p deci ,
j i
=
j i
ldp ldp

Aplicaie

Vom calcula i reprezenta entropia unei surse binare fr memorie:
|
|
|

\
|
= p q p
X
1
1 0
: ( ) ( ) ( ) p ld p ldp p X H = 1 1

Reprezentarea grafic a cestei funcii se d n figura de mai jos:
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
13

fig 5. Variaia entropiei unei surse binare n funcie de probabiliti
Din grafic se observ c c valoarea maxim bit H 1
max
= se obine pentru 2 1 = = q p

2.2.3 Redundana si eficiena sursei

Abaterea entropiei unei surse de la valoarea sa maxim se numete redundan.
Aceast abatere poate fi dat in valoare absolut sau relativ de unde i exprimarea
redundanei ca redundan absolut sau relativ.

Redundana absolut : ) ( ) ( : X H X D R
X
=
Redundana relativ:
) (
) (
1
) (
) (
:
X D
X H
X D
X R
X
= =
Se numete eficien a unei surse ( )
x
raportul dntre entropia sursei i cantitatea de
decizie a acesteia
) (
) (
:
X D
X H
X
=

2.2.4 Momente. Debit de momente

Semnalele utilizate pentru a putea transporta informaia numeric sunt compuse
din suite de semnale elementare n timp, numite momente (intervale elementare).
Parametrul caracteristic al momentului (amplitudine, frecven, faz, etc) rmne
constant pe durata momentului (
M
T ) i reprezint informaia numeric transportat de
acel moment. Acest parametru poate lua m valori. n figura de mai jos sunt date
cteva exemple de surse de informaie cu punerea n eviden a momentelor.

fig 6. Momente
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
14

-cantitatea de decizie corespunztoare unui moment este: ldm m D = =
2
log
-debitul de momente (

M ) (signaling speed-vitez de semnalizare) reprezint numrul de
momente transmise in unitatea de timp:
M
T
M
1
=


unitatea de msur pentru debitul de momente este Baud: Bd M =
(




2.2.5 Debit de informaie. Debit de decizie.

Debitul de informaie (

H ) al unei surse este cantitatea medie de informaie
generatde surs n unitate de timp;

H reprezint viteza de transmisie a informaiei.


) (
) (
: X H M
T
X H
H
M
& &
= =
Unitatea de masur: unda i t bi H sec / ] [
'
=
&

Debitul de decizie ( ) D al unei surse este cantitatea de decizie a sursei generat n unitate
de timp
sec / ] [ : biti D ld M D M
T
D
D
M
= = = =
& & & &

Observaie

O surs discret de memorie caracterizat de m simboluri de probabiliti ( )
i
s p de
durate
i

[ ] [ ] [ ] ( ) ( ) ( ) [ ]
m m m
s p s p s p P s s s S ,..., , , ,..., , , ,..., ,
2 1 2 1 2 1
= = =
are un debit de informaie
( )

S H
H
t
= [bit / simbol unde ( )

=
m
i
i i
s p
1 '


2.3 Canale de transmisiune discrete.

2.3.1 Probabiliti i entropii n canale discrete

Canalul de transmisiune este mediul prin care se transmite informaia de la sursa
la destinatar. Canalul este discret dac simbolurile care-l strbat sunt discrete.
Un canal de transmisie se caracterizeaz prin urmtoarele mrimi:
- Alfabetul de intrare: { }
i
x X = , constituit din totalitatea simbolurilor emise de surs i
care pot fi acceptate de canal; ( ) X P reprezint matricea probabilitilor de emisie

] [ ) ( ; 1 , 1 , :
n
=1 i
i i
i
i
p X P p n i
p
x
X = = =
|
|

\
|



Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
15
-Alfabetul de ieire: ( )
j
y Y = constituit din totalitatea simbolurilor obinute la ieirea
canalului; Cele dou alfabete nu sunt ntotdeauna identice.
] [ ) ( ; 1 , , 1 , :
m
=1 j
j j
j
j
q Y P q m j
q
y
Y = = =
|
|

\
|


Prin
j
q s-a notat probabilitatea recepionrii simbolului ) ( ). ( : Y P y p q y
j j j
= este
matricea probabilitilor de receptie.
-Matricea de zgomot (de tranziie, de trecere): a canalului, format din probabilitile
simbolurilor de ieire condiionate de simbolurile de intrare: ( ) Y X P .
m 1, = i , 1 ], [ ) / (
1
/ ,
= =

=
n
j
i j i j
q q X Y P
Elementul
ij
q aflat la intersecia liniei i si a coloanei j, reprezint probabilitatea
recepionrii lui
j
y condiionat de emisia lui ) / ( :
/ i j i j i
x y p q x = .Matricea de tecere este o
matrice stocastic, avnd proprietatea ca suma elementelor orcrei linii este 1:
m i q
n
j
i j
, 1 , 1
1
/
= =

=

ceea ce intuitiv reprezint recepia cu certitudine a unui simbol y j n
j,
, = 1 dac s-a emis
un simbol x i m
i,
, = 1 .Matricea ( ) Y X P reprezint modelarea din punct de vedere
probabilistic a canalului si ea se determin experimental.

2.3.1.1 Entropie condiionat

Dac cmpul de evenimente la ieirea din canal este cunoscut datorit efectelor
pertur-baiilor, ramne totui o oarecare incertitudine a supra cmpului la intrare.
Valoarea medie a acestei incertitudini se numete entropia cmpului X condiionat de
cmpul Y i se noteaz cu ( ) Y X H , ea reprezint o incertitudine rezidual medie.
Incertitudinea asupra realizrii eveni-mentului
i
x dac s-a realizat
j
y conform relaiilor
p p E
y x p F y x U
j i j i
log ) (
)] / ( [ ) / (
=
=

este: ) / ( log ) / (
j i j i
y x p y x U =
Entropia asociat cu recepionarea simbolului
j
y este:
) / ( log ) / ( ) / ( ) / ( ) / (
1 1
j i
n
i
j i j i
n
i
j i j
y x p y x p y x U y x p y X H

= =
= =

Entropia ( ) Y X H se numete echivocaie fiindc este o msur a echivocului ce exist
asupra cmpului de la intrare cnd se cunoate cmpul la ieire.

= =
=
n
i
m
j
i j j i
x y p y x p X Y H
1 1
) / ( log ) , ( ) / (

Entropia ) / ( Y X H se numete eroare medie fiindc este o msur a incertitudinii
cmpului la ieire cnd se cunoate cmpul la intrare.

0 ) / ( ) / ( = = X Y H Y X H
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
16

2.3.1.2 Relaii ntre entropii

n legtur cu canalul de transmisie au fost definite cinci matrici de probabiliti:
( ) X P - este matricea probabilitilor alfabetului la intrare
( ) Y P - este matricea probabilitilor alfabetului la ieire
( ) Y X P , - este matricea probabilitilor alfabetelor reunite intrare-ieire
( ) Y X P / - este matricea probabilitilor condiionate (intrare de ieire)
( ) X Y P / - este matricea probabilitilor condiionate (ieire de intrare)
Acestor matrici de probabiliti le corespund cinci entropii:
( ) X H - este entropia alfabetului la intrarea in canal
( ) Y H - este entropia alfabetului la ieire din canal
( ) Y X H , - entropia alfabetelor de la intrare i de la ieire reunite
) / ( Y X H - echivocaia
) / ( X Y H - eroarea medie
Pentru a gsi relaiile ntre aceste entropii se scrie relaia de definiie a cmpurilor
reunite.

= =
=
n
i
m
j
j i j i
y x p y x p Y X H
1 1
) , ( log ) , ( ) / (
sau:

= = = =
=
n
i
m
j
n
i
m
j
i j j i i j i
x y p y x p x p y x p Y X H
1 1 1 1
) / ( log ) , ( ) ( log ) , ( ) / (
sau:

= = = =
=
n
i
m
j
i j j i
n
i
m
j
j i i
x y p y x p y x p x p Y X H
1 1 1 1
) / ( log ) , ( ) , ( ) ( log ) / (
innd seama de relaiile:

= =
= =
n
i
i i
m
j
j i i
x p x p X H y x p x p
1 1
) ( log ) ( ) ( ; ) ( ) (

= =
=
n
i
m
j
i j j i
x y p y x p X Y H
1 1
) / ( log ) , ( ) , (
se obine: ) / ( ) ( ) , ( X Y H X H Y X H + = . similar se obine: ) / ( ) ( ) , ( Y X H Y H Y X H + = .
Dac canalul nu are perturbaii, ntre alfabetul de intrare [ ] X i alfabetul de ieire [ ] Y
exist o coresponden biunivoc, iar eroarea medie i echivocaia sunt nule. n acest
caz:
) ( ) ( ) , ( Y H X H Y X H = =

Dac canalul are perturbaii foarte puternice se obine ) ( ) ( ) , ( Y H X H Y X H + =
ntre entropia ( ) X H i entropia condiionat ( ) Y X H / exist urmtoarea relaie:
) / ( ) ( Y X H X H
Care rezult din faptul c incertitudinea medie aposteriori este mai mic cel mult egal
cu incer-titudinea apriori. Pentru aceleai motive

) / ( ) ( X Y H Y H

Egalitatea are loc numai Dac X i Y sunt independente.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
17

2.3.2 Transinformaia

Dup cum s-a vzut informaia obinut asupra evenimentului
i
x cnd la ieire din canal
se observ evenimentul
j
y este conform relaiei:
) (
) , (
log ) ; (
i
j i
j i
x p
y x P
y x i =
Aceasta este informaia mutual ce se obine asupra evenimentului
i
x cnd se
recepioneaz
j
y . n absena perturbaiilor recepionnd simbolul
j
y se poate afirma cu
certitudine c a fost transmis simbolul
i
x deci: 1 ) / ( =
j i
y x p , iar relaia
) (
) , (
log ) ; (
i
j i
j i
x p
y x P
y x i = devine ) ( log ) , (
i j i
x p y x i =
adic informaia mutual este egal n cazul acesta cu informaia proprie. In cazul
general din cauza zgomotelor ( ) 1 <
j i
y x p i n consecin informaia mutual este mai
micdect informaia proprie i este dat de expresiile :

) p(y
) /x p(y
log
) p(y ) p(x
) y , p(x
log
) p(x
) /y p(x
log ) ; (
j
i j
j i
j i
i
j i
=

= =
j i
y x i

Valoarea medie a informaiei mutuale se obine considernd toate perechile posibile de
simboluri intrare-ieire ( )
j i
y x , mpreun cu probabilitile lor ( )
j i
y x p , :

= =
=
n
i
m
j
j i j i
y x p y x i Y X I
1 1
) , ( ) ; ( ) , (

nlocuind relaia ( ) n relaia ( ) se obine:

= =

=
n
i
m
j j i
j i
j i
y p x p
y x p
y x p Y X I
1 1
) ( ) (
) , (
log ) , ( ) ; (
sau
) y , p(x log ) y , p(x ) y , p(x ) p(y log ) y , p(x ) p(x log Y) I(X;
j i
n
1 i
m
1 j
j i
n
1 i
m
1 j
n
1 i
j i
m
1 j
j j i i
= = = = = =
+ =
de unde :
) , ( ) ( ) ( ) ; ( Y X H Y H X H Y X I + =
innd seama de relaiile

) / ( ) ( ) , ( X Y H X H Y X H + =
) / ( ) ( ) , ( Y X H Y H Y X H + =
se obine:
) , ( ) ( ) ; (
) , ( ) ( ) ; (
X Y H Y H Y X I
Y X H X H Y X I
=
=


I(X;Y) este valoarea medie a informaiei mutuale adic a informaiei ce se obine asupra
alfabetului de la intrare prin recepionarea alfabetului de la ieire Y, cu alte cuvinte a
informaiei transmise prin canal. Din aceasta cauz ea se numete transinformaie.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
18

2.3.3 Capacitatea canalului discret, redundana, eficiena

Pentru a defini o msur a eficienei cu care se transmite informaia i a gsi
limita superioar a acesteia, Shannon a introdus noiunea de capacitate a canalului.
-Capacitatea canalului este definit ca fiind valoarea maxim a transinformaiei:

)] / ( ) ( max[ )] / ( ) ( max[ ) ; ( max X Y H Y H Y X H X H Y X I C = = =

Maximalizarea se face n raport cu setul de probabiliti cu care se presupune c
sunt utilizate simbolurile
n
x x x x ... , ,
3 2 1
ale canalului. Valoarea maxim a transinformaiei
are loc pentru anumite valori bine determinate ale acestor probabiliti care definesc n
felul acesta o anumit surs pe care o numim secundar. Pentru a transmite prin canal
transinformaia cu valoarea maxim este necesar ca sursa primar sa fie transformat
in surs secundar specificat de probabilitile care determin valoarea maxim din
relaia (2.85). Capacitatea canalului poate fi ns raportat i la timp.n acest caz se
definete:
C
C I X Y
t
= =

max ( ; )

unde este durata medie a unui simbol iar
I X Y ( ; )

este transinformaia pe unitate de


timp respectiv debitul de transinformaie:

) ; (
) ; (
Y X I
Y X I
t
=
Capacitatea canalului definit de relaia (2.86) se msoar in biti pe secund . Dac se
face convenia ca =1 atunci:
C C
t
=
adic numeric cele dou mrimi sunt egale.
-Redundana canalului prin analogie cu redundana sursei este definit ca fiind diferena
ntre capacitatea canalului si transinformaie:
) ; ( Y X I C R
c
=

-Redundana relativ este egal cu redundana imprit la capacitatea canalului:
C
Y X I
c
) ; (
1 =
-Eficienta canalului este definit ca fiind raportul ntre transinformaie si capacitatea
canalului
C
Y X I
c
) ; (
=
Din relaiile anterioare rezult:
c c
=1
Din relaia anterioar rezult:
1
c


-Eficiena canalului: arat ct de mult se indeprteaz transinformaia de valoarea ei
maxim.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
19

Aplicaie

-Capacitatea canalului binar simetric (CBS). Se numete canal simetric canalul la care
probabilitatea de eronare a oricrui simbol este aceeai. Un canal binar oarecare este
caracterizat de matricea numit matricea de zgomot:

( )
(

=
(

= =
p p
p p
X Y P
x y p x y p
x y p x y p
X Y P P
CBS
1
1
) / ( ) / (
) / ( ) / (
)] / ( [ ] [
2 2 2 1
1 2 1 1


Capacitatea se poate determina pornind de la relaia de definiie n care transinformaia
se nlocuiete cu expresia favorabil:

)] / ( ) ( max[ ) ; ( max X Y H Y H Y X I C = =

Considernd o surs binar oarecare:

1 , :
2 1
2 1
2 1
= +
|
|

\
|
p p
p p
x x
X

( ) ( ) ( )
( )
( )
(

=
(

= =
p p p p
p p p p
p p
p p
p
p
X Y P X P Y X P
1
1
1
1
0
0
,
2 2
1 1
2
1


( ) ( ) ( ) ( ) ( ) [ ]
( ) ( ) [ ]( ) ( ) ( ) p ld p pldp p p pldp p ld p
p ld p p pldp p pldp p p ld p p X Y H
= + + =
= + + + =
1 1 1 1
1 1 1 1
2 1
2 2 1 1


Se observ c pentru un canal binar simetric eroarea medie ( ) X Y H nu depinde de surs
( ) X P ci numai de zgomotul din canal ( ) X Y P . Scriind expresia capacitii canalului ,
obinem:

( ) ( ) ( ) p ld p pldp Y H X Y H Y H Y X I C
i
p
+ + = = = 1 1 max )] / ( ) ( max[ ) ; ( max

Valoarea maxim a ( ) Y H se obine pentru echiprobabilitatea simbolurilor recepionate:

( )
( )
2
1
1
2
1
1
2 1 2
2 1 1
= + =
= + =
p p p p q
p p p p q

2
1
2 1
= = p p

( ) ( ) p ld p pldp C
CBS
+ + = 1 1 1
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
20

2.3.4 Capacitatea canalului prin band (B) i raport semnal/zgomot ()

A fost definit capacitatea unui canal de transmisie modelat prin matricea de
zgomot ( ) X Y P . n majoritatea situaiilor practice nu se cunoate matricea de zgomot,
canalul fiind precizat prin parametrii mult mai uor de determinat experimental cum ar
fii banda (B) si raportul semnal-zgomot ().
Pe un canal, teoretic este posibil s transmitem orice cantitate de informaie; ceea
ce este limitat ntr-o transmisiune este debitul maxim de informaie transmisibil n
timp real, limita ce definete capacitatea canalului. Aceast limitare este determinat de
caracteristicile canalului, ea producndu-se att n transmisiunile digitale ct i n cele
analogice. Determinarea capacitii (fr a fi o demonstratie riguroas n adevratul
nteles al cuvntului ) se va face pentru transmisiuni digitale, dat fiind caracterul mai
concret al noiunii n acest caz; de altfel transmisia informaiei analogice poate fi
considerat ca un caz limit a informaiei numerice. La intrarea canalului vom considera
o surs de informaie discret, caracterizat prin:
debitul de decizie :

D [biti/s], deci sursa se presupune echiprobabil (n cazul


situaiilor reale dup codare se obine i acest deziderat)
debitul de momente :

M [Bd], ce caracterizeaz viteza de variaie fizic a semnalului


purttor de informaie.
alfabetul sursei, format din cele m stri specifice unui moment (aceste pot fi
nivele, frecvente sau faze).
Cele trei mrimi sunt legate prin relaia:
ldm M D

=

Fizic, receptorul va trebui s poat distinge, n prezena zgomotului, dou
momente succesive al cror parametru caracteristic ia, n situaia cea mai defavorabil,
dou valori consecutive din cele m posibile. n consecin pentru a putea transmite un
debit de decizie D, canalul va trebui sa asigure :
-O rezoluie n timp, adic s permit variaia parametrului caracteristic al
semnalului de la un moment la altul sau pe durata unui moment.
-O rezoluie in amplitudine, astfel nct s poat fi efectiv distinse cele m valori
posibile ale parametrului caracteristic i n prezena zgomotului.
O ilustrare grafic ale celor dou cerine este dat in figura urmtoare:

Fig. 7 Rezoluia n timp i frecven

Ne intereseaz legtura ce trebuie s existe ntre cei doi parametrii ai sursei (M i
m) i parametii canalului (B si ) astfel nct transmisia s asigure rezoluia necesar n
timp i n amplitudine.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
21
2.3.4.1 Rezoluia n timp

Orice canal real de transmisiune conine reactane ce se opun variaiilor brute ale
semnalului, ceea ce duce la un comportament inerial al canalului. Acest fenomen se
poate observa att n frecven ct i in timp.In frecven: atenuarea canalului este
funcie de frecven, acesta comportndu-se ca un filtru trece jos (FTJ). n timp:
rspunsul la semnalul treapt unitate :(t) al canalului are o pant finit, definit de
timpul de cretere (
c
t ). n cazul canalelor reale sau ideale ntre
c
t si B exist urmtoarea
relaie empiric:
45 , 0 35 , 0
c
Bt
care arat c n cazul unui canal avnd banda B nu este posibil variaia
parametrilor semnalului cu orice vitez, aceasta fiind limitat de
c
t . n consecin i
durata unui moment M T
m
1 = este limitat de
c
t :
5 , 2 ~
4 , 0
~
1
~

B M
B
M
t T
c M

Nyquist n 1928 a determinat teoretic relaia dintre M si B necesar rezoluiei n timp:
B M
MAX
2 = pentru canalul ideal.Aceast relaie, cunoscut n literatur ca teorema lui
Nyquist ,a fost dedus in ipoteza unei FTJ ideal de band B. n cazul canalelor reale, care
nu sunt FTJ ideale, se consider c :
c M
t T 2
Avind
c
t =0,4 /B avem:
B
T
M
8 , 0
= De unde rezult: max

M =1,25*B pentru canale


reale.

2.3.4.2 Rezoluia n amplitudine

n afara ineriei canalului, ce determina comportarea acestuia, ca un FTJ, intr-o
transmisiune apare insa un fenomen nedorit, dar inevitabil: prezenta perturbatiilor in
special al zgomotului, care se suprapune peste semnalul transmis ducnd la ingreunarea
procesului de recunoastere la receptie a celor m valori corespunzatoare unui moment, cu
atit mai mult cu cit m este mai mare. Puterea semnalului (Ps) fiind limitat este
imposibil recunoasterea unui numr de de valori diferite ale lui m, n prezena
zgomotului a carui putere este
N
P in punctul de msur considerat. In 1948, Shannon a
demonstrat c limita teoretic pentru m, n ipoteza unui zgomot alb gausian este:

+ =
+
= 1
max
N
N S
P
P P
m
unde:
N S
P P = este raportul semnal / zgomot.

2.3.4.3 Capacitatea canalului de transmisie

Se numete capacitatea (C) a unui canal de transmisie considerat ca un FTJ ideal avnd
lrgimea de band B i raportul semnal- zgomot (zgomot gausian), valoarea maxim a
debitului de decizie transmisibil prin canal:
+ = = =

1 2 :
max max max
Bld ldm M D C
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
22

Observaie: n practica inginereasc raportul semnal-zgomot se exprim n dB:
[dB]=10lg. n acest caz se poate exprima ntr-o form foarte comod pentru aplicaii:

] [
3
1
dB
B C

Relaia ,stabilit de Shannon n 1948, arat c limita teoretic a debitului maxim
transmisibil pe un canal. La aceast vitez maxim de transmitere a informaiei este
posibil o recepie fr erori 0
e
P , n cazul unei prelucrri optime a semnalelor
(teorema a II-a a lui Shannon pentru canale cu perturbatii). Relaia, dei este o limit
teoretic, imposibil de atins n transmisiuni reale, este deosebit de util in aplicaii,
permind o comparare si o evaluare a diferitelor sisteme de transmisiune. Reprezentarea
grafic a relaiei anterioare este dat n figura de mai jos:

Fig. 8 Capacitatea canalului la diferite valori ale i B

C~B i C~ld(1-), ceea ce nseamn c reducerea benzii, prin pstrarea valorii
C=ct.,implic necesitatea unei serioase imbunatiri a , dat fiind dependena
logaritmic a lui C de . Dependena direct proportional a capacitii de band impune
ntrebarea : Dac C poate fii crescut orict pe seama creterii lui B Rspunsul este
negativ, justificarea fizic aparnd evident : prin creterea benzii, crete crete implicit
puterea zgomotului
N
P , ceea ce va duce la scderea raportului semnal-zgomot, pentru
S
P =ct. Demonstraia afirmaiei de mai sus se face imediat : alclele se desfaoara n
ipoteza unui zgomot alb gausian de densitate spectral de putere unilateral
O
N =ct.:
. ) 1 ( lim lim
0 0
ct lde
N
P
BN
P
Bld C C
S S
B B
= = + = =

Variaia capacitii cu banda este reprezentat


in figura urmtoare:

Fig. 9 variaia capacitii canalului cu creterea benzii
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
23
Rezult c nu este raional creterea capacitii pe seama ceterii benzii peste o
anumit limit, deoarece sporul in capacitate este foarte sczut. Aceeai capacitate
poate fi obinut cu valori diferite ale lui si B :folosind o band mic
1
B si un canal cu
raport semnal-zgomot foarte bun
1
(situaie corespunztoare sistemului 1 din figura 8)
sau un canal puternic perturbat , cu
2
mic di o banda mai larga
2
B (sistemul 2 din figura
8). Relaia lui Shannon este o relaie ce d o limit teoretic a debitului de decizie maxim
transmisibil. Pe canale reale : real Dmax

<C . Aceast limit n trasmisiune nu se obine


automat; pentru atingerea ei este necesar prelucrarea sursei nainte de transmisiune,
pentru a o adapta canalului, dat prin B si , aceste operaii fiind codarea si modularea. O
reprezentare grafic sugestiv a relaiilor dintre sursa de informaie i canal, este dat in
figura 8. Dac

D>C, transmisiunea nu mai este posibil in timp real; in acest caz se


poate transmite aceeai cantitate de decizie T D D =

a sursei printr-o prelucrare


prealabil, cantitatea de decizie D va fi intr-o memorie si apoi va fi transmis intr-o form
compatibila cu canalul ( C D

). Evident durata transmisiei T va creste, transmisiunea


nemaifiind in timp real. In practic aceast situaie apare in cazul transmisiilor unor
imagini fixe de la sonde spaiale, situaie in care capacitatea canalului este mult mai
slab decit debitul real de informaie al surei.


Fig. 10 reprezentarea capacitii canalului

2.4 Codarea surselor pentru canale fr perturbaii

n general alfabetul sursei difer de alfabetul canalului i ca urmare primul
obiectiv al codrii surselor este de a trece de la alfabetul sursei la alfabetul canalului .
Mai mult dect att dorim ca transinformaia s fie maxim i n acest scop prin codare
trebuie s asigurm ca sursa secundar s genereze simbolurile cu probabilitile care
asigur acest maxim. Dac am realizat acest lucru spunem c am fcut adaptarea
statistic a sursei la canal. n cazul canalelor fr perturbaii acest obiectiv se atinge cnd
sursa secundar este o surs de entropie maxim:

C Cmax dac H(X)=log D

unde D este numrul de simboluri din alfabetul canalului. Deci obiectivul codrii
surselor este de a transforma o surs dat cu un set de probabiliti determinat pe care o
numim sursa primara intr-o sursa de entropie maxim.Cu alte cuvinte prin codare se
cauta sa se anuleze redundanta sursei.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
24

2.4.1 Coduri unic decodabile

Fie o surs discret fr memorie furniznd simboluri untr-o mulime [S] numit
alfabetul sursei: ] ... [ ] [
2 1 N
s s s S = , avnd probabilitile: )] ( )... ( ) ( [ ] [
2 1 N
s p s p s p P =
Fie [X] alfabetul finit al codului: ] ... [ ] [
2 1 D
x x x X = . Cu aceste litere se formeaza un
numar N de cuvinte de cod: [ ] [ ... ] C c c c
N
=
1 2
. Totalitatea cuvintelor
k
c
formeaz un cod .

Mesaje
sk
Codul
A
Codul
B
Codul
C
Codul
D
s1
s2
s3
s4
00
01
10
11
0
10
110
1110
0
01
011
0111
0
10
110
111

Fig. 11 Exemple de coduri unic decodabile

2.4.2 Coduri instantanee:

ntre codurile B si C din tabelul de mai sus exist o msur important : la codul
B , pe msur ce se recepioneaz succesiunea de litere din alfabetul codului se pot
determina cuvintele codului fr referinta la literele urmtoare.Astfel:

0 10 110 0 1110 0
s1 s2 s3 s1 s4 s1

Adic dac succesiunea de litere din alfabetul codului formeaz un cuvnt din
vocabularul codului acesta este unic fiindc prin adugarea unor litere la un cuvnt de
cod nu se poate obine un nou cuvnt . Un astfel de cod se numete instantaneu.
Condiia necesar i suficient ca un cod s fie instataneu este ca nici un cuvnt al
codului s nu fie un prefix al unui alt cuvnt de cod.

2.4.3 Lungimea medie al unui cuvnt de cod

In general prin codare se urmrete mrirea eficienei transmisiunii
informaiei.In cazul canalelor fr zgomot se spune c se mrete eficiena referindu-se n
general la minimizarea unei anumite functii de cost.Una din cele mai simple funcii de
cost se obine dac fiecrui cuvnt i se asociaz un anumit coeficient de cost ti.
Coeficientul de cost ti in particular poate sa fie durata cuvintului ci in conformmitate cu
faptul ca ca pretul exploatarii unui sistem de transmisiune poate fii considerat
aproximativ liniar crescator cu timpul.
In acest caz costul mediu pe mesaj devine:

= =
= =
N
i
i i
N
i
i i
s p t c p t C
1 1
) ( ) (
Evident cea mai eficient transmisie este aceea care minimizeaz costul mediu C.Costul
mediu in cazul considerat este egal cu durata medie al unui cuvnt de cod.Mrirea
eficienei transmisiunii se poate obine atribuind in mod convenabil fiecrui mesaj si dat
de sursa un cuvint de cod ci in care numarul literelor li s fie astfel ales incit lungimea
medie l al unui cuvnt s fie ct mai mic.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
25

2.4.3.1 Limita inferioar a lungimii medii a unui cuvnt de cod.

Fie o sursa caracterizata de multimea mesajelor: ] ... [ ] [
2 1 N
s s s S =
avnd probabilitile: )] ( )... ( ) ( [ ] [
2 1 N
s p s p s p P =
Fie cuvintele codului: ] ... [ ] [
2 1 N
c c c C =
care apar cu aceeai probabiliti ca i mesajele sursei adic : ] ... [ ] [ ] [
2 1 N C
p p p P P = =
unde : ) ( ] [
i i
s p p =
Lungimile cuvintelor de cod sunt: ] ... [ ] [
2 1 N
l l l L =
unde li este egal cu numrul de litere din alfabetul codului care compun cuvintul ci.
Alfabetul codului este :
] ... [ ] [
2 1 D
x x x X =
Entropia sursei este:

=
= =
N
i
i i
s p s p C H S H
1
) ( log ) ( ) ( ) (
unde H(C) este entropia cuvintelor codului [C]. Entropia alfabetului codului [X] este :

=
=
D
i
i i
x p x p X H
1
) ( log ) ( ) (

Informaia medie pe un cuvnt de cod este dat de produsul dintre numrul mediu de
litere l i informaia medie pe litera H(X) deci:

) ( ) ( ) ( X lH C H S H = =

Valoarea maxim a entropiei H(X) se obine atunci cnd probabilitile p(xi) sunt egale
adic:
D
x p x p x p
D
1
) ( ... ) ( ) (
2 1
= = = =
Aceasta valoare este log D deci:

( ) D X H
2
log

innd seama de aceast inegalitate relaia devine:
D l X H l C H S H log ) ( ) ( ) ( = =
de unde:
min
log
) (
l
D
S H
l =
Relaia arat ca lungimea medie l a unui cuvnt de cod are o margine inferioar egal cu
entropia sursei imprit la valoarea maxim a entropiei alfabetului codului, sau ca
informaia medie pe o liter din alfabetul codului
l
S H ) (
nu poate fi mai mare dect
valoarea maxim a entropiei alfabetului codului log D.

H S
l
D
( )
log
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
26

2.4.4 Capacitatea , eficiena si redundana codului

Se numete capacitatea codului valoarea maxim a entropiei alfabetului codului:

C = max H(X) = log D

Tinind seama de cele precedente se poate defini eficienta codului ca fiind raportul dntre
lungimea medie minima a unui cuvint de cod :
l
l min
=
Asa cum s-a artat , marginea inferioara a cuvintului de cod este:
C
S H
D
S H
l
) (
log
) (
min = =
iar lungimea medie a unui cuvnt de cod este :
) (
) (
X H
S H
l =
Din relaia anterioar rezult :
D l
S H
log
) (
=
sau innd seama de relatie se obine :
D
X H
log
) (
=
Se numete redundana codului mrimea complementar eficienei.Ea este definit de
relaia :
D l
S H D l
log
) ( log
1

= = sau
D
X H D
log
) ( log
=

2.4.5 Teorema codrii canalelor fr zgomot

Dac probabilitile mesajelor sursei au anumite valori particulare care satisfac
relaia dup cum s-a vzut eficiena codului este maxim. n acest caz din relaia
anterioara rezulta:
D
s p
l
i
i
log
) ( log
=
Urmeaz s se studieze ce se ntmpl cnd mesajele ce trebuie sa fie codate au un set
arbitrar de probabiliti. In acest caz raportul:
D
s p
r
i
i
log
) ( log
=
nu este in general un numar ntreg care sa poata fi onsiderat ca fiind lungimea li a
cuvintului ci.Lungimea cuvintului ci din codul [C] in acest caz poate fi aleasa astfel incit
sa satisfaca inegalitatea :
1
log
log
log
log
+

<

D
p
l
D
p
i
i
i


Se verifica Dac se poate forma cu ele un cod ireductibil.Se poate scrie:

i
l
i i
D D l p log log log =
sau
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
27
i
l
p D
i

de unde:
1
1

N
i
l
i
D
adic este un cod ireductibil avnd cuvinte de lungime
i
l .nmulind inegalitateacu
i
p i
nsumnd toi indicii i se obine:
1
log
) (
log
) (
+ <
D
S H
l
D
S H


Entropia a dou cimpuri de evenimente independente reunite este suma entropiilor
corespunzatoare:
H(X,Y) = H(X) + H(Y)

Dac cmpul [X] este egal cu cimpul [Y] i egal cu cmpul [S] al simbolurilor sursei se
obine:
) ( 2 ) ( ) , (
2
S H S H S S H = =
Dac n loc s se asocieze cite doua simboluri din multimea [S] se asociaza cite n
simboluri si se obine relaia anterioar. n felul acesta in loc sa se faca codarea simbol
cu simbol ea se face pe grupe de n simboluriSe noteaza cu ln lungimea medie a unui
cuvint de cod ce corespunde grupului de n simboluri ale sursei.n cazul acestei codri se
poate aplica relaia care capt forma

1
log
) (
log
) (
+ <
D
S H
l
D
S H
n
n
n

sau tinind seama de relaia anterioar se obine:
H S
D
l
n
H S
D n
n ( )
log
( )
log
< +
1

Dac n este foarte mare, la limit se obine:
l
D
S H
n
l n
n
= =

log
) (
lim


unde l este lungimea medie a unui cuvint din codul [C]. Relaia arat c printr-o codare
corespunztoare informaia medie pe o liter din alfabetul codului
l
S H ) (
poate fi facut
orict de apropiat de capacitatea codului log D respectiv codarea este absolut optimal.
Acesta constitue prima teorem a lui Shannon sau teorema codrii canalelor fr zgomot.

2.4.6 Metode de codare compact

2.4.6.1 Metoda Shannon-Fano de codare binar

Simbolurile sursei se aranjeaz n ordine descresctoare a probabilitii de aparitie
i se mpart n dou grupuri de aceeai probabilitate, sau, dac nu este posibil, de
probabuiliti ct mai apropiate. Dac alfabetul codului este binar

{ } 2 , 1 , 0 = = D X

Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
28
se atribuie litera 0 fiecrui simbol al sursei din grupul superior i litera 1 fiecrui simbol
din grupul inferior. Att grupul superior ct i cel inferior sunt mprite , la rndul lor,
n dou subgrupuri avnd probabilitile totale ct mai apropiate ntre ele. Fiecrui
subgrup superior I se atribuie litera 0 i fiecrui subgrup inferior I se atribuie litera 1.
Fiecare subgrup obinut se mparte din nou n alte subgrupuri i procesul continu pn
cnd fiecare subgrup rmne cu cte un singur element, epuiznd astfel simbolurile
sursei. n cadrul acestei metode de codare, se caut ca fiecare simbol ales din alfabetul
codului s conin o cantitate de informaie ct mai mare atunci cnd este recepionat.
De aceea, mprirea simbolurilor sursei n grupuri se face astfel nct probabilitatea ca
un simbol iniial s aparin grupului superior s fie c mai apropiat de probabilitatea ca
simbolul s aparin grupului inferior. Prin cunoaterea simbolului codului 0 sau 1, care
indic apartenena la grupul superior i respectiv la cel inferior, se obine cea mai mare
cantitate de informaie n etapa respectiv a identificrii simbolului sursei transmis.
Dac codm n continuare blocuri 3-dimensionale de simboluri iniiale, ne vom
apropia i mai mult cu lungimea medie a cuvintelor de cod de valoarea minim. Codurile
din tabelele anterioare sunt coduri optimale avnd cea mai mic lungime medie a
cuvintelor de cod n clasa codurilor obinute prin codarea simbolurilor individuale ale
fiecrei surse date. Ele nu sunt ns coduri absolut optimale, lungimea medie neatingnd
marginea inferioar , deoarece nu este ndeplinit condiia din inegalitatea lui Kraft.

2.4.6.2 Metoda Huffman de codare binar

Dei este, n general, satisfctor, conducnd la eficiene ridicate, algoritmul
Shannon-Fano nu asigur, n cazul codrii simbol cu simbol, obinerea celei mai mari
eficiene (cele mai reduse lungimi medii a cuvintelor de cod) n raport cu ali algoritmi
posibili. Algoritmul propus de D. A. Huffman este optimal n sensul c nici un alt
algoritm de codare nu conduce la o lungime medie a cuvintelor de cod mai mic, n cazul
codrii simbolurilor individuale. Cu ajutorul acestui algoritm se sintetizeaz un cod
optimal. Avnd o surs { } { }
i i
p P s S = = ; al crei alfabet are N simboluri, codarea
Huffman binar ai acestei surse comport urmtoarele etape:
Simbolurile sursei se ordoneaz n sens descresctor al probabilitilor
corespunztoare
Se grupeaz ultimele dou simboluri cu cele mai mici probabiliti ; acest grup
constituie un nou mesaj
1
r de probabilitate:
( ) ( ) ( )
1 1
+ =
N N
s p s p r p

Se constituie o nou surs, numit sursa restrns de ordinul nti , de
alfabet:
{ } { }
1 2 2 1 1
, ,..., , r s s s R
N
=

Se aranjeaz simbolurile sursei restrnse { }
1 1
, P R n ordinea descresctoare a
probabilitilor simbolurilor
Se repet etapa a doua
Se repet etapa a treia
Se repet operaiunile anterioare, pne ce se obine o surs restrns de
ordinul n (n restrngeri) care furnizeaz 2 simboluri crora se aloc simbolurile
codului: 0., 1.
Cuvntul de cod complet corespunztor unui simbol al sursei primare este
constituit din secvena literelor codului, parcurgndu-se sursele restrnse n
sensul opus restrngeriipn la regsirea simbolului original.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
29

2.4.6.3 Metoda Huffman de codare D-ar

Avnd o surs { } { }
i i
p P s S = = ; al crei alfabet are N simboluri, codarea
Huffman D-ar ai acestei surse cu un alfabet constituit din { }
D
x x x X ,..., ,
2 1
= comport
aproximativ aceeai etape ca i codarea binar, restrngerile fcndu-se pn ce se
obine o surs n-ar care furnizeaz D simboluri, crora li se asigneaz simbolurile
codului
D
x x x ,..., ,
2 1
. n acest caz, se observ c dup prima restrngere se obine o surs
cu ( ) 1 1 + = D N D N simboluri, iar dup n restrngeri, o surs cu ( ) 1 D n N
simboluri. Pentru ca operaia de codare s fie posibil, ultima surs (rezultat n urma a
n restrngeri) trebuie s furnizeze D simboluri, deci ( ) 1 = D n N D , de unde rezult un
numr de restrngeri:
1

=
D
D N
n
Pentru D N, date se verific ca n s fie numr ntreg, dac aceast condiie nu
este satisfcut va trebui s adugm sursei { }
i
s S = un numr de simboluri cu
probabilitate de apariie nul, care s asigure un n ntreg.

2.5 Codarea pentru canale cu perturbaii

2.5.1 Teorema lui Shannon pentru canale cu perturbaii



Teorema lui Shannon afirm urmtoarele: Dac
avem o surs cu un debit de informaie R biti/sec si
un canal de capacitate de C biti/sec i dac
C R < exist un cod cu cuvinte de lungime n astfel
nct probabilitatea unei erori de decodare
E
P s
fie:
) (
2
R nE
E
P


unde: n este lungimea cuvintului de cod, ( ) R E este
o funcie nenegativ numit exponentul erorii.
Teorema afirm existena unor coduri a cror probabilitate de decodare eronat
este arbitrar de mic, dar nu arat cum pot fi construite asemenea coduri. Aceast
teorem afirmnd un lucru cu totul surprinztor i anume c indiferent de nivelul
perturbaiilor dintr+un canal, se pot face transmisiuni cu o probabilitate a erorii orict de
mic a dus la o puternic dezvoltare a teoriei codurilor

2.5.2 Coduri grup

Codurile grup sunt coduri bloc n care cele n simboluri care formeaz un cuvnt
sunt considerate ca fiind componentele unui vector n dimensional. S prezentm sub
forma matricial componentele unui cuvnt:

] ... [
2 1 n
a a a w =
Deoarece ne ocupm numai de coduri binare , elementele a
i
sunt elementele unui
cmp cu dou elemente notate (0,1) cmpul fiind notat cu GF(2)
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
30
Regulile de operare numite adunare modulo 2 i multiplicare in GF(2) sunt:

+ 0 1 0 1
0 0 1 0 0 0
1 1 0 1 0 1

2.5.2.1 Distana Hamming

In spaiul n-dimensional al cuvintelor se introduce funcia distan D v v
i j
( , ) care
setisface postuletele unui spatiu metric . Prin definiie aceast funcie este:
) ( ... ) ( ) ( ) , (
2 2 1 1 jn in j i j i j i
a a a a a a v v D + + + =
unde s-a notat cu adunarea modulo 2 in corpul finit cu dou elemente ale
coordonetelor i cu + adunarea obinuit in corpul numerelor reale. Sub o form concis
se poate scrie:

=
=
n
k
jk ik j i
a a v v D
1
) ( ) , (
Din relaia de definiie rezult c distana dintre dou cuvinte de cod este egal cu
numrul de simboluri prin care cele dou cuvinte se deosebesc. Ponderea unui cuvnt de
cod este egal cu numrul elementelor nenule din cuvntul respectiv

2.5.2.2 Decizie pe baza distanei minime

Se presupune o transmisie binar printr-un canal binar simetric fr memorie,
fiecare cuvnt de cod se transmite cu aceeai probabilitate. Se noteaz cu p
probabilitatea ca un simbol s fie transmis eronat i cu q probabilitatea ca el s fie
transmis corect, avem, evident:
1 = + q p
Dac se recepioneaz cuvntul
'
i
v ,probabilitatea ca el s provin din
i
v este:
( )
( ) ( )
i i i i
v v v v
i i
v v
, , '
, ,
D n D
q p p

=
Dac se recepioneaz cuvntul
'
i
v ,probabilitatea ca el s provin din
j
v este:
( )
( ) ( )
j i j i
v v v v
i j
v v
, ,
'
, ,
D n D
q p p

=
Deoarece n majoritatea canalelor utilizate probabilitatea 1 << p , respectiv 1 q , relaiile
precedente se pot scrie:
( )
( )
i i
v v
i i
v v
, '
,
D
p p respectiv ( )
( )
j i
v v
i j
v v
,
'
,
D
p p . Dac:
( ) ( ) ( ) ( ) 1 1 , ,
, , , ,
> < j pt p p atunci j pt D D
i j i i j i i i
v v v v v v v v

Cu alte cuvinte, dac distana de la cuvntul recepionat
,
i
v la cuvntul de cod
i
v este mai
mic dect distana la oricare alt cuvnt de cod, atunci probabilitatea ca
,
i
v s provin din
i
v este mai mare ca probabilitatea ca el s provin din oricare alte cuvinte de cod.
Pe baza acesteia se poate decide c s-a transmis cuvntul
i
v cnd s-a recepionat
,
i
v . Aceast schem de decizie se numete a observatorului ideal sau a probabilitii
maxime, ea stabilete o coresponden ntre cuvintele recepionate
,
i
v i cuvintele
transmise
i
v pe baza criteriului probabilitii condiionate maxime ( ( )
'
i j
v v p ).
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
31
n consecin, putem afirma c posibilitile de detecie i corecie ale unui cod
depind de distana minim dintre cuvintele de cod

2.5.2.3 Cuvntul de eroare

Pentru a elabora mecanismul de detecie i corecie a erorilor este necesar ca n
prealabil s se analizeze modul n care se introduc erorile ce trebuie corectate/detectate.
ntr-un cadru general, aciunea perturbaiilor poate fi caracterizat printr-un
operator aleator P care face transformarea :
{ }
,
i i
v v = P

Cuvntul de eroare se definete ca un cuvnt care are simboluri din acelai alfabet cu
cuvintele de cod
i
v i aceeai lungime n, definit sub forma matricial (generat de canalul
cu perturbaii):
[ ]
n
...
2 1
=

unde simbolurile pot lua n cazul binar valorile 0 sau 1, concret,
i
ia valoarea 1 dac
perturbaiile introduc eroare, respectiv 0 dac nu se introduc erori. ntr-o alta form,
cuvntul de eroare poate fi scris sub forma:

[ ] ... ... ...
1 e
i i
=

unde simbolurile
e
i i
...
1
sunt simboluri 1, celelalte fiind 0, iar
n
i i i ,... ,
2 1
sunt indici de la 1
la n care indic poziia n care apare o eroare. Cu ajutorul definiiei vuvntului de eroare,
transformarea { }
,
i i
v v = P poate fi scris:
{ }
,
i i i
v v v = + = P

unde semnul + indic adunarea modulo 2 a matricilor ,
i
v

2.5.2.4 Mecanismul de detecie i corecie a erorii

Pentru a stabili o modalitate de detecie sau corecie a erorii se consider un
spaiu m-dimensiomal care se numeste spaiul de corecia Z si care are 2
m
elemente z
aparinnd Z numite corectori.Corectorii se reprezinta prin matrice. In literatura de
specialitate corectorul se mai numeste si vector de control de paritate si sindrom.
Corectorii sunt destinati sa indice pozitiile din cuvintul de cod in care s-au introdus erori.
In acest scop se stabileste o corespondent univoca intre multimea tuturor cuvintelor
receptionate si multimea corectorilor.Aceasta corespondenta se poate stabili definind un
operator H astfel ca:
{ } z =
i
v
Daca
i i
v v = adica daca tansmisia s-a facut fr erori z trebue sa fie acelasi pentru orice I
indicind astfel faptul ca un sunt erori. Se alege in acest caz pentru z o valoare 0 si ca
urmare relatia devine:
{ } 0 =
i
v H
pentru orice I de la 1 la
K
S 2 = .
Pentru a putea corecta erorile introduse in procesul de transmisie este necesar ca
pentru fiecare cuvint eroare care poate fi generat de perturbatiile din canal sa existe un
singur corector distinct diferit de zero.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
32

2.5.2.5 Matricea de corecie

Din cele precedente rezulta ca operatorul H determina o tansformare care este numai
univoca de la spatiul de cuvinte receptionate la spatiul corector. Cea mai simpla
structura a operatorului H se obtine daca se considera o transformare lineara care este
numai univoca de la spatiul cuvintelor receptionate la sprtiul corectorilor, definite de
ecuatiile:
m n mn m m
n n
n n
c a h a h a h
c a h a h a h
c a h a h a h
= + + +
= + + +
= + + +
...
... .......... .......... .......... ..........
... .......... .......... .......... ..........
...
...
2 2 1 1
2 2 2 22 1 21
1 1 2 12 1 11

h
ij
sunt parametrii care determina transformare H;
a
i
- simbolurile unui cuvint receptionat
c
i
- coordonatele care determina punctul z
Relatiile se pot scrie compact sub forma matriciala.In acest scop se introduce matricea:
(
(
(

=
mn m m
n
n
h h h
h h h
h h h
H
2 1
2 22 21
1 12 11

Matricea H se numeste matricea de control. Prin transformari elementare matricea H
poate fi pus sub forma echivalenta:
] [
1 0 0
0 1 0
0 0 1
2 1
2 22 21
1 12 11
Q I
q q q
q q q
q q q
H
m
mk m m
k
k
=
(
(
(

=
in care I
m
reprezint matricea unitate de ordinul m , iar Q este:
(
(
(

=
mk m m
k
k
q q q
q q q
q q q
Q
2 1
2 22 21
1 12 11

In cele ce urmeaza se vor nota cuvintele sub forma de matrici linie : = v a a a
n
[ ... ]
1 2

iar corectorii sub forma de matrice coloana:
(
(
(
(

=
m
c
c
c
z
...
2
1


Cu ajutorul notaiilor precedente relatiile pot fi scrise sub forma:
Hv z
T
=
unde v
T
este transpusa matricei v .Dac cuvntul recepionat este un cuvnt de cod
conform relaiei controlul este nul.
Hv
T
= 0
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
33

2.5.2.6 Codarea codurilor grup cu matricea de corecie

Considerm n cele ce urmeaz ca n cuvntul de cod: [ ]
n m m
a a a a a v ... ...
1 2 1 +
=
primele m simboluri : [ ] [ ]
m m
c c c a a a ... ...
2 1 2 1
= = c s fie simboluri redundante care
servesc deteciei sau coreciei erorilor i n consecin vor fi numite simboluri de control,
iar ultimele k simboluri: [ ] [ ]
k k m m m
i i i a a a ... ...
2 1 2 1
= =
+ + +
i unde n k m = +
s fie simboluri generate de surs pe care le numim simboluri de informaie. Cu notaiile
anterioare avem:
(

= i c v
Pentru a determina cele m simboluri de control n funcie de k simboluri de informaie,
facem apel la relaia de corecie:

T T T T
T
T
m
T
Qi c 0 Qi c 0
i
c
Q I 0 Hv = = + =
(
(

=

Operaia de determinare a simbolurilor de control n funcie de simbolurile de informaie
se numete codare. Relaia anterioar se poate scrie:

(
(
(
(

=
(
(
(
(

=
(
(
(
(

+
+
+
m k m
m
m
mk m m
k
k
a
a
a
a
a
a
q q q
q q q
q q q
. .
...
... ... ... ...
...
...
2
1
2
1
2 1
2 22 21
1 12 11

de unde rezult:
m j a q a
i m
k
i
ij j
, 1
1
= =
+
=


adic simbolurile de control se obin din combinaii liniare (nsumare modulo 2) ale
simbolurilor de informaie. Cuvintele de cod astfel formate pot fi recunoscute datorit
faptului c au corectorul corespunztor nu. Dac n procesul de transmisie se introdc
erori, corectorul va fi diferit de zero i prin mecanismul indicat se pot corecta erorile.
Dac simbolurle de informaie i de control sunt plasate n grup la nceputul sau
la sfritul cuvntului de cod, codul se numete sistematic.

2.5.2.7 Relaiile ntre coloanele matricei H n cazul coreciei erorilor

Pentru a putea fi corectat orice combinaie a e erori, matricea H trebuie s
satisfac anumite condiii:
+ = v v
,


unde este un cuvnt de eroare cu e simboluri egale cu 1, respectiv e erori:

[ ] ... ... ...
e
i

1
i
=

Corectorul corespunztor cuvntului
,
v este: ( )
T T T
H Hv v H Hv z + = + = =
T ,

Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
34
Deoarece, 0 v H =
T
rezult
T
H z = , respectiv:
(
(
(
(
(
(

(
(
(
(

=
e
i
i
mn m m
n
n
h h h
h h h
h h h

.
.
...
... ... ... ...
...
...
1
2 1
2 22 21
1 12 11
z
Pentru simplitate se noteaz coloanele matricei H cu
i
h , relatia anterioar se poate
scrie:
[ ] [ ] [ ]
e 1 e 1
i i i i n 2 1
h h h h h h h z + + = + + + =
(
(
(
(
(
(

= ... ... ... ...


.
.
...
1
1
e
e
i i
i
i



Pentru a corecta e erori indiferent de poziiile n care intervin este necesar ca sumele
modulo 2 a cte e coloane oarecare din matricea de control H s fie distincte. n felul
acesta se obin corector distinci pentru fiecare cuvnt de eroare. Dac coloanele matricei
H sunt astfel alese nct sumele modulo 2 a cte e coloane sunt distincte, respectiv:

e 1 e 1
j j i i
h h h h + + + + ... ...

pentru orice valori
e
i i ,...
1
distincte, cuprinse ntre 1 i n i
e
j j ,...
1
distincte cuprinse ntre
1 i n (care pot fi egale cu unele numere
e
i i ,...
1
dar nu cu toate), atunci adunnd n ambii
membrii coloanele
e 1
j j
h h ... se obine:
0 h h 0 h h h h
e 1 e 1 e 1
i i j j i i
+ + + + + + +
2
... ... ...

pentru orice valori
e
i i
2 1
,... cuprinse ntre 1 i n. Dac coloanele matricei de control
satisfac condiia dat de ecuaia anterioar, atunci exist posibilitatea corectrii a e erori
oarecare.
Se poate arta c n acest caz distana minim ntre dou cuvinte de cod este egal cu
2e+1.

Observaie

Pornind de la definiia distanei Hamming dintre dou cuvinte de cod
( )
jk ik k
n
k
n
k
k jk ik j i
a a b cu b a a v v D = = =

= = 1 1
,

Din relaia anterioar rezult c distana dintre dou cuvinte de cod este ponderea
unui alt cuvnt de cod (numrul elementelor nenule ntr-un cuvnt de cod). Simbolurile
astfel obinute sunt i ele simbolurile unui cuvnt de cod w, deoarece satisfac relaia:

[ ] ( ) 0 Hw 0 Hv Hv v v H Hw v v w
T T
j
T
i
T
j i
T
j i
= = + = + = + = =
n
b b b ...
2 1

Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
35

Rezult c distana minim dintre dou cuvinte de cod (care este i ponderea
minim a cuvintelor de cod) va determina capacitile de corecie a unui cod.
Dac se presupune c w este un cuvnt de cod cu pondere egal cu 2e+1 atunci:

[ ] 0 h h 0 Hw w
1 2e 1 1
i i
T
= + + = =
+ + + 1 2 1 1 2
... ... ... ...
e e
i i i i
respectiv sau 0 ... ... = +
+1 2e 1
i i
h h

Dac suma a 2e coloane oarecare este diferit de zero, atunci nu exist nici o relaie de
forma:
0 ... ... = +
2e 1
i i
h h

Deci, condiia necesar i suficient pe care trebuie s o ndeplineasc distana dintre
cuvinte pentru ca s se poat corecta e erori este ca:
1 2
min min
+ = = e P d
Pentru a detecta e erori, condiia este:
1
min min
+ = = e P d
Observaie. Se observ c un cod corector de e erori este detector de 2e erori

2.5.2.8 Codarea codurilor grup cu ajutorul matricei generatoare G

innd seama de notaiile precedente, se definete o matrice G numit matrice
generatoare care satisface relaia:
iG v =

Pentru a vedea legtura ntre matricea G i matricea H , facem nlocuirile:
( ) 0 i G H iG H 0 v H
T T
= = =
T T

deoarece aceast relaie este valabil pentru orice simboluri de informaie, rezult:
0 G H
T
= , unde matricea H conform unor relaii anterioare este de forma: [ ] Q I H
m
=
unde matricea Q este o matrice cu m linii i k coloane.
Dac matricea G ar fi de forma: [ ]
k
T
I Q G = atunci relaia anterioar este
satisfcut:
[ ] [ ] 0 Q Q
I
Q
Q I HG
k
m
T
= + =
(

=
Notnd cu P matricea
T
Q :
T
Q P = , respectiv
(
(
(
(
(
(
(

=
km k k
m
m
p p p
p p p
p p p
..
.... .......... ..........
...
..
2 1
2 22 21
1 12 11
P deci [ ]
k
PI G = sau
(
(
(
(
(

=
1 ... 00 ...
. .......... ..........
0 ... 01 ...
0 ... 10 ...
1
2 12
1 11
km k
m
m
p p
p p
p p
G

avnd n vedere relaiile existente, avem : [ ] [ ] [ ] iPi PI i ci v
k
= = = de unde rezult iP c = o
alt relaie pentru obinerea simbolurilor de control
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
36

2.5.2.9 Formarea corectorilor

[ ] [ ] [ ] [ ] [ ] c c z c c P i c P I i c H v z v H z
T T
m
T T T
+ = + = + = = = =

unde P i c = reprezint simbolurile de control ce rezult din operaia de codificare a
simbolurilor de informaie recepionate.


2.5.3 Coduri Hamming grup

Codurile Hamming constituie prima clas de coduri bloc liniare corectoare de erori
i au fost propuse de R. Hamming n anul 1950.

2.5.3.1 Codul Hamming grup corector de o eroare

Caracteristicile codului:
- lungimea cuvntului de cod se determin cu relaia: 1 2 1 = + + =
k
k m n , relaie ce
reprezint condiia de existena a unui cod perfect, satisfcut pentru o eroare
- codul este separabil dar nu este sistematic , structura unui cuvnt de cod este:

[ ]
n
i i c i i i c i c c v ...
9 8 7 6 5 4 3 2 1
=

- simbolurile de control sunt situate pe poziiile 1 , 0 , 2 = k i
i

- matricea de control H este de forma : [ ]
n i 1
h h h H ... ...
] [
=
mxn
unde fiecare coloan
reprezint n cod binar natural (BN) numrul de ordine al coloanei respective, cu bitul cel
mai puin semnificativ n linia a m-a. Din structura matricii de control se observ c
toate coloanele sunt distincte deci este ndeplinit condiia pentru corecia unei erori
- relaiile de codare se determin cu condiia: 0 v H
T
= de unde rezult exprimarea
simbolurilor de control n funcie de cele de informaie
- sindromul se determin cu relaia : s r H
T
= , unde
T
r este transpusa cuvntului
recepionat
[ ] [ ]
i i n i 2 1
T T T
h h h h h H v H r H =
(
(
(
(
(
(

= = + =
.
.
.
.
... ...
- corectorul corespunztor este:
i
h z = adic reprezentarea binar a numrului i care
reprezint poziia n care este o eroare, decodarea se face foarte simplu prin conversie
binar-zecimal.
Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
37

Codul Hamming corector de o eroare nu poate corecta nici o eroare dubl, motiv
pentru care este un cod perfect. n general codurile care pot corecta e erori n orice
poziii, dar nu pot corecta 1 + e erori sau mai multe, se numesc coduri perfecte.

2.5.3.1.1 Codarea

Cele m poziii ale simbolurilor de control corespund vectorilor coloan
i
h cu un singur
element diferit de zero. Simbolurile de control sunt date de relaiile:

0 v H
T
= respectiv [ ] 0 h h h h
n i 2 1
=
(
(
(
(
(
(
(
(
(
(
(

n
i
i
c
i
c
c
.
.
... ...
5
4
3
2
1
sau 0
1
1
.
.
.
1
...
1
1
.
.
.
0
0
1
.
.
.
0
1
0
.
.
.
0
3 2 1
=
(
(
(
(
(
(
(
(

+ +
(
(
(
(
(
(
(
(

+
(
(
(
(
(
(
(
(

+
(
(
(
(
(
(
(
(

n
i i c c
relaie cu m ecuaii n care simbolurile de control intervin o singur dat , deci pot fi
exprimate n funcie de simbolurile de informaie, ce se pot scrie ncepnd cu ultima linie:
.......... .......... ..........
...
...
...
6 5 4
6 3 2
5 3 1
n
n
n
i i i c
i i i c
i i i c
+ + + =
+ + + =
+ + + =

2.5.3.1.2 Decodarea

La recepie, cuvntul recepionat se introduce ntr-un dispozitiv cu celule binare
de memorie i se calculeaz corectorul:
[ ]
(
(
(
(
(
(

=
(
(
(
(
(
(

= =
,
,
2
,
1 1
'
.
. ...
.
.
.
n m
i
c
c
e
e
n 2 1
T
h h h Hv z

innd cont de structura matricei H n mod calvului precedent, se obine:
......... .......... .......... ..........
...
...
, ,
6
,
3
,
2 1
, ,
5
,
3
,
1
n m
n m
i i i c e
i i i c e
+ + + + =
+ + + + =


Numrul binar astfel calculat ( )
m
e e e ...
2 1
este introdus ntr-un convertor binar-zecimal,
iesirea cruia indic poziia erorii, permind astfel corecia ei, prin nsumarea modulo 2
a cuvntului recepionat cu cuvntul de eroare obinut.

Transmisia datelor -curs 2012 zgerman@engineering.upm.ro
38
2.5.3.2 Coduri Hamming modificate

Pentru a depi dezavantajul codului Hamming corector de o eroare (acela de a
erona suplimentar la depirea capacitii de corecie a codului), acest cod poate fi
modificat n sensul creterii distanei minime de la 3 la 4 ceea ce permite detecia erorilor
duble. Acest lucru este posibil att prin extinderea ct i prin scurtarea codului iniial

2.5.3.3 Codul Hamming extins (corector de o eroare i detector de erori duble)

Creterea distanei minime se obine prin adugarea unui simbol de control
suplimentar numit i simbolul de control al paritii
0
c , structura cuvntului de cod
devenind astfel:
[ ]
n
i i c i i i c i c c c v ...
9 8 7 6 5 4 3 2 1 0
=

Matricea de control capt forma:

(

=
(

1 ... 1 1 1
... 0
1
0
n 2 1
h h h
1
H
H

unde [ ]
n i 2 1
h h h h ... ... este matricea de control a codului Hamming corector de o eroare.
Corectorul pentru acest cod va fi:

( )
(

= = =

0
,
z
z
H v H z
T
T


unde z i pstreaz semnificaia de la codul Hamming corector de o eroare iar
0
z este
un simbol binar ce poate lua valoarea 0 sau 1 cu ajutorul cruia se poate face detectia
erorilor duble( 0
0
= z )

Putem avea urmtoarele situaii:
0
0
= z i 0 z = atunci nu apar erori
0
0
= z i 0 z atunci sunt dou erori detectabile
1
0
= z i 0 z atunci exist o eroare corectabil
1
0
= z i 0 z = atunci simbolul
0
c este eronat
distana de cod este 4 i ea corespunde condiiei de corecie a unei erori i detecie de
erori duble.

S-ar putea să vă placă și