TD Curs 2011a

Dr. ing.
Germn-Sall Zoltn

Transmisia datelor

Elemente de teoria transmisiunii informaiei
Partea I

Curs. Format electronic
Anii IV Calculatoare, Automatic

2011

Transmisia datelor -curs 2011 zgerman@engineering.upm.ro
2

Cuprins

1. Introducere
1.1 Modelul unui sistem de transmisie a informaiei
1.2 Sarcina unui sistem de transmisie a informaiei
2.Elemente de teoria transmisiunii informaiei
2.1 Msura informaiei n semnale discrete
2.1.1 Unitatea de msur a informaiei
2.2 Surse discrete de informaie
2.2.1 Surse discrete de informaie fr memorie
2.2.2 Entropia informaional a unei surse discrete fr memorie
2.2.3 Redundana si eficiena sursei
2.2.4 Momente. Debit de momente
2.2.5 Debit de informaie. Debit de decizie
2.3 Canale de transmisiune discrete.
2.3.1 Probabiliti i entropii n canale discrete
2.3.1.1 Entropie condiionat
2.3.1.2 Relaii ntre entropii
2.3.2 Transinformaia
2.3.3 Capacitatea, redundana i eficiena canalului discret
2.3.4 Capacitatea canalului prin band (B) i raport semnal/zgomot ()
2.3.4.1 Rezoluia n timp
2.3.4.2 Rezoluia n amplitudine
2.3.4.3 Capacitatea canalului de transmisie
2.4 Codarea surselor pentru canale fr perturbaii
2.4.1 Coduri unic decodabile
2.4.2 Coduri instantanee
2.4.3 Lungimea medie al unui cuvnt de cod
2.4.4 Capacitatea , eficiena si redundana codului
2.4.5 Teorema codrii canalelor fr zgomot (Shannon I)
2.4.6Metode de codare compact
2.4.6.1 Metoda Shannon-Fano de codare binar
2.4.6.2 Codarea Huffmann binar
2.4.6.3 Codarea Huffmann M-ar
2.5 Codare pentru canale cu perturbatii
2.5.1 Teorema lui Shannon pentru canale cu perturbaii
2.5.2 Coduri grup
2.5.3 Codul Hamming
3
1.Introducere

In transmisii de date este foarte important ca informaia s ajung de la surs la utilizator fr s fie deteriorat n timpul
trecerii prin canal.

fig 1 Locul transmisiei datelor ntr-un sistem numeric

De aceea informaia este codat apoi modulat inainte ca ea s ajung pe canalul de transmisie. Dup ce semnalul ajunge
prin canalul de transmisie la destinaie (utilizare), semnalul este demodulat iar apoi decodat.Deci rolul codrii este, ca informaia s
nu fie distrus n timpul transmisiei, de perturbaii , zgomote.

1.1 Modelul unui sistem de transmisie a informaiei

Cel mai simplu model al unui sistem de transmisiune a informaiei este prezentat n figura 2.

fig 2 Modelul unui sistem de transmisia informaiei

n acest caz se presupune c mesajul sub forma n care este dat de surs poate fi transmis direct prin canal fr a suferi
transformri.Sursa de perturbaie este un element ce apare n mod inevitabil n orice sistem de transmisiune a informaiei.
Modelul din figura 2 corespunde n general cazurilor cnd informaia trebuie transmis la distan mic i erorile pricinuite
de zgomot sunt mici. Dac mesajul nu poate fi transmis ca atare prin mediu (din cauza dificultilor de propagare sau din cauza
necesiii de a realiza transmisiuni multiple) se introduc elementele de modulare si demodulare asa cum se arat in figura 3.

fig 3 Structura unui sistem de transmisii cu modulare/demodulare

4
Marea majoritate a sistemelor de transmisie a informaiei utilizate n prezent au structura prezentat in figura 3. n cazurile
in care se caut mrirea eficienei, respectiv a posibilitii transmiterii unor cantiti ct mai mari de informaie n prezena
perturbaiilor, se utilizeaz si elemente de codare i decodare cum se prezint n figura 4.n care se includ uneori procedee de decizii
statistice.
fig. 4 Structura unui sistem de transmisii cu modulare/demodulare i codare-decodare

1.2 Sarcina unui sistem de transmisie a informaiei

Sarcina unui sistem de transmisie a informaiei este de a pune la dispoziia utilizatorului informaia generat de surs cu un
grad de deteriorare specificat admis.n tehnicile de comunicaii se obinuiete s se introduc un criteriu de fidelitate, pentru
aprecierea reproducerii semnalului generat de surs, la corespondent. In sistemele de transmisiune analogice criteriul de fidelitate
este ales uneori eroarea medie ptratic:

= [ ( ) ( )] x t y t
2

Unde, x(t)-este mesajul transmis; y(t)-este mesajul receptionat, n(t)-este semnalul perturbator iar media se face n raport cu
timpul; alteori se alege drept criteriu de fidelitate raportul semnal/perturbaie

=
[ ( )]
[ ( )]
x t
n t
2
2

La sistemele numerice criteriul de fidelitate ales este probabilitatea recepionrii unui simbol eronat. Majoritatea sistemelor
de comunicaii utilizate n prezent se caracterizeaz prin faptul c la capetele terminale ale canalului sunt fiine umane.n cazul
acesta mijloacele de comunicaii pot fi considerate c ar fi de fapt o prelungire a simurilor: telefonul, de exemplu, face posibil
convorbirea a dou persoane ca i cnd ele ar fi prezente in acelai loc. Perturbaiile prezente in majoritatea sistemelor de
comunicaii sunt asemntoare perturbaiilor naturale la care simurile umane s-au adaptat. Acesta este motivul pentru care
sistemele clasice de comunicaii dau rezultate satisfctoare cu un echipament terminal redus.
Se tie din experien c n cazul unei convorbiri telefonice n care intervin perturbaii foarte puternice, se vorbete mai
tare, mai rar i se utilizeaz un vocabular mai redus de cuvinte uzuale.Prin acesta se adapteaz sursa de informaie la cablul de
comunicaie disponibil (existent).
Comunicaia de la main la main se dezvolt n prezent din ce n ce mai mult pe lng mijloacele tradiionale de
comunicaie.Automatizrile complexe ale proceselor de producie, schimbul de date cu calculatoarele fac ca sistemele de
comunicaie main-main s se dezvolte vertiginos.
Spre deosebire de comunicaia de la om la om, n comunicaia de la main la main nu mai are loc o codare natural pe
care o efecueaz creierul n vederea adaptrii la canalul de informaie.Acest fapt conduce la mrirea complexitii echipamentului
terminal n vederea obinerii la procesul de transmisiune a fidelitii cerute.
mbuntirea calitii transmisiunii se poate face i prin mbuntirea canalului. n alegerea metodei de imbuntire a
calitii a transmisiunii trebuie s se fac o comparaie ntre preul echipamentului terminal i cel al canalului.
Tendinele actuale de dezvoltare indic o tendin spre creterea complexitii echipamentului terminal al crui pre devine din
ce n ce mai sczut datorit utilizrii circuitelor integrate pe scar larg i foarte larg(LSI, VLSI), a cror producie de mas se face
la un pre sczut.
Nu acelai lucru se poate spune despre costul canalelor de transmisiune Dei n acest domeniu se fac progrese mari, prin
faptul c ele nu se preteaz la o producie de mas, probabil c preul lor nu va scdea nici in viitor. Acest fapt explic tendina spre o
utilizare mai raional a canalului de transmisie prin mrirea complexitii echipamentului terminal, astfel ca acesta s poat efectua
operaiile necesare mririi eficienei transmisiunii.
5
2.Elemente de teoria transmisiunii informaiei

Una din problemele fundamentale ale teoriei informaiei este msurarea cantitii de informaie pe care o furnizeaz un
cmp de probabilitate produs de un experiment sau de o variabil aleatoare. Mrimea intuitiv de cantitate de informaie trebuie s
posede proprietile naturale pe care le impune noiunea de cantitate, ca de exemplu aditivitatea, asociativitatea, etc. Aceste
proprieti constituie axiomele fireti cu ajutorul crora se definete noiunea de cantitate de informaie

2.1 Msura informaiei n semnale discrete

Msura informaiei este o msur a nedeterminrii asupra unui sistem de evenimente, respectiv o msur a incertitudinii
asupra rezultatului alegerii printr-un mecanism aleator a unui eveniment din mulimea evenimentelor posibile, distincte
Pentru precizare se consider mulimea discret i finit a tuturor evenimentelor posibile, ale unui experiment care se va
numi spaiul esantioanelor i se va nota sub urmtoarea form matricial:
[ ] [ ]
n
x x x X ...
2 1
= n care E x
n
i
i
=
=
U
1
i =
j i
x x j i
unde E este evenimentul sigur.Fiecrui element al mulimii [ ] X i este asociat o probabilitate dat de matricea:
[ ] ( ) ( ) ( ) [ ] [ ]
n n x
p p p x p x p x p P ... ...
2 1 2 1
= =

n care ( )
=
=
n
i
i
x p
1
1

Msura incertitudinii asupra realizrii unui eveniment
i
x pe care o notm cu ( )
i
x U este o funcie ( )
i
p F a probabilitii
apriori ( )
i i
x p p = de realizare a acestui eveniment:

( ) ( )
i i
p F x U =

i reprezint incertitudinea iniial (apriori) asupra realizrii evenimentului
i
x . cnd evenimentul
i
x se realizeaz, aceast
incertitudine este nlturat i se poate spune c s-a obinut o informaie ( )
i
x i asupra realizrii lui
i
x . Aceasta poate fi definit ca:
- informaia obinut asupra lui
i
x prin realizarea lui
i
x ; sau ca:
- anularea incertitudinii asupra realizrii lui
i
x , dup ce
i
x s-a realizat
Prin urmare:
( ) ( )
i i
x U x i = ( ) ( )
i i
p F x i =

Informaia n sensul de mai sus este o msur a incertitudinii
Dac se consider c n procesul de observare a evenimentelor
i
x intervin perturbaii, atunci ntre evenimentele realizate
i
x i cele observate
j
y nu exist totdeauna o coresponden, uneori evenimentul observat
j
y difer de evenimentul
i
x , alteori
nu difer, totul depinde de de aciunea ntmpltoare a perturbaiilor.

Dac se noteaz cu : [ ] [ ]
n
y y y Y ...
2 1
= mulimea evenimentelor observate
atunci msura incertitudinii asupra realizrii evenimentului
i
x dac s-a observat evenimentul
j
y
respectiv ( )
j i
y x U este o funcie de ( ) [ ]
j i
y x p F de probabilitatea lui
i
x condiionat de
j
y :

( ) ( ) [ ]
j i j i
y x p F y x U =

Aceast funcie reprezint incertitudinea aposteriori asupra realizrii evenimentului
i
x dac s-a realizat
j
y , adic dup
observarea evenimentului
j
y rmne totui o incertitudine asupra evenimentului care s-a realizat. Aceast incertitudine se
6
datoreaz perturbaiilor existente, n lipsa acestor perturbaii s-ar putea afirma cu probabilitatea maxim (unu) ca observnd
evenimentul
j
y s-a realizat
i
x .
Informaia obinut asupra realizrii lui
i
x cnd se observ
j
y reprezint de fapt scderea incertitudinii apriori asupra
realizrii lui
i
x din starea iniial, nainte de observarea lui
j
y , la starea final cnd s-a observat
j
y i cnd rmne o
incertitudine aposteriori, adic:
( ) ( ) ( )
j i i j i
y x U x U y x i = ,

- informaia obinut asupra realizrii
i
x cnd se observ
j
y
- descreterea incertitudinii asupra lui
i
x prin recepionarea lui
j
y
Dac nu sunt perturbaii i se realizeaz
i
x se observ
j
y =
i
x iar ( ) 0 =
j i
y x U fiindc nu mai este nici un fel de
incertitudine aposteriori asupra lui
i
x . Relaia de mai sus devine:

( ) ( )
i j i
x U y x i = ,

Dac perturbaiile sunt foarte mari atunci nu se mai poate face nici o legtur ntre
j
y recepionat i
i
x realizat i
i
x i
j
y sunt evenimente independente, in aceast situaie:
( ) ( ) [ ] ( ) [ ] ( ) ( ) 0 , = = = =
j i i i j i j i
y x i x U x p F y x p F y x U

adic prin observarea lui
j
y nu se obine nici o informaie asupra lui
i
x
n cazul general se poate scrie:
( ) ( ) [ ] ( ) [ ]
j i i j i
y x p F x p F y x i = ,

Funcia U poate fi aleas dintr-o clas foarte larg de funcii ns din punct de vedere practic, numai cteva prezint
interes. O condiie esenial pe care trebuie s o indeplineasc funcia este aditivitatea, fiindc n conformitate cu sensul dat
informaiei aceasta trebuie s fie aditiv.
Dac se consider c evenimentul
i
x este format din dou evenimente independente
1 i
x i
2 i
x , respectiv:
2 1 i i i
x x x =
postulnd c informaia este aditiv:
( ) ( ) ( ) ( ) ( ) ( )
2 1 2 1 i i i i i i
x U x U x U x i x i x i + = + =

rezult:
( ) [ ] ( ) ( ) [ ] ( ) ( ) [ ] ( ) [ ] ( ) [ ]
2 1 2 1
,
2 1
2 1
i i i i
te independen x x
i i i
x p F x p F x p x p F x p x p F x p F
i i
+ = + =

Aceast ecuaie funcional are soluia:
( ) p p F log =

unde este o constant pozitiv, iar nlocuind n relaia anterioar se obine:

( ) ( )
i i
x p x i log = informatia proprie asociat cu evenimentul
i
x

( ) ( ) ( )
( )
( )
i
j i
j i i j i
x p
y x p
y x p x p y x i log log log , = + = informaia mutual
Informaia mutual se obine prin realizarea evenimentului
i
x i recepionarea evenimentului
j
y
7
2.1.1 Unitatea de msur a informaiei

Deoarece informaia este o msur a incertitudinii, n procesul alegerii la ntmplare dintr-un numr de evenimente posibile,
cea mai simpl alegere este aceea dntre dou evenimente posibile. Astfel s-a convenit s se aleag ca unitate de informaie,
informatia ce se obine prin alegerea la ntmplare, a unui eveniment din dou egal probabile. n acest caz, avnd:

[ ]
(
=
2 1
x x X [ ]
(
=
2
1
2
1
P
( ) ( ) bit x i x i
baza alege se
1 2 log 1
2
1
log
2
2
2 1
= = = =

Unitatea de informaie astfel definit se numete bit. n acest caz relaiile anterioare devin:

( ) ( ) ( )
i i i
x ldp x p x i = =
2
log respectiv ( )
( )
( )
( )
( )
i
j i
i
j i
j i
x p
y x p
ld
x p
y x p
y x i = =
2
log ,

n unele cazuri se lucreaz cu logaritm n baza e sau baza zece, n aceste situaii avem relaiile:
bit e
e
nit 44 , 1 log
1
ln 1
2
= = = (se alege 1 din e)
bit dit 32 , 3 10 log
10
1
lg 1
2
= = = (se alege 1 din 10)
Aplicaie

Dac simbolurile A, B, C, D apar cu probabilitile 1/2,1/4,1/8,1/8 atunci un mesaj format din trei simboluri X=BDA conine
informaia:
bit I I I I
A D B x
6 1 3 2
2
1
log
8
1
log
4
1
log
2 2 2
= + + = = + + =
Aplicaie

S determinm cantitatea de informaie dintr-o carte de 450 de pagini care are 500 de cuvinte pe pagin a cte 5 simboluri.
Simbolurile se aleg din 26 de litere, 10 cifre i un spaiu (alfabet cu 37 de simboluri)
bit I
carte
6
2
10 86 . 5 37 log 5 500 450 = =
Aplicaie

O aplicaie din biologie. ADN-ul este o molecul ce conine informaia genetic a vieii. Informaia este stocat ca o
succesiune de nucleotide.

nucleotida numele probabilitatea
A Adenin 0.25
C Citozin 0.25
T Thinin 0.25
G Guanin 0.25

ADN-ul bacteriei E Coli are
6
10 4 asemenea baze. Coninutul de informaie va fi:
bit I
EColi
6
2
6
10 8
4
1
log 10 4 = = . AND-ul uman are
9
10 3 din aceste baze. Informaia corespunztoare:
bit I
uman
10
2
9
10 2 . 1
4
1
log 10 3 = = n jur de 17 CD ROM-uri (650 MByte).
8

Aplicaie

S se calculeze cantitatea de informaie necesar pentru precizarea poziiei unei figuri pe o tabl de ah.
a. o prim posibilitate pentru precizarea poziiei unei figuri const n numerotarea fiecrui ptrat. n total sunt necesare
64 = m cifre, figura putnd ocupa oricare din aceste ptrate, deci pentru precizare va fi necesar o cantitate de informaie:
bit
m
I
fig
6 64 log
1
log
2 2
= = =
b. o a doua posibilitate ar fi precizarea poziiei figurii de ah prin coordonate. Astfel sunt necesare 8 cifre pe orizontal i 8
cifre pe vertical. Cantitatea de informaie necesar pentru precizarea poziiei figurii va fi:
bit I
fig
6 8 log 2
2
= =
Aplicaie

Fie un alfabet format din literele A, B, C, D. Se cere s se calculeze:
a. numrul maxim de mesaje de lungime 4 ce se pot forma cu acest alfabet
b. cantitatea de informaie coninut de un asemenea mesaj
Soluie.
a. Mesajele ce se pot forma cu acest alfabet sunt n numr de 256 4
4
= = N i anume:

AAAA ACAA BAAA BCAA CAAA CCAA DAAA DCAA
AAAB ACAB BAAB BCAB CAAB CCAB DAAB DCAB
AAAC ACAC BAAC BCAC CAAC CCAC DAAC DCAC
AAAD ACAD BAAD BCAD CAAD CCAD DAAD DCAD
AABA ACBA BABA BCBA CABA CCBA DABA DCBA
AABB ACBB BABB BCBB CABB CCBB DABB DCBB
AABC ACBC BABC BCBC CABC CCBC DABC DCBC
AABD ACBD BABD BCBD CABD CCBD DABD DCBD
AACA ACCA BACA BCCA CACA CCCA DACA DCCA
AACB ACCB BACB BCCB CACB CCCB DACB DCCB
AACC ACCC BACC BCCC CACC CCCC DACC DCCC
AACD ACCD BACD BCCD CACD CCCD DACD DCCD
AADA ACDA BADA BCDA CADA CCDA DADA DCDA
AADB ACDB BADB BCDB CADB CCDB DADB DCDB
AADC ACDC BADC BCDC CADC CCDC DADC DCDC
AADD ACDD BADD BCDD CADD CCDD DADD DCDD
ABAA ADAA BBAA BDAA CBAA CDAA DBAA DDAA
ABAB ADAB BBAB BDAB CBAB CDAB DBAB DDAB
ABAC ADAC BBAC BDAC CBAC CDAC DBAC DDAC
ABAD ADAD BBAD BDAD CBAD CDAD DBAD DDAD
ABBA ADBA BBBA BDBA CBBA CDBA DBBA DDBA
ABBB ADBB BBBB BDBB CBBB CDBB DBBB DDBB
ABBC ADBC BBBC BDBC CBBC CDBC DBBC DDBC
ABBD ADBD BBBD BDBD CBBD CDBD DBBD DDBD
ABCA ADCA BBCA BDCA CBCA CDCA DBCA DDCA
ABCB ADCB BBCB BDCB CBCB CDCB DBCB DDCB
ABCC ADCC BBCC BDCC CBCC CDCC DBCC DDCC
ABCD ADCD BBCD BDCD CBCD CDCD DBCD DDCD
ABDA ADDA BBDA BDDA CBDA CDDA DBDA DDDA
ABDB ADDB BBDB BDDB CBDB CDDB DBDB DDDB
ABDC ADDC BBDC BDDC CBDC CDDC DBDC DDDC
ABDD ADDD BBDD BDDD CBDD CDDD DBDD DDDD

b. Mesajele fiind echiprobabile, fiecrui mesaj i corespunde o cantitate de informaie:
bit I
mesaj
8 256 log
256
1
log
2 2
= = =
9
Aplicaie

Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se cere sa se deterrmine numarul minim de
cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta
fara mase marcate.

Solutie
cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara este I
2 2 2
1
1
2
2 = = log log
cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei) I
3 2 2
1
1
3
3 = = log log numarul minim
de cantariri I kI k
k
=
3
24 3 3.
sa se propuna un algoritm de depistare.

Aplicaie

Se considera o trasmisie fax : 2,2510
6
pixeli cu 12 tonuri de gri, echiprobabile. Care este cantitatea de informatie transmisa ?

Solutie
I=nr.elemente informatie per element=
( ) [ ]
=
(
= = + 2 25 10
1
12
2 25 10 2 3 2 25 10 2 3
6
2
6
2
2 6
2
, log , log , log biti

Aplicaie

Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = 24 80 128 3
2
log [ ] biti
(b) =
1
f
c
durata unui cadru
R
I
I f
c
= =
[ ] bps

10

2.2 Surse discrete de informaie

Sursele care debiteaz mesaje n form discret ( succesiune de impulsuri de tensiune) se
numesc surse discrete. n legtur cu sursele discrete se utilizeaz urmtoarea terminologie:
- simbol sau liter-elementul fundamental ireductibil care conine o informaie
- alfabet-totalitatea simbolurilor (literelor)
- cuvnt-succesiune finit de simboluri
- limb-totalitatea cuvintelor formate cu un anumit alfabet
- codare-stabilirea unei corespondene (biunivoce) ntre dou limbi
- decodare-operaia invers codrii
- surs discret fr memorie-sursa la care probabilitatea de apariie a unui simbol nu
depinde de simbolurile precedente
p x x x p x
i i i i
( / , ,...) ( )

=
1 2

- surs discret cu memorie-sursa la care probabilitatea apariiei unui simbol depinde de
simbolul precedent sau de un ir de simboluri anterioare, dac sursa are o
memorie mai mare
- surs staionar-sursa la care probabilitile diferitelor simboluri nu depind de originea
timpului ci numai de poziia lor relativ, adic proprietile statistice ale sursei nu
depind de originea timpului
p X x p X x
t i t i
i i
( ) ( ), = = =
+

- surs cu debit controlabil-sursa care genereaz mesaje la o indicaie exterioar sursei,
fr a exist constrngeri interne privind timpul la care trebuie transmise mesajele
- surs cu debit necontrolabil-sursa care genereaz mesaje cu un debit fix ce nu poate fi
controlat, el fiind o proprietate intern a sursei. Din aceast categorie face parte
sursa care genereaz esantioanele cuantizate care se succed la intervale fixe .

2.2.1 Surse discrete de informaie fr memorie

Fie o surs de informaie discret, care genereaz un numr de n simboluri distincte. Mulimea simbolurilor discrete
generate de surs formeaz alfabetul sursei.Sursa discret este fr memorie dac emisia unui simbol nu depinde de simbolurile
anterior emise.
Pornind de la o surs discret fr memorie ( ) X , putem forma o nou surs, n care fiecare mesaj este o succesiune de
m simboluri ale sursei primare. Aceast nou surs, notat
m
X , se numete extensia de ordinul m a sursei ( ) X .
=
=
=
|
|
\
|
= =
|
|
\
|
=
=
) ( )... ( ) (
... m

1 , m 1, = i , :
1 , , 1 , :
2 1
2 1
n
j
m
1
1
m
j j j j
jm j j
j
j
j
j
m
n
i
i
i
i
x p x p x p p
x x x
unde
p
p
m
X
p n i
p
x
X

Sursa
m
X conine un numr de mesaje
j
m distincte ce se pot forma cu alfabetul sursei X.

Aplicaie

Fie sursa discret fr memorie: X

|
|
|
\
|
= +
|
|
|
\
|
2
2 1 2 2 1
2
1
2 2 1 2 2 1 1 1
2 2
2 1
2 1
2 1
1
p p p p p p
x x x x x x x x
X p p cu
p p
x x
X
ordinul de extensia

11
2.2.2 Entropia informaional a unei surse discrete fr memorie

Informaia proprie corespunztoare unui simbol
i
x al unei surse discrete fr memorie am vzut c se determin cu :
i i
i
i
ldp p
p
x i = = =
2 2
log
1
log ) (

Cantitatea medie de informaie pe simbol emis de o surs discret fr memorie poart denumirea de entropie informaional i se
noteaz cu H(X):
( )

= = =
= = =
m
i
i i
m
i
i i i
m
i
i
p p ldp p x i x p X H
1
2
1 1
log ) ( : ) (
Entropia ( ) X H reprezint incertitudinea medie ce exist apriori asupra emisiei.

Observaie
Formula anterioar ( ) stabilit de Claude Shannon n 1948 n lucrarea A mathematical theory of communications prezint
o analogie perfect cu formula entropiei termodinamice stabilit de Boltzmann, fapt pentru care ( ) X H s-a numit entropie
informaional. Entropia termodinamic exprim gradul de dezordine al particulelor ntr-un sistem fizic, pe cnd entropia
informaional (formula lui Shannon) exprim gradul de nedeterminare din punct de vedere informaional al unui sistem. Ambele
noiuni au n comun faptul c msoar gradul de nedeterminare al unui sistem, dar aplicarea lor se gsete n sfere de cunoatere
complet diferite

Proprietile entropiei:

-Continuitatea: ( ) X H este o funcie continu n raport cu fiecare variabil
i
p fiindc
i
p
este suma unor funcii continue.
-Simetria: ( ) X H este o funcie simetric n raport cu toate variabilele
i
p
-Aditivitatea: informaia proprie este aditiv, deci i ( ) X H care reprezint media
informaiilor proprii este aditiv.
-Valoare maxim entopia este maxim n cazul echiprobabilitii simbolurilor ;aceasta valoare maxim se mai
numete cantittatea de decizie a sursei: ( ) X D
ldm m X D X H = = =
2 max
log ) ( : ) (
Valoarea maxim a entopiei se obine determinnd valoarea maxim a functiei pentru care exist constrngerea
1
1
=
=
m
i
i
p
Folosind metoda multiplicatorilor lui Lagrange, rezult:
)
`
\
|
+ = =

= =
1 ) ( max ) ( max
1 1
m
i
i i
m
i
i i
p ldp p p X H
Condiia necesar de extem se obine din:
= + =
= + =
= =
0
) (
0
) (
sau , 1 , 0
) (
lde ldp
p
p
lde ldp
p
p
m i
p
p
j
j
j
i
i
i
i
i

de unde rezult c m 1, = j i, , p = p deci ,
j i
=
j i
ldp ldp
12

Aplicaie

Vom calcula i reprezenta entropia unei surse binare fr memorie:
|
|
|
\
|
= p q p
X
1
1 0
: ( ) ( ) ( ) p ld p ldp p X H = 1 1
Reprezentarea grafic a cestei funcii se d n figura de mai jos:

fig ( )Variaia entropiei unei surse binare n funcie de probabiliti

Din grafic se observ c c valoarea maxim bit H 1
max
= se obine pentru 2 1 = = q p

2.2.3 Redundana si eficiena sursei

Abaterea entropiei unei surse de la valoarea sa maxim se numete redundan. Aceast abatere poate fi dat in valoare
absolut sau relativ de unde i exprimarea redundanei ca redundan absolut sau relativ.
Redundana absolut :
) ( ) ( : X H X D R
X
=
Redundana relativ:
) (
) (
1
) (
) (
:
X D
X H
X D
X R
X
= =
Se numete eficien a unei surse ( )
x
raportul dntre entropia sursei i cantitatea de decizie a acesteia
) (
) (
:
X D
X H
X
=
Aplicaie

O surs discret genereaz opt mesaje caracterizate de:
[ ] [ ] [ ] [ ] 16 1 , 16 1 , 16 1 , 16 1 , 8 1 , 8 1 , 4 1 , 4 1 ; 4 , 4 , 4 , 4 , 3 , 3 , 2 , 2 ; , , , , , , ,
8 7 6 5 4 3 2 1
= = = P s s s s s s s s S

Se cere s se calculeze: a. entropia sursei
b. debitul de informaie
c. redundana sursei
d. eficiena sursei
Soluie.
a. ( ) ( ) ( ) = =

=
16
1
log
16
1
8
1
log
8
1
8
1
log
8
1
4
1
log
4
1
4
1
log
4
1
log
2 2
8
1
2 2 2 2
i
i i
s p s p S H
13
simbol bit /
4
11
16
1
log
16
1
16
1
log
16
1
16
1
log
16
1
2 2 2
=

b. Deoarece
( ) ( )

= =
= + + = = =
n
i i
i i i i
simbol s p s p
1
8
1
sec/
4
11
16
1
4 4
8
1
3 2
4
1
2 2 rezult
( ) simbol bit S H
t
/ 1 =
c. n conformitate cu relaia ( )
( ) ( ) simbol bit S R simbol bit S H /
4
1
4
11
3 / 3 8 log
2 max
= = = =
d. conform relaiei ( )
( )
( )
( )
91 . 0 .
12
11
3
4 11
max
= = = =
S H
S H
S

2.2.4 Momente. Debit de momente

Semnalele utilizate pentru a putea transporta informaia numeric sunt compuse din suite de semnale elementare n timp,
numite momente (intervale elementare). Parametrul caracteristic al momentului (amplitudine, frecven, faz, etc) rmne constant
pe durata momentului (
M
T ) i reprezint informaia numeric transportat de acel moment. Acest parametru poate lua m valori.
n figura de mai jos sunt date cteva exemple de surse de informaie cu punerea n eviden a momentelor.

fig ( ) Momente

-cantitatea de decizie corespunztoare unui moment este: ldm D =
-debitul de momente (

M ) (signaling speed-vitez de semnalizare) reprezint numrul de
momente transmise in unitatea de timp:
M
T
M
1
=

unitatea de msur pentru debitul de momente este Baud: Bd M =
(

2.2.5 Debit de informaie. Debit de decizie.
Debitul de informaie (

H ) al unei surse este cantitatea medie de informaie generatde surs n unitate de timp;
H reprezint viteza de transmisie a informaiei.

14
) (
) (
: X H M
T
X H
H
M
& &
= =
Unitatea de masur: unda i t bi H sec / ] [
'
=
&

Debitul de decizie ( ) D al unei surse este cantitatea de decizie a sursei generat n unitate de timp
sec / ] [
:
biti D
ldm M D M
T
D
D
M
=
= = =
&
& & &

Observaie

O surs discret de memorie caracterizat de m simboluri de probabiliti ( )
i
s p de durate
i

[ ] [ ] [ ] ( ) ( ) ( ) [ ]
m m m
s p s p s p P s s s S ,..., , , ,..., , , ,..., ,
2 1 2 1 2 1
= = =
are un debit de informaie
( )
S H
H
t
= [bit / simbol] unde ( )
=
m
i
i i
s p
1 '

2.3 Canale de transmisiune discrete.

2.3.1 Probabiliti i entropii n canale discrete

Canalul de transmisiune este mediul prin care se transmite informaia de la sursa la destinatar. Canalul este discret dac
simbolurile care-l strbat sunt discrete.
Un canal de transmisie se caracterizeaz prin urmtoarele mrimi:
- Alfabetul de intrare: { }
i
x X = , constituit din totalitatea simbolurilor emise de surs i care pot fi acceptate de canal; ( ) X P
reprezint matricea probabilitilor de emisie

] [ ) ( ; 1 , 1 , :
n
=1 i
i i
i
i
p X P p n i
p
x
X = = =
|
|
\
|

-Alfabetul de ieire: ( )
j
y Y = constituit din totalitatea simbolurilor obinute la ieirea canalului; Cele dou alfabete nu sunt
ntotdeauna identice.
] [ ) ( ; 1 , , 1 , :
m
=1 j
j j
j
j
q Y P q m j
q
y
Y = = =
|
|
\
|

Prin
j
q s-a notat probabilitatea recepionrii simbolului ) ( ). ( : Y P y p q y
j j j
= este matricea probabilitilor de receptie.
-Matricea de trecere: a canalului, format din probabilitile simbolurilor de ieire condiionate de simbolurile de intrare: ( ) Y X P .
m 1, = i , 1 ], [ ) / (
1
/ ,
= =

=
n
j
i j i j
q q X Y P
Elementul
ij
q aflat la intersecia liniei i si a coloanei j, reprezint probabilitatea recepionrii lui
j
y condiionat de emisia lui
) / ( :
/ i j i j i
x y p q x = .
Matricea de tecere este o matrice stocastic, avnd proprietatea ca suma elementelor orcrei linii este 1:
m i q
n
j
i j
, 1 , 1
1
/
= =
=

15
ceea ce intuitiv reprezint recepia cu certitudine a unui simbol y j n
j,
, = 1 dac s-a emis un simbol x i m
i,
, = 1 .Matricea
( ) Y X P reprezint modelarea din punct de vedere probabilistic a canalului si ea se determin experimental.

2.3.1.1 Entropie condiionat

Dac cmpul de evenimente la ieirea din canal este cunoscut datorit efectelor pertur-baiilor, ramne totui o oarecare
incertitudine a supra cmpului la intrare. Valoarea medie a acestei incertitudini se numete entropia cmpului X condiionat de
cmpul Y i se noteaz cu ( ) Y X H , ea reprezint o incertitudine rezidual medie. Incertitudinea asupra realizrii eveni-mentului
i
x dac s-a realizat
j
y conform relaiilor
p p E
y x p F y x U
j i j i
log ) (
)] / ( [ ) / (
=
=

este:
) / ( log ) / (
j i j i
y x p y x U =
Entropia asociat cu recepionarea simbolului
j
y este:
) / ( log ) / ( ) / ( ) / ( ) / (
1 1
j i
n
i
j i j i
n
i
j i j
y x p y x p y x U y x p y X H

= =
= =

Entropia ( ) Y X H se numete echivocaie fiindc este o msur a echivocului ce exist asupra cmpului de la intrare cnd se
cunoate cmpul la ieire.
= =
=
n
i
m
j
i j j i
x y p y x p X Y H
1 1
) / ( log ) , ( ) / (

Entropia ) / ( Y X H se numete eroare medie fiindc este o msur a incertitudinii cmpului la ieire cnd se cunoate cmpul la
intarre.

0 ) / ( ) / ( = = X Y H Y X H
2.3.1.2 Relaii ntre entropii

n legtur cu canalul de transmisie au fost definite cinci matrici de probabiliti:

( ) X P - este matricea probabilitilor alfabetului la intrare
( ) Y P - este matricea probabilitilor alfabetului la ieire
( ) Y X P , - este matricea probabilitilor alfabetelor reunite intrare-ieire
( ) Y X P / - este matricea probabilitilor condiionate (intrare de ieire)
( ) X Y P / - este matricea probabilitilor condiionate (ieire de intrare)
Acestor matrici de probabiliti le corespund cinci entropii:

( ) X H - este entropia alfabetului la intrarea in canal
( ) Y H - este entropia alfabetului la ieire din canal
( ) Y X H , - entropia alfabetelor de la intrare i de la ieire reunite
) / ( Y X H - echivocaia
) / ( X Y H - eroarea medie
Pentru a gsi relaiile ntre aceste entropii se scrie relaia (2.54) de definiie a cmpurilor reunite.
= =
=
n
i
m
j
j i j i
y x p y x p Y X H
1 1
) , ( log ) , ( ) / (
sau:
16

= = = =
=
n
i
m
j
n
i
m
j
i j j i i j i
x y p y x p x p y x p Y X H
1 1 1 1
) / ( log ) , ( ) ( log ) , ( ) / (
sau:

= = = =
=
n
i
m
j
i j j i
n
i
m
j
j i i
x y p y x p y x p x p Y X H
1 1 1 1
) / ( log ) , ( ) , ( ) ( log ) / (
innd seama de relaiile:

= =
= =
n
i
i i
m
j
j i i
x p x p X H y x p x p
1 1
) ( log ) ( ) ( ; ) ( ) (
H Y X p x y y x
i j j i
j
m
i
n
( , ) ( , ) log ( / ) =
= =

p
1 1

se obine: ) / ( ) ( ) , ( X Y H X H Y X H + = n mod analog se obine: H X Y H Y H X Y ( , ) ( ) ( / ) = +
Dac canalul nu are perturbatii, ntre alfabetul de intrare [ ] X i alfabetul de ieire [ ] Y exist o coresponden biunivoc, iar
eroarea medie i echivocaia conform relaiei (2.61) sunt nule. In acest caz:
) ( ) ( ) , ( Y H X H Y X H = =

Dac canalul are perturbatii foarte puternice conform relaiilor ( ) se obine

) ( ) ( ) , ( Y H X H Y X H + =

ntre entropia ( ) X H i entropia condiionat ( ) Y X H / exist urmtoarea relaie:

) / ( ) ( Y X H X H

Care rezult din faptul c incertitudinea medie aposteriori este mai mic cel mult egal cu incer-titudinea apriori. Pentru aceleai
motive

) / ( ) ( X Y H Y H

Egalitatea are loc numai Dac X i Y sunt independente.

2.3.2 Transinformaia

Dup cum s-a vzut informaia obinut asupra evenimentului
i
x cnd la ieire din canal se observ evenimentul
j
y este conform
relaiei:
) (
) , (
log ) ; (
i
j i
j i
x p
y x P
y x i =
Aceasta este informaia mutual ce se obine asupra evenimentului
i
x cnd se recepioneaz
j
y
n absena perturbaiilor recepionnd simbolul
j
y se poate afirma cu certitudine c a fost transmis simbolul
i
x deci:
1 ) / ( =
j i
y x p iar relaia
) (
) , (
log ) ; (
i
j i
j i
x p
y x P
y x i = devine ) ( log ) , (
i j i
x p y x i =
adic informaia mutual este egal n cazul acesta cu informaia proprie.
In cazul general din cauza zgomotelor ( ) 1 <
j i
y x p i n consecin informaia mutual este mai micdect informaia proprie i
este dat de expresiile :
17
) p(y
) /x p(y
log
) p(y ) p(x
) y , p(x
log
) p(x
) /y p(x
log ) ; (
j
i j
j i
j i
i
j i
=
= =
j i
y x i
Valoarea medie a informaiei mutuale se obine considernd toate perechile posibile de simboluri intrare-ieire ( )
j i
y x , mpreun
cu probabilitile lor ( )
j i
y x p , :
= =
=
n
i
m
j
j i j i
y x p y x i Y X I
1 1
) , ( ) ; ( ) , (
nlocuind relaia ( ) n relaia ( ) se obine:
= =

=
n
i
m
j j i
j i
j i
y p x p
y x p
y x p Y X I
1 1
) ( ) (
) , (
log ) , ( ) ; (
sau
) y , p(x log ) y , p(x ) y , p(x ) p(y log ) y , p(x ) p(x log Y) I(X;
j i
n
1 i
m
1 j
j i
n
1 i
m
1 j
n
1 i
j i
m
1 j
j j i i
= = = = = =
+ =
de unde :
) , ( ) ( ) ( ) ; ( Y X H Y H X H Y X I + =
innd seama de relaiile
) / ( ) ( ) , ( X Y H X H Y X H + =
) / ( ) ( ) , ( Y X H Y H Y X H + =
se obine:
) , ( ) ( ) ; (
) , ( ) ( ) ; (
X Y H Y H Y X I
Y X H X H Y X I
=
=

I(X;Y) este valoarea medie a informaiei mutuale adic a informaiei ce se obine asupra alfabetului de la intrare prin recepionarea
alfabetului de la ieire Y, cu alte cuvinte a informaiei transmise prin canal. Din aceasta cauza ea se numete transinformaie.

2.3.3 Capacitatea canalului discret, redundana, eficiena

Pentru a defini o msur a eficienei cu care se transmite informaia i a gsi limita superioar a acesteia, Shannon a
introdus noiunea de capacitate a canalului.
-Capacitatea canalului este definit ca fiind valoarea maxim a transinformaiei:
)] / ( ) ( max[ )] / ( ) ( max[ ) ; ( max X Y H Y H Y X H X H Y X I C = = =
Maximalizarea se face n raport cu setul de probabiliti cu care se presupune c sunt utilizate simbolurile
n
x x x x ... , ,
3 2 1

ale canalului. Valoarea maxim a transinformaiei are loc pentru anumite valori bine determinate ale acestor probabiliti care
definesc n felul acesta o anumit surs pe care o numim secundar. Pentru a transmite prin canal transinformaia cu valoarea
maxim este necesar ca sursa primar sa fie transformat in surs secundar specificat de probabilitile care determin valoarea
maxim din relaia (2.85). Capacitatea canalului poate fi ns raportat i la timp.n acest caz se definete:
C
C I X Y
t
= =

max ( ; )

unde este durata medie a unui simbol iar
I X Y ( ; )
este transinformaia pe unitate de timp respectiv debitul de transinformaie:
) ; (
) ; (
Y X I
Y X I
t
=
Capacitatea canalului definit de relaia (2.86) se msoar in biti pe secund . Dac se face convenia ca =1 atunci:
C C
t
=
adic numeric cele dou mrimi sunt egale.
-Redundana canalului prin analogie cu redundana sursei este definit ca fiind diferena ntre capacitatea canalului si transinformaie:
) ; ( Y X I C R
c
=
18

-Redundana relativ este egal cu redundana imprit la capacitatea canalului:
C
Y X I
c
) ; (
1 =
-Eficienta canalului este definit ca fiind raportul ntre transinformaie si capacitatea canalului
C
Y X I
c
) ; (
=
Din relaiile anterioare rezult:
c c
=1
Din relaia anterioar rezult:
1
c

-Eficiena canalului: arat ct de mult se indeprteaz transinformaia de valoarea ei maxim.

Aplicaie

-Capacitatea canalului binar simetric (CBS). Se numete canal simetric canalul la care probabilitatea de eronare a oricrui simbol
este aceeai. Un canal binar oarecare este caracterizat de matricea numit matricea de zgomot:

( )
(
=
(
= =
p p
p p
X Y P
x y p x y p
x y p x y p
X Y P P
CBS
1
1
) / ( ) / (
) / ( ) / (
)] / ( [ ] [
2 2 2 1
1 2 1 1

Capacitatea se poate determina pornind de la relaia de definiie n care transinformaia se nlocuiete cu expresia favorabil:

)] / ( ) ( max[ ) ; ( max X Y H Y H Y X I C = =

Considernd o surs binar oarecare:
1 , :
2 1
2 1
2 1
= +
|
|
\
|
p p
p p
x x
X

( ) ( ) ( )
( )
( )
(
=
(
= =
p p p p
p p p p
p p
p p
p
p
X Y P X P Y X P
1
1
1
1
0
0
,
2 2
1 1
2
1

( ) ( ) ( ) ( ) ( ) [ ]
( ) ( ) [ ]( ) ( ) ( ) p ld p pldp p p pldp p ld p
p ld p p pldp p pldp p p ld p p X Y H
= + + =
= + + + =
1 1 1 1
1 1 1 1
2 1
2 2 1 1

Se observ c pentru un canal binar simetric eroarea medie ( ) X Y H nu depinde de surs ( ) X P ci numai de zgomotul din
canal ( ) X Y P . Scriind expresia capacitii canalului , obinem:

( ) ( ) ( ) p ld p pldp Y H X Y H Y H Y X I C
i
p
+ + = = = 1 1 max )] / ( ) ( max[ ) ; ( max

Valoarea maxim a ( ) Y H se obine pentru echiprobabilitatea simbolurilor recepionate:
( )
( )
2
1
1
2
1
1
2 1 2
2 1 1
= + =
= + =
p p p p q
p p p p q

2
1
2 1
= = p p
( ) ( ) p ld p pldp C
CBS
+ + = 1 1 1
19
2.3.4 Capacitatea canalului prin band (B) i raport semnal/zgomot ( )

A fost definit capacitatea unui canal de transmisie modelat prin matricea de zgomot ( ) X Y P . n majoritatea situaiilor
practice nu se cunoate matricea de zgomot, canalul fiind precizat prin parametrii mult mai uor de determinat experimental cum ar fii
banda (B) si raportul semnal-zgomot ().
Pe un canal, teoretic este posibil s transmitem orice cantitate de informaie; ceea ce este limitat ntr-o transmisiune este
debitul maxim de informaie transmisibil n timp real, limita ce definete capacitatea canalului. Aceast limitare este determinat de
caracteristicile canalului, ea producndu-se att n transmisiunile digitale ct i n cele analogice. Determinarea capacitii (fr a fi o
demonstratie riguroas n adevratul nteles al cuvntului ) se va face pentru transmisiuni digitale, dat fiind caracterul mai concret al
noiunii n acest caz; de altfel transmisia informaiei analogice poate fi considerat ca un caz limit a informaiei numerice.
La intrarea canalului vom considera o surs de informaie discret, caracterizat prin:
debitul de decizie :
D [biti/s], deci sursa se presupune echiprobabil (n cazul situaiilor reale dup codare se
obine i acest deziderat)
debitul de momente :
M [Db], ce caracterizeaz viteza de variaie fizic a semnalului

purttor de informaie.
alfabetul sursei, format din cele m stri specifice unui moment (aceste pot fi nivele,
frecvente sau faze).
Cele trei mrimi sunt legate prin relaia:
ldm M D

=

Fizic, receptorul va trebui s poat distinge, n prezena zgomotului, dou momente succesive al cror parametru
caracteristic ia, n situaia cea mai defavorabil, dou valori consecutive din cele m posibile. n consecin pentru a putea transmite
un debit de decizie D, canalul va trebui sa asigure :
-O rezoluie n timp, adic s permit variaia parametrului caracteristic al semnalului de la un moment la altul sau pe
durata unui moment.
-O rezoluie in amplitudine, astfel nct s poat fi efectiv distinse cele m valori posibile ale parametrului caracteristic i n
prezena zgomotului.
O ilustrare grafic ale celor dou cerine este dat in figura urmtoare:

fig

Ne intereseaz legtura ce trebuie s existe ntre cei doi parametrii ai sursei (M i m) i parametii canalului (B si ) astfel
nct transmisia s asigure rezoluia necesar n timp i n amplitudine.

2.3.4.1 Rezoluia n timp

Orice canal real de transmisiune conine reactane ce se opun variaiilor brute ale semnalului, ceea ce duce la un
comportament inerial al canalului. Acest fenomen se poate observa att n frecven ct i in timp.In frecven: atenuarea canalului
este funcie de frecven, acesta comportndu-se ca un filtru trece jos (FTJ).
n timp: rspunsul la semnalul treapt unitate :(t) al canalului are o pant finit, definit de timpul de cretere (
c
t ). n
cazul canalelor reale sau ideale ntre
c
t si B exist urmtoarea relaie empiric:
45 , 0 35 , 0
c
Bt
care arat c n cazul unui canal avnd banda B nu este posibil variaia parametrilor semnalului cu orice vitez, aceasta
fiind limitat de
c
t . n consecin i durata unui moment M T
m
1 = este limitat de
c
t :
20
5 , 2 ~
4 , 0
~
1
~

B M
B
M
t T
c M

Nyquist n 1928 a determinat teoretic relaia dintre M si B necesar rezoluiei n timp:
B M
MAX
2 = pentru canalul ideal.Aceast relaie, cunoscut n literatur ca teorema lui Nyquist ,a fost dedus in ipoteza unei FTJ
ideal de band B.
n cazul canalelor reale, care nu sunt FTJ ideale, se consider c :
c M
t T 2
Avind
c
t =0,4 /B avem:
B
T
M
8 , 0
=
De unde rezult: max
M =1,25*B , pentru canale reale.

2.3.4.2 Rezoluia n amplitudine

n afara ineriei canalului, ce determina comportarea acestuia, ca un FTJ, intr-o transmisiune apare insa un fenomen
nedorit, dar inevitabil: prezenta perturbatiilor in special al zgomotului, care se suprapune peste semnalul transmis ducnd la
ingreunarea procesului de recunoastere la receptie a celor m valori corespunzatoare unui moment, cu atit mai mult cu cit m este mai
mare.
Puterea semnalului (Ps) fiind limitat este imposibil recunoasterea unui numr de de valori diferite ale lui m, n prezena
zgomotului a carui putere este
N
P in punctul de msur considerat.
In 1948 Shannon a demonstrat c limita teoretic pentru m, n ipoteza unui zgomot alb gausian este:
+ =
+
= 1
max
N
N S
P
P P
m
unde:
N S
P P = este raportul semnal / zgomot.

2.3.4.3 Capacitatea canalului de transmisie

Se numete capacitatea (C) a unui canal de transmisie considerat ca un FTJ ideal avnd lrgimea de band B i raportul semnal-
zgomot (zgomot gausian), valoarea maxim a debitului de decizie transmisibil prin canal:
+ = = =

1 2 :
max max max
Bld ldm M D C
Observaie: n practica inginereasc raportul semnal-zgomot se exprim n dB: [dB]=10lg
n acest caz se poate exprima ntr-o form foarte comod pentru aplicaii:
] [
3
1
dB
B C
Relaia ,stabilit de Shannon n 1948, arat c limita teoretic a debitului maxim transmisibil pe un canal. La aceast vitez
maxim de transmitere a informaiei este posibil o recepie fr erori 0
e
P , n cazul unei prelucrri optime a semnalelor
(teorema a II-a a lui Shannon pentru canale cu perturbatii). Relaia, dei este o limit teoretic, imposibil de atins n transmisiuni
reale, este deosebit de util in aplicaii, permind o comparare si o evaluare a diferitelor sisteme de transmisiune.
Reprezentarea grafic a relaiei anterioare este dat n figura de mai jos:
21

C~B i C~ld(1-), ceea ce nseamn c reducerea benzii, prin pstrarea valorii C=ct.,implic necesitatea unei serioase
imbunatiri a , dat fiind dependena logaritmic a lui C de . Dependena direct proportional a capacitii de band impune
ntrebarea : Dac C poate fii crescut orict pe seama creterii lui B ? Rspunsul este negativ, justificarea fizic aparnd evident :
prin creterea benzii, crete crete implicit puterea zgomotului
N
P , ceea ce va duce la scderea raportului semnal-zgomot, pentru
S
P =ct.
Demonstraia afirmaiei de mai sus se face imediat : calculele se desfaoara n ipoteza unui zgomot alb gausian de
densitate spectral de putere unilateral
O
N =ct.:
. ) 1 ( lim lim
0 0
ct lde
N
P
BN
P
Bld C C
S S
B B
= = + = =

Variaia capacitii cu banda este reprezentat in figura urmtoare:

Rezult c nu este raional creterea capacitii pe seama ceterii benzii peste o anumit limit, deoarece sporul in
capacitate este foarte scazut.Aceeai capacitate poate fii obinut cu valori diferite ale lui si B :folosind o banda mica
1
B si un
canal cu raport semnal-zgomot foarte bun
1
(situatie corespunzatoare sistemului 1 din figura) sau un canal puternic perturbat , cu
2
mic di o banda mai larga
2
B (sistemul 2 din figura).
Relaia lui Shannon este o relaie ce d o limit teoretic a debitului de decizie maxim transmisibil. Pe canale reale
: real Dmax
<C . Aceast limit n trasmisiune nu se obine automat; pentru atingerea ei este necesar prelucrarea sursei inainte de
transmisiune, pentru a o adapta canalului, dat prin B si , Aceste operatii fiind codarea si modularea.O reprezentare grafica sugestiva
a relatiilor ditre sursa de informaie si canal, este data in figura urmatoare.Dac
D>C, transmisiunea nu mai este posibila in timp

real; in acest caz se poate transmite aceeasi cantitate de decizie T D D =
a sursei printr-o prelucrare prealabila, cantitatea de

decizie D va fi intr-o memorie si apoi va fi transmisa intr-o forma compatibila cu canalul ( C D
). Evident durata transmisiei T va

creste, transmisiunea nemaifiind in timp real. In practica aceasta situatie apare in cazul transmisiilor unor imagini fixe de la sonde
spatiale, situatie in care capacitatea canalului este mult mai slaba decit debitul real de informaie al surei.
22

fig

2.4 Codarea surselor pentru canale fr perturbaii

n general alfabetul sursei difer de alfabetul canalului i ca urmare primul obiectiv al codrii surselor este de a trece de la
alfabetul sursei la alfabetul canalului . Mai mult dect att dorim ca transinformaia s fie maxim i n acest scop prin codare trebuie
s asigurm ca sursa secundar s genereze simbolurile cu probabilitile care asigur acest maxim. Dac am realizat acest lucru
spunem c am fcut adaptarea statistic a sursei la canal.
n cazul canalelor fr perturbaii acest obiectiv se atinge cnd sursa secundar este o surs de entropie maxim:

C=max H(X)=log D
unde D este numrul de simboluri din alfabetul canalului.
Deci obiectivul codrii surselor este de a transforma o surs dat cu un set de probabiliti determinat pe care o numim sursa primara
intr-o sursa de entropie maxim.Cu alte cuvinte prin codare se cauta sa se anuleze redundanta sursei.

2.4.1 Coduri unic decodabile

Fie o surs discret fr memorie furniznd simboluri untr-o mulime [S] numit alfabetul sursei:
] ... [ ] [
2 1 N
s s s S =
avnd probabilitile:
)] ( )... ( ) ( [ ] [
2 1 N
s p s p s p P =
Fie [X] alfabetul finit al codului:
] ... [ ] [
2 1 D
x x x X =
Cu aceste litere se formeaza un numar N de cuvinte de cod:
[ ] [ ... ] C c c c
N
=
1 2

Totalitatea cuvintelor
k
c formeaz un cod .

Mesaje
sk
Codul
A
Codul
B
Codul
C
Codul
D
s1
s2
s3
s4
00
01
10
11
0
10
110
1110
0
01
011
0111
0
10
110
111

Exemple de coduri unic decodabile
2.4.2 Coduri instantanee:

ntre codurile B si C din tabelul de mai sus exist o msur important : la codul B , pe msur ce se recepioneaz
succesiunea de litere din alfabetul codului se pot determina cuvintele codului fr referinta la literele urmtoare.Astfel:

0 10 110 0 1110 0
s1 s2 s3 s1 s4 s1

23
Adic dac succesiunea de litere din alfabetul codului formeaz un cuvnt din vocabularul codului acesta este unic fiindc prin
adugarea unor litere la un cuvnt de cod nu se poate obine un nou cuvnt . Un astfel de cod se numete instantaneu.
Condiia necesar i suficient ca un cod s fie instataneu este ca nici un cuvnt al codului s nu fie un prefix al unui alt cuvnt de
cod.

2.4.3 Lungimea medie al unui cuvnt de cod

In general prin codare se urmrete mrirea eficienei transmisiunii informaiei.In cazul canalelor fr zgomot se spune
c se mrete eficiena referindu-se n general la minimizarea unei anumite functii de cost.Una din cele mai simple funcii de cost se
obine dac fiecrui cuvnt i se asociaz un anumit coeficient de cost ti. Coeficientul de cost ti in particular poate sa fie durata
cuvintului ci in conformmitate cu faptul ca ca pretul exploatarii unui sistem de transmisiune poate fii considerat aproximativ liniar
crescator cu timpul.
In acest caz costul mediu pe mesaj devine:

= =
= =
N
i
i i
N
i
i i
s p t c p t C
1 1
) ( ) (
Evident cea mai eficient transmisie este aceea care minimizeaz costul mediu C.Costul mediu in cazul considerat este egal cu
durata medie al unui cuvnt de cod.Mrirea eficienei transmisiunii se poate obine atribuind in mod convenabil fiecrui mesaj si dat
de sursa un cuvint de cod ci in care numarul literelor li s fie astfel ales incit lungimea medie l al unui cuvnt s fie ct mai mic.
-Limita inferioar a lungimii medii a unui cuvnt de cod.

Fie o sursa caracterizata de multimea mesajelor:
] ... [ ] [
2 1 N
s s s S =
avnd probabilitile:
)] ( )... ( ) ( [ ] [
2 1 N
s p s p s p P =
Fie cuvintele codului:
] ... [ ] [
2 1 N
c c c C =
care apar cu aceeai probabiliti ca i mesajele sursei adic :
] ... [ ] [ ] [
2 1 N C
p p p P P = =
unde :
) ( ] [
i i
s p p =
Lungimile cuvintelor de cod sunt:
] ... [ ] [
2 1 N
l l l L =
unde li este egal cu numrul de litere din alfabetul codului care compun cuvintul ci. Alfabetul codului este :
] ... [ ] [
2 1 D
x x x X =
Entropia sursei este:
=
= =
N
i
i i
s p s p C H S H
1
) ( log ) ( ) ( ) (
unde H(C) este entropia cuvintelor codului [C]. Entropia alfabetului codului [X] este :
=
=
D
i
i i
x p x p X H
1
) ( log ) ( ) (

Informaia medie pe un cuvnt de cod este dat de produsul dintre numrul mediu de litere l i informaia medie pe litera H(X) deci:
) ( ) ( ) ( X lH C H S H = =

Valoarea maxim a entropiei H(X) se obine atunci cnd probabilitile p(xi) sunt egale adic:
D
x p x p x p
D
1
) ( ... ) ( ) (
2 1
= = = =
Aceasta valoare este log D deci:
( ) D X H
2
log
innd seama de aceast inegalitate relaia devine:
D l X H l C H S H log ) ( ) ( ) ( = =
de unde:
24
min
log
) (
l
D
S H
l =
Relaia arat ca lungimea medie l a unui cuvnt de cod are o margine inferioara egal cu entropia sursei imparit la valoarea maxim
a entropiei alfabetului codului, sau ca informaia medie pe o litera din alfabetul codului
l
S H ) (
nu poate fi mai mare decit valoarea
maxim a entropiei alfa-betului codului log D.
H S
l
D
( )
log

2.4.4 Capacitatea , eficiena si redundana codului

Se numete capacitatea codului valoarea maxim a entropiei alfabetului codului:

C = max H(X) = log D

Tinind seama de cele precedente se poate defini eficienta codului ca fiind raportul dntre lungimea medie minima a unui cuvint de cod
:
l
l min
=
Asa cum s-a artat , marginea inferioara a cuvintului de cod este:
C
S H
D
S H
l
) (
log
) (
min = =
iar lungimea medie a unui cuvnt de cod este :
) (
) (
X H
S H
l =
Din relaia anterioar rezult :
D l
S H
log
) (
=
sau innd seama de relatie se obine :
D
X H
log
) (
=
Se numete redundana codului mrimea complementar eficienei.Ea este definit de relaia :
D l
S H D l
log
) ( log
1

= = sau
D
X H D
log
) ( log
=

2.4.5 Teorema codrii canalelor fr zgomot

Dac probabilitile mesajelor sursei au anumite valori particulare care satisfac relaia dup cum s-a vzut eficiena codului
este maxim. n acest caz din relaia anterioara rezulta:
D
s p
l
i
i
log
) ( log
=
Urmeaz s se studieze ce se ntmpl cnd mesajele ce trebuie sa fie codate au un set arbitrar de probabiliti. In acest caz
raportul:
D
s p
r
i
i
log
) ( log
=
nu este in general un numar ntreg care sa poata fi onsiderat ca fiind lungimea li a cuvintului ci.Lungimea cuvintului ci din codul [C] in
acest caz poate fi aleasa astfel incit sa satisfaca inegalitatea :
25
1
log
log
log
log
+
<
D
p
l
D
p
i
i
i

Se verifica Dac se poate forma cu ele un cod ireductibil.Se poate scrie:

i
l
i i
D D l p log log log =
sau
i
l
p D
i

de unde:
1
1
N
i
l
i
D
adic este un cod ireductibil avnd cuvinte de lungime
i
l .nmulind inegalitateacu
i
p i nsumnd toi indicii i se obine:
1
log
) (
log
) (
+ <
D
S H
l
D
S H

Entropia a dou cimpuri de evenimente independente reunite este suma entropiilor corespunzatoare:

H(X,Y) = H(X) + H(Y)

Dac cmpul [X] este egal cu cimpul [Y] i egal cu cmpul [S] al simbolurilor sursei se obine:

) ( 2 ) ( ) , (
2
S H S H S S H = =

Dac n loc s se asocieze cite doua simboluri din multimea [S] se asociaza cite n simboluri si se obine relaia anterioar. n felul
acesta in loc sa se faca codarea simbol cu simbol ea se face pe grupe de n simboluriSe noteaza cu ln lungimea medie a unui cuvint
de cod ce corespunde grupului de n simboluri ale sursei.n cazul acestei codri se poate aplica relaia care capt forma

1
log
) (
log
) (
+ <
D
S H
l
D
S H
n
n
n

sau tinind seama de relaia anterioar se obine:
H S
D
l
n
H S
D n
n ( )
log
( )
log
< +
1

Dac n este foarte mare, la limit se obine:
l
D
S H
n
l n
n
= =

log
) (
lim

unde l este lungimea medie a unui cuvint din codul [C].
Relaia arat c printr-o codare corespunztoare informaia medie pe o liter din alfabetul codului
l
S H ) (
poate fi facut orict de
apropiat de capacitatea codului log D respectiv codarea este absolut optimal. Acesta constitue prima teorem a lui Shannon sau
teorema codrii canalelor fr zgomot.
26

2.4.6Metode de codare compact

2.4.6.1 Metoda Shannon-Fano de codare binar

Simbolurile sursei se aranjeaz n ordine descresctoare a probabilitii de aparitie i se mpart n dou grupuri de aceeai
probabilitate, sau, dac nu este posibil, de probabuiliti ct mai apropiate. Dac alfabetul codului este binar

{ } 2 , 1 , 0 = = D X

se atribuie litera 0 fiecrui simbol al sursei din grupul superior i litera 1 fiecrui simbol din grupul inferior. Att grupul superior ct i
cel inferior sunt mprite , la rndul lor, n dou subgrupuri avnd probabilitile totale ct mai apropiate ntre ele. Fiecrui subgrup
superior I se atribuie litera 0 i fiecrui subgrup inferior I se atribuie litera 1. Fiecare subgrup obinut se mparte din nou n alte
subgrupuri i procesul continu pn cnd fiecare subgrup rmne cu cte un singur element, epuiznd astfel simbolurile sursei.
n cadrul acestei metode de codare, se caut ca fiecare simbol ales din alfabetul codului s conin o cantitate de
informaie ct mai mare atunci cnd este recepionat. De aceea, mprirea simbolurilor sursei n grupuri se face astfel nct
probabilitatea ca un simbol iniial s aparin grupului superior s fie c mai apropiat de probabilitatea ca simbolul s aparin
grupului inferior. Prin cunoaterea simbolului codului 0 sau 1, care indic apartenena la grupul superior i respectiv la cel inferior, se
obine cea mai mare cantitate de informaie n etapa respectiv a identificrii simbolului sursei transmis.
Un exemplu este prezentat n cadrul aplicaiei ce urmeaz:

Aplicaie

Fie ( )
6 5 4 3 2 1
, , , , , s s s s s s X = cu ( ) 1 . 0 , 2 . 0 , 2 . 0 , 4 . 0 , 07 . 0 , 03 . 0 = P

i
s ( )
i
s p
Partiii Cuvinte
Lungimea
i
l
3
s
0.4 0 0 1
4
s
0.2 1 0 1 0 2
5
s
0.2 1 1 0 1 1 0 3
6
s
0.1 1 1 1 0 1 1 1 0 4
2
s
0.07 1 1 1 1 0 1 1 1 1 0 5
1
s
0.03 1 1 1 1 1 1 1 1 1 1 5

Se obine un cod neuniform, caracterizat prin cuvinte de cod de lungimi diferite. Simbolurilor de probabiliti mai mari le
corespund cuvinte de cod mai scurte dect simbolurilor iniiale mai puin probabile. n acest fel lungimea medie a cuvintelor de cod
rmne totui mic.
Entropia sursei: ( ) ( ) ( )
=
= =
6
1
2
/ 21 . 2 log
i
i i
simbol bit s p s p S H
Lungimea medie: ( )
=
= =
6
1
_
3 . 2
i
i i
simboluri s p l l

Lungimea medie n cazul utilizrii unui cod uniform ( ) 6 2
3
ar fi: 3 =
U
l

Definind un factor de compresie: 304 . 1
3 . 2
3
_
= = =
l
l
U

27
Graful asociat ecestei codri se prezint pe figura de mai jos:

fig Graful asociat codrii Shannon-Fano
Aplicaie

O surs binar furnizeaz trei simboluri { }
3 2 1
, , s s s S = ; { } 10 . 0 , 30 . 0 , 60 . 0 = P . n cazul unei codri individuale,
lungimea medie a cuvntului de cod ar fi:
( )
=
= =
3
1
_
40 . 1
i
i i
s p l l ;
( )
( ) 925 . 0
40 . 1
2955 . 1
2955 . 1
2 log
2
min
_
= = = = = S H
S H
l

i
s ( )
i
s p
Partiii Cuvinte
Lungimea
i
l
3
s
0.60 0 0 1
4
s
0.30 1 0 1 0 2
5
s
0.10 1 1 1 1 2

Pentru obinerea unui cod mai eficient, n conformitate cu prima teorem fundamental a lui Shannon i cu teorema Shannon-Fano,
codm blocurile de cte dou simboluri iniiale, cum se vede n tabelul de mai jos:

i
s ( )
i
s p
Partiii Cuvinte
Lungimea
i
l
1 1
s s
0.36 0 0 0 0 2
2 1
s s
0.18 0 1 0 1 2
1 2
s s
0.18 1 0 0 1 0 0 3
2 2
s s
0.09 1 0 1 1 0 1 2
3 1
s s
0.06 1 1 0 0 1 1 0 0 4
1 3
s s
0.06 1 1 0 1 1 1 0 1 4
3 2
s s
0.03 1 1 1 0 1 1 1 0 4
2 3
s s
0.03 1 1 1 1 0 1 1 1 1 0 5
3 3
s s
0.01 1 1 1 1 1 1 1 1 1 1 5
( )
= =
= = = = = =
3
1
3
1
_
2
_
963 . 0
345 . 1
2955 . 1
345 . 1
2
69 . 2
,
2
1
2
1
i
j i ij
j
s s p l l l
28

Dac codm n continuare blocuri 3-dimensionale de simboluri iniiale, ne vom apropia i mai mult cu lungimea medie a cuvintelor de
cod de valoarea minim. Codurile din tabelele anterioare sunt coduri optimale avnd cea mai mic lungime medie a cuvintelor de cod
n clasa codurilor obinute prin codarea simbolurilor individuale ale fiecrei surse date. Ele nu sunt ns coduri absolut optimale,
lungimea medie neatingnd marginea inferioar , deoarece nu este ndeplinit condiia din inegalitatea lui Kraft.

2.4.6.2 Metoda Huffman de codare binar

Dei este, n general, satisfctor, conducnd la eficiene ridicate, algoritmul Shannon-Fano nu asigur, n cazul codrii simbol cu
simbol, obinerea celei mai mari eficiene (cele mai reduse lungimi medii a cuvintelor de cod) n raport cu ali algoritmi posibili.
Algoritmul propus de D. A. Huffman este optimal n sensul c nici un alt algoritm de codare nu conduce la o lungime medie a
cuvintelor de cod mai mic, n cazul codrii simbolurilor individuale. Cu ajutorul acestui algoritm se sintetizeaz un cod optimal.
Avnd o surs { } { }
i i
p P s S = = ; al crei alfabet are N simboluri, codarea Huffman binar ai acestei surse
comport urmtoarele etape:
Simbolurile sursei se ordoneaz n sens descresctor al probabilitilor corespunztoare
Se grupeaz ultimele dou simboluri cu cele mai mici probabiliti ; acest grup constituie un nou mesaj
1
r
de probabilitate:
( ) ( ) ( )
1 1
+ =
N N
s p s p r p

Se constituie o nou surs, numit sursa restrns de ordinul nti , de alfabet:
{ } { }
1 2 2 1 1
, ,..., , r s s s R
N
=
Se aranjeaz simbolurile sursei restrnse { }
1 1
, P R n ordinea descresctoare a probabilitilor simbolurilor
Se repet etapa a doua
Se repet etapa a treia
Se repet operaiunile anterioare, pne ce se obine o surs restrns de ordinul n (n restrngeri) care
furnizeaz 2 simboluri crora se aloc simbolurile codului: 0., 1.
Cuvntul de cod complet corespunztor unui simbol al sursei primare este constituit din secvena literelor
codului, parcurgndu-se sursele restrnse n sensul opus restrngeriipn la regsirea simbolului original

2.4.6.3 Metoda Huffman de codare D-ar

Avnd o surs { } { }
i i
p P s S = = ; al crei alfabet are N simboluri, codarea Huffman D-ar ai acestei surse cu
un alfabet constituit din { }
D
x x x X ,..., ,
2 1
= comport aproximativ aceeai etape ca i codarea binar, restrngerile fcndu-se
pn ce se obine o surs n-ar care furnizeaz D simboluri, crora li se asigneaz simbolurile codului
D
x x x ,..., ,
2 1

n acest caz, se observ c dup prima restrngere se obine o surs cu ( ) 1 1 + = D N D N simboluri, iar
dup n restrngeri, o surs cu ( ) 1 D n N simboluri. Pentru ca operaia de codare s fie posibil, ultima surs (rezultat n
urma a n restrngeri) trebuie s furnizeze D simboluri, deci ( ) 1 = D n N D , de unde rezult un numr de restrngeri:
1
=
D
D N
n
Pentru D N, date se verific ca n s fie numr ntreg, dac aceast condiie nu este satisfcut va trebui s adugm
sursei { }
i
s S = un numr de simboluri cu probabilitate de apariie nul, care s asigure un n ntreg.
Aplicaia urmtoare prezint o codare ternar pentru sursa discret din aplicaia precedent.

29

2.5 Codarea pentru canale cu perturbaii

2.5.1 Teorema lui Shannon pentru canale cu perturbaii

Teorema lui Shannon afirm urmtoarele: Dac avem o surs cu un debit de
informaie R biti/sec si un canal de capacitate de C biti/sec i dac
C R < exist un cod cu cuvinte de lungime n astfel nct probabilitatea unei
erori de decodare
E
P s fie:
) (
2
R nE
E
P

unde: n este lungimea cuvintului de cod, ( ) R E este o funcie nenegativ
numit exponentul erorii

unde: n este lungimea cuvintului de cod, ( ) R E este o funcie nenegativ numit exponentul erorii. Teorema afirm existena unor
coduri a cror probabilitate de decodare eronat este arbitrar de mic, dar nu arat cum pot fi construite asemenea coduri. Aceast
teorem afirmnd un lucru cu totul surprinztor i anume c indiferent de nivelul perturbaiilor dintr+un canal, se pot face transmisiuni
cu o probabilitate a erorii orict de mic a dus la o puternic dezvoltare a teoriei codurilor

2.5.2 Coduri grup

Codurile grup sunt coduri bloc n care cele n simboluri care formeaz un cuvnt sunt considerate ca fiind componentele unui vector n
dimensional. S prezentm sub forma matricial componentele unui cuvnt:

] ... [
2 1 n
a a a w =

Deoarece ne ocupm numai de coduri binare , elementele a
i
sunt elementele unui cmp cu dou elemente notate (0,1) cmpul fiind
notat cu GF(2) Regulile de operare numite adunare modulo 2 i multiplicare in GF(2) sunt:

+ 0 1 0 1
0 0 1 0 0 0
1 1 0 1 0 1

2.5.2.1 Distana Hamming

In spaiul n-dimensional al cuvintelor se introduce funcia distan D v v
i j
( , ) care setisface postuletele unui spatiu metric . Prin
definiie aceast funcie este:
) ( ... ) ( ) ( ) , (
2 2 1 1 jn in j i j i j i
a a a a a a v v D + + + =
unde s-a notat cu adunarea modulo 2 in corpul finit cu dou elemente ale coordonetelor i cu + adunarea obinuit in corpul
numerelor reale. Sub o form concis se poate scrie:
=
=
n
k
jk ik j i
a a v v D
1
) ( ) , (

Din relaia de definiie rezult c distana dintre dou cuvinte de cod este egal cu numrul de simboluri prin care cele dou cuvinte
se deosebesc.
Ponderea unui cuvnt de cod este egal cu numrul elementelor nenule din cuvntul respectiv

2.5.2.2 Decizie pe baza distanei minime

30
Se presupune o transmisie binar printr-un canal binar simetric fr memorie, fiecare cuvnt de cod se transmite cu
aceeai probabilitate. Se noteaz cu p probabilitatea ca un simbol s fie transmis eronat i cu q probabilitatea ca el s fie transmis
corect, avem, evident:
1 = + q p
Dac se recepioneaz cuvntul
'
i
v ,probabilitatea ca el s provin din
i
v este:
( )
( ) ( )
i i i i
v v v v
i i
v v
, , '
, ,
D n D
q p p

=

Dac se recepioneaz cuvntul
'
i
v ,probabilitatea ca el s provin din
j
v este:
( )
( ) ( )
j i j i
v v v v
i j
v v
, ,
'
, ,
D n D
q p p

=

Deoarece n majoritatea canalelor utilizate probabilitatea 1 << p , respectiv 1 q , relaiile precedente se pot scrie:
( )
( )
i i
v v
i i
v v
, '
,
D
p p respectiv ( )
( )
j i
v v
i j
v v
,
'
,
D
p p
Dac:
( ) ( ) ( ) ( ) 1 1 , ,
, , , ,
> < j pt p p atunci j pt D D
i j i i j i i i
v v v v v v v v

Cu alte cuvinte, dac distana de la cuvntul recepionat
,
i
v la cuvntul de cod
i
v este mai mic dect distana la oricare alt cuvnt
de cod, atunci probabilitatea ca
,
i
v s provin din
i
v este mai mare ca probabilitatea ca el s provin din oricare alte cuvinte de
cod. Pe baza acesteia se poate decide c s-a transmis cuvntul
i
v cnd s-a recepionat
,
i
v . Aceast schem de decizie se
numete a observatorului ideal sau a probabilitii maxime, ea stabilete o coresponden ntre cuvintele recepionate
,
i
v i
cuvintele transmise
i
v pe baza criteriului probabilitii condiionate maxime ( ( )
'
i j
v v p ). n consecin, putem afirma c
posibilitile de detecie i corecie ale unui cod depind de distana minim dintre cuvintele de cod

2.5.2.3 Cuvntul de eroare

Pentru a elabora mecanismul de detecie i corecie a erorilor este necesar ca n prealabil s se analizeze modul n care se
introduc erorile ce trebuie corectate/detectate. ntr-un cadru general, aciunea perturbaiilor poate fi caracterizat printr-un operator
aleator P care face transformarea :
{ }
,
i i
v v = P

Cuvntul de eroare se definete ca un cuvnt care are simboluri din acelai alfabet cu cuvintele de cod
i
v i aceeai lungime n,
definit sub forma matricial (generat de canalul cu perturbaii):

[ ]
n
...
2 1
=

unde simbolurile pot lua n cazul binar valorile 0 sau 1, concret,
i
ia valoarea 1 dac perturbaiile introduc eroare, respectiv 0 dac
nu se introduc erori. ntr-o alta form, cuvntul de eroare poate fi scris sub forma:

[ ] ... ... ...
1 e
i i
=

unde simbolurile
e
i i
...
1
sunt simboluri 1, celelalte fiind 0, iar
n
i i i ,... ,
2 1
sunt indici de la 1 la n care indic poziia n care apare o
eroare. Cu ajutorul definiiei vuvntului de eroare, transformarea { }
,
i i
v v = P poate fi scris:

{ }
,
i i i
v v v = + = P

unde semnul + indic adunarea modulo 2 a matricilor ,
i
v
31

2.5.2.4.Mecanismul de detecie i corecie a erorii

Pentru a stabili o modalitate de detecie sau corecie a erorii se consider un spaiu m-dimensiomal care se numeste
spaiul de corecia Z si care are 2
m
elemente z aparinnd Z numite corectori.Corectorii se reprezinta prin matrice.
In literatura de specialitate corectorul se mai numeste si vector de control de paritate si sindrom.
Corectorii sunt destinati sa indice pozitiile din cuvintul de cod in care s-au introdus erori. In acest scop se stabileste o corespondent
univoca intre multimea tuturor cuvintelor receptionate si multimea corectorilor.Aceasta corespondenta se poate stabili definind un
operator H astfel ca:
{ } z =
i
v
Daca
i i
v v = adica daca tansmisia s-a facut fr erori z trebue sa fie acelasi pentru orice I indicind astfel faptul ca un sunt erori. Se
alege in acest caz pentru z o valoare 0 si ca urmare relatia devine:

{ } 0 =
i
v H
pentru orice I de la 1 la
K
S 2 =
Pentru a putea corecta erorile introduse in procesul de transmisie este necesar ca pentru fiecare cuvint eroare care poate fi generat
de perturbatiile din canal sa existe un singur corector distinct diferit de zero.

2.5.2.5 Matricea de corecie

Din cele precedente rezulta ca operatorul H determina o tansformare care este numai univoca de la spatiul de cuvinte receptionate la
spatiul corector. Cea mai simpla structura a operatorului H se obtine daca se considera o transformare lineara care este numai
univoca de la spatiul cuvintelor receptionate la sprtiul corectorilor, definite de ecuatiile:

m n mn m m
n n
n n
c a h a h a h
c a h a h a h
c a h a h a h
= + + +
= + + +
= + + +
...
... .......... .......... .......... ..........
... .......... .......... .......... ..........
...
...
2 2 1 1
2 2 2 22 1 21
1 1 2 12 1 11

h
ij
sunt parametrii care determina transformare H;
a
i
- simbolurile unui cuvint receptionat
c
i
- coordonatele care determina punctul z

Relatiile se pot scrie compact sub forma matriciala.In acest scop se introduce matricea:
(
(
(
=
mn m m
n
n
h h h
h h h
h h h
H
2 1
2 22 21
1 12 11

Matricea H se numeste matricea de control. Prin transformari elementare matricea H poate fi pus sub forma echivalenta:
] [
1 0 0
0 1 0
0 0 1
2 1
2 22 21
1 12 11
Q I
q q q
q q q
q q q
H
m
mk m m
k
k
=
(
(
(
=
in care I
m
reprezint matricea unitate de ordinul m , iar Q este:
(
(
(
=
mk m m
k
k
q q q
q q q
q q q
Q
2 1
2 22 21
1 12 11

In cele ce urmeaza se vor nota cuvintele sub forma de matrici linie :
32
= v a a a
n
[ ... ]
1 2

iar corectorii sub forma de matrice coloana:
(
(
(
(
=
m
c
c
c
z
...
2
1

Cu ajutorul notaiilor precedente relatiile pot fi scrise sub forma:
Hv z
T
=
unde v
T
este transpusa matricei v .
Dac cuvntul recepionat este un cuvnt de cod conform relaiei controlul este nul.
Hv
T
= 0

2.5.2.6 Codarea codurilor grup cu matricea de corecie

Considerm n cele ce urmeaz ca n cuvntul de cod:
[ ]
n m m
a a a a a v ... ...
1 2 1 +
=
primele m simboluri :
[ ] [ ]
n m
c c c a a a ... ...
2 1 2 1
= = c
s fie simboluri redundante care servesc deteciei sau coreciei erorilor i n consecin vor fi numite simboluri de control, iar ultimele
k simboluri:
[ ] [ ]
k k m m m
i i i a a a ... ...
2 1 2 1
= =
+ + +
i unde n k m = +

s fie simboluri generate de surs pe care le numim simboluri de informaie. Cu notaiile anterioare avem:
(
= i c v
Pentru a determina cele m simboluri de control n funcie de k simboluri de informaie, facem apel la relaia de corecie:
T T T T
T
T
m
T
Qi c 0 Qi c 0
i
c
Q I 0 Hv = = + =
(
(
=
Operaia de determinare a simbolurilor de control n funcie de simbolurile de informaie se numete codare. Relaia anterioar se
poate scrie:
(
(
(
(
=
(
(
(
(
=
(
(
(
(
+
+
+
m k m
m
m
mk m m
k
k
a
a
a
a
a
a
q q q
q q q
q q q
. .
...
... ... ... ...
...
...
2
1
2
1
2 1
2 22 21
1 12 11

de unde rezult:
m j a q a
i m
k
i
ij j
, 1
1
= =
+
=

adic simbolurile de control se obin din combinaii liniare (nsumare modulo 2) ale simbolurilor de informaie. Cuvintele de cod astfel
formate pot fi recunoscute datorit faptului c au corectorul corespunztor nu. Dac n procesul de transmisie se introdc erori,
corectorul va fi diferit de zero i prin mecanismul indicat se pot corecta erorile.
Dac simbolurle de informaie i de control sunt plasate n grup la nceputul sau la sfritul cuvntului de cod, codul se
numete sistematic.

2.5.2.7 Relaiile ntre coloanele matricei H n cazul coreciei erorilor

Pentru a putea fi corectat orice combinaie a e erori, matricea H trebuie s satisfac anumite condiii:
33
+ = v v
,

unde este un cuvnt de eroare cu e simboluri egale cu 1, respectiv e erori:
[ ] ... ... ...
e
i

1
i
=
Corectorul corespunztor cuvntului
,
v este: ( )
T T T
H Hv v H Hv z + = + = =
T ,

Deoarece, 0 v H =
T
rezult
T
H z = , respectiv:

(
(
(
(
(
(
(
(
(
(
=
e
i
i
mn m m
n
n
h h h
h h h
h h h
.
.
...
... ... ... ...
...
...
1
2 1
2 22 21
1 12 11
z
Pentru simplitate se noteaz coloanele matricei H cu
i
h , relatia anterioar se poate scrie:
[ ] [ ] [ ]
e 1 e 1
i i i i n 2 1
h h h h h h h z + + = + + + =
(
(
(
(
(
(
= ... ... ... ...

.
.
...
1
1
e
e
i i
i
i

Pentru a corecta e erori indiferent de poziiile n care intervin este necesar ca sumele modulo 2 a cte e coloane oarecare din
matricea de control H s fie distincte. n felul acesta se obin corector distinci pentru fiecare cuvnt de eroare.
Dac coloanele matricei H sunt astfel alese nct sumele modulo 2 a cte e coloane sunt distincte, respectiv:
e 1 e 1
j j i i
h h h h + + + + ... ...

pentru orice valori
e
i i ,...
1
distincte, cuprinse ntre 1 i n i
e
j j ,...
1
distincte cuprinse ntre 1 i n (care pot fi egale cu unele numere
e
i i ,...
1
dar nu cu toate), atunci adunnd n ambii membrii coloanele
e 1
j j
h h ... se obine:
0 h h 0 h h h h
e 1 e 1 e 1
i i j j i i
+ + + + + + +
2
... ... ...

pentru orice valori
e
i i
2 1
,... cuprinse ntre 1 i n. Dac coloanele matricei de control satisfac condiia dat de ecuaia anterioar,
atunci exist posibilitatea corectrii a e erori oarecare.
Se poate arta c n acest caz distana minim ntre dou cuvinte de cod este egal cu 2e+1.

Observaie

Pornind de la definiia distanei Hamming dintre dou cuvinte de cod
( )
jk ik k
n
k
n
k
k jk ik j i
a a b cu b a a v v D = = =

= = 1 1
,

Din relaia anterioar rezult c distana dintre dou cuvinte de cod este ponderea unui alt cuvnt de cod (numrul
elementelor nenule ntr-un cuvnt de cod)
Simbolurile astfel obinute sunt i ele simbolurile unui cuvnt de cod w, deoarece satisfac relaia:

[ ] ( ) 0 Hw 0 Hv Hv v v H Hw v v w
T T
j
T
i
T
j i
T
j i
= = + = + = + = =
n
b b b ...
2 1

34
Rezult c distana minim dintre dou cuvinte de cod (care este i ponderea minim a cuvintelor de cod) va determina
capacitile de corecie a unui cod.
Dac se presupune c w este un cuvnt de cod cu pondere egal cu 2e+1 atunci:

[ ] 0 h h 0 Hw w
1 2e 1 1
i i
T
= + + = =
+ + + 1 2 1 1 2
... ... ... ...
e e
i i i i
respectiv
sau 0 ... ... = +
+1 2e 1
i i
h h

Dac suma a 2e coloane oarecare este diferit de zero, atunci nu exist nici o relatie de forma:
0 ... ... = +
2e 1
i i
h h

Deci, condiia necesar i suficient pe care trebuie s o ndeplineasc distana dintre cuvinte pentru ca s se poat corecta e erori
este ca:
1 2
min min
+ = = e P d
Pentru a detecta e erori, condiia este:
1
min min
+ = = e P d
Observaie. Se observ c un cod corector de e erori este detector de 2e erori

2.5.2.8 Codarea codurilor grup cu ajutorul matricei generatoare G

innd seama de notaiile precedente, se definete o matrice G numit matrice generatoare care satisface relaia:
iG v =

Pentru a vedea legtura ntre matricea G i matricea H , facem nlocuirile:
( ) 0 i G H iG H 0 v H
T T
= = =
T T

deoarece aceast relaie este valabil pentru orice simboluri de informaie, rezult: 0 G H
T
= , unde matricea H conform unor
relaii anterioare este de forma: [ ] Q I H
m
= unde matricea Q este o matrice cu m linii i k coloane.
Dac matricea G ar fi de forma: [ ]
k
T
I Q G = atunci relaia anterioar este satisfcut:
[ ] [ ] 0 Q Q
I
Q
Q I HG
k
m
T
= + =
(
=
Notnd cu P matricea
T
Q :
T
Q P = , respectiv
(
(
(
(
(
(
(
=
km k k
m
m
p p p
p p p
p p p
..
.... .......... ..........
...
..
2 1
2 22 21
1 12 11
P deci [ ]
k
PI G = sau
(
(
(
(
(
=
1 ... 00 ...
. .......... ..........
0 ... 01 ...
0 ... 10 ...
1
2 12
1 11
km k
m
m
p p
p p
p p
G

avnd n vedere relaiile existente, avem : [ ] [ ] [ ] iPi PI i ci v
k
= = = de unde rezult iP c = o alt relaie pentru obinerea
simbolurilor de control

2.5.2.9 Formarea corectorilor
[ ] [ ] [ ] [ ] [ ] c c z c c P i c P I i c H v z v H z
T T
m
T T T
+ = + = + = = = =

unde P i c = reprezint simbolurile de control ce rezult din operaia de codificare a simbolurilor de informaie recepionate.
35

Aplicaie

Fie un cod grup cu matricea de control:
(
(
(
=
0
1
1
1
0
1
1
0
0
0
1
0
0
0
1
H

Se cere: a. S se determine proprietile de corecie ale codului.
b. S se determine matricea generatoare G
c. S se scrie cuvintele de cod cu ajutorul matricilor G i H
a. Dimensiunile matricei H permit s se determine 5 = n i 3 = m i deci 3 = k . Dup o atent examinare a matricii de
control ne dm seama c suma oricror dou coloane nu este diferit de suma oricror altor dou coloane, de exemplu:

4 3 2 1
h h h h + =
(
(
(
= +
0
1
1

deci nu se pot corecta dou erori ci numai una
Marginea Hamming care reprezint condiia necesar pentru corecie a e erori este satisfcut pentru e=1:
5 7 1 2 = > = n
m

Marginea Varamov-Gilbert care reprezint o condiie suficient pentru corecia a e erori este i ea satisfcut pentru e=1:
7 6 1 8 2
1
0
0
0
= + = + = C C
m

b.Matricea de control se poate pune sub urmtoarea form:

= ] [ Q I H
3
[ ]
(
= =
1
0
0
1
0
1
1
0
1
1
k
T
I Q G
Se poate verifica relaia :
0 HG
T
=
(
(
(
=
(
(
(
(
(
(
(
(
(
=
0
0
0
0
0
0
1 0
0 1
0 1
1 0
1 1
0
1
1
1
0
1
1
0
0
0
1
0
0
0
1

c.Pentru a scrie cuvintele de cod cu ajutorul matricii de control H se utilizeaz urmtoarea relaie, n care cuvntul de cod este
sistematic:
36
[ ] [ ] = = = 0 Hv ci v
T
5 4 3 2 1
i i c c c 0 HG
T
=
(
(
(
+
+
+ +
=
(
(
(
(
(
(
(
(
=
4 3
5 2
5 4 1
5
4
3
2
1
0
1
1
1
0
1
1
0
0
0
1
0
0
0
1
i c
i c
i i c
i
i
c
c
c

de unde rezult
4 3 5 2 5 4 1
; ; i c i c i i c = = + =

rezultnd cuvinte de cod de forma: [ ]
5 4 4 5 5 4
, , , , i i i i i i + = v
Cuvintele de cod se pot scrie i cu ajutorul matricii generatoare: iG v = unde matricea i este o matrice linie ce conine
simbolurile de informaie, obinndu-se n cele din urm aceleai rezultate, ca nainte.

Cuvintele de cod sunt urmtoarele:

C1 C2 C3 I4 I5
V1 0 0 0 0 0
V2 1 0 1 1 0
V3 1 1 0 0 1
V4 0 1 1 1 1

2.5.3 Coduri Hamming grup

Codurile Hamming constituie prima clas de coduri bloc liniare corectoare de erori i au fost propuse de R. Hamming n
anul 1950.

2.5.3.1 Codul Hamming grup corector de o eroare

Caracteristicile codului:

- lungimea cuvntului de cod se determin cu relaia: 1 2 1 = + + =
k
k m n , relaie ce
reprezint condiia de existena a unui cod perfect, satisfcut pentru o eroare
- codul este separabil dar nu este sistematic , structura unui cuvnt de cod este:

[ ]
n
i i c i i i c i c c v ...
9 8 7 6 5 4 3 2 1
=

- simbolurile de control sunt situate pe poziiile 1 , 0 , 2 = k i
i

- matricea de control H este de forma : [ ]
n i 1
h h h H ... ...
] [
=
mxn
unde fiecare coloan reprezint n cod binar natural (BN)
numrul de ordine al coloanei respective, cu bitul cel mai puin semnificativ n linia a m-a. Din structura matrici de control se observ
c toate coloanele sunt distincte deci este ndeplinit condiia pentru corecia unei erori
- relaiile de codare se determin cu condiia: 0 v H
T
= de unde rezult exprimarea simbolurilor de control n funcie de cele de
informaie
- sindromul se determin cu relaia : s r H
T
= , unde
T
r este transpusa cuvntului recepionat
[ ] [ ]
i i n i 2 1
T T T
h h h h h H v H r H =
(
(
(
(
(
(
= = + =
.
.
.
.
... ...

- corectorul corespunztor este:
i
h z = adic reprezentarea binar a numrului i care reprezint poziia n care este o eroare,
decodarea se face foarte simplu prin conversie binar-zecimal.
37
Codul Hamming corector de o eroare nu poate corecta nici o eroare dubl, motiv pentru care este un cod perfect. n general codurile
care pot corecta e erori n orice poziii, dar nu pot corecta 1 + e erori sau mai multe, se numesc coduri perfecte.

Codarea

Cele m poziii ale simbolurilor de control corespund vectorilor coloan
i
h cu un singur element diferit de zero. Simbolurile de control
sunt date de relaiile:

0 v H
T
= respectiv [ ] 0 h h h h
n i 2 1
=
(
(
(
(
(
(
(
(
(
(
(
n
i
i
c
i
c
c
.
.
... ...
5
4
3
2
1
sau 0
1
1
.
.
.
1
...
1
1
.
.
.
0
0
1
.
.
.
0
1
0
.
.
.
0
3 2 1
=
(
(
(
(
(
(
(
(
+ +
(
(
(
(
(
(
(
(
+
(
(
(
(
(
(
(
(
+
(
(
(
(
(
(
(
(
n
i i c c
relaie cu m ecuaii n care simbolurile de control intervin o singur dat , deci pot fi exprimate n funcie de simbolurile de informaie,
ce se pot scrie ncepnd cu ultima linie:
.......... .......... ..........
...
...
...
6 5 4
6 3 2
5 3 1
n
n
n
i i i c
i i i c
i i i c
+ + + =
+ + + =
+ + + =

Decodarea

La recepie, cuvntul recepionat se introduce ntr-un dispozitiv cu celule binare de memorie i se calculeaz corectorul:
[ ]
(
(
(
(
(
(
=
(
(
(
(
(
(
= =
,
,
2
,
1 1
'
.
. ...
.
.
.
n m
i
c
c
e
e
n 2 1
T
h h h Hv z

innd cont de structura matricei H n mod calvului precedent, se obine:
......... .......... .......... ..........
...
...
, ,
6
,
3
,
2 1
, ,
5
,
3
,
1
n m
n m
i i i c e
i i i c e
+ + + + =
+ + + + =

Numrul binar astfel calculat ( )
m
e e e ...
2 1
este introdus ntr-un convertor binar-zecimal, iesirea cruia indic poziia erorii, permind
astfel corecia ei, prin nsumarea modulo 2 a cuvntului recepionat cu cuvntul de eroare obinut.

38
Aplicaie

Un numr de 20 de mesaje se transmit pe un canal cu perturbaii utiliznd un cod Hamming corector de o eroare. Se cere:
a. numrul simbolurilor de de informaie k , al celor de control m i lungimea fiecrcuvnt de cod
b. s se scrie matricea de control al codului H
c. s se scrie cuvintele de cod
d. ct este distana minim ? ct este ponderea minim ?
e. s se stabileasc expresia corectorului pentru cazul n care se eroneaz
4
c
f. s se stabileasc ce se ntmpl n cazul n care apar dou erori pe poziiile 2 i 7
a. Pentru a transmite 20 mesaje este necesar un numr de 5 = k simboluri de informaie. Numrul
simbolurilor de control rezult din expresia marginii Hamming:

9 4 5 1 2 = = + = + = n m m k m n
m

b. matricea de control este o matrice de 9 = n coloane i 4 = m linii, fiecare coloan reprezint codul binar al numrului de
coloan:
(
(
(
(
=
1 0 1 0 1 0 1 0 1
0 0 0 1 1 0 1 1 0
0 0 1 1 1 1 0 0 0
1 1 0 0 0 0 0 0 0
H
c. cuvntul de cod Hamming este nesimetric i are structura [ ]
9 8 7 6 5 4 3 2 1
i c i i i c i c c = v . Orice cuvnt de cod satisface relaia:
0 v H
T
=
care permite determinarea simbolurilor de control
8 4 2 1
, , , c c c c n funcie de simbolurile de informaie
9 7 6 5 3
, , , , i i i i i cu ajutorul
sistemului:
9 7 5 3 1
7 6 3 2
7 6 5 4
9 8
i i i i c
i i i c
i i i c
i c
+ + + =
+ + =
+ + =
=

Se poate face un tabel n care s se reprezinte cele 20 de cuvinte de cod, pe baza relaiei de mai sus.

C1 C2 I3 C4 I5 I6 I7 C8 I9
V0 0 0 0 0 0 0 0 0 0
V1 1 1 1 0 0 0 0 0 0
V2 1 0 0 1 1 0 0 0 0
V3 0 1 1 1 1 0 0 0 0
V4 0 1 0 1 0 1 0 0 0
V5 1 0 1 1 0 1 0 0 0
V6 1 1 0 0 1 1 0 0 0
V7 0 0 1 0 1 1 0 0 0
V8 1 1 0 1 0 0 1 0 0
V9 0 0 1 1 0 0 1 0 0
V10 0 1 0 0 1 0 1 0 0
V11 1 0 1 0 1 0 1 0 0
V12 1 0 0 0 0 1 1 0 0
V13 0 1 1 0 0 1 1 0 0
V14 0 0 0 1 1 1 1 0 0
V15 1 1 1 1 1 1 1 0 0
V16 1 0 0 0 0 0 0 1 1
V17 0 1 1 0 0 0 0 1 1
V18 0 0 0 1 1 0 0 1 1
V19 1 1 1 1 1 0 0 1 1
39

d. dup inspectarea tabelului rezult c ponderea minim 3
min
= P i 3
min
= d pentru o eroare e. n acest caz cuvntul de
eroare este: [ ] 0 0 0 0 0 1 0 0 0 = , corectorul se calculeaz:
( )
(
(
(
(
= = = =
0
0
1
0
,
4
T
T
h H v H z i reprezint codul binar al poziiei eronate.
f. n acest caz cuvntul de eroare este: [ ] 0 0 1 0 0 0 0 1 0 = , iar corectorul
[ ] [ ]
(
(
(
(
= = + =
1
0
1
0
2 5 7
h h h z
Decodorul ar aciona ca i cum eroarea ar fi pe poziia a 5-a i efectueaz corecia presupusei erori, introducnd de fapt o eroare
suplimentar pe poziia a 5-a, pe lng cele deja existente.

2.5.3.2 Coduri Hamming modificate

Pentru a depi dezavantajul codului Hamming corector de o eroare (acela de a erona suplimentar la depirea capacitii
de corecie a codului), acest cod poate fi modificat n sensul creterii distanei minime de la 3 la 4 ceea ce permite detecia erorilor
duble. Acest lucru este posibil att prin extinderea ct i prin scurtarea codului iniial

2.5.3.3 Codul Hamming extins (corector de o eroare i detector de erori duble)

Creterea distanei minime se obine prin adugarea unui simbol de control suplimentar numit i simbolul de control al
paritii
0
c , structura cuvntului de cod devenind astfel:
[ ]
n
i i c i i i c i c c c v ...
9 8 7 6 5 4 3 2 1 0
=
Matricea de control capt forma:
(
=
(
1 ... 1 1 1
... 0
1
0
n 2 1
h h h
1
H
H
unde [ ]
n i 2 1
h h h h ... ... este matricea de control a codului Hamming corector de o eroare.
Corectorul pentru acest cod va fi:
( )
(
= = =

0
,
z
z
H v H z
T
T

unde z i pstreaz semnificaia de la codul Hamming corector de o eroare iar
0
z este un simbol binar ce poate lua valoarea 0
sau 1 cu ajutorul cruia se poate face detectia erorilor duble( 0
0
= z )
Putem avea urmtoarele situaii:
0
0
= z i 0 z = atunci nu apar erori
0
0
= z i 0 z atunci sunt dou erori detectabile
1
0
= z i 0 z atunci exist o eroare corectabil
1
0
= z i 0 z = atunci simbolul
0
c este eronat
distana de cod este 4 i ea corespunde condiiei de corecie a unei erori i detecie de erori duble.

TD Curs 2011a

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

TD Curs 2011a

Încărcat de

Drepturi de autor:

Formate disponibile

Dr. ing.

H reprezint viteza de transmisie a informaiei.

este transinformaia pe unitate de timp respectiv debitul de transinformaie:

M [Db], ce caracterizeaz viteza de variaie fizic a semnalului

M =1,25*B , pentru canale reale.

D>C, transmisiunea nu mai este posibila in timp

a sursei printr-o prelucrare prealabila, cantitatea de

). Evident durata transmisiei T va

= ... ... ... ...

S-ar putea să vă placă și