Noţiuni introductive

Noţiuni introductive

1.1. Introducere
Debutul telecomunicaţiilor electrice se face în secolul XIX, în
contextul expansiunii industriale şi al modernizării mijloacelor de transport.
Transmisia numerică (telegraful) a precedat, în general, transmisia analogică,
cu mult mai delicată. Foarte curând, mijloacele de telecomunicaţii străbat
frontiere, traversează oceane şi unesc continente. Vehicularea informaţiei
devine de importanţă planetară. Istoria telecomunicaţiilor este o adevărată
aventură umană.

1.2. Scurt istoric

1837 - Samuel Morse inventează un sistem de
transmisie ce codifică cifrele şi literele alfabetului.
Codul său (încă utilizat) ţine cont de frecvenţa
relativă de apariţie a literelor în limba engleză în
vederea optimizării timpului de transmisie al unui
mesaj. Din acest punct de vedere el este nu numai
un precursor al telegrafului ci şi al teoriei codurilor.

Samuel Morse (1791 - 1872)

1
 Teoria transmisiei datelor

Telegraful construit de S. Morse (1844)

1858 - Cu preţul unor eforturi tehnice şi financiare considerabile, primul

cablu (unifilar) transatlantic este instalat. El permite transmisia telegrafică
foarte lentă intercontinentală. Funcţionează doar o singură lună, un defect
de izolaţie făcându-l inutilizabil. Un altul îl va înlocui în 1866.
1870 - Se realizează legătura telegrafică prin linie aeriană şi submarină
între Londra şi Calcutta (India) pe o distanţă ce totalizează 11000 km
1876 - Alexander Graham Bell depune (cu câteva ore înaintea lui Elisha
Gray) un brevet cu privire la posibilitatea transmisiei electrice a sunetelor
cu ajutorul unei rezistenţe variabile. Invenţia lui Bell marchează debutul
telefoniei.

Alexander Graham Bell (1847-1922) şi unul din telefoanele sale.

1896 – Guglielmo Marconi reuşeşte o transmisie radio demonstrativă.

Mesajul Morse a fost recepţionat la o distanţă de două mile. El utilizează
pentru acest experiment antena aeriană a inginerului rus Popov. În acelaşi
an Marconi îşi brevetează receptorul sub titlul "Îmbunătăţiri în transmisia
impulsurilor electrice şi a semnalelor electrice" (Brit. Pat.
12.039/02.06.1896, ulterior U.S. Pat. 586.193/13.07.1897).

2
 Noţiuni introductive

1899 - Marconi reuşeşte o transmisie

telegrafică între Anglia şi Franţa, peste
Canalul Mînecii, la 28 martie.
1901 - Marconi transmite prima telegramă
peste ocean folosind undele radio, între
Anglia (Poldhu, Cornwall) şi Statele Unite
(St. John's, Newfoundland) 1700 de mile.
Începe exploatarea telegrafului fără fir.

Guglielmo Marconi (1874-1937)

Laureat al Premiului Nobel în 1909

1926 - J. L. Baird face la Londra, prima demonstraţie publică de

televiziune monocromă (30 de linii de explorare şi 10 cadre/secundă)
1953 - În S.U.A. încep emisiunile oficiale de televiziune în culori în
sistemul NTSC.

Sputnik 1

1957 - La 4 octombrie este lansat de către fosta U.R.S.S. primul satelit

artificial al Pământului. De forma unei sfere cu diametrul de 58 cm,
efectua o rotaţie completă la fiecare 96,2 minute. După 57 de zile (4
ianuarie 1958) a reintrat în atmosferă şi s-a autodistrus.

1965 - S.U.A. plasează pe orbită primul

satelit geostaţionar Early Bird

3
 Teoria transmisiei datelor

1966 - În Anglia se fac teste de laborator pentru transmisia datelor prin

fibra optică.
1969 – În S.U.A., la iniţiativa Departamentului Apărării este realizată
prima reţea de calculatoare (au fost interconectate 4 echipamente de calcul
din statele Utah şi California). Această reţea, denumită ARPANET şi pusă
la punct de Advanced Research Projects Agency este considerată ca fiind
precursoarea Internet-ului.
1972 - Staţia automată interplanetară Pioneer 10 (S.U.A.) transmite
imagini color ale planetei Jupiter. În 1975 a furnizat date despre Saturn
(1,5 miliarde de kilometri) iar în 1979 a transmis informaţii din aproprierea
planetei Uranus (3,2 miliarde de kilometri).
1981 – Apar în S.U.A. primele telefoane mobile (analogice), ce utilizează
iniţial, banda de 800 MHz şi ulterior pe cea de 1900 MHz. Este lansat
conceptul de Personal Communications Systems – PCS. În Europa benzile
alocate sunt de 900 şi respectiv 1800 MHz.

1.3. Terminologie
Pentru a se evita eventualele neînţelegeri ce ar putea rezulta din
utilizarea unor termeni care sunt folosiţi în literatură cu mai multe accepţiuni
este necesar să se facă unele precizări asupra sensului în care aceşti termeni
sunt utilizaţi în continuare.
Informaţie. Pentru a introduce noţiunea de informaţie, se presupune că
într-o situaţie oarecare pot avea loc N evenimente diferite, independente,
egal probabile, probabilitatea unui eveniment fiind p=1/N. Prin realizarea
unui eveniment din cele N posibile se obţine informaţie. Aceasta este cu
atât "mai mare" cu cât evenimentul realizat este mai imprevizibil, respectiv
cu cât posibilitatea lui de apariţie este mai mică.

Prin definiţie, informaţia obţinută în acest caz este:

I = log 1/p = - log p = log N (1.1)

Semnal. Este denumirea dată unei manifestări fizice (undă

electromagnetică, undă sonoră, optică, etc.) capabilă de a se propaga
printr-un mediu dat. Pentru ca un semnal să conţină informaţie, el trebuie
să aibă un caracter mai mult sau mai puţin aleator.
Perturbaţie. Este semnalul ce modifică în mod aleator semnalul util,
micşorând informaţia transmisă.
Mesaj. Se numeşte mesaj un semnal ce corespunde unei realizări
particulare din ansamblul de idei, imagini, date, care trebuie transmise unui
partener.

4
 Noţiuni introductive

Sursa de informaţie. Este mecanismul prin care, din mulţimea mesajelor

posibile se alege într-un mod imprevizibil pentru observator un mesaj
particular destinat a fi transmis unui corespondent. Sursele de informaţie se
pot clasifica după natura semnalului de la ieşire în surse analogice şi
respectiv discrete, acestea din urmă fiind cele mai răspândite. La rândul
lor, sursele discrete sunt caracterizate de: simbol (elementul ireductibil ce
conţine informaţie), alfabetul sursei (o mulţime finită de simboluri), viteza
de emisie a simbolurilor şi probabilitatea de apariţie a unui simbol.
Utilizare (corespondent, observator, destinatar). Este destinaţia finală la
care trebuie să ajungă mesajul transmis .
Canal (cale). Prin acest termen se definesc totalitatea mijloacelor destinate
propagării mesajului între sursă şi utilizator, prin mijloace înţelegându-se
atât aparatura cât şi mediul prin care se face transmisia .
Modulare (modulaţie). Se numeşte transformarea unui mesaj într-un
semnal cu scopul principal de a facilita transmisia prin mediul dat sau de a
realiza transmisii multiple prin acelaşi mediu. Scopul secundar al
modulaţiei este micşorarea efectului perturbaţiilor ce intervin în procesul
de transmisie.
Demodulare (demodulaţie). Este transformarea inversă modulării.
Codare. Se numeşte prelucrarea discretă efectuată cu scopul principal
de a mări eficienţa transmisiei, respectiv protecţia la perturbaţii.
Decodare. Este operaţia inversă codării.

1.4. Modelul unui sistem de transmisie

Cel mai simplu model al unui sistem de transmisie a informaţiei este
prezentat schematic în fig. 1.1. În acest caz se presupune că mesajul sub forma
în care este generat de sursă poate fi transmis direct prin canal, fără a suferi
transformări. Sursa de perturbaţii este un element ce apare în mod inevitabil în
oricare sistem de transmisie. Modelul din figura 1.1 corespunde în general
cazurilor când informaţia trebuie transmisă la distanţă mică şi erorile cauzate
de zgomote sunt neglijabile.

S Canal R

Sursa Receptor

P
Perturbaţii

Fig. 1.1. Structura de principiu a unui sistem de transmisie.

5
 Teoria transmisiei datelor

Dacă mesajul nu poate fi transmis ca atare din cauza dificultăţilor de

propagare sau din cauza necesităţii de a realiza transmisii multiple, se introduc
elementele de modulare şi demodulare aşa cum este prezentat în fig. 1.2. Marea
majoritate a sistemelor de transmisie a informaţiei utilizate în prezent au
structura identică cu cea a modelului prezentat.

Semnal emis Semnal Mesaj

recepţionat reconstituit
Mesaj

S Modulator Canal Demodulator R

Sursa Receptor
Semnal
purtător P

Perturbaţii

Fig. 1.2. Structura unui sistem de transmisie cu modulare - demodulare.

Semnal emis
Mesaj

S Codificator Modulator Canal

Sursa
Semnal
purtător P

Perturbaţii
Semnal
recepţionat
Mesaj
reconstituit

Demodulator Decodificator R

Receptor

Fig. 1.3. Structura unui sistem de transmisie completat cu blocuri

suplimentare de codare - decodare.

6
 Noþiuni introductive

In cazurile ín care se cautá márirea eficienþei, respectiv a

posibilitáþii transmiterii unei cantitáþi cãt mai mari de informaþie ín prezenþa
perturbaþiilor, se utilizeazá ín plus èi blocuri de codare èi decodare (fig.1.3).
Utilizarea procedurilor de codificare are drept scop protecþia informaþiei ín
raport cu perturbaþiile èi asigurarea unor mijloace cu ajutorul cárora, la
recepþie, sá se poatá detecta prezenþa erorilor ín mesaj èi eventual, sá fie
corectate.

1.5. Sarcina unui sistem de transmisie

Sarcina unui sistem de transmisie a informaþiei este de a pune
la dispoziþia utilizatorului informaþia generatá de sursá cu un grad de
deteriorare specificat admis. Ín tehnicile de comunicaþii se obiçnuieçte sá se
introducá un criteriu de fidelitate, pentru aprecierea reproducerii semnalului
generat de sursá, la utilizator. Ín sistemele de transmisie analogice, criteriul
de fidelitate ales de cele mai multe ori este eroarea pátraticá medie:

2
ε(t) = [s(t) − r(t)] (1.1)

unde: s(t) este mesajul transmis

r(t) este mesajul recepþionat
Ín transmisiile numerice, criteriul de fidelitate ales este probabili- tatea
recepþionárii unui simbol eronat.

1.6. Másura informaþiei ín cazul discret

Pentru precizarea ideilor se considerá mulþimea discretá çi finitá a
tuturor realizárilor (evenimentelor) posibile ale unui anume experiment:

X = {x 1 , x 2 , . . . x n } (1.2)
n
ín care x i = E , E fiind evenimentul sigur çi x i ∩ x j = ∅, ∀i ≠ j . Fiecárui
i=1
element al mulþimii X íi este asociatá o probabilitate:

P x = {p(x 1 ), p(x 2 ), . . . p(x n )} (1.3)

n
ín care Σ
i=1
p(x i ) = 1 . Másura incertitudinii asupra realizárii unui eveniment
xi pe care o notám cu U(xi ), este o funcþie F(pi ) de probabilitatea a priori p i
= p(xi ), respectiv:
__________________________ 7 ___________________________
 Teoria transmisiei datelor

U(x i ) = F(p i ) (1.4)

çi reprezintá incertitudinea iniþialá, a priori, asupra realizárii evenimentului

xi . Cínd evenimentul xi se realizeazá, aceastá incertitudine este ínláturatá çi
se poate spune cá s-a obþinut o informaþie I(xi ) asupra realizárii lui xi .
Aceasta poate fi definitá ca:
- informaþia obþinutá asupra lui xi prin realizarea lui xi sau ca
- anularea incertitudinii asupra realizárii lui xi , dupá ce xi s-a
realizat.
Prin urmare:

I(xi )=U(xi ) (1.5)

deci:
I(xi ) = F(pi ) (1.6)

Ín continuare, vom cosidera cá ín procesul de observare a

evenimentelor xi intervin perturbaþii. Ín acest caz, íntre evenimentele
realizate xi çi cele observate yj nu existá totdeauna o corespondenþá, uneori
evenimentul observat yj fiind diferit de evenimentul realizat xi , alteori nu,
totul depinzínd de acþiunea íntímplátoare a perturbaþiilor. Se noteazá cu:

Y = {y 1 , y 2 , . . . y n } (1.7)

mulþimea evenimentelor observate. Másura incertitudinii asupra realizárii

evenimentului xi yj , respectiv U(xi /yj ) este o
funcþie F[p(xi /y j )] de probabilitatea lui xi condiþionatá de yj .

U (xi /y j ) = F [p(xi /y j )] (1.8)

Aceastá funcþie reprezintá incertitudinea a posteriori asupra

realizárii evenimentului xi dacá s-a realizat yj , adicá dupá observarea
evenimentului yj rámíne totuçi o incertitudine asupra evenimentului care
s-a realizat ín realitate. Aceastá incertitudine este introdusá de perturbaþii.
Din ultimele relaþii se poate determina informaþia obþinutá asupra realizárii
lui xi cínd se observá yj . Aceastá informaþie reprezintá scáderea
incertitudinii a priori asupra realizárii lui xi din starea iniþialá, ínainte de
observarea lui yj , la starea finalá cínd s-a observat yj çi cínd rámíne o
incertitudine a posteriori, adicá:

I(xi ,yj ) = U(xi ) - U(xi /y j ) (1.9)

__________________________ 8 ___________________________
 Noþiuni introductive

Deci, íntr-o interpretare echivalentá I(xi ,yj ) reprezintá:

- informaþia obþinutá asupra realizárii lui xi cínd se observá yj sau
- descreçterea incertitudinii asupra lui xi prin recepþionarea lui yj .
Dacá nu sínt perturbaþii çi se realizeazá xi , se observá cá yj =xi çi
prin urmare:

U(xi/yj)=0 (1.10)

respectiv relaþia (1.9) devine:

I(xi ,yj )=U(xi ) (1.11)

Dacá influenþa perturbaþiilor este foarte puternicá, astfel íncít nu se

poate face nici o legáturá íntre yj recepþionat çi xi realizat, atunci xi çi yj
sínt evenimente independente çi avem relaþia:

U(xi /y j ) = F[p(xi /y j )] = F[p(xi )] = U(xi ) (1.12)

çi respectiv:

I(xi ,yj ) = 0 (1.13)

adicá prin observaþia lui yj nu se obþine nici o informaþie asupra lui xi .

1.7. Specificarea funcþiei U

Funcþia U(xi ) = F[p(xi )] poate fi aleasá dintr-o clasá foarte largá de
funcþii, ínsá dintre acestea numai puþine reprezintá interes pentru aplicaþii.
O condiþie esenþialá pe care trebuie sá o índeplineascá funcþia este
aditivitatea fiindcá, ín conformitate cu sensul dat informaþiei ín aplicaþii,
aceasta trebuie sá fie aditivá. Dacá se considerá cá evenimentul xi este
format din douá evenimente independente xi1 çi xi2 respectiv:

x i = x i1 x i2 (1.14)
çi
x i1 x i2 = ∅ (1.15)

çi postulínd cá informaþia este aditivá se obþine:

I(xi ) = I(xi1 ) + I(xi2 ) (1.16)

__________________________ 9 ___________________________
 Teoria transmisiei datelor

sau:
U(xi ) = U(xi1 ) + U(xi2 ) (1.17)

Rezultá:

F[p(xi )] = F[p(xi1 )] + F[p(xi2 )] (1.18)

dar pentru cá evenimentele xi1 çi xi2 sínt independente:

p(xi ) = p(xi1 ) p(xi2 ) (1.19)

çi
F[p(xi1 ) p(xi2 )] = F[p(xi1 )] + F[p(xi2 )] (1.20)

Aceastá ecuaþie funcþionalá are soluþia:

F(p) = - λ log p (1.21)

unde λ este o constantá pozitivá. Deci:

I(xi ) = - λ log p(xi ) (1.22)

Informaþia furnizatá de aceastá relaþie se mai numeçte informaþie proprie

asociatá cu evenimentul xi , iar informaþia datá de relaþia:

I(xi ,yj ) = - λ log p(xi ) + λ log p(xi /y j ) (1.23)

respectiv
p(x i /y j )
I(x i , y j ) = λ log (1.24)
p(x i )

se numeçte informaþie mutualá asociatá cu xi çi yj (obþinutá prin realizarea

evenimentului xi çi recepþionarea, observarea, evenimentului yj ).

1.8. Unitáþi de másurá pentru informaþie

Dupá cum s-a vázut, informaþia este o másurá a incertitudinii. Cea
mai simplá posibilitate constá ín alegerea íntre douá evenimente. Din
aceastá cauzá s-a convenit sá se aleagá ca unitate de informaþie, informaþia
ce se obþine prin selectarea, la íntímplare, a unui eveniment din douá eveni-

__________________________ 10 ___________________________
 Noþiuni introductive

mente egal probabile. Fie evenimentele:

X = {x 1 , x 2 } çi P x = {1/2, 1/2} (1.25)

Deci informaþia este:

I(x1 ) = I(x2 ) = - λ log1/2 (1.26)

Dacá se alege baza 2 a logaritmului çi λ =1, atunci:

I(x1 ) =I(x2 ) = log2 2 = 1 bit (1.27)

Procedínd analog se poate alege baza e pentru logaritmul natural çi

consideríndu-se cá p(xi ) = 1/e, rezultá:

I(xi ) = - ln 1/e = ln e = 1 nit (1.28)

respectiv baza 10 (considerínd 10 evenimente echiprobabile):

X = {x1 . . . x10 } çi Px = {1/10 . . . 1/10} (1.29)

I(xi ) = - lg 1/10 = 1 dit (sau 1 decit) (1.30)

Relaþiile íntre cele trei unitáþi de másurá sínt:

1 nit = log 2 e = 1/ln2 = 1,44 bit (1.31)

1 dit = log 2 10 = 1/lg2 = 3,32 bit (1.32)

1.9. Entropia
1.9.1. Noþiuni introductive
Se considerá o sursá staþionará ergodicá, fárá memorie care are
alfabetul:
X={x1 , x2 , . . . xn } (1.33)

cu setul de probabilitáþi:

Px={ p 1 , p2 . . . pn } (1.34)

__________________________ 11 ___________________________
 Teoria transmisiei datelor

èi care genereazá èirul tipic de lungime N:

Xn ={ xi1 , xi2 . . . xiN }, i j = 1, n (1.35)

Toate èirurile tipice au aceeaèi probabilitate p(Xn ) = p1 N1 p 2 N2 .... pn Nn, unde

N1 , N2 . . . Nn reprezintá numárul de simboluri x1 , x2 . . . xn din èirul Xn .
n
Σ
i=1
Ni = N (1.36)

Pentru un numár N foarte mare se poate scrie:

Ni =Np i (1.37)

respectiv:

p(Xn )= (p 1 p1 p 2 p2 . . . pn pn )N (1.38)

Cantitatea de informaþie ce se obþine cínd se realizeazá un èir tipic Xn este:

n
I(Xn ) = - log p(Xn ) = - N Σ
i=1
p i log p i (1.39)

Informaþia proprie medie pe simbol se numeète entropie èi este egalá cu:

n
H(X) = −Σ p i log p i (1.40)
i=1

La acelaèi rezultat se poate ajunge pornind de la informaþia proprie a unui

simbol:
I(xi ) = -log p i (1.41)

èi mediind pe toate simbolurile:

n n
Σ
i=1
I(x i )p i = −Σ p i log p i = H(X)
i=1
(1.42)

Din cele prezentate rezultá cá entropia H(X) este egalá cu

incertitudinea medie a priori asupra evenimentelor X.

__________________________ 12 ___________________________
 Noþiuni introductive

1.9.2. Proprietáþile entropiei

Entropia are urmátoarele proprietáþi :
1. Continuitatea. Entropia H(X) = H(p 1 , p 2 . . . p n ) este o funcþie
continuá ín raport cu fiecare variabilá p i pe intervalul (0, 1] fiindcá este
suma unor funcþii continue (funcþia logaritm).
2. Simetria. Entropia este evident o funcþie simetricá ín raport cu
toate varibilele p i .
3. Aditivitatea. Din modul ín care a fost definitá informaþia proprie
rezultá cá entropia este o funcþie aditivá.
4. Valoarea maximá. Entropia H(X) are o valoare maximá pentru
p 1 = p 2 = p 3 = ... = pn = p. Pentru demonstrarea acestei proprietáþi se face
urmátorul raþionament:
Valoarea maximá a funcþiei
n
H(X) = - Σ p i log p i (1.43)
i=1

íntre variabilele cáreia existá legátura

n
Σ
i=1
pi − 1 = 0 (1.44)

este aceeaèi cu valoarea maximá a funcþiei

n n
Φ = - Σ p i log p i + λ(Σ p i -1) (1.44)
i=1 i=1

unde λ este o constantá iar variabilele p i sínt considerate independente.

Valorile p i pentru care Φ este maximá se determiná din condiþiile:

∂Φ
= 0, i = 1, n (1.45)
∂p i
adicá :
∂Φ
= −log p j − log e + λ = 0 (1.46-a)
∂p j

∂Φ
= −log p i − log e + λ = 0 (1.46-b)
∂p i

de unde rezultá:

log p i = log p j , deci p i = pj . (1.47)

deci valoarea maximá a lui H(X) se obþine pentru:

__________________________ 13 ___________________________
 Teoria transmisiei datelor

p 1 = p2 = . . . = pn (1.48)

Acest lucru rezultá çi ín mod intuitiv deoarece incertitudinea medie

este maximá dacá stárile sistemului sínt egal probabile, ín acest caz fiind
cel mai greu de prezis care stare se va realiza. Pentru exemplificare se
considerá cazul particular cínd existá numai douá stári:

H(X) = H(p 1 ,p2 ) = - p 1 log p 1 - p 2 log p 2 (1.49)

iar
p2 = 1 - p1 (1.50)
Ín figura 1.4 este reprezentatá H(p 1 ,p2 ) ín funcþie de p 1 .

H(p , 1-p )
1 1
1

0 0.5 1 P1

Fig. 1.4.
Dacá p 1 → 0, rezultá cá p 2 → 1, deci H(X) = 0 deoarece se
anuleazá ambii termeni. Ín acest caz incertitudinea a priori este nulá fiindcá
se çtie cu siguranþá (probabilitate unu) cá se va reliza evenimentul x2 , ín
consecinþá informaþia este nulá. Acelaçi lucru se íntímplá dacá p 2 → 0,
respectiv p 1 → 1. Incertitudinea este maximá, deci çi informaþia este
maximá cínd p 1 = p 2 = 1/2. Ín acest caz se obþine o cantitate de informaþie
de 1 bit.

1.9.3. Debitul de informaþie çi redundanþa sursei

Ín multe cazuri este util ca noþiunea de informaþie sá fie legatá çi de
timp. Ín acest caz se defineçte debitul de informaþie (sau viteza de
informare) al unei surse ca fiind produsul íntre entropia sursei çi numárul
mediu de simboluri íntr-o secundá. Dacá durata medie a unui simbol este τ ,
debitul de informaþie al sursei este:

∆ H(X)
H τ (X) = (1.51)
τ

èi se exprimá ín biþi pe secundá. Considerínd τ = 1 , Hτ (X) èi H(X) devin

__________________________ 14 ___________________________
 Noþiuni introductive

numeric egale. Pentru a indica cít de mult se índepárteazá entropia unei

surse de valoarea ei maximá posibilá (cínd probabilitáþile simbolurilor sínt
egale íntre ele) se defineète redundanþa ca fiind diferenþa íntre valoarea
maximá posibilá a entropiei sursei çi valoarea ei realá:
∆
R s = H max (X) − H(X) (1.52)
Redundanþa raportatá la entropia maximá se numeète redundanþá relativá:
∆ H(X)
ρs = 1 − (1.53)
Hmax (X)
unde Hmax(X)= log n, n fiind numárul simbolurilor din alfabetul sursei.

1.9.4. Canale discrete

Íntre sursa de informaþie çi utilizator existá un mediu prin care
trebuie transmise informaþiile. Mediul, ímpreuná cu aparatura necesará
transmiterii, se numeçte canal. Canalul stabileçte o transformare de la
spaþiul simbolurilor utilizate la intrare, la spaþiul simbolurilor recepþionate la
ieçire. Canalul se numeçte discret dacá spaþiile de la intrare çi de la ieçire
sínt discrete. Canalul se numeçte continuu dacá spaþiile de intare çi de ieçire
sínt continue. Dacá unul din spaþii este continuu iar celálalt discret, canalul
se numeçte canal continuu-discret (sau discret-continuu). Dacá transmisia
prin canal se face tot timpul, canalul se numeçte continuu ín timp, iar dacá
transmisia se face la momente de timp discrete, canalul se numeçte discret
ín timp. Dacá transformarea de la simbolul x (aplicat la intrare) la simbolul
y (obþinut la ieçirea din canal) nu depinde de transformárile anterioare,
spunem cá avem un canal fárá memorie. Dacá aceste transformári nu
depind de alegerea originii timpului, canalul este staþionar. Ín cele ce
urmeazá vom studia canalele discrete, staþionare çi fárá memorie.

1.9.5. Entropia la intrarea çi ieçirea din canal

Se noteazá cu {X} mulþimea tuturor simbolurilor pe care canalul le
acceptá la intrare. Astfel ín cazul unui canal telegrafic Morse, aparatura este
destinatá sá transmitá patru simboluri :
- x1 (punct) - x3 (interval íntre litere)
- x2 (linie) - x4 (interval íntre cuvinte).
Presupunínd cá sínt n simboluri, spaþiul (alfabetul) la intrare ín
canal este dat de (1.33) iar probabilitáþile de apariþie a simbolurilor sínt
(1.34). Probabilitáþile p i nu sínt o proprietate a canalului, de ele depinde
ínsá informaþia transmisá ín canal. Valorile optime ale acestor probabilitáþi
çi criteriile ce definesc optimul vor fi studiate ín cele ce urmeazá.
__________________________ 15 ___________________________
 Teoria transmisiei datelor

Mulþimea tuturor simbolurilor la ieçirea din canal este:

{Y}={y1 , y2 . . . ym } (1.54)
probabilitáþile simbolurilor fiind:
Py={p(y1 ) p(y2 ) . . . p(ym )}={q 1 , q2 ...qm } (1.55)
Datoritá efectului perturbaþiilor, spaþiul { Y} poate sá difere de
spaþiul{X}, precum çi probabilitáþile Py pot fi diferite de probabilitáþile de la
intare Px. Þinínd cont atít de spaþiul de la intrarea ín canal {X} cít çi de
spaþiul de la ieçirea din canal {Y}, putem defini un spaþiu produs{XY}:

 x1 y 1 x 1 y 2 ... x 1 y m 
 x2 y 1 x 2 y 2 ... x 2 y m 
{XY} =  
 (1.56)
 ... ... ... ... 
 
 xn y 1 x n y 2 ... x n y m 

unde prin produsul xi yj s-a notat realizarea atít a evenimentului xi cít çi a

evenimentului yj . Se presupune cá matricei {XY} íi corespunde matricea de
probabilitáþi:
 p(x1 y 1 ) p(x 1 y 2 ) ... p(x 1 y m ) 
 p(x2 y 1 ) p(x 2 y 2 ) ... p(x 2 y m ) 
Pxy=   (1.57)
 ... ... ... ... 
 
 p(x y
n 1 ) p(x ny2) ... p(x n y m ) 

Din aceastá matrice pot fi deduse probabilitáþile :

p(xi ) = p i = P{xi y1 ∪ xi y2 ∪ ...∪ xi ym } (1.58)
de unde:
m
p i = Σ p(xi yj ) (1.59)
j=1
respectiv:
p(yj ) = q j = P{x1 yj ∪ ... ∪ xn yj } (1.60)
deci:
n
q j = Σ p(xi yj ) (1.61)
i=1

Din cele prezentate se vede cá ín cazul canalelor discrete pot fi

definite trei címpuri de evenimente çi anume:
- la intrarea ín canal {X}, Px ;
- la ieçirea din canal {Y}, Py ;
__________________________ 16 ___________________________
 Noþiuni introductive

- címpul reunit intrare-ieçire {XY}, Pxy .

Fiecáruia dintre aceste címpuri íi corespunde o entropie çi anume:
H(X) - entropia címpului de evenimente de la intrare;
H(Y) - entropia címpului de evenimente de la ieçire;
H(XY) - entropia címpului reunit intrare-ieçire;
Expresiile acestor entropii sínt:
n
H(X) = - Σ p i log p i (1.62)
i=1
m
H(Y) = - Σ q j log q j (1.63)
j=1
n m
H(XY) = - Σ Σ p(x i y j ) log p(x i y j (1.64)
i=1 j=1

1.9.6. Entropia condiþionatá

Presupunínd címpul de evenimente de la ieçirea din canal ca fiind
cunoscut, datoritá efectelor perturbaþiilor rámíne totuçi o incertitudine
asupra címpului de la intrare. Valoarea medie a acestei incertitudini se
numeçte entropia címpului X condiþionatá de címpul Y çi se noteazá cu
H(X/Y), ea reprezentínd o incertitudine rezidualá medie.
Pentru determinarea entropiei condiþionate H(X/Y) se considerá
urmátoarele: dacá la ieçirea din canal apare simbolul y j , existá o
incertitudine asupra simbolului transmis la intrarea ín canal, (fig. 1.5.).
Incertitudinea asupra realizárii evenimentului xi dacá s-a realizat yj , este:

U(xi / yj )= - log p(xi /y j ) (1.65)

{X} {Y}
x y1
1
x y
2 2
x3 y
3

yj
xn ym

Fig. 1.5.
Valoarea medie a acestei incertitudini, respectiv entropia asociatá
cu recepþionarea simbolului yj este:

__________________________ 17 ___________________________
 Teoria transmisiei datelor

n n
H(X / yj ) = Σ p(xi / yj )U(xi / yj ) = -Σ p(xi / yj )log p(xi / yj ) (1.66)
i=1 i=1

Valoarea medie a acestei entropii pentru toate valorile posibile ale

lui yj este:
m
H(X / Y) = Σ p(yj )H(X / yj ) (1.67)
j=1

sau introducínd relaþia obþinutá ín (1.66) se obþine:

n m
H(X / Y) = - Σ Σ p(yj )p(xi /y j ) log p(xi /y j ) (1.68)
i=1 j=1
sau:
n m
H(X / Y) = -Σ Σ p(xi yj ) log p(xi /y j ) (1.69)
i=1 j=1

Entropia H(X/Y) se numeçte echivocaþie fiindcá este o másurá a echivocului

ce existá asupra címpului de la intrare cínd se cunoaçte címpul de la ieçire.
Ín mod analog se poate determina entropia címpului
la ieçire dacá se cunoaçte címpul la intrare.
n m
H(Y / X) = -Σ Σ p(xi yj ) log p(yj /x i ) (1.70)
i=1 j=1

Entropia H(Y/X) se numeçte eroare medie fiindcá este o másurá a

incertitudinii (deci a erorii) asupra címpului de la ieçire cínd se cunoaçte
címpul de la intrare (fig. 1.6).

{ X } { Y }
x y1
1
x y
2 2
x3 y
3

xi

xn ym

Fig. 1.6

Dacá nu existá perturbaþii pe canal, prin recepþionarea simbolului yj

existá certitudinea asupra simbolului transmis, sá zicem xi . Ín acest caz p(xi
/yj ) = 1 çi ín consecinþá H(Y/X)=0. Deci ín absenþa perturbaþiilor are loc
relaþia:
H(X / Y)=H(Y / X)=0 (1.71)

__________________________ 18 ___________________________
 Noþiuni introductive

Dacá perturbaþiile ín canal sínt foarte puternice, íncít címpul de la

intrare este independent de címpul de la ieçire, adicá p(xi /yj )=p(xi ) çi
p(yj /x i )=p(yj ) atunci avem:

H(X / Y)=H(X) (1.72)

çi
H(Y / X)=H(Y) (1.73)

1.9.7. Relaþii íntre diferite entropii

Pornim de la relaþia de definiþie a entropiei címpurilor reunite:
n m
H(XY)= - Σ Σ p(xi yj ) log p(xi yj ) (1.74)
i=1 j=1

Relaþia este echivalentá cu:

n m n m
H(XY)= - Σ Σ p(xi yj ) log p(xi ) - Σ Σ p(xi yj ) log p(yj /x i ) (1.75)
i=1 j=1 i=1 j=1
sau:
n m n m
H(XY)= - Σ log p(xi ) Σ p(xi yj ) - Σ Σ p(xi yj ) log p(yj /x i ) (1.76)
i=1 j=1 i=1 j=1
Dar:
m
Σ
j=1
p(x i y j ) = p(x i ) (1.77)

çi rezultá cá:

H(XY) = H(X) + H(Y / X) (1.78)

respectiv:

H(XY) = H(Y) + H(X / Y) (1.79)

1.9.8. Transinformaþia
Dupá cum s-a vázut, informaþia obþinutá asupra evenimentului xi
cínd la ieçirea din canal se observá evenimentul yj este conform relaþiei:
p(x i /y j )
I(xi yj )=log (1.80)
p(x i )

Aceasta este informaþia mutualá ce se obþine asupra evenimentului xi cínd

__________________________ 19 ___________________________
 Teoria transmisiei datelor

se recepþioneazá yj . Ín absenþa perturbaþiilor, recepþionínd simbolul yj se

poate afirma cu certitudine cá a fost transmis simbolul xi , deci:
p(xi / yj )=1 (1.81)
çi informaþia este:
I(xi yj )= - log p(xi ) (1.82)
Valoarea medie a informaþiei mutuale se obþine considerínd toate
perechile posibile de simboluri intrare-ieçire ( xi ,yj ) ímpreuná cu
probabilitáþile lor p(xi yj ).
n m
I(XY) = Σ Σ I(xi yj ) p(xi yj ) (1.83)
i=1 j=1

Ínlocuind ín (1.84) expresia (1.80) a informmaþiei I(xi yj ), avem:

n m
p(x i y j )
I(XY) = Σ Σ p(xi yj ) log (1.84)
i=1 j=1 p(x i )p(y j )
sau :
n m m n
I(XY) = - Σ log p(xi )Σ p(xi yj ) - Σ log p(yj )Σ p(xi yj ) +
i=1 j=1 j=1 i=1
n m
+Σ Σ p(xi yj ) log p(xi yj ) (1.85)
i=1 j=1
de unde:

I(XY) = H(X) + H(Y) - H(XY) (1.86)

Þinínd cont de relaþiile (1.78) çi (1.79) rezultá:
I(XY) = H(Y) - H(Y/X) = H(X) - H(X/Y) (1.87)
I(XY) este valoarea medie a informaþiei ce se obþine asupra
alfabetului X de la intare prin recepþionarea (recunoaçterea) alfabetului Y de
la ieçire, cu alte cuvinte a informaþiei transmise prin canal. Din aceastá
cauzá ea se numeçte transinformaþie.

1.9.9. Capacitatea canalului discret

Pentru a defini o másurá a eficienþei cu care se transmite informaþia
çi a gási limita superioará a acesteia, Shannon a introdus noþiunea de
capacitate a canalului. Capacitatea canalului este definitá ca fiind valoarea
maximá a transinformaþiei:

C=maxI(XY)=max[H(X)-H(X/Y)]=max[H(Y)-H(Y/X)] (1.88)
__________________________ 20 ___________________________
 Noþiuni introductive

Maximizarea se face ín raport cu setul de probabilitáþi cu care se presupune

cá sínt utilizate simbolurile x1 , x 2 ... x n ale alfabetului de intrare. Valoarea
maximá a transinformaþiei se obþine pentru valori bine determinate ale
acestor probabilitáþi care definesc ín acest fel o anumitá sursá pe care o
numim sursá secundará.
Pentru a transmite prin canal transinformaþia cu valoarea maximá
(capacitatea canalului) este necesar ca sursa primará sá fie transformatá
(prin operaþia de codare) ín sursá secundará specificatá de probabilitáþile ce
definesc valoarea maximá a lui I(XY). Aceastá transformare se numeçte
adaptarea statisticá a sursei la canalul de comunicatie. Capacitatea
canalului se másoará ín biþi pe simbol. Capacitatea canalului poate fi ínsá
raportatá çi la timp; ín acest caz se defineçte:

C max I(XY)
Cτ = = (1.89)
τ τ

unde τ este durata medie a unui simbol iar I(XY)/τ este transinformaþia pe
unitatea de timp, respectiv debitul de transinformaþie. Capacitatea canalului
definitá de Cτ se másoará ín biþi pe secundá.
Redundanþa canalului, prin analogie cu redundanþa sursei este
definitá ca fiind diferenþa íntre capacitatea canalului çi transinformaþie
(informaþia transmisá):
Rc = C - I(XY) (1.90)
Redundanþa relativá este egalá cu redundanþa Rc ímpárþitá la
capacitatea canalului:

ρc = 1 - I(XY)/C (1.91)
Eficienþa canalului este definitá ca fiind raportul íntre
transinformaþie çi capacitatea canalului:

ηc = I(XY)/C (1.92)
Eficienþa canalului aratá cít de mult se índepárteazá transinformaþia
de valoarea ei maximá.

1.9.10. Capacitatea canalului binar simetric

Se numeçte canal simetric canalul la care probabilitáþile de eroare
ale oricárui simbol sínt egale. Un canal binar oarecare este caracterizat de
matricea numitá matrice de zgomot:

__________________________ 21 ___________________________
 Teoria transmisiei datelor

 p(y1 /x 1 ) p(y 2 /x 1 ) 
P(Y/X) =   (1.93)
 p(y1 /x 2 ) p(y 2 /x 2 ) 
Canalul binar simetric este reprezentat prin graful din fig. 1.7. Dacá acest
canal este simetric, atunci avem:
p(y1 /x 1 )=1-p ; p(y2 /x 1 )=p (1.94)

p(y2 /x 1 )=p ; p(y2 /x 2 )=1-p (1.95)

1 - p
x1 y1

p p
x2 y2
1 - p

Fig. 1.7.

çi matricea de zgomot devine:

 1 −p p 
P=   (1.96)
 p 1−p 

Capacitatea canalului este datá de relaþia:

C = max I(XY) = max [H(Y) - H(Y/X)] (1.97)
Eroarea medie este:
2 2
H(Y/X) = - Σ Σ p(xi yj ) log p(yj /x i ) (1.98)
i=1 j=1
sau:
2 2
H(Y/X) = - Σ Σ p(xi ) p(yj /x i ) log p(yj /x i ) (1.99)
i=1 j=1

Efectuínd calculele se obþine:

2
H(Y/X) = - Σ p(xi )[p(y1 /x i ) log p(y1 /x i )+p(y2 /x i ) log p(y2 /x i )]=
i=1
= - p(x1 ) p(y1 /x 1 ) log p(y1 /x 1 ) - p(x1 ) p(y2 /x 1 ) log p(y2 /x 1 ) -
- p(x2 ) p(y1 /x 2 ) log p(y1 /x 2 ) - p(x2 ) p(y2 /x 2 ) log p(y2 /x 2 ) =
= - p(x1 ) (1-p) log (1-p) - p(x1 ) p log p - p(x2 ) p log p -
- p(x2 ) (1-p) log (1-p) (1.100)

__________________________ 22 ___________________________
 Noþiuni introductive

Rezultá:
H(Y/X) = - [p(x1 ) + p(x2 )][p log p + (1-p)log(1-p)]
(1.101)
Dar:
[p(x1 ) + p(x2 )] = 1 (1.102)

deci relaþia (1.101) devine:

H(Y/X) = - [p log p + (1-p)log(1-p)] (1.103)
Se observá cá eroarea medie H(Y/X) este o márime constantá care
depinde numai de zgomotul din canal çi nu de probabilitáþile de utilizare a
simbolurilor. Aceastá proprietate este generalá pentru toate canalele
simetrice. Þinínd cont de cele prezentate anterior, capacitatea canalului
binar simetric este:
C = max[H(Y) - H(Y/X)] = maxH(Y) + p log p + (1 - p) log (1 - p) (1.104)
iar max H(Y)=1 pentru p(y1 )=p(y2 ). Din simetria canalului rezultá atunci çi
p(x1 )=p(x2 ). Deci maximul transinformaþiei se obþine cínd simbolurile de la
intrare x1 çi x2 sínt utilizate cu aceeaçi probabilitate, valoarea ei fiind:
C = 1 + p log p + (1 - p) log (1 - p) (1.105)
Ín absenþa perturbaþiilor p=0 çi C = 1. Dacá perturbaþiile sínt foarte
puternice, respectiv p=1/2 atunci C = 0. Acest lucru se explicá prin faptul
cá un simbol de ieçire, de exemplu y1 , poate proveni cu aceeaçi
probabilitate atít din x1 cít çi din x2 , cu alte cuvinte recepþionarea lui nu
modificá cunoçtinþele noastre a priori asupra simbolului aplicat la intrare.

-- * --

__________________________ 23 ___________________________