Sunteți pe pagina 1din 68

TEORIA INFORMAIEI I A CODRII

Culegere de probleme

Vol.1







Horia BALTA Maria KOVACI Radu LUCACIU








2009
i
Cuprins


Cap.1 Probabiliti. Informaia. .................................................................................................... 1
Cap.2 Surse de informaie ............................................................................................................ 13
Cap.3 Codarea sursei .................................................................................................................... 26
Cap.4 Canale de transmisie .......................................................................................................... 41
Cap.5 Teste gril .......................................................................................................................... 57






































ii








































1
Cap. 1 Probabiliti. Informaia
Dicionar:
- aposteriori (a posteriori) -locuiune latin: din ceea ce urmeaz, dup experien, pornind de la datele ei;
- apriori (a priori) - locuiune latin: din ceea ce precede, anterior experienei;
- binar -1.care este constituit din dou elemente; 2.a crui baz este numrul 2;
- bit/bii -1. Unitate de msur a informaiei; 2.simbol binar;
- discret -care este alctuit din elemente distincte; care variaz n salturi; cuantificat; discontinuu;
- echiprobabil(e) -de egal probabilitate;
- informaie -necesarul/rezultatul cunoaterii;
- probabilitate -1.nsuirea de a fi probabil; 2.msur (funcie) definit pe un cmp de evenimente, p : [0,1].
Definiii:
- surs de informaie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selecteaz un mesaj
(un eveniment) dintre n posibile dup o lege arbitrar (sau cel puin necunoscut);
- mesaj (eveniment) = realizarea produs n urma efecturii experimentului;
- 1 bit = cantitatea de informaie furnizat de o surs de informaie binar, fr memorie, echiprobabil, printr-un mesaj
al ei;
- eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de dou evenimente distincte ntre ele i de
primul.
Breviar teoretic:
1. Probabilitate
Determinarea experimental a probabilitii de realizare a unui mesaj (eveniment) A se face dup
relaia:
2. Probabilitate condiionat
Determinarea experimental a probabilitii de realizare a evenimentului (mesajului) B atunci cnd
s-a realizat evenimentul (mesajul) A se face dup relaia:
3. Formula fundamental a probabilitilor evenimentelor elementare
Dac A
i
, i = 1n sunt evenimentele elementare ale unui experiment probabilistic (mesajele unei
surse de informaie) atunci:
( )

n
1 i
i
1 A p (1.3)
4. Relaia lui Bayes
Dac A i B sunt dou evenimente atunci:
( ) ( ) ( ) ( ) ( ) A/B p B p B/A p A p B A, p (1.4)
unde p(A, B) = probabilitatea de a se realiza i A i B.
5. Formula probabilitii totale
Dac A
i
cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic i B un
eveniment oarecare pentru acelai experiment atunci:
( ) ( ) ( )


n
1 i
i i
B/A p A p B p (1.5)
6. Evenimente independente
Setul de evenimente A
i
, i I, sunt independente dac i numai dac pentru J I
( ) ( )
i
i
i
i
A p A p
J J
(1.6)
n particular, A i B sunt dou evenimente independente dac i numai dac:
2
( ) ( ) ( ) ( ) B p A p B A p B A, p (1.7)
i utiliznd relaia (1.4)
( ) ( )
( ) ( ) B/A p B p
A/B p A p

(1.8)
7. Informaia
Cantitatea de informaie necesar ridicrii nedeterminrii asupra evenimentului A este egal cu cea
furnizat de realizarea evenimentului A i egal cu :
( )
( )

A p
1
log A i
2
[bii] (1.9)
1.1 Zece mingi sunt puse n trei cutii C
1
, C
2
, C
3
. Care este probabilitatea ca n C
1
s fie 3 mingi?
Rezolvare:
Fiecare minge poate fi aezat n oricare din cele trei cutii; astfel c fiecare minge tripleaz numrul
de variante de aezare a mingilor n cutii. Aadar numrul de variante de aezare a mingilor n cutii
este:
N = 333 ..... 3 = 3
10
= 59.049 (1.1.1)
Pentru a avea trei mingi n C
1
trebuie ca celelalte apte s fie aezate n C
2
i C
3
. Numrul de variante cu trei mingi n C
1
va fi:
15.360 128 120 2 C N
7 3
10 3C
1
(1.1.2)
unde
3
10
C reprezint numrul de moduri de alegere a 3 mingi din 10 posibile (considernd mingile
distincte); iar 2
7
reprezint numrul de posibiliti de aezare a apte mingi n dou cutii, C
2
i C
3
.
Probabilitatea cerut este:
26%
3
2 C
P
10
7 3
10
3C
1

(1.1.3)
1.2. Trei trgtori trag simultan asupra aceleiai inte. Probabilitatea ca fiecare
trgtor s nimereasc inta este p
1
= 0,4; p
2
= 0,5; p
1
= 0,7. Notnd cu A
evenimentul ca inta s fie lovit, B evenimentul ca inta s fie lovit exact o dat
s se afle:
a) p(A);
b) p(B);
c) dac cele dou evenimente A i B sunt independente.
3
Rezolvare:
a) Calculnd probabilitatea evenimentului contrar lui A:
( ) ( ) ( )( ) 9% p 1 p 1 p 1 A p
3 2 1
(1.2.1)
rezult c:
( ) ( ) 91% A p 1 A p (1.2.2)
b) Avem c:
( ) ( ) ( )
( ) ( )( )
( ) ( ) ( )( ) 36% p p 1 p 1 p 1 p p 1
p 1 p 1 p A A A p
A A A p A A A p B p
3 2 1 3 2 1
3 2 1 3 2 1
3 2 1 3 2 1
+ +
+ +
+ +
(1.2.3)
unde cu A
i
s-a notat evenimentul ca trgtorul i s nimereasc inta.
c) Pentru ca cele dou evenimente s fie independente este necesar ca:
p(A/B) = p(A) (1.2.4)
dar cum:
p(A/B) = 100% (1.2.5)
rezult c cele dou evenimente nu sunt independente.
1.3. Fie dou urne, U
1
(ce conine 2 bile albe i 3 bile negre) i U
2
(ce conine o
bil alb i 5 bile negre). Se extrage o bil din U
1
i se introduce n U
2
, apoi se
extrage o bil din U
2
. Care este probabilitatea ca bila transferat s fi fost alb
dac bila extras din U
2
este: a) alb; b) neagr?
Rezolvare:
Fie evenimentele A bila transferat este alb; B bila extras din U
2
este alb;
a) Pentru a calcula p(A/B) aplicm formula lui Bayes:
( ) ( ) ( ) ( ) A/B p B p B/A p A p (1.3.1)
Probabilitile ( ) ( ) A p si A p se calculeaz simplu:
( )
5
2
A p i ( )
5
3
A p (1.3.2)
Probabilitatea condiionat p(B/A) este:
p(B/A) =2/7 (1.3.3)
4
iar p(B) se poate calcula cu formula probabilitii totale:
( ) ( ) ( ) ( ) ( )
5
1
7
1
5
3
7
2
5
2
A B/ p A p B/A p A p B p + + (1.3.4)
Astfel:
( )
( ) ( )
( ) 7
4
5
1
7
2
5
2
B p
B/A p A p
A/B p

(1.3.5)
b) n mod analog
( ) ( ) ( ) ( ) ( ) ( )
5
4
7
6
5
3
7
5
5
2

A / B p A p /A B p A p B p ;
7
5
/A B p
+
+
(1.3.6)
( )
( ) ( )
( )
( ) A/B p
7
2,5
14
5
5
4
7
5
5
2
B p
/A B p A p
B A/ p !

(1.3.7)
Se observ, cum era de ateptat, c este mai probabil s se fi transferat o bil alb dac din a
doua urn a fost extras o bil alb.
1.4. La un examen oral studenii consider c din totalul subiectelor m sunt
uoare i n grele. Precizai:
a) Probabilitatea ca primul student s extrag un subiect uor;
b) Probabilitatea ca cel de-al doilea student s extrag un subiect uor.
Rezolvare:
a) Cu notaiile: A evenimentul prin care primul student extrage un subiect uor;
B evenimentul prin care cel de-al doilea student extrage un subiect uor, avem c:
( ) ( )
n m
n
A p
n m
m
A p
+

+
(1.4.1)
iar
( ) ( )
1 n m
m
A B/ p
1 n m
1 m
B/A p
+

(1.4.2)
c) Pentru calcului lui p(B) se utilizeaz formula probabilitii totale, relaia (1.5). Rezult c:
( )
( )
( )( )

n m
m
1 m n n m
1 n m m
n m
n
1 n m
m

n m
m
1 n m
1 m
B p
+

+ +
+

+
+
+

(1.4.3)
5
adic p(A) = p(B) cum era de ateptat.
Obs: - cele dou probabiliti p(A) i p(B) sunt probabiliti apriori (dinainte de producerea
evenimentelor). nainte ca primul student s extrag un subiect, toi studenii, indiferent de ordinea
lor, au anse egale la a extrage un subiect uor.
1.5. Un tetraedru regulat are feele colorate, una n rou, una n galben, una n
verde, iar cea de-a treia conine pe toate trei culorile. Se las s cad tetraedrul
pe una din fee. Fie evenimentele:
R - faa pe care a czut tetraedrul conine rou; G - faa pe care a czut
tetraedrul conine galben; V - faa pe care a czut tetraedrul conine verde.
a) ct este probabilitatea evenimentului rou, p(R)?
b) ct este probabilitatea condiionat p(R/G)?
c) sunt evenimentele R, G i V independente?
Rezolvare:
a) Probabilitatea evenimentului rou este:
b) Probabilitatea de a se realiza evenimentului rou dac s-a realizat galben este:
( )
2
1
R/G p (1.5.2)
deoarece una din dou fee ce conin galben conine i rou.
c) Pentru ca evenimentele R, G i V s fie independente trebuie s fie ndeplinite relaiile:
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( )

'





V p R p G p V R G p
V p G p V G p
V p R p V R p
G p R p G R p
(1.5.3)
Aplicnd relaia (1.1), gsim c:
( ) ( ) ( ) ( ) ( ) ( )
( )
4
1
V R G p
4
1
V G p V R p G R p
2
1
V p G p R p


(1.5.4)
Cum ultima relaie din (1.5.3) nu este verificat evenimentele R, G i V nu sunt independente.
6
1.6. Pot fi simultan dou evenimente i incompatibile i independente?
Rezolvare:
Fie A i B dou evenimente. Incompatibilitatea lor presupune ca:
( ) 0 B A p (1.6.1)
iar independena:
( ) ( ) ( ) B p A p B A p (1.6.2)
Din cele dou relaii rezult c cele dou evenimente pot fi independente, fiind incompatibile, doar
dac unul este de probabilitate nul. Altfel spus, dou evenimente de probabiliti nenule pot fi
independente doar dac sunt compatibile.
1.7. O imagine alb negru se compune din 1024 x 256 pixeli. Fiecare pixel poate
avea un nivel de gri dintre 64 posibile. Aflai informaia furnizat de: a) un
pixel; b) ntreaga imagine.
Rezolvare:
a) Considernd egal probabile nivelele de gri, conform definiiei informaiei unui eveniment:
( ) ( ) 6
64
1
log gri nivel p log pixel i
2 2
bii (1.7.1)
c) ntreaga imagine furnizeaz de 1024 x 256 ori mai mult informaie:
( ) ( ) 10 1,5 pixel i 256 1024 imagine i
6
bii (1.7.2)
1.8. a) Care este numrul de ntrebri minime necesare pentru a afla un numr
necunoscut N
x
cuprins ntre 1 i 1000? ntrebrile pot fi de genul :
Numrul N
x
este mai mare dect N
p
(nominalizat)?
b) Ct este primul prag N
p1
i ct este informaia coninut de rspunsul la
ntrebarea:
Numrul N
x
este mai mare dect 348?
Rezolvare:
a) Informaia necesar pentru a afla numrul N
x
necunoscut este:
( )
1000 log
1/1000
1
log
N p
1
log i
2 2
x
2 N
bii (1.8.1)
Informaia obinut prin rspunsul la o ntrebare este:
7
( )
( )
( )
( )
p
p
p
p P
N
2 N
N
2 N N
A p
1
log A p
A p
1
log A p i + (1.8.2)
unde A
Np
este evenimentul prin care numrul N
x
este mai mare dect pragul N
p
. Evident:
( ) ( ) 1 A p A p
p p
N N
+ (1.8.3)
i putem scrie:
( ) ( )
p p
N N
A p 1 A p x (1.8.4)
de unde
( ) ( ) [ ] 0,1 cu x
x 1
1
log x 1
x
1
xlog x i i
2 2 N
p

+ (1.8.5)
Funcia i(x) i atinge maximul dac
2
1
x (1.8.6)
Valoarea maximului este:
bit 1 i
m
(1.8.7)
i corespunde unui prag:
499 N
pm
(1.8.8)
Aadar, dac pragul este ales la jumtatea intervalului n care se cunoate c se afl N
x
informaia obinut prin rspunsul la ntrebare (n cazul cel mai defavorabil) este maxim i egal
cu 1 bit.
Cert, numrul minim de ntrebri este:
unde [y]
sup
denot numrul ntreg superior lui y.
Obs: numrul n = 10 gsit cu raionamentul anterior este minim n cazul general, acest lucru
nsemnnd c indiferent de N
x
prin 10 ntrebri de tipul celei din enun (cu pragurile alese la
jumtate) se afl valoarea sa. Exist cazuri particulare cnd, pentru anumite valori a lui N
x
, s fie
suficiente mai puine ntrebri (ex: N
x
= 1 i N
p
= 1) dar pentru astfel de cazuri intervine ansa!
b) Din relaia (1.8.8) N
p1
= 499;
Dac pragul se alege (la prima ntrebare) N
p1
= 348 avem c
8
( ) 0,652
1000
348 1000
A p

i ( ) 0,348 A p (1.8.10)
de unde:
( ) 0,932
348
1000
log 0,348
652
1000
log 0,652 348 i
2 2
+ bii (1.8.11)
Rezultatul cuprins n relaia (1.8.11) arat c dac pragurile nu vor fi alese la jumtate exist
posibilitatea s nu fie suficiente 10 ntrebri !
1.9. Cte cntriri sunt minim necesare pentru a preciza o moned fals din 12
i dac moneda este mai grea sau mai uoar? Moneda fals difer prin greutate
iar cntririle se fac pe o balan cu talere.
Rezolvare:
Informaia necesar pentru a soluiona problema este:
24 log 2 log 12 log i
2 2 2 nec
+ bii (1.9.1)
unde log
2
12 este informaia necesar pentru a afla moneda din 12, iar log
2
2 este informaia necesar
pentru a afla dac moneda este mai grea sau mai uoar.
Informaia maxim furnizat de o cntrire este:
3 log i
2 cm
bii (1.9.2)
i se atinge dac cele trei variante rezultat al unei cntriri cu balana(A-balana se nclin spre
dreapta, B-balana se nclin spre stnga, C-balana nu se nclin) sunt egal probabile:
( ) ( ) ( ) C p B p A p (1.9.3)
Numrul de cntriri cerut va fi:
n
2 2 cm nec
sup
cm
nec
3 log 24 log sau i n i sau
i
i
n
1
]
1

(1.9.4)
cu soluia:
n
min
= 3 (1.9.5)
Obs: - relaia (1.9.2) este valabil doar dac cele trei variante rezultat ale cntririi sunt egal
probabile. Astfel dac cele 12 monezi se noteaz cu M
1
, M
2
, ....., M
12
prima cntrire const n a
compara pe M
1
+ M
2
+ M
3
+ M
4
cu M
5
+ M
6
+ M
7
+ M
8
. O posibil rezolvare a problemei poate fi:
A
1
moneda fals este - mai uoar i este M
1
, M
2
, M
3
, sau M
4
.
- mai grea i este M
5
, M
6
, M
7
, sau M
8
.
B
1
moneda fals este - mai grea i este M
1
, M
2
, M
3
, sau M
4
.
-mai uoar i este M
5
, M
6
, M
7
, sau M
8
.
C
1
moneda fals este mai grea sau mai uoar i este M
9
, M
10
, M
11
, sau M
12
.
9
Dac rezultatul primei cntriri este A
1
, indicele 1 semnific prima cntrire, A rezultatul ei,
atunci se compar M
1
+ M
2
+ M
5
cu M
3
+ M
4
+ M
6
- dac la a doua cntrire rezult A
2
atunci fie M
1
sau

M
2
e mai uoar fie M
6
e mai grea i
se compar n continuare M
1
cu M
2
;
- dac la a doua cntrire rezult B
2
atunci fie M
3
sau

M
4
e mai uoar fie M
5
e mai grea i
se compar n continuare M
3
cu M
4
;
- iar dac la a doua cntrire rezult C
2
atunci fie M
7
e mai grea fie M
8
; se compar M
7
cu
M
8
.n mod analog pentru B
1
i C
1
.
Obs: - relaia (1.9.4) indic c problema ar putea fi rezolvat i pentru 13 monezi n locul celor 12:
3 cu 3 log 27 log 26 log
2 2 2
n
n
n realitate problema cu 13 monezi nu poate fi complet soluionat din 13 cntriri pentru
c nu se poate asigura echiprobabilitatea rezultatelor.
1.10. Ct este informaia obinut n diferitele variante de rezolvare a problemei
cu 12 monezi? Dar cu 13 monezi?
Rspuns:
Pentru varianta A
1
A
2
A
3
(cu 12 monezi):
4,7312 3 log
2
8
log
8
2
3
8
log
8
3
2 3 log I
2 2 2 2
+
1
]
1

+ + bii
Obs: informaia obinut la a doua cntrire este mai puin dect cea presupus, log
2
3 bii.
1.11. Un convertor analog-numeric (CAN) convertete tensiunea de intrare U
x
ntr-un numr N
x
conform relaiei:
1
]
1

q
U
N
x
x
(1.11.1)
unde U
x
poate lua valori ntre 0 i U
max
= 12,8 V; q este cuanta conversiei, q =
50mV; [y] semnific partea ntreag a lui y.
a) Ct informaie furnizeaz la ieirea sa CAN-ul prin fiecare numr generat i
ct informaie se pierde ?
b) Dac CAN-ul folosete pentru conversie, n mai muli pai succesivi, un
comparator, s se stabileasc ct informaie furnizeaz comparatorul la un pas
i ci pai sunt necesari pentru efectuarea conversiei ?
c) Care sunt tensiunile de prag ale comparatoarelor utilizate, U
pi
, n conversia
tensiunii U
x
= 7,43 V, n cazul n care conversia se face ntr-un numr minim de
pai ?
Rspuns:
a) i = 8 bii; n mod ideal U
x
conine + informaie.
10
n realitate msurarea unei tensiuni U
x
este limitat (ca i precizie) fie de rezoluia aparatelor fie de
nivelul zgomotului.
b) i
c
= 1 bit; 8 pai;
c) U
p1
= 6,4 V; U
p2
= 9,6 V; U
p3
= 8 V; U
p4
= 7,2 V; U
p5
= 7,6 V; U
p6
= 7,4 V; U
p7
= 7,5 V; U
p8
=
7,45 V.
1.12. Un CAN de mare vitez utilizeaz 128 de comparatoare pentru a face
conversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezoluie de
q=100mV. Determinai redundana n componente a CAN-ului.
Rezolvare:
Numrul de rspunsuri distincte ale CAN ului pentru o tensiune U
x
ce variaz de la - 12,8 V la
+12,8 V este:
8 min max
2 256
q
U U
N

(1.12.1)
Probabilitatea ca o tensiune U
x
s genereze un rspuns din cele N posibile este:
p
0
= 1/N = 2
-8
(1.12.2)
iar informaia coninut de un rspuns este:
8 p log i
0 2 0
bii (1.12.3)
Pentru c un comparator alege o variant din dou posibile, informaia furnizat de el este:
bit 1
2
1
log i
2 c
(1.12.4)
Aadar n mod ideal, pentru o conversie sunt suficiente:
n = i
0
/i
c
= 8 comparatoare (1.12.5)
de unde rezult c redundana este de 120 de comparatoare.
Obs: Motivaia utilizrii a mai multor comparatoare const n faptul c, la folosirea doar a 8
comparatoare, sunt necesare tensiuni de prag variabile n funcie de tensiunea U
x
, lucru ce scade
viteza de conversie.
1.13. La o transmisie numeric informaia util se transmite prin secvene
binare de cte n bii, numite cuvinte. Ct informaie este necesar pentru a
preciza poziia unui bit eronat din cei n? Dar pentru doi bii eronai?
Exemplificare pentru n = 8.
11
Rezolvare:
Informaia cerut se calculeaz cu formula:
i = log
2
n (bii) (1.13.1)
Se consider c transmiterea (implicit eronarea) unui bit este independent de a celorlali. Aadar,
pentru un bit eronat i
1
= 3 bii; pentru doi bii eronai 4,8 C log i
2
8 2 2
bii.
1.14. Aceeai ntrebare ca i la problema 1.13, cu diferena c este o transmisie
ternar.
Rezolvare:
n cazul transmisiei ternare corecia unui simbol (ternar) eronat presupune pe lng aflarea
poziiei sale (fapt ce necesit aceeai informaie ca i la secvena binar), i valoarea simbolului
iniial, valoare ce poate fi una din dou posibile. Cu aceste justificri, rspunsurile vor fi:
i
1
= log
2
n (pentru aflarea poziiei)
+ log
2
2 (pentru aflarea valorii) = 4 bii (1.14.1)
6,8 log2 C log i
2 2
n 2 2
+ bii (1.14.2)
n relaia (1.14.2) s-au adugat 2 bii de informaie necesari aflrii valorii adevrate pentru
dou simboluri ternare eronate.
1.15. La o transmisie binar informaia util este transmis prin cuvinte de n=8
bii printr-un canal cu rata erorii p=10
-3
. Ct informaie, n medie pe un
cuvnt, este necesar pentru a face:
a) detecie de o eroare pe cuvnt?
b) detecie de una sau dou erori pe cuvnt?
Rezolvare:
a) Probabilitatea ca un cuvnt s fie eronat ntr-o poziie este:
( ) ( ) [ ]

1 n p 1 p C p 1 p C p
1
n
1 n 1
n 1

3 3
10 7,944 0,993 10 8

(1.15.1)
p
1
este i probabilitatea ca receptorul s detecteze o eroare. Cert 1-p
1
este probabilitatea ca
receptorul s ia decizia c nu exist eroare (incluznd cazurile corecte i false).
Fie a i b astfel nct:
p
1
= a/b i 1- p
1
= (b-a)/b (1.15.2)
12
Aadar din b cuvinte transmise a sunt detectate cu eroare. Pentru a detecta un astfel de cuvnt este
necesar informaia:
1 2 1d
p log i (1.15.3)
b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvnt fiind necesar
informaia:
( )
1 2 1n
p 1 log i (1.15.4)
Concluzionnd pentru b cuvinte recepionate este necesar informaia:
b i
1
= a i
1d
+ (b-a) i
1n
(1.15.5)
iar pentru un singur cuvnt recepionat, pentru a face detecie de o eroare:

+
1n 1d 1
i
b
a b
i
b
a
i
( ) ( )
1 2 1 1 2 1
p 1 log p 1 p log p
= 0,0668 bii/cuvnt (1.15.6)
b) i n acest caz informaia cerut are aceeai form cu (1.15.6) doar c difer p
1
:
( ) ( )
2 2 1 2 2 2 2
p 1 log p 1 p log p i (1.15.7)
unde p
2
este probabilitatea ca un cuvnt s fie eronat ntr-o poziie sau n dou poziii:
( ) ( )
3 2 n 2 2
n
1 n 1
n 2
10 7,972 p 1 p C p 1 p C p

+ (1.15.8)
de unde rezult pentru i
2
valoarea:
i
2
= 0,067 bii/cuvnt (1.15.9)
Obs: Detecia prezenei erorilor presupune a decide ntre dou variante: exist sau nu exist erori
n cuvntul n cauz. Informaia furnizat de o astfel de decizie (una din dou posibile) este, n
medie, subunitar, nct problema deteciei din punct de vedere strict al informaiei este solvabil
cu 1 bit (de informaie) pe cuvnt, indiferent de p sau n.
13
Cap. 2 Surse de informaie
Dicionar:
- eficien raportul dintre ansamblul efectelor utile (rezultatelor) ce se obin de pe urma unei activiti i totalul
eforturilor;
- entropie (limba greac entropie=ntoarcere, schimbare) mrime ce indic gradul de nedeterminare asupra unui
sistem;
- extensie dezvoltare, cretere, amplificare, extindere;
- graf cuplu format dintr-o mulime ale crei elemente se numesc vrfuri i dintr-o funcie care asociaz, la orice
pereche ordonat de vrfuri (primul numit surs iar al doilea adres), un element, numit sgeat, al unei alte
mulimi.
- redundan (redondan) 1.abunden (inutil) de cuvinte, de figuri retorice, de imagini pentru exprimarea unei
idei; 2.excesul de informaie fa de strictul necesar;
- stare 1.situaie n care se afl ceva sau cineva; 2.ansamblul valorilor instantanee a parametrilor ce caracterizeaz
complet un sistem dat;
- staionar care rmne n aceeai stare;
Definiii:
- Surs de informaie text = sursa de informaie, de regul considerat fr memorie, avnd drept simboluri caracterele
distincte din textul dat (opional se pot include semne de punctuaie, pauzele dintre cuvinte, cifrele, etc)..
Probabilitile diferitelor simboluri vor fi ponderile lor n text.
- Extensia unei surse = fiind dat o SDFM, S cu N simboluri, se definete extensia de ordin n a sursei, notat S
n
, sursa
avnd un numr de N
n
simboluri obinute din toate combinaiile posibile de mesaje compuse din n simboluri
ale sursei S.
- Surs cu memorie (Markov) de m pai = sursa de informaie cu N simboluri pentru care emisia celui de-al m+1-lea
simbol depinde de cele m simboluri anterior emise.
- Starea sursei Markov de m pai = setul ultimelor m simboluri emise. Dac sursa poate emite M simboluri i este cu
memorie de m pai atunci admite M
m
stri.
- Probabilitate de trecere p(S
j
/S
i
) = probabilitatea ca sursa Markov s treac n starea S
j
= s
km-1 s
km-2 ..... s
k0 (prin
emiterea simbolului s
k0), dac se afl n starea S
i
= s
km-2 s
km-1 ..... s
k1.
- Matricea de tranziie,T = o matrice ptrat de ordin M
m
ce conine toate probabilitile de trecere;
- Graful sursei cu memorie = graful ale crui noduri reprezint strile sursei, iar coardele (sgeile) ce leag nodurile
probabilitile de trecere.
- Surs Markov staionar = probabilitile de trecere n n pai converg ctre limite independente de starea iniial
cnd n .
- Stare de staionaritate (a unei surse Markov staionare) = un vector, P
*
de dimensiune M ce conine
probabilitile
*
j
p , j = 1, M ce verific sistemul:

'

M
1 j
*
j
* *
1 p
P T P
(2.1)
Probabilitatea
*
j
p reprezint ansa ca sursa Markov, dup n pai cu n s se gseasc n starea S
j
.
Notaii:
S surs de informaie;
N numrul de simboluri;
S
i
, i = 1 N simbolurile sursei;
p
i
, i = 1 N probabilitile de emisie a simbolurilor S
i
;
S
m
extensia de ordin m a sursei SDFM, S;
S
j
, j = 1 N
m
strile sursei cu memorie, S;
T matricea de tranziie;
ppm pri per milion (1ppm=10
-6
).
Abrevieri:
SDFM Surs Discret Fr Memorie.
14
Breviar teoretic:
1. Mrimi ce caracterizeaz sursa de informaie:
--entropia SDFM:
( )
i
2
N
1 i
i
p
1
log p S H

(2.2.a)
--entropia sursei cu memorie:
( ) ( )
( )
j i
2 j i
N
1 j
N
1 i
*
j
/S S p
1
log /S S p p S H


(2.2.b)
-entropia maxim:
( ) N log S H
2 max
(2.3)
--eficiena:
( ) ( ) S /H S H
max

s
(2.4)
--redundana:
R(S) = H
max
(S) H(S) (2.5)
--redundana relativ:
( ) ( ) S /H S R
max

s
(2.6)
2. Formul pentru schimbarea bazei logaritmului:
ln2
lnx
x log
2
(2.7)
3. Condiia de existen a strii de staionaritate pentru surs cu memorie:
n
0
astfel nct T
n0
s fie o matrice regulat (are toate elementele strict pozitive)
2.1. O surs de informaie discret are entropia egal cu 4,8 bii/simbol i
redundana relativ 9,8%. Cte simboluri are sursa?
Rezolvare:
Din relaiile de definiie a entropiei maxime i a redundanei relative pentru o surs discret fr
memorie:
N log H
2 max
(2.1.1)
( )
max
H
S H
1 (2.1.2)
unde: H(s)-entropia sursei; H
max
-entropia maxim, -redundana relativ, N-nr. de simboluri a
sursei, gsim c:
( )

2 , 90
100 8 , 4
1
S H
H
max

(2.1.3)
i:
40 2 N
max
H
(2.1.4)
15
2.2. Fie sursa de informaie S:

,
_

16
1

4
1

16
1

2
1

8
1
S S S S S
S
5 4 3 2 1
Se cere s se calculeze:
a) informaia medie pe simbol, H(s);
b) valoarea maxim a entropiei sursei H
max
;
c) eficiena sursei
s
;
d) redundana sursei R;
e) redundana relativ .
Rezolvare:
a) Informaia medie pe simbol sau entropia sursei H(S) se calculeaz cu formula:
( ) ( )
( )

N
1 i i
2 i
s p
1
log s p S H (2.2.1)
unde: N numrul de simboluri a sursei S;
s
i
, N 1, i , simbolurile sau mesajele sursei S;
p(s
i
) probabilitatea ca sursa s emit simbolul s
i
.
nlocuind rezult c:
( ) 16 log
16
1
4 log
4
1
16 log
16
1
2 log
2
1
8 log
8
1
S H
2 2 2 2 2
+ + + +

8
17
8
2 4 4 4 3
16
4
4
2
8
4
2
1
8
3

+ + + +
+ + + +
= 2,125 bii/simbol (2.2.2)
b) Entropia maxim este:
323 , 2 5 log N log H
2 2 max
bii/simbol (2.2.3)
c) Eficiena sursei este:
( )
91,5%
H
S H
max

s
(2.2.4)
d) Redundana sursei R este diferena dintre entropia maxim i entropia sursei date:
R = H
max
- H(S) = 0,197 bii/simbol (2.2.5)
e) Redundana relativ, cu formula de calcul (2.6), are valoarea:
= 8,5% (2.2.6)
16
2.3. Sursa de informaie discret i fr memorie S are drept simboluri
caracterele distincte din urmtoarea propoziie (surs text):
NU UITA NICI PAUZELE DINTRE CUVINTE .
Probabilitile simbolurilor (caracterelor distincte) sunt ponderile lor din text.
Se cere:
a) tabloul simboluri-probabiliti pentru sursa S;
b) entropia H(S), redundana R i eficiena
s
sursei S;
c) probabilitatea ca sursa s emit mesajul AUR.
Rezolvare:
a) tabloul simboluri-probabiliti este:

,
_

36
1

36
5

36
1

36
1

36
4
36
3

36
1

36
1

36
4

36
1
36
5

36
4

36
1

36
2

36
2
. _ Z V U T R P N L I E D C A
S (2.3.1)
b) Conform relaiei de definiie entropia sursei este:
( ) ( )
( )

N
1 i i
2 i
s p
1
log s p S H




N
1 i
i 2
i
N
1 i
N
1 i
2
i
i
2
i
k log
36
k
36 log
36
k
k
36
log
36
k
(2.3.2)
unde: N = 15 numrul de simboluri a sursei S;
1,15, i ,
36
k
p
i
i
- probabilitile simbolurilor.
nlocuind n (2.3.2) valorile obinute pentru k
i
din tabloul (2.3.1) gsim:
( ) ( + + + 3 log 3 1 log 1 7 2 log 2 2
36
1
36 log S H
2 2 2 2
) + + 5 log 5 2 4 log 4 2
2 2

( )
+
+ + + +
5 log
36
10
3 log
36
69
36
52
5 log 10 16 3 log 3 4
36
1
3 log 2 2
2 2
2 2 2
= 3,8373 bii/simbol (2.3.3)
Redundana i eficiena sursei se obin cu relaiile:
( ) ( ) S H N log S H H R
2 max

( ) ( )

N log
S H
H
S H
2 max

s
(2.3.4)
Cunoscnd N = 15 i cu H(S) dat de (2.3.3) gsim:
17
R = 0,06958 bii/simbol

s
= 98,22% (2.3.5)
c) Sursa S fiind fr memorie probabilitatea cerut va fi:
( ) ( ) ( ) ( )
4
10 1,715
36
1
36
4
36
2
R p U p A p AUR p

(2.3.6)
2.4. Fie sursa de informaie discret i fr memorie:

,
_

100
25
100
8
100
2

100
5

100
30

100
20

100
10
S S S S S S S
S
7 6 5 4 3 2 1
S se calculeze pentru sursa S:
a) entropia H(S);
b) valoarea maxim a entropiei sursei H
max
;
c) eficiena sursei
s
;
d) redundana sursei R;
e) redundana relativ .
Rspuns:
a) H(S) = 2,44 bii/simbol
b) H
max
= 2,8 bii/simbol
c)
s
= 86,85%
d) R = 3,7 bii/simbol
e) = 13,15%
2.5. Fie sursa text:
STUDENTUL *** REZOLVA O PROBLEMA DE TTI .
a) nlocuii *** cu numele i prenumele dumneavoastr i construii n acest caz
tabloul sursei;
b) calculai entropia i eficiena sursei de la punctul a);
c) ct este probabilitatea ca sursa de la a) s emit mesajul MAR.
Rspuns:
pentru *** = POP ION
a)

,
_

44
1
44
7
44
1
44
1

44
2

44
4

44
1

44
2
44
3

44
5

44
2

44
1

44
3
44
2

44
4

44
2

44
1

44
2
. _ Z V U T S R P O N M L I E D B A
S
18
b) ( ) ( ) + + + + 7 log 7 5 log 5 16 3 log 6 2 6
44
1
44 log S H
2 2 2 2
3,896 bii/simbol
% 44 , 93
18 log
896 , 3
2

s

c) ( ) ppm 47
44
4
3
MAR p
2.6. O surs de informaie binar cu memorie de doi pai are graful
corespunztor n figur. S se afle:
a) probabilitile de trecere nefigurate;
b) ce anse sunt ca dup transmiterea mesajului 00110 s se transmit mesajul
11.
c) matricea de tranziie i o eventual stare de staionaritate;
d) entropia sursei date.
Rezolvare:
a) Probabilitile cerute sunt:
( ) ( )
( ) ( )
( ) ( )
( ) ( )
4
1
/S S p 1 /S S p
5
3
/S S p 1 /S S p
2
1
/S S p 1 /S S p
7
2
/S S p 1 /S S p
3 1 3 2
4 4 4 3
2 4 2 3
1 1 1 2




(2.6.1)
b) Deoarece sursa are memorie de doi pai, din mesajul transmis 00110 sunt relevani, pentru
definirea strii actuale, doar ultimii doi bii transmii 10. Aadar starea actual este S
3
. Din S
3
ansele ca sursa s emit 1 i, ca atare, s treac n starea S
2
sunt de 25% (p(S
2
/S
3
)). Prin
generarea nc a unui 1 sursa va trece din starea S
2
n starea S
4
. Probabilitatea acestei tranziii este
de 50%. Concluzionnd probabilitatea ce nsoeteacest traseu S
3
S
2
S
4
este:
( ) 12,5%
8
1
2
1
4
1
S S S p
4 2 3
(2.6.2)
19
c) Matricea de tranziie este:
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )
1
1
1
1
1
1
1
1
1
]
1

1
1
1
1
]
1


5
2

5
3
0 0
0 0
4
1

4
3
2
1

2
1
0 0
0 0
7
4

7
3
/S S p /S S p /S S p /S S p
/S S p /S S p /S S p /S S p
/S S p /S S p /S S p /S S p
/S S p /S S p /S S p /S S p
T
4 4 4 3 4 2 4 1
3 4 3 3 3 2 3 1
2 4 2 3 2 2 2 1
1 4 1 3 1 2 1 1
(2.6.3)
O eventual stare de staionaritate ar conine probabilitile
*
i
p , ca sursa s se afle ntr-o
anumit stare S
i
:
[ ]
*
4
*
3
*
2
*
1
*
p p p p P (2.6.4)
cu
*
P ndeplinind condiia:
* *
P T P (2.6.5)
nlocuind n (2.6.5) pe T i
*
P date de (2.6.3) i (2.6.4) rezult:
[ ] 0
1 -
5
2

5
3
0 0
0 1 -
4
1

4
3
2
1

2
1
1 - 0
0 0
7
4
1 -
7
3
p p p p
*
4
*
3
*
2
*
1

1
1
1
1
1
1
1
1
1
]
1

(2.6.6)
Sistemul de ecuaii dat de (2.6.6) este compatibil nedeterminat fapt ce necesit nc o relaie ntre
probabilitile
*
i
p , relaie care este:
[ ] 1 p p p p
*
4
*
3
*
2
*
1
+ + + (2.6.7)
Soluia sistemului obinut din (2.6.6) i (2.6.7) este:
1
]
1

199
40

199
48

199
48

199
63
p
*
(2.6.8)
d) Entropia sursei cu memorie se calculeaz cu formula:
( ) ( ) ( ) ( )
i j 2 i j
2
1 i
2
1 j
i M
/S a p log /S a p S p S H
2


(2.6.9)
20
unde S
i
, cu i = 14, sunt cele 4 stri posibile ale sursei iar a
j
, cu j = 01, sunt mesajele posibil a fi
emise din fiecare stare.
Pentru uurina calculului entropiei, elementele cerute de suma dubl din (2.6.9) sunt date n
tabelul urmtor :
S
i
a
j ( )
*
i i
p S p
( )
i j
/S a p
S
1
= 00 0
1
199
63 3/7
4/7
S
2
= 01 0
1
199
48 1/2
1/2
S
3
= 10 0
1
199
48 3/4
1/4
S
4
= 11 0
1
199
40 3/5
2/5
Tabelul 2.1
nlocuind n (2.6.9) elementele din tabelul 2.1 rezult :
( )

,
_

+ +
,
_

+
1
2
log
2
1
1
2
log
2
1
199
48
4
7
log
7
4
3
7
log
7
3
199
63
S H
2 2 2 2 M

,
_

+ +
,
_

+ +
2
5
log
5
2
3
5
log
5
3
199
40
1
4
log
4
1
3
4
log
4
3
199
48
2 2 2 2
= 0,944 bii/simbol (2.6.11)
2.7. O surs de informaie binar cu memorie de doi pai are graful
corespunztor n figur. Dac n prezent sursa se afl n starea S
i
ct este
probabilitatea ca dup trei simboluri sursa s se regseasc tot n starea S
i
?
Rspuns:
( ) ( )
% 37 , 24
5
2
3
1
7
3
7
4
S S S S p S S S S p
3
1 3 2 1 1 1 1 1
+
,
_

+
21
2.8. O surs de informaie binar cu memorie de un pas are probabilitile de
trecere: p(0/0) = 5/7 i p(0/1) =3/4.
a) construii graful sursei date;
b) calculai starea de staionaritate;
c) determinai entropia sursei;
d) determinai entropia unei surse fr memorie avnd aceleai simboluri i
probabilitile simbolurilor cele coninute n starea staionar.
Rezolvare:
a) Pentru a putea construi graful sursei cu memorie aflm probabilitile de trecere ce nu sunt date
n enunul problemei:
p(1/0) = 1 - p(0/0) = 2/7
p(1/1) = 1 - p(0/1) = 1/4 (2.8.1)
n acest fel graful este:
b) Matricea de tranziie este:
1
1
1
1
]
1


4
3

4
1

7
2

7
5
T (2.8.2)
iar starea staionar se afl rezolvnd sistemul:
[ ] [ ]

'

+

1 p p
p p T p p
*
1
*
0
*
1
*
0
*
1
*
0
(2.8.3)
Rezult:

'

15
8
p
15
7
p
*
1
*
0
(2.8.4)
c) Entropia sursei cu memorie este dat de relaia:
( ) ( ) ( ) ( )
i j 2 i j
1
0 i
1
0 j
i M
/S a p log /S a p S p S H


(2.8.5)
unde S
0
= 0; S
1
= 1; a
0
= 0; a
1
= 1
22
( ) ( )
15
8
p S p
15
7
p S p
*
1 1
*
0 0

iar probabilitile p(a
j
/S
i
) sunt cele indicate de graf.
nlocuind n (2.8.5) rezult:
( )

,
_

+ +

,
_

+
3
4
log
4
3
1
4
log
4
1
15
8
2
7
log
7
2
5
7
log
7
5
15
7
S H
2 2 2 2 M
= 0,8355 bii/simbol (2.8.6)
d) O surs fr memorie conform cu cerinele problemei are tabloul:

,
_

15
8

15
7
S S
S
2 1
(2.8.7)
iar entropia:
( ) +
8
15
log
15
8
7
15
log
15
7
S H
2 2
0,9968 bii/simbol (2.8.8)
Comparnd cele dou entropii gsite H
M
(S) i H(S) se observ c ultima este mai mare.
2.9. O surs de informaie binar cu memorie de trei pai are graful
corespunztor n figur. S se afle:
a) matricea de tranziie;
b) entropia sursei;
c) probabilitatea ca sursa, aflat n starea S
2
, dup emiterea a trei simboluri s
ajung n starea S
3
.
Rspuns:
23
a)
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
]
1


7
4

7
3
0 0 0 0 0 0
0 0
7
4

7
3
0 0 0 0
0 0 0 0
5
2

5
3
0 0
0 0 0 0 0 0
3
1

3
2

2
1

2
1
0 0 0 0 0 0
0 0
5
3

5
2
0 0 0 0
0 0 0 0
4
3

4
1
0 0
0 0 0 0 0 0
2
1

2
1
T
b)
1
]
1

959
147

959
126

959
135

959
96

959
126

959
105

959
96

959
128
p
*
( ) 0,961454 S H
M
bii/simbol
c) ( ) 9%
100
9
S S S S p
3 6 3 2

2.10. Fie sursa de informaie fr memorie avnd tabloul simboluri-
probabiliti:

,
_

x 0,1 0,4 0,2


d c b a
S
Se cere:
a) valoarea lui x;
b) entropia i eficiena sursei S;
c) tabloul sursei de informaie S
2
(extensia de ordin a lui S);
d) entropia i eficiena sursei S
2
.
Rezolvare:
a) Deoarece:

N
1 i
i
1 p rezult x = 0,3 (2.10.1)
b) ( )


N
1 i i
2 i
846 , 1
p
1
log p S H bii/simbol entropia (2.10.2)
24
( ) ( )
92,32%
N log
S H
H
S H
2 max
s
eficiena (2.10.3)
b) Extensia unei surse S se obine asociind cte dou mesaje ale sursei S. Astfel:

,
_

100
9

100
3

100
12

100
6

100
3

100
1

100
4

100
2

100
12

100
4

100
16

100
8

100
6

100
2

100
8

100
4
dd dc db da cd cc cb ca bd bc bb ba ad ac ab aa
S
2
(2.10.4)
c) ( ) ( ) l 3,692 S H 2 S H
2
bii/simbol (2.10.5)
( )
( )
( )
S
2
2
2
max
2
S
N log
S H 2
S H
S H
2

(2.10.6)
Obs: Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficiena
pstrndu-se. Prin generalizare se poate arta c:
( ) ( )
S
S
m
m
S H m S H


(2.10.7)
unde S
m
este extensia de ordin m a sursei S.
2.11. O surs ternar cu memorie de un pas are graful din figur
a) s se afle cele trei probabiliti de trecere necunoscute;
b) calculai starea de staionaritate;
c) calculai entropia sursei date;
d) pentru ce valori ale probabilitilor de trecere sursa este practic fr
memorie?
Rspuns:
a) ( ) ( ) ( )
3
1
/S S p
2
1
/S S p
5
1
/S S p
1 3 3 2 2 1

25
b)
49
12
p
49
25
p
49
12
p
*
3
*
2
*
1

c)
Starea
actual
Starea
viitoare
Probabilitatea
strii staionare
Probabilitatea de
trecere
S
1
S
1
S
2
S
3
12/49
1/3
1/3
1/3
S
2
S
1
S
2
S
3
25/49
1/5
3/5
1/5
S
3
S
1
S
2
S
3
12/49
1/4
2/4
1/4
Tabelul 2.2
( ) 1,3325 S H
M
bii/simbol
d) ( ) ( ) ( ) 1,2,3 j /S S p /S S p /S S p
j i j i j i

1 R , , cu + +
+

2.12. O SDFM are N = 32 simboluri i eficiena de 75%. Ct sunt entropia,
redundana i redundana relativ a sursei date?
Rspuns:
H(S) = 3,75 bii/simbol R = 1,25 bii/simbol = 25%
26
Cap. 3 Codarea sursei
Dicinoar:
- cod (limba latin "codex"- culegere) - 1.ansamblul unor reguli; 2.culegere de legi; 3.sistem de semnale sau semne
convenionale cu semnificaii bine precizate, ale cror combinaii sunt folosite pentru transmiterea unor
mesaje;
- compresie - reducere a volumului.
Definiii:
- codare = procesul de atribuire a unor succesiuni (secvene) de simboluri elementare mesajelor (simbolurilor) unei
surse de informaie;
- alfabetul codrii = totalitatea simbolurilor elementare cu ajutorul crora se pot construi succesiunile (secvenele);
- cuvnt de cod = o secven (succesiune) atribuit prin procesul de codare a unui mesaj al sursei de informaie;
- cod = totalitatea cuvintelor de cod;
- cod - binar = alfabetul este binar: {0, 1};
- bloc = cuvintele au aceeai lungime;
- unic decodabil = fiecrei succesiuni de cuvinte de cod i corespunde o unic succesiune de simboluri a sursei;
- instantaneu = nici un cuvnt de cod nu este prefixul altui cuvnt;
- graful de codare (graful codului) = un arbore ce crete, dintr-un punct iniial (numit surs), prin m ramuri la fiecare
nod (m - numrul de simboluri elementare din alfabet) i are la finele oricrei ramuri (numit frunz) cte
un simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleac dintr-un nod este notat cu unul dintre
simbolurile elementare ale afabetului codului. Secvena obinut prin asocierea simbolurilor elementare ataate
unei ci, ce pleac de la surs i ajunge la o frunz, este cuvntul de cod ce codeaz simbolul (mesajul) sursei
ataat acelei frunze;
- eficiena codrii = raportul ntre lungimea medie minim a cuvintelor unui cod ce ar putea coda sursa dat i
lungimea medie a cuvintelor codului dat;
- compresia = procedeul de recodare a unei surse cu scopul de a obine o eficien superioar primului cod;
- factor de compresie = raportul eficienelor codurilor, comprimat i iniial.
Notaii:
L - lungimea medie a cuvintelor codului;

c
- eficiena codrii;
F - factor de compresie.
Abrevieri:
LZ -77 - algoritmul de compresie Lempel -Ziv '77.
Breviar teoretic:
1. Teorema I-a a lui Shannon: pentru orice surs de informaie S, printr-o codare pe grupe
de n simboluri, poate fi fcut o codare absolut optimal dac n;
2. Lungimea medie a cuvintelor codului:

=
=
N
1 i
i i
l p L (3.1)
unde: l
i
- lungimea cuvntului ataat simbolului sursei;
s
i
=numrul de simboluri elementare din componena cmpului respectiv;
3. Eficiena codrii se poate calcula dup formula:
( )
L
S H
c
= (3.2)
27
3.1. Fie sursa de informaie discret i fr memorie:
i trei coduri binare pentru sursa S:
a) Ce secven binar corespunde, pentru fiecare cod n parte, mesajului sursei:
"abacdab"?;
b) Artai c decodarea secvenei construite la punctul a) este unic doar pentru
CII i CIII, nu i pentru CI;
c) Calculai entropia sursei i eficiena acesteia;
d) Calculai lungimea medie a cuvintelor fiecrui cod, precum i eficiena
codrii.
Rezolvare:
a) Secvenele binare cerute se obin prin simpla substituie a literelor cu secvenele binare
(cuvintelor) corespunztoare lor:
Sv1=1101100110 110
Sv2=1011001000 101 (3.1.1)
Sv3=0001001011 0001
b) Decodnd secvena Sv1 prin I gsim cel puin dou variante de decodare:
abacdab, dacdd, abacabab, etc...
fapt ce nu se poate ntmpla cu Sv2 i Sv3 prin CII, respectiv CIII.
c) Conform formulei de definiie, entropia sursei este:
( ) 9 , 1
p
1
log p S H
N
1 i
i
2 i
= =

=
bii/simbol (3.1.2)
Pentru calculul eficienei este necesar n prealabil entropia maxim:
2 N log H
2 max
= = bii/simbol (3.1.3)
Rezult eficiena sursei:
( )
% 95
H
S H
max
s
= = (3.1.4)

=
15 , 0 2 , 0 25 , 0 4 , 0
d c b a
S
11 d 000 d 110 d
10 c 001 c 100 c
01 b 01 b 10 b
00 a III C 1 a II C 1 a I C
28
d) Lungimea medie a cuvintelor unui cod se calculeaz cu formula:

=
=
N
1 i
i i
l p L (3.1.5)
unde l
i
este lungimea cuvntului de cod numrul i.
Deoarece CI i CII au aceleai lungimi pentru cuvinte i lungimea medie va rezulta aceeai:
95 , 1 3 15 , 0 3 2 , 0 2 25 , 0 1 4 , 0 L L
2 1
= + + + = = bii/simbol (3.1.6)
iar:
L
3
=2 bii/simbol (3.1.7)
fiind un cod bloc.
Eficienele codrilor rezult:
. % 95 % 6 , 97
s 3 c 2 c 1 c
= = = = (3.1.8)
Obs.: - Dei CIII are lungimi ale cuvintelor de cod mai mici dect CI i CII, totui acestea "codeaz
mai eficient" sursa dat, deoarece atribuie cuvnt de cod scurt (lungime 1) simbolului cel mai
frecvent (a).
- Codurile CII i CIII sunt coduri unic decodabile prin faptul c decodarea unei secvene codate
decurge ntr-un unic fel. n plus sunt i coduri instantanee. Un exemplu de cod unic decodabil, dar
nu i instantaneu, este:
CIV a 1
b 10
c 100
d 000
- Cu toate c realizeaz biunivociti ntre mulimea mesajelor sursei S i mulimea cuvintelor de
cod, codul CI nu poate fi utilizat deoarece informaia transmis printr-un astfel de cod poate fi
deformat la decodare.
3.2. O SDFM cu 20 simboluri echiprobabile se codeaz cu un cod bloc (toate
cuvintele au aceei lungime).
a) Ct sunt entropia i eficiena sursei date?
b) Ct este lungimea medie m a cuvintelor codului, minim necesar ?
c) Calculai eficiena codrii.
Rezolvare:
a) Sursa fiind echiprobabil:
H(S)=H
max
=log
2
20=4,32 bii/simbol (3.2.1)
29
i, ca atare:

s
=100% (3.2.2)
b) Pentru a putea atribui N secvene binare, de lungime m, celor N mesaje ale sursei este necesar ca
s existe cel puin N secvene distincte. Cum numrul de secvene binare de lungime m este 2
m
rezult c 2
m
N, unde N este numrul de simboluri al sursei, N=20. n plus, conform cerinelor
problemei vom alege pe cel mai mic m ce verific inegalitatea, astfel nct:
m 1 m
2 N 2 < <

(3.2.3)
Pentru cazul concret (N=20) rezult:
m=5 (3.2.4)
c) Lungimea medie a cuvintelor codului bloc este:

= =
= = =
20
1 i
i
N
1 i
i i
m m p l p L (3.2.5)
relaie ce este adevrat indifirent de valorile probabilitilor p
i
.
Eficiena codrii va fi:
( )
% 44 , 86
5
20 log
L
S H
2
c
= = = (3.2.5)
3.3. a) Codai prin algoritmul Huffman static sursa de informaie discret i fr
memorie:
b) Codai cu ajutorul aceluiai algoritm Huffman static extensia de ordin 2 a
sursei date;
c) Calculai i comparai n cele dou cazuri eficienele celor dou coduri
obinute.
Rezolvare:
a) Desfurarea algoritmului Huffman static este prezentat n figura de mai jos:
Figura 3.1.

=
15 , 0 25 , 0 2 , 0 4 , 0
d c b a
S
0,4 0
0,35 11
0,25 10
0,6 1
0,4 0
0,4 0
0,25 1 0
0,2 111
0,15 110
a
b
c
d
30
Codul obinut are lungimea:
95 , 1 l p L
4
1 i
i i 1
= =

=
bii/simbol (3.3.1)
b) Tabloul sursei S
2
(extensia de ordin I2 a sursei date) este:
Algoritmul de codare Huffman static pentru sursa S
2
este artat n figura urmtoare:
Figura 3.2.
n desfurarea algoritmului probabilitile sunt nmulite cu 100 pentru uurina scrierii. Lungimea
medie a cuvintelor codului obinut este:

=
100
25 , 2
100
75 , 3
100
3
100
6
100
75 , 3
100
25 , 6
100
5
100
10
100
3
100
5
100
4
100
8
100
6
100
10
100
8
100
16
dd dc db da cd cc cb ca bd bc bb ba ad ac ab aa
S
2
16 16 16 20 21,25 26,75 32 41,25 58,75 1
12,25 14,5 16 16 20 21,25 26,75 32 11 41,25 0
11,25 12,25 14,5 16 16 20 21,25 01 26,75 10
10 11,25 12,25 14,5 16 16 111 20 00
10 10 11,25 12,25 14,5 101 16 110
10 10 10 11,25 011 12,25 100
8 10 10 001 10 010
8 8 1101 10 000
7,75 1011 8 1100
6,75 1010
aa 111 16 16 16 16 16
ac 010 10 10 10 10 10
ca 001 10 10 10 10 10
ab 1101 8 8 8 8 10
ba 1100 8 8 8 8 8
cc 1001 6,25 6,25 6,75 7,75 8
ad 1000 6 6 6,25 6,75 7,75
da 0111 6 6 6 6,25 6,75
bc 0001 5 5,25 6 6 6,25
cb 0000 5 5 5,25 6 6
bb 10111 4 5 5 5,25 6 0111
cd 10110 3,75 4 5 5 0001 5,25 0110
dc 10101 3,75 3,75 4 10111 5 0000
bd 10100 3 3,75 10101 3,75 10110
db 01101 3 01101 3 10100
dd 01100 2,25 01100
16
11,25
10
10
10
8
8
7,75
6,75
6,25 1001
6 1000
31
( ) ( )
( ) = + + + + + +
+ + + + + + + + + =
25 , 2 3 3 75 , 3 75 , 3 4
100
5

5 5 6 6 25 , 6 8 8
100
4
10 10 16
100
3
L
2
...... 8375 , 3
100
75 , 98 177 108
=
+ +
= bii/simbol (3.3.2)
Cunoscnd c entropia extensiei de ordin 2 este dublul entropiei sursei date (vezi problema 2.10)
gsim c:
H(S)=1,9bii/simbol
( ) ( ) 8 , 3 S H 2 S H
2
= = bii/simbol (3.3.3)
De unde:
( )
% 63 , 97
L
S H
1
1 c
= = (3.3.4)
( ) ( )
% 22 , 99
L
L 2
L
L 2
L
S H
L
S H
2
1
1 c
2
1
1 2
2
2 c
= = = = (3.3.5)
Cum 2L
1
>L
2

c1
>
c2
3.4. Fie sursa de informaie text (inclusiv pauzele):
"TEORIA TRANSMITERII INFORMATIEI ."
a) S se afle tabloul sursei;
b) S se codeze cu un cod optimal prin algoritmul Huffman;
c) S se calculeze eficiena codrii i factorul de compresie fa de o codare bloc;
d) S se construiasc graful de codare.
Rspuns:
a)
b)
A 000 0 1001
E 1111 R 110
F 11100 S 111011
I 01 T 101
M 0011 _ 1000
N 0010 . 111010
c)
% 925 , 98
c
= F=1,185

=
32
1
32
2
32
4
32
1
32
4
32
2
32
2
32
2
32
7
32
1
32
3
32
3
. _ T S R O N M I F E A
S
32
d)
3.5. O surs de informaie discret i fr memorie, avnd redundana relativ
, a fost codat cu un cod binar cu eficiene
c
.
tiind c:

c
+ =1
i cunoscnd lungimea medie a cuvintelor codului bloc L=5 bii/simbol aflai
numrul de simboluri ale sursei.
Rspuns: N=32
3.6. Sursa de informaie, fr memorie, constituit din simbolurile A, C, D, E, I,
N, R, cu p(A)=0,28, p(C)=0,14, p(D)=0,05, p(E)=0,18, p(I)=0,16, p(N)=0,06 se
codeaz cu un cod binar prin algoritmul Huffman static. Care este lungimea
secvenei binare ataate mesajului "CRIN" ?
Rspuns: 13 bii
3.7. O surs de informaie echiprobabil cu 50 simboluri se codeaz cu un cod
binar bloc de eficien maxim posibil (codare pe simbol). Ct este eficiena
codrii?
Rspuns: % 67 , 98 50 log
286
50
2 c
= =
0
A
0
0
1
1
1
1
0
0
0
1
1
1
1
0
0
0
1
1
E
.
F
R
0
T
O
_
M
N
I
S
33
3.8. Sursa text (fr pauze):
VINE EA SI VACANTA
ordonat alfabetic, se codeaz cu un cod binar (cod binar natural). Considernd
ieirea codorului drept o surs binar secundar, cu ct este egal entropia
acestei surse secundare (considerat i ea fr memorie)?
Rezolvare:
Tabloul simboluri probabiliti este:

=
15
2
15
1
15
1
15
2
15
2
15
2
15
1
15
4
V T S N I E C A
S (3.8.1)
iar codul binar bloc cerut:
A 000
C 001
E 010
I 011
N 100 (3.8.2)
S 101
T 110
V 111
Probabilitatea ca sursa secundar s emit un zero se calculeaz cu relaia:
( )

=
=
N
1 i
i 0
i E
m
m
p 0 p (3.8.3)
unde: N=8 - numrul de simboluri al sursei primare;
1.N i p
i
= -probabilitile simbolurilor sursei primare;
m=3 lungimea cuvintelor codului;
m
0i
- numrul de zerouri din componena cuvntului i.
n mod analog:
( ) ( )

=
= =
N
1 i
i 1
i E E
m
m
p 0 p 1 1 p (3.8.4)
Efectund calculele, gsim c:
( ) ( )
45
26
1 1 1 1 2 2 2 1 2 2 1 2 4 3
45
1
0 p
E
= + + + + + + =
( ) ( )
45
19
2 3 1 2 1 2 2 1 2 2 2 1 1 1
45
1
1 p
E
= + + + + + + = (3.8.5)
astfel tabloul sursei secundare este:
34

=
45 / 19 45 / 26
1 0
S
'
(3.8.6)
iar entropia:
( ) 9825 , 0
19
45
log
45
19
26
45
log
45
26
S H
2 2
'
= + = bii/simbol (3.8.6)
3.9. Folosind algoritmul LZ-77 gsii:
a) rezultatul compresiei mesajului: aaabcbaabcc...;
b) mesajul iniial, dac rezultatul compresiei a fost 00c00b73c72b640;
Lungimile blocurilor Lempel respectiv Ziv sunt 8 i 4.
Rezolvare:
a) Diagrama de mai jos prezint iterat codarea LZ 77 asupra mesajului dat:
1 2 3 4 5 6 7 8 9 10 11 12 S L A
a a a b 0 0 a
a a a b c 8 2 b
a a a b c b a a 0 0 c
a a a b c b a a b 7 1 a
a a a b c b a a b c c 4 3 c
Rezultatul comprimrii este 00a82b00c71a43c...
b) Decodarea mesajului comprimat se poate urmri cu ajutorul diagramei:
1 2 3 4 5 6 7 8 9 10 11 12 S L A
c 0 0 c
c b 0 0 b
c b c b c c 7 3 c
c b c b c c c c b 7 2 b
b c b c c c c b c c b c 6 4 0
Aadar, mesajul iniial este: cbcbccccbccbc... .
3.10. Comprimai mesajul: aaabcca... utiliznd algoritmul Huffman dinamic.
Ct este factorul de compresie?
Rezolvare:
Vom prezenta evoluia arborelui (grafului) asociat codului n timpul codrii mesajului dat:
35
Obs: Semnificaia notaiilor este:
-pentru nod:
- x: numr de ordine (crete de la stnga ctre dreapta i de jos n sus pe linii);
- p: ponderea cumulat din nodurile aferente.
- pentru frunz (nod terminal):
- x: numr de ordine;
- p: pondere (numr de apariii ale respectivului simbol);
- y: simbolul.
Frunza goal, notat cu "0", este de pondere 0.
- pentru ramur: - spre stnga codare cu zero;
- spre dreapta codare (atribuire) cu unu.
0
0 mesaj: --
1
mesaj: a
1 0
2. S-a codat "a": 3
0 2 1 a
0
1
codul:
simbol cuvnt
de cod
0
a
0
1
1.Arbore iniial: 1
p
x
x
y
p
3.S-a codat "aa"
mesaj: a1
codul: 0 0
a 1
1
3
2
1 0
0 0 2
2 a
4.S-a codat "aaa"
mesaj: a11
codul: 0 0
a 1
1
3
3
1
0
0
0 2
3
a
5.S-a codat "aaab"
mesaj: a110b
codul: 0 00
a 1
b 01
1
3
5
4
1 0
1 4
3
a
1 0
0 0
2 1 b
1
5
7
5
1
0
2 6
3 a
3
1 0
1 4
1 b
1 0
0 0 2
1 c
6.S-a codat "aaabc"
mesaj: a110b00c
codul: 0 000
a 1
b 01
c 001
1
36
Obs.: la pasul 7 s-a produs un schimb ntre nodurile 2 i 4 deoarece ponderea primului era mai
mare (2 > 1), conform regulii care spune c un nod cu numr de ordine mai mic i pondere mai
mare dect un altul va face schimb de poziie n arbore cu acesta din urm.
Considernd caracterele n mesajul iniial codate pe 8 bii, lungimea acestuia este:
L
i
=78=56 bii (3.10.1)
Mesajul comprimat (a110b00c0011) are:
L
2
=83+9=33 bii (3.10.2)
Rezult un factor de compresie:
7.S-a codat "aaabcc"
mesaj: a110b00c001
codul: 0 000
a 1
b 001
c 01
1
5
7
6
1 0
3 6
3 a
3
1 0
1 4
2 c
1
0
0 0 2
1 b 1
5
7
6
1 0
3 6
3 a
3
1 0
2 4
1 b
1
0
0 0 2
2 c
Schimb
ntre
nodurile
2 i 4
8.S-a codat "aaabcca"
mesaj: a110b00c0011
codul: 0 000
a 1
b 001
c 01
5
7
7
1 0
3 6
4 a
3
1
0
1 4
2 c
1
1 0
0 0 2
1 b
37
7 , 1
L
L
F
2
1
= (3.10.3)
3.11. Fie mesajul "aacacabcabdabadabc". S se comprime mesajul dat prin
aplicarea algoritmului:
a) LZ 77;
b) Huffman dinamic;
c) Huffman static, presupunnd mesajul dat o SDFM text.
d) Calculai n fiecare caz factorul de compesie fa de o codare bloc pe opt bii a
mesajului iniial.
Rezolvare:
a) Recodarea aferent algoritmului LZ77 este prezentat n diagrama urmtoare:
1 2 3 4 5 6 7 8 9 10 11 12 S L A
a a c a 0 0 a
a a c a c 8 1 c
a a c a c a b 7 3 b
a a c a c a b c a b d 6 3 d
a c a b c a b d a b a d 3 2 a
b c a b d a b a d a b c 5 3 c
Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime:
L
1
=123+68=84 bii (3.11.1)
b)
1.
2.
mesaj codat: "aa"
mesaj transmis: "a1"
cod: 0 0
a 1
3
2
0
0 2 2
0
1
1 a
mesaj codat: "a"
mesaj transmis: "a"
cod: 0 0
a 1
3
1
0
0 2
1
0
1
1 a
38
3.
(4. 5. 6.) 7.
(8. 9. 10.) 11.
mesaj codat "aacacab"
mesaj transmis "a10c101100b"
cod 0 00
a 1
b 001
c 01
7
7
7
0
3 8 4
a
1
5
0
1 6 2
b
1
1
0
0 4 1 c
1
9
11
7
0
6 8 5
a
1
5
0
3 6 3 c
1
3
0
1 4 2 b
1
1
0
0 2 1 d
1
9
11
7
0
5 8 6
a
1
5
0
3 6 3
c
1
3
0
1 4 2 b
1
1
0
0 2 1
0
1
d
1
5
3
0
1 4 2
1
3 a
0
0 2 1
0
1
c
mesaj codat: "aac"
mesaj transmis: "a10c"
cod: 0 00
a 1
c 01
39
(12.) 13.
(14. 15. 16. 17.) 18.
mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"
cod: 0 1000
a 0
b 101
c 01
mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"
cod: 0 1100
a 0
b 111
c 10
d 1101
9
13
7
0
6 8 7 a
1
5
0
3 6 4
c
1
3
0
1 4 3 b
1
1
0
0 2 1
0
1
d
mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"
cod: 0 1100
a 0
b 10
c 111
d 1101
9
18
7
0
8 8 10
a
1
5
0
4 6 6
b
1
3
0
2 4 4 c
1
1
0
0 2 2
0
1
d
40
Lungimea rezultat a mesajului transmis este:
L
2
=48+33=65 bii (3.11.2)
c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa:
asupra creia putem aplica algoritmul:
Cu ajutorul codului obinut mesajul se transmite prin secvena binar:
"001110111010111010"
L
3
=34 bii (3.11.3)
d) Dac mesajul iniial este codat bloc pe 8 bii lungimea secvenei binare codate este:
L
0
=188=144 bii (3.11.4)
Cu rezultatele coninute n relaiile (3.11.1, 2, 3 i 4) gsim pentru factorii de compresie valorile:
7143 , 1
84
144
F
1
= =
1 2
F 3 , 1 2154 , 2
65
144
F = = = (3.11.5)
1 3
F 47 , 2 2353 , 4
34
144
F = = =

=
18
2
18
4
18
4
18
8
d c b a
S
8 0
4 1 0
4 111
2 110
8 0
6 11
4 10
10 1
8 0
a
b
c
d
Canale
41
Cap.4 Canale de transmisie
Dicionar:
- canal (de transmisie) - cale (mediu fizic) de transmisie prin care circul infpormaia ntre emitor (surs) i
receptor (utilizator);
- cmp (corp) - o mulime K de elemente care satisfac urmtoarele axiome:
1. - pe K sunt definite dou operaii: adunarea i nmulirea;
2. - n raport cu adunarea K formeaz un grup abelian cu elementul nul 0;
3. - K \ {0} formeaz grup abelian pentru nmulire;
4. - nmulirea este distributiv fa de adunare;
- echivoc - 1. suspect, ndoielnic; 2.echivocaie- msur a efectului perturbaiilor asupra comunicaiilor prin canale;
- capacitate valoarea maxim pe care poate s o aib un parametru al unui sistem, parametru ce indic performane de
nmagazinare, transport sau prelucrare.
Definiii:
1. - transferul informaiei ntre cmpul de intrare X, cel de ieire Y i canal C:
2. - Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=H
max
;
- Debitul de decizie

D - cantitatea de decizie generat n unitatea de timp;


- Debitul de momente

M - numrul de momente transmise n unitatea de timp;


- Baud (Bd) - unitatea de msur a debitului de momente;
- Moment - semnal elementar purttor de informaie de durat T
M
.
Notaii:
x
0
=0
E
, x
1
=1
E
- simbolurile emisibile n canalul binar;
X={x
0
, x
1
} - cmpul de la intrare n canal;
y
0
=0
R
, y
1
=1
R
- simbolurile recepionabile din canalul binar;
Y={y
0
, y
1
} - cmpul de la ieirea din canal;
p(x
i
) - probabilitatea de a emite n canal x
i
;
p(y
j
) - probabilitatea de a recepiona din canal y
j
;
P(Y/X) - matricea de tranziie=[p(y
j
/ x
i
)]
22
;
p(y
j
/x
i
) probabilitatea (apriori) de a se recepiona y
j
cnd a fost emis x
i
;
P(X,Y) =[ p(x
i
, y
j
)]
22
;
H(X) I(X,Y) H(Y)
Cmp
intrare
X
CANAL
H(Y/X)
H(X/Y)
Informaia ce o adaug
canalul, n medie,
fiecrui simbol binar
Informaia, n medie, ce
intr n canal printr-un
simbol binar
Informaia ce o pierde
n canal, n medie, un
simbol binar
Informaia ce
traverseaz
canalul, n medie,
cu un simbol binar
Informaia ce iese,
n medie, din canal
printr-un simbol
binar
Cmp
ieire
Y
Canale
42
p(x
i
, y
j
) - probabilitatea de a se fi emis x
i
i a se recepiona y
j
;
P(X/Y) =[ p(x
i
/y
j
)]
22
;
p(x
i
/y
j
) - probabilitatea (aposteriorii) de a se fi emis x
i
cnd s-a recepionat y
j
;
- raport semnal-zgomot.
Abrevieri:
RSZ (SNR) - Raport Semnal pe Zgomot (Signal to Noise Ratio);
CBS - Canal Binar Simetric;
BER - Bit Error Rate (rata erorii).
Breviar teoretic:
1. Relaii ntre matrici
( )
( )
( )
( )
1
]
1

1
]
1

X / Y P
1 p 0
0 0 p
Y , X P
E
E
(4.1)
( ) ( ) + +
R R
1 p 0 p (4.2)
( ) ( )
( )
( )1
1
1
1
]
1

R
R
1 p
1
0
0
0 p
1
Y , X P Y / X P (4.3)
2. Entropii condiionate
- eroarea medie ( ) ( )
( )
i j
2
1
0 i
1
0 j
j i
x / y p
1
log y , x p X / Y H


; (4.4)
- echivocaia ( ) ( )
( )
j i
2
1
0 i
1
0 j
j i
y / x p
1
log y , x p Y / X H


; (4.5)
- transinformaia


( ) ( )
( )
( ) ( )
( ) ( ) ( ) ( ) X / Y H Y H Y / X H X H
y p x p
y , x p
log y , x p Y , X I
j i
j i
2
1
0 i
1
0 j
j i




(4.6)
3. Capacitatea canalului
- discret ( ) Y , X I max C
i
p
(bii/simbol) (4.7)
- continuu ( ) +

1 log B m log M D C
2 max 2
max max
(4.8)
unde: B 2 M
max

- (canal ideal); B
4
5
M
max

(canal real) (4.9)


+ 1 m
max
(4.10)
4. Redundana i eficiena canalului
( ) Y , X I C R
C
- redundana absolut (4.11)
( )
C
Y , X I
1
c
- redundana relativ (4.12)
( )
C
Y , X I
c
- eficiena (4.13)
Canale
43
4.1. Fie secvena binar:
i
0
=100101011100011100100110 (4.1.1)
generat de o SDFM echiprobabil, X. n vederea transmiterii dibiii din
secvena i
0
se codez prin:
Se cere:
a) S se calculeze entropia i eficiena sursei X; (H(X),
X
)
b) Debitul de informaie al sursei X dac codarea (4.1.2) se face n timp real; (

X)
c) Cantitatea de decizie corespunztoare unui moment (moment = un semnal
dintre S
00
, S
01
, S
10
sau S
11
); (D)
d) Debitul de momente; (

M)
e) Ce debit de informaie (n bii/sec) corespunde n acest caz unui Baud? (1Bd)
f) S se reprezinte grafic semnalul S(t): suport al informaiei i
0
.
Rezolvare:
a) Probabilitile de emisie (generare) a mesjelor binare 0 i 1 fiind egale:
p(0)=p(1)=1/2 (4.1.3)
rezult pentru entropie i eficiena sursei valorile:
H(X)=1 bit/simbol
=100% (4.1.4)
b) Prin definiie:
( )
x
X H
X

(4.1.5)
unde
x
este timpul n care se transmite (genereaz) un simbol binar de ctre sursa X. tiind c dou
simboluri (un dibit) au o durat de transmitere, respectiv genereare (n timp real), de T
M
=250s
rezult pentru
x
valoarea:
s 125 T
2
1
M x
(4.1.6)
i ca atare:
kbiti/sec 8
s 125
bit/simbol 1
X

(4.1.7)
00 S
00
(t)= -3V t [0,T
M
]
01 S
01
(t)= -1V t [0,T
M
]
10 S
10
(t)= 1V t [0,T
M
]
11 S
11
(t)= 3V t [0,T
M
] cu T
M
=250 s
(4.1.2)
Canale
44
c) Conform definiiei:
D=log
2
m=2 bii (4.1.8)
unde m=4 reprezint numrul de nivele de tensiune corespunztoare dibiilor (relaia (4.1.2)).
d) Debitul de momente

M este numrul de semnale elementare (S


00
, S
01
, S
10
sau S
11
) pe unitatea de
timp:
Bd 4000
10 250
1
T
1
M
6
M

(4.1.9)
e) Cum debitul de informaie este 8000 X

bii/sec, corespunde la viteza de modulaie (debitul de


momente) Bd 4000 M

, rezult pentru fiecare Baud cte 2 bii de informaie.


f) Secvena binar dat va avea suport fizic urmtoarea succesiune de semnale elementare:
10 01 10 00 11 01 00 11 01 01 01 10
S S S S S S S S S S S S (4.1.10)
care formeaz semnalul:
4.2. Presupunnd semnalul ternar din figur:
suportul fizic al unei informaii, s se afle:
a) Viteza de modulaie

M (debitul de momente);
[V] S[t]
3
2
1
0
-1
-2
-3
1 2 3 4 5 6 7 8 9 10 11 12
t/T
M
[V] S[t]
+1
0 2 4 6 8 10 12 14
-1
t/5s
Canale
45
b) Cantitatea de informaie maxim ce se poate transmite printr-un simbol
ternar;
c) Debitul de informaie ce rezult dac semnalul S(t) a fost obinut prin
modularea (codarea) unei secvene binare echiprobabile, n timp real, utiliznd
codul:
d) Debitul maxim de informaie ce poate fi obinut printr-o codare adecvat
utiliznd : - un semnal ternar;
- un semnal binar;
- un semnal cuaternar.
n toate cazurile se va considera aceeai vitez de modulaie.
Rspuns:
a) Baud 10 sec ternar / simbol 10
T
1
M
5 5
M

b) D=log
2
3=1,585 (bii)
c)
( ) ( ) ( )
( )
( )
( ) ernar bit/simb.t 1 2 log
2
1
4 log
4
1
2 S H
4
1
S p
2
1
S p
;
4
1
1 p 1 p p S p
2 2 0
+

+ +
( )
5 5
M
S
10 585 , 1 M D biti/sec 10
T
S H
D <

bii/sec
d)
Semnal D

X [bii / sec]
binar
ternar
cuaternar
1 bit inf. / sg. binar
1,585 bii informaie / sg. ternar
2 bii informaie / sg. cuaternar
1/T
M
1,585/T
M
2/T
M
D - cantitatea maxim de informaie ce se poate nmagazina ntr-un semnal elementar de durat T
M
;

X - debitul maxim de informaie relativ la T


M
[sec].
11 S
+
(t)= +1V t [0,T
M
]
0 S
0
t)= 0V t [0,T
M
]
10 S
-
(t)= -1V t [0,T
M
]
(4.2.1)
Canale
46
4.3. Sursa de informaie fr memorie constituit din caracterele echiprobabile
A, C, D, E, I, N, R se codeaz cu un cod binar bloc (transpunere zecimal binar
a numrului de ordine; fr cuvntul de pondere zero), apoi se cupleaz la un
canal de transmisie binar simetric avnd rata erorii egal cu 0,1. Calculai:
a) entropia i eficiena sursei; (H(S)
S
)
b) eficiena codrii; (
c
)
c) entropia cmpului de la intrarea n canal; (H(X))
d) matricea de tranziie i eroarea medie; (P(Y/X), H(Y/X))
e) cmpul de la ieirea din canal i entropia sa; (Y, H(Y))
f) echivocaia i transinformaia; (H(X/Y), I(X,Y))
g) capacitatea canalului; (C)
h) probabilitatea ca sursa s fi emis mesajul DAC atunci cnd s-a recepionat
mesajul RAC. (p(DAC
E
/RAC
R
))
Rezolvare:
a) Sursa fiind echiprobabil:
( ) 8 , 2 7 log H S H
2 max
bii/simbol

S
=100% (4.3.1)
b) Conform cerinelor problemei codul binar bloc este:
i are lungimea medie a cuvintelor de cod:
L=3 bii/simbol (4.3.2)
Pentru eficien rezult valoarea:
( )
% 58 , 93
L
S H
c
(4.3.3)
c) Cmpul de la intrarea n canal conine dou simboluri binare ce pot fi emise n canal cu
probabilitile:
( ) ( )
7
3
21
9
k
21
1
3
k
S p 0 p
7
1 i
i 0
i 0
7
1 i
i E



( ) ( )
7
4
21
12
k
21
1
3
k
S p 1 p
7
1 i
i 1
i 1
7
1 i
i E



A 001
C 010
D 011
E 100
I 101
N 110
R 111
(4.3.4)
Canale
47
Astfel, tabloul sursei binare (secundare) ce emite n canal este:

,
_

7 / 4 7 / 3
1 0
X
E E
(4.3.5)
i are entropia:
( ) 9852281 , 0
4
7
log
7
4
3
7
log
7
3
X H
2 2
+ bii/simbol (4.3.6)
Obs.: n fapt, sursa secundar X este cu memorie. Pentru a argumenta acest lucru, este suficient s
considerm sursa X fr memorie i s calculm probabilitatea de a emite A:
( ) ( ) ( ) ( ) ( )
7
1
49
36
1 p 0 p 0 p 001 p A p
E E E E

care difer de p(A)=1/7, dat de echiprobabilitatea sursei primare.
d) Canalul fiind binar simetric i cunoscnd rata erorii p=0,1 matricea de tranziie are forma:
( )
( ) ( )
( ) ( )
R R R R
1 0
E
E
1 0
E
E
E R E R
E R E R
9 , 0 1 , 0
1 , 0 9 , 0
1
0
p 1 p
p p 1
1
0
1 / 1 p 1 / 0 p
0 / 1 p 0 / 0 p
X / Y P
1
]
1

1
]
1

1
]
1

(4.3.7)
Eroarea medie este "informaia" medie, pe simbol binar, ce sosete la recepie i nu provine de la
emisie ci din canal:
( ) ( )
( )
i j
2
1
0 i
1
0 j
j i
x / y p
1
log y , x p X / Y H


(4.3.8)
unde: - p(y
j
/x
i
) = probabilitatea ca la recepie s soseasc y
j
dac la emisie a fost transmis x
i
;
probabilitile de genul p(y
j
/x
i
) sunt coninute n matricea P(Y/X) dat de relaia (7).
- p(x
i
, y
j
) = probabilitatea de a se emite x
i
i a se recepiona y
j
;
Aceste probabiliti formeaz o matrice de forma P(X,Y) i se calculeaz cu ajutorul relaiei lui
Bayes:
p(x
i
, y
j
)=p(x
i
) p(y
j
/x
i
) i,j=0, (4.3.9)
sau:
( )
( )
( )
( ) X / Y P
x p 0
0 x p
Y , X P
1
0
1
]
1

(4.3.10)
- x
i
, y
j
cu i,j=0, 1 sunt notaiile alternative pentru 0
E
, 1
E
respectiv 0
R
, 1
R
folosite pentru a scrie
relaiile compact:
1 R 0 R E 1 E 0
y 1 y 0 1 x 0 x (4.3.11)
Obs.: Dei att cmpul de la intrare ct i cmpul de la ieire conin aceleai dou simboluri
binare 0 i 1, sunt necesare notaii distincte pentru a putea fi distinse n diferitele relaii
matematice.
Canale
48
nlocuind rezultatele din (4.3.4) i (4.3.7) n (4.3.10) gsim c:
( )
1
1
1
]
1

7
6 , 3
7
4 , 0
7
3 , 0
7
7 , 2
Y , X P (4.3.12)
Dispunem acum de toate probabilitile cerute de (4.3.8) pentru a putea calcula eroarea medie:
( )
binar l biti/simbo 4689955 , 0 1 , 0 log 1 , 0 9 , 0 log 9 , 0
9 , 0 log
7
6 , 3
1 , 0 log
7
4 , 0
1 , 0 log
7
3 , 0
9 , 0 log
7
7 , 2
X / Y H
2 2
2 2 2 2


(4.3.13)
e) Probabilitile simbolurilor de la ieirea din canal, 0
R
i 1
R
se afl cu ajutorul formulelor:
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( )
R E R E 1 1 1 0 1 R
R E R E 0 1 0 0 0 R
1 , 1 p 1 , 0 p y , x p y , x p y p 1 p
0 , 1 p 0 , 0 p y , x p y , x p y p 0 p
+ +
+ +
(4.3.14)
sau compact:
( ) ( ) [ ] [ ] ( )
1
]
1


7
9 , 3
7
1 , 3
Y , X P 1 1 1 p 0 p
R r
(4.3.15)
Sursa binar echivalent ieirii canalului este:

,
_

7
9 , 3
7
1 , 3
1 0
Y
R R
(4.3.16
i are entropia:
( ) + 9 , 3 log
7
9 , 3
1 , 3 log
7
1 , 3
7 log
9 , 3
7
log
7
9 , 3
1 , 3
7
log
7
1 , 3
Y H
2 2 2 2 2
=0,990577bii/simbol binar (4.3.17)
f) Echivocaia, notat H(X/Y), este cantitatea medie de informaie pe un simbol binar ce este
pierdut de acesta (simbolul binar) n canal:
( ) ( )
( )
j i
2
1
0 i
1
0 j
j i
y / x p
1
log y , x p Y / X H


(4.3.18)
Calculnd probabilitile aposteriori p(x
i
/y
j
) cu relaia:
( )
( ) ( )
( ) ( )
( )
( )
( )

1
1
1
1
]
1


1
]
1

R
R
R E R E
E E R E
1 p
1
0
0
0 p
1
Y , X P
1 / 1 p 0 / 1 p
1 / 0 p 0 / 0 p
Y / X P
Canale
49
1
1
1
]
1

1
1
1
1
]
1

1
1
1
]
1

13
12
31
4
31
1
31
27
9 , 3
7
0
0
1 , 3
7
7
3,6
7
0,4
7
0,3
7
2,7
(4.3.19)
Se gsete valoarea echivocaiei:
( )
12
13
log
7
6 , 3
4
31
log
7
4 , 0
13 log
7
3 , 0
27
31
log
7
7 , 2
Y / X H
2 2 2 2
+ + +
=0,463666 bii/simbol binar (4.3.20)
Transinformaia I(X,Y) se poate afla utiliznd egalitile:
I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) (4.3.21)
Utiliznd (4.3.6) i (4.3.20) gsim valoarea:
I(X,Y)=0,521562 bii / simbol binar (4.3.22)
Valoare ce se gsete i folosind rezultatele din (4.3.13) i (4.3.17).
Obs.: - utilizarea relaiilor necesare n rezolvarea problemelor de tipul prezentei implic calcule
matematice voluminoase. Pentru a obine rezultate bune este de preferat s nu se fac aproximri
n calculele intermediare, obtnd pentru varianta memorrii lor cu ajutorul unitii de calcul. O
bun verificare a rezultatelor gsite se poate face cu ajutorul relaiei (4.3.21).
g) Capacitatea canalului binar simetric se calculeaz cu formula:
( ) ( ) p 1 log p 1 p log p 1 C
2 2
+ + (4.3.23)
i, n cazul de fa pentru p=0,1, este:
C=0,531004bii/simbol (4.3.24)
Obs.: - capacitatea canalului, conform definiiei, este maximul transinformaiei. Rezultatul (4.3.24)
se poate regsi fcnd n (4.3.21) H(Y)=1.
h) Probabilitatea de a se fi emis "DAC" atunci cnd s-a recepionat "RAC" este identic cu
probabilitatea de a se fi emis secvena binar "011 001 010" atunci cnd s-a recepiopnat "111 001
010":
( )
( ) ( ) ( )
% 2 , 3
13
12
13
1
31
27

1 / 1 p 1 / 0 p 0 / 0 p
) 111001010 / 011001010 ( p RAC / DAC p
4 4
4
R E R E
4
R E
R E R E

,
_


,
_



(4.3.25)
Canale
50
Obs.: - n ultima relaie, (4.3.25), s-a fcut presupunerea c transmisia unui simbol binar este
independent de a celorlalte.
4.4. Sursa text (discret i fr memorie):
"TEORIA TRANSMISIUNII INFORMATIEI"
se codeaz binar bloc (ordonare alfabetic, pauza la sfrit, cod binar natural) i
se cupleaz la un canal de transmisie binar. Cunoscnd c ( ) 9 , 0 0 / 0 p
E R
i
( ) 2 , 0 1 / 0 p
E R
s se afle:
a) matricea de tranziie a canalului; (P(Y/X))
b) codul binar bloc;
c) probabilitatea ca sursa s emit mesajul METEOR;
d) probabilitatea de a se fi recepionat TEN dac s-a emis TEO;
e) probabilitatea de a se fi emis MAR dac s-a recepionat MAT;
f) entropiile cmpurilor de intrare i ieire; (H(X), H(Y))
g) eroarea medie i echivocaia; (H(Y/X), H(X/Y))
h) transinformaia i capacitatea canalului; (I(X,Y), C)
Rspuns:
a) ( )
R R
1 0
E
E
8 , 0 2 , 0
1 , 0 9 , 0
1
0
X / Y P
1
]
1

b)
c) ( )
7
6
E
10 34 , 1
32
3 2 2 3 2 2
METEOR p


d)
( ) ( )
( ) ( ) ( ) ( ) % 435 , 0 8 , 0 1 , 0 2 , 0 9 , 0 1 / 1 p 0 / 1 p 1 / 0 p 0 / 0 p
1001 0001 1001 / 0101 0001 1001 p TEO / TEN p
4 6 4
E R E R E R
6
E R
E R E R


e) ( ) ( )
16
7
1 p
16
9
0 p
E E
,
n ipoteza c sursa secundar {0
E
,1
E
} este fr memorie.
A 3/32 0000
E 2/32 0001
F 1/32 0010
I 8/32 0011
M 2/32 0100
N 3/32 0101
O 2/32 0110
R 3/32 0111
S 2/32 1000
T 3/32 1001
U 1/32 1010
_ 2/32 1011
Canale
51
( )
R R
1 0
E
E
16
6 , 5
16
4 , 1
16
9 , 0
16
1 , 8
1
0
Y , X P
1
1
1
]
1

( ) ( )
16
5 , 6
1 p
16
5 , 9
0 p
R R

( )
R R
1 0
E
E
65
56
95
14
65
9
95
81
1
0
Y / X P
1
1
1
]
1

( ) ( ) ( ) ( ) ( )
3
3 2 7
3
R E
2
R E R E
7
R E R E
10 63 , 0
65
56
95
14
65
9
95
81
1 / 1 p 0 / 1 p 1 / 0 p 0 / 0 p MAT / MAR p


,
_


,
_


,
_


f) H(X)=0,988699408 bii/simbol binar
H(Y)= 0,974489403 bii /Simbol binar
g) H(Y/X)=0,579653563 bii/simbol binar
H(X/Y)= 0,593863568 bii /Simbol binar
h) I(X,Y)=0,39483584 bii/simbol binar
C= 0,420346437 bii/simbol binar
4.5. Sursa text ANTENA RECEPTOARE codat binar bloc (ordonare alfabetic
+CBN) se cupleaz la un canal de transmisiune binar avnd matricea de
tranziie:
1
]
1

8 , 0 2 , 0
1 , 0 9 , 0
P
a) S se afle tabloul sursei primare S;
b) S se afle tabloul sursei secundare X, ce emite n canal, considerndu-se c
este SDFM;
c) Considernd c S
'
este sursa avnd aceleai simboluri ca i S dar cu
probabiliti cele de recepionare a mesajelor, s se afle tabloul sursei S;
d) Ct sunt probabilitile:
p(CAP
E
) - de a se emite mesajul CAP;
p(CAP
R
) - de a se recepiona mesajul CAP;
p(CAP
R
/CAP
E
) - de a se recepiona mesajul CAP dac acesta a fost
emis;
p(CAP
E
/CAP
R
) - de a se fi emis mesajul CAP dac acesta a fost
recepionat?
Canale
52
Rezolvare:
a) Tabloul sursei primare S este:

,
_

16
2
16
2
16
1
16
1
16
2
16
4
16
1
16
3
T R P O N E C A
S
E E E E E E E E
(4.5.1)
Obs.: Indicele "E" se refer la emisie.
Codul bloc este:
b) Utiliznd relaiile (4.3.4) aflm c:
( ) ( )
24
11
1 p
24
13
0 p
E E
4.5.3)
c) Pentru a afla probabilitile simbolurilor recepionabile se utilizeaz formula probabilitii totale
(1.5). De exemplu, pentru calculul probabilitii de a recepiona A, se folosete relaia:
( ) ( ) ( ) ( ) ( )
( ) ( )
E R E
E R E E R E R
T / A p T p
V / A p C p A / A p A p A p
+
+ +
!
(4.5.4)
unde:
( ) ( ) ( )
3 3
E R E R E R
9 , 0 0 / 0 p 000 / 000 p A / A p (4.5.5)
Folosind relaiile de forma (4.5.4) i (4.5.5) se calculeaz probabilitile de recepionare pentru toate
cele 8 simboluri. Aceste calcule sunt indicate n tabelul de mai jos:
Probabilitate
simbol 16
Simbol
3
A
1
C
4
E
2
N
1
O
1
P
2
R
2
T
16.000
A 3
9 2 9
2
2 9
2

2
2 9 2 9
2

2
2 9
2
2 9
3
2
3355
C
1 9
2
8 9
2

921 928 921 928
1 2
2
8 2
2

1485
E
1 9
2

921
8 9
2

982 921
1 2
2

982
8 2
2

3515
N 2
1 9
918 981
2
8 9
2
1 2
218 218 288 1845
O
1 9
2

912 912
1 2
2
8 9
2

981 982
2
2 8
1485
P 2
1 9
981
2
1 2
821 981
2
8 9
821
2 8
2

1075
R 2
1 9
2
1 2
981 821 981 821
2
8 9 2 8
2

1845
T 3
1
2
1 8
2
1 8 1 8
2

2
1 8 1 8
2
1 8
2

3
8
1395
Tabloul sursei S
'
va fi:
A 000 O 100
C 001 P 101
E 010 R 110
N 011 T 111
(4.5.2)
Canale
53

,
_

16000
1395
16000
1845
16000
1075
16000
1485
16000
1845
16000
3515
16000
1485
16000
355 . 3
T R P O N E C A
S
'
(4.5.6)
Obs.: comparnd (4.5.1) cu (4.5.6) se observ c A, C, O i P sunt mai probabile la recepie dect
la emisie n vreme ce probabilitile simbolurilor E, N, R i T au sczut, n probabilitate, la recepie
fa de emisie.
d) Probabilitile cerute sunt:
( )
3
3
E
10 7 , 0
16
3
CAP p


( )
3
3
R
10 3 , 1
16
3558 , 5
CAP p


( ) ( )
3 3 6
E R E R
10 272 8 , 0 9 , 0 001000101 / 001000101 p CAP / CAP p


( ) ( )
3
3 6
R E R E
10 235
101
88
139
117
001000101 / 001000101 p CAP / CAP p


,
_


,
_


unde: p(0
E
/0
R
) i p(1
E
/1
R
) s-au calculat cu relaiile (4.1, 2 i 3):
( )
1
1
1
]
1

24
8 , 8
24
2 , 2
24
3 , 1
24
7 , 11
Y , X P
( ) ( )
24
1 , 10
1 p
24
9 , 13
0 p
R R

( )
1
1
1
]
1

101
88
139
22
101
13
139
117
Y / X P
Obs.: Calculul probabilitilor p(0
R
) i p(1
R
) se poate face i cu relaii de forma (4.3.4), rezultnd
aceleai valori.
4.6. Care este durata transmiterii unei imagini alb-negru format din N=10
6
pixeli printr-un canal:
a) telefonic cu banda cuprins ntre 300-3400 Hz;
b) video cu banda 12 MHz;
c) optic (fibr optic) cu banda de 1 GHz;
Intensitatea fiecrui pixel se cuantizeaz pe 128 nivele, iar raportul semnal-
zgomotul se consider cel minim necesar.
Rezolvare:
Canale
54
Informaia coninut ntr-o imagine, necesar a fi transmis, este:
6
2
6
pixel im
10 7 128 log 10 i N I bii/imagine (4.6.1)
La 128 de nivele de cuantizare este necesar un raport semnal-zgomot minim:
14 2
2 ) 128 ( (4.6.2)
pentru care rezult capacitile canalelor:
( ) 4 , 43 14 10 1 , 3 1 log B C
3
2 T T
+ kbii/sec
( ) 168 14 10 12 1 log B C
6
2 V V
+ Mbii/sec
( ) 14 14 10 1 log B C
6
2 O O
+ Gbii/sec (4.6.3)
Dac transmisiile s-ar face la aceste capaciti (debite de informaie) rezult timpii de transmisie:
sec 3 , 161
C
I
t
T
im
T

ms 7 , 41
C
I
t
V
im
V

ms 5 , 0
C
I
t
O
im
O
(4.6.4)
4.7. La ce raport semnal-zgomot minim s-ar putea transmite, n cele trei cazuri
din problema anterioar, imaginile cu viteza necesar de 25 imagini/sec?
Rezolvare:
Capacitatea cerut fiecrui canal este:
175 sec 1 / I 25
I
C
imag
imag
imag

Mbii/sec (4.7.1)
Aceast capacitate se poate obine la un raport semnal/zgomot:
1 2
B / C
sau (dac C>>B):
B
C
3
dB
(4.7.2)
Cunoscnd n fiecare caz banda disponibil avem c:
dB 169355
10 1 , 3
10 175
3
3
6
T
dB


Canale
55
dB 75 , 43
10 12
10 175
3
6
6
V
dB


dB 9 sau 129 , 0 1 2
O
dB
175 , 0 O
(4.7.3)
Obs.: Evident c un raport semnal-zgomot de 169355 dB este un rspuns non sens pentru practic.
4.8. Reprezentai secvena de date prezentat n figura de mai jos, pe rnd n
codurile NRZ, RZ, AMI i HDB3. Calculai componenta medie, n fiecare caz,
lund valoarea vrf la vrf a semnalului A.
Rspuns:
Component medie: NRZ - 11/25 A RZ - 11/50 A AMI - O HDB3 - 1/50 A
4.9. Desenai semnalele de linie n cod HDB3 pentru urmtoarele secvene de
date:
a) 10100100000000011110;
b) 00010010000100001001;
c) 10000110000011000011;
1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1
T
b
RZ
AMI
HDB3
NRZ
A
Canale
56
4.10. Care va fi semnalul de linie (L) dac la intrarea cifratorului din figur:
se aduce semnalul:
i=11101000000110000111...
Starea iniial a RDR este
1
1
1
]
1

0
0
1
S
0
.
Rspuns: 01010001011010101001.
C
3
C
2
C
1
+
+
i
L
57
Cap.5 Teste gril
5.1 Dac p(A) este probabilitatea de realizare a mesajului A, atunci informaia furnizat de producerea
sa , i(A), este:
a). lnA; *b). log
2
p(A); c). p(A) log
2
) (
1
A p
;
d). log
2
p(A); e). p(A)ln p(A).
5.2 Entropia unei surse este:
a). informaia medie transmis de surs n unitatea de timp;
b). informaia instantanee transmis de surs;
c). egal cu raportul dintre entropia maxim a sursei i redundana sa;
*d). egal cu produsul dintre entropia maxim i eficiena sursei;
e). nici o variant nu este corect.
5.3 Cantitatea de decizie a unei surse este:
a). informaia medie transmis de surs printr-un simbol al su, dac sursa este echiprobabil;
*b). egal cu entropia maxim a sursei;
c). egal cu produsul dintre entropia maxim i eficiena sursei;
d). informaia medie transmis de surs n unitatea de timp;
e). nici o variant nu e corect.
5.4 Care dintre scopurile de mai jos nu se realizeaz prin codare:
a). adaptarea naturii diferite a sursei la natura canalului;
*b). multiplexarea mai multor semnale purttoare de informaie n vederea transmiterii pe
acelai canal;
c). compresia sursei;
d). protejarea informaiei mpotriva perturbaiilor;
e). protejarea informaiei mpotriva receptorilor neautorizai (secretizarea).
5.5 Care dintre mrimile de mai jos reprezint criterii de fidelitate:
__________
1). eroarea medie ptratic: =[ ] ) ( ) ( t y t x
2
;
________
2). raportul semnal-zgomot: = y(t)
2
/u(t)
2
;
3). echivocaia;
a). doar 1).; b) 1). i 3).; c) 2) i 3).; d) toate trei; *e). 1) i 2)..
5.6 Care dintre mrimile de mai jos reprezint criterii de fidelitate:
1). eroarea medie H(Y/X) = -

=
n
i 1

=
m
j 1
p(x
i
,y
j
)log
2
p(y
j
/ x
i
);
_______
2). raportul semnal-zgomot: =y(t)
2
/u(t)
2
;
3). rata erorii (BER).
a). doar 1).; b). 1). i 3).; *c). 2) i 3).; d). toate trei; e). 1). i 2)..
58
5.7 O surs discret S este fr memorie dac:
*a). emisia unui simbol nu depinde de simbolurile anterior emise;
b). probabilitile diferitelor simboluri nu depind de originea timpului;
c). genereaz simboluri la o indicaie exterioar;
d). genereaz simbolurile cu o vitez fix;
e). nici un rspuns nu este corect;
5.8 O surs discret este cu debit necontrolat dac:
a). emisia unui simbol nu depinde de simbolurile anterior emise;
b). probabilitile diferitelor simboluri nu depind de originea timpului;
c). genereaz simboluri la o indicaie exterioar;
*d). genereaz simbolurile cu o vitez fix;
e). nici un rspuns nu este corect;
5.9 O surs discret S
n
este extensia unei surse de ordin n a sursei S dac:
a). emisia unui simbol nu depinde de simbolurile anterior emise;
b). probabilitile diferitelor simboluri nu depind de originea timpului;
c). genereaz simboluri la o indicaie exterioar;
d). genereaz simbolurile cu o vitez fix;
*e). nici un rspuns nu este corect;
5.10 Informaia obinut n urma realizrii evenimentului a, a crui anse de realizare sunt 100% este:
*a). zero; b). un bit; c). un bit/simbol; d). strict pozitiv; e). nici un rspuns nu e corect.
5.11 Relaiile ntre unitile de msur a informaiei sunt:
a). 1nit<1bit<1dit;
b). 1bit<1dit<1nit;
c). 1dit<1nit<1bit;
d). 1dit<1bit<1nit;
*e). 1bit<1nit<1dit.
5.12 Entropia unei surse de informaie:
a). reprezint incertitudinea medie ce exist apriori asupra emisiei;
b). reprezint informaia medie purtat de un simbol al sursei;
c). se calculeaz cu formula:
H(s)=

=
N
i 1
p(s
i
)i(s
i
), unde: s
i
i=1..N, -simbolurile sursei;
N -numrul de simboluri;
i(s
i
) -informaia furnizat de
simbolul s
i
;
p(s
i
)-probabilitatea de emisie a
lui s
i
;
*d). se msoar n bii/secund;
e). devine maxim dac sursa este echiprobabil.
Precizai rspunsul fals.
59
5.13 O SDFM , S, cu 32 de simboluri are entropia egal cu a unei surse echiprobabil cu 26 de
simboluri. Redundana sursei S este:
*a). 0,3 bit/simbol;
b). 0,3 bit/secund;
c). 4,7 bit/simbol;
d). 4,7 bit/secund;
e). 6%.
5.14 Precizai rspunsul fals. Entropia unei SDFM este:
a). dat prin formula:
H(S)=

=
N
i 1
p(s
i
)log
2
p(s
i
),unde: s
i
i=1..N, -simbolurile sursei;
N -numrul de simboluri;
p(s
i
) -probabilitatea de
emisie a lui s
i
;
b). msurat n bii/simbol;
*c). o funcie continu n raport cu fiecare variabil s
i
;
d). o funcie simetric n raport cu toate variabilele p(s
i
);
e). aditiv.
5.15 O surs de informaie are entropia numeric egal cu 3,7 iar redundana sursei este 5,3%. Sursa are
un numr de simboluri egale cu:
a). 13; *b). 15; c). 16; d). 9; e). 4.
5.16 Semnalele utilizate pentru transportul informaiei numerice sunt compuse din suite de semnale
elementare n timp, numite momente. Numrul de momente transmise n unitatea de timp este:
1). debitul de momente;
2). viteza de modulaie;
3). viteza telegrafic.
Rspunsurile corecte sunt:
a). 1); b). 2); c). 3); d). nici unul; *e). toate trei.
5.17 Precizai rspunsul fals. Debitul de informaie al unei surse de informaie este:
*a). msurat n bii/simbol;
b). msurat n bii/secund;
c). cantitatea medie de informaie generat de surs n unitatea de timp;
d). egal cu debitul de decizie, dac sursa este echiprobabil;
e). mai mic dect capacitatea canalului, la transmisiile n timp real.
5.18 Pentru un canal de transmisie discret, X={x
i
}
i=1..n
si Y={y
j
}
j=1..m
reprezint cmpurile de la
intrarea, respectiv ieirea din canal. Matricea de trecere P este o matrice avnd dimensiunile nxm i
conine probabiliti de forma:
a). p(x
i
)p(y
j
); b). p(x
i,
y
j
);
c). p(x
i
/y
j
); *d). p(y
j
/x
i,
);
e). nici un rspuns nu e corect.
60
5.19 Un canal este binar simetric dac:
a). p(0
E
)=P(1
E
);
b). p(0
E
/1
R
)=p(1
E
/0
R
);
*c). p(0
R
/1
E
)=p(1
R
/0
E
);
d). p(0
R
)=p(1
R
);
e). nici o variant nu e corect.
5.20 Un canal este binar simetric dac:
a). p(0
E
,0
R
)=p(0
E
,1
R
);
b). p(0
E
/0
R
)=p(1
E
/1
R
);
c). p(0
R
/1
E
)=p(1
R
/1
E
);
d). p(0
R
)=p(1
R
);
*e). nici o variant nu e corect.
5.21 Mrimea H(y)-H(y/x) pentru un canal binar este:
*a). transinformaia doar dac p(0
R
)=p(1
R
);
b). capacitatea canalului doar dac p(0
R
)=p(1
R
);
c). subunitar;
d). msurat n bii/simbol binar;
e). egal cu H(x)-H(x/y) dac p(0
R
)=p(1
R
);
Precizai rspunsul fals.
5.22 Mrimile mrginite superior de H(x) entropia cmpului de la intrarea n canal, sunt:
a). numai transinformaia;
b). eroarea medie i transinformaia;
c). echivocaia i eroarea medie;
*d). echivocaia i transinformaia;
e). echivocaia, eroarea medie i transinformaia.
5.23 Mrimile mrginite superior de H(Y) entropia cmpului de la ieirea din canal, sunt:
a). numai transinformaia;
*b). eroarea medie i transinformaia;
c). echivocaia i eroarea medie;
d). echivocaia si transinformaia;
e). echivocaia, eroarea medie i transinformaia.

5.24 Capacitatea canalului binar simetric avnd rata erorii BER=10
-2
este:
*a). 0,9192 bii/simbol binar;
b). 0,944 bii/simbol binar;
c). 0,944 bii/secund;
d). 0,9756 bii/secund;
e). 0,9192 bii/secund.
61
5.25 O SDFM avnd tabelul:
S=

25 , 0 2 , 0 4 , 0
d c b a
emite cte un simbol la fiecare milisecund. Debitul sursei este:
a). 1,9 kbii/simbol;
b). 1,3 kbii/secund;
c). 573 bii/secund;
*d). 1,9 kbii/secund;
e). 1,3 kbii/secund.
5.26 Care din expresiile de mai jos reprezint capacitatea unui canal de transmisiune analogic
(considerat ca un FTJ ideal avnd lrgimea de band B i raportul semnal-zgomot - zgomot
gaussian).
a) ( ) B 1 log C
2
+ = ;
*b) ( ) + = 1 log B C
2
;
c) ( ) + =
2
log 1 B C ;
d) ( ) + = 1 log B C
2
2
;
e) ( )
2
2
1 log B C + = ;
5.27 Fie S o surs discret cu memorie avnd graful din figura 1:
Figura.1
Sursa are memorie de:
a) un pas, deoarece orice tranziie se face ntre starea actual i starea viitoare;
b) doi pai, deoarece orice tranziie se face ntre dou stri;
*c) doi pai, deoarece fiecare stare este numit prin doi pai;
d) doi pai, deoarece din fiecare stare pleac dou ramuri;
e) patru pai, deoarece sunt patru stri.
5.28 Fie S o surs discret cu memorie avnd graful din figura 1. Ce anse sunt ca sursa S s emit un
zero dac secvena emis pn n prezent a fost: 10011?
a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%;
S
2
= 10 S
1
= 01
S
0
= 00
S
3
= 11
3/7
3/4
2/5
1/2
62
5.29 Sursa discret cu memorie, S, al crei graf este prezentat n figura 1, se gsete n stare S
2
. Care
este probabilitatea ca dup emisia a trei simboluri sursa s se gseasc n starea S
1
?
a) 3,125%;
b) 42,86%;
c) 18,37%;
*d) 21,5%;
e) 46%;
5.30 Fie S
n
extensia sursei discrete i fr memorie, S. Entropia sursei S
n
, notat H(S
n
), se calculeaz
funcie de entropia sursei S, notat H(S), dup relaia:
*a) H(S
n
)=nH(S);
b) H(S
n
)=(H(S))
n
;
c) H(S
n
)=H(S);
d) H(S
n
)=H(S)log
2
n;
e) nici o variant nu este corect.
5.31 Eficiena unei surse discrete fr memorie, avnd 20 simboluri echiprobabile, ce s-a codat cu un
cod binar bloc, este:
a) ; 20 log
5
1
2
*b) 100%;
c) ; 20 log / 5
2
d) ; 20 log / 4
2
e) nici o variant nu este corect.
5.32 O SFDM avnd 20 simboluri echiprobabile se codeaz binar bloc. Eficiena codrii este:
*a) ; 20 log
5
1
2
b) 100%;
c) ; 20 log / 5
2
d) ; 20 log / 4
2
e) nici o variant nu este corect.
5.33 Teorema de existen a codurilor instantanee se exprim prin inegalitatea:
1 m
M
1 i
n
i

(care reprezint condiia necesar i suficient de existen a codurilor instantanee).


n relaia de mai sus, se reprezint numrul de simboluri:
a) de control;
b) de informaia;
c) ale sursei de informaie;
*d) ale alfabetului codului;
e) nici o variant nu este corect.
63
5.34 Teorema de existen a codurilor instantanee se exprim prin inegalitatea:
1 m
M
1 i
n
i

(care reprezint condiia necesar i suficient de existen a codurilor instantanee).


n relaia de mai sus, M reprezint numrul de simboluri:
a) de control;
b) de informaia;
*c) ale sursei de informaie;
d) ale alfabetului codului;
e) nici o variant nu este corect.
5.35. Teorema I-a a lui Shannon (teorema codrii surselor pentru transmitere pe canale fr perturbaii).
a) afirm c poate fi fcut o codare absolut optimal;
*b) se adreseaz doar codrii surselor cu probabilitile simbolurilor de forma:
( ) N n cu m S p
i
n
i
i
=

c) nu precizeaz procedee de codare;
d) are n vedere o codare pe grupe de n simboluri a sursei, cu n.
e) este valabil i pentru coduri ternare.
Precizai rspunsul fals.
5.36 Un cod absolut optimal:
a) are eficien 100%;
b) se poate obine pentru surse la care probabilitile simbolurilor sunt de forma
( ) N n cu m S p
i
n
i
i
=

;
c) pentru o surs oarecare este doar o limit teoretic;
*d) nu poate fi obinut, indiferent de surs, printr-o codare simbol cu simbol;
e) are lungimea medie a cuvintelor egal cu entropia sursei ce o codeaz.
Precizai rspunsul fals.
5.37 Un cod optimal:
a) Se poate obine prin algoritmul Huffman static?
b) are eficiena subunitar;
c) este un cod bloc dac N=2
k
- numrul de cuvinte de cod;
d) este un cod bloc dac N=2
k
- numrul de simboluri ale sursei codate;
*e) este neaprat un cod binar.
Precizai rspunsul fals.
5.38 Algoritmul de codare Huffman static:
*a) conduce la un cod absolut optimal,
b) conduce la un cod de eficien maxim posibil;
c) presupune ordonare descresctoare a simbolurilor sursei dup probabiliti;
d) se poate aplica i surselor echiprobabile;
e) se poate aplica i la coduri nebinare.
Precizai rspunsul fals.
64
5.39 Algoritmii de compresie realizeaz micorarea:
a) cantitii de informaie coninut ntr-un anumit mesaj;
*b) spaiului ocupat de un mesaj;
c) debitului de informaie la o transmisie;
d) vitezei de transmitere a informaiei;
e) nici o variant nu este corect.
5.40 Algoritmul de compresie Huffman dinamic:
a) realizeaz o compresie superioar celui static;
b) necesit cunoaterea statisticii a sursei date;
c) presupune modificarea codului dup transmiterea fiecrui simbol;
d) realizeaz o codare pe grupe de n simboluri, cu n;
*e) nici o variant nu este corect.
5.41 Suma cifrelor mesajului VARZA, cifrat cu cifrul lui Polybius este:
a) 20, b) 25; *c) 26; d) 28; e) nici un rspuns nu este corect.
5.42 Suma cifrelor mesajului DOVLEAC cifrat cu cifrul lui Polybius este:
a) 26; b) 28; c) 31; *d) 34; e) 39.
5.43 Aflai rspunsul la ntrebare descifrnd mesajul EQDVYXLQ:
a) 1

; b) 2

; *c) 3

; d) 4

; e) 5

;
5.44 Aflai rspunsul la ntrebare descifrnd mesajul DOGRLOHD:
a) 1

; *b) 2

; c) 3

; d) 4

; e) 5

;
5.45 Aflai rspunsul la ntrebare descifrnd mesajul ECWE IK HACKKU:
a) de la 1 la 6; b) de la 7 la 12; c) de la 13 la 18; d)de la 19 la 24; e)de la 25 la 31;
5.46 O surs de informaie discret i fr de memorie se codeaz cu un cod binar bloc de eficien
maxim posibil. Ct trebuie s fie lungimea cuvintelor codului bloc dac sursa are 15 simbolurilor?
a) 3 bii; *b) 4 bii; c) 15 bii; d) 16 bii; e) nici o variant nu este corect.
5.47 Codnd prin algoritmul Huffman static o surs de informaie oarecare cu 15 simboluri, lungimea
maxim a cuvintelor codului ar putea fi (se are n vedere toate sursele posibile cu 15 simboluri).
a) 4 bii; *b) 14 bii; c) 15 bii; d) 16 bii; e) nici o variant nu este corect.
5.48 Codnd prin algoritmul Huffman static o surs de informaie oarecare cu 15 simboluri, lungimea
cea mai mic dintre cuvintele codului ar putea fi (se are n vedere toate sursele posibile cu 15
simboluri).
a) 4 bii; b) 14 bii; c) 3 bii; d) 2 bii; *e) 1 bit.
65
5.49 Sursa de informaie text TEORIA TRANSMITERII INFORMATIEI se codeaz binar bloc.
Lungimea medie a cuvintelor codului este:
a) 3,1 bii/secund;
b) 2,15 bii/secund;
c) 4 bii/secund;
d) 10 bii/secund;
*e) nici o variant nu este corect.
5.50 Sursa de informaie text TEORIA TRANSMITERII INFORMATIEI se codeaz cu un cod de
eficien maxim posibil (codare simbol cu simbol ). Lungimea medie a cuvintelor codului este:
*a) 3,1 bii/simbol;
b) 2,15 bii/simbol;
c) 4 bii/simbol;
d) 10 bii/simbol;
e) nici o variant nu este corect.