Partial – TTI

Exemplu detereminare probabilitati

Mesaj= „FRUNZETEMADALIN”
Lungimea mesajului este L M =15. Se imparte mesajul in blocuri de lungime 5 si se calculeaza
probabilitatea pentru „vocala” si „consoana” in fiecare grup:

2
q 1= p ( vocala )=
DRAGO 5
3
q 2= p ( consoana ) =
5
2
q 3= p ( vocala )=
MIRIC 5
3
q 4= p ( consoana )=
5
3
q 5= p ( vocala )=
ACATA 5
2
q 6= p ( consoana ) =
5

Se deduc probabilitatile:

q 1+ q4 q 2+ q5 q 3+ q6
p1= =1/3 p2 = p3=
3 3 3

Daca

L M <15

Se va realiza o repetitie a mesajului pana se va atinge lungimea 15.

Exemplu: Mesaj = „POPANCA”

Va rezulta Mesaj = „POPANCAPOPANCAP”

Daca

L M >15

Se va realiza o trunchiere a mesajului la lungimea 15.

Exemplu: Mesaj = „PROTOPOPESCUPACHE”

Va rezulta Mesaj = „PROTOPOPESCUPAC”

RC=rezolvare completa

RH=rezolvare pe hartie

RI=rezolvare incompleta
Problema 1. Fie canalul discret, fara memorie, descris de matricea de zgomot de mai jos si o
sursa de informatie X , fara memorie, avand trei simboluri cu probabilitatile
p ( x 1 ) = p 1 ; p ( x 2 ) = p 2 ; p ( x3 ) = p 3 .
p( y j /x i ) y 1 y 2 y3
x1 q1 q 2 a
x2 b q3 q4
x3 q5 c q 6

Se cere:
1. Sa se reprezinte graful de tranzitie corespunzator canalului de informatie descris de matricea
de zgomot. (0.5p)

2. Calculati entropia si redundanta relativa pentru sursa X. (1p)

RH

H ( X )=¿1.56

ρ X =¿0.015

3. Calculati entropia si redundanta relativa a sursei Y. (1p)

RH

H ( Y )=¿1.578

ρY =¿ 0.0044

4. Calculati H (Y / x i), H (Y / X ), echivocatia si transinformatia. (2p)

RH

H (Y / x 1) 0.97
H (Y / x 2) 0.97
H (Y / x 3) 0.97
H (Y / X ) 0.97
Echivocatia 0.952
 Transinformatia 0.608

5. Stabiliti si justificati valoarea de adevar a urmatoarelor afirmatii, fara a folosi rezultatele

numerice anterioare:

a. H (Y )< H (Y / X ); FALS (0.75p)

b. H (Y / x i) ≥ 1 bit ADEVARAT (1p)

Deaoarece in matricea de zgomot probabilitatile pe linie nu sunt egale pentru simbolurile

existente

c. H (X /Y )< H ( X); ADEVARAT (0.75p)

d. H ( Y )> 1.5 biti; FALS (1p)

6. Scrieti regula optima de decizie (relatie de calcul, decizie, probabilitatea de eroare, ce

inseamna optim?). Comentati.
Scrieti explicit toate deciziile si calculati probabilitatea de eroare. (2p)
RH

Regula optima de decizie este regula probabilitatii aposteriori maxime

Problema 2. Fie sursa S={s 1 , s2 , s 3 , s 4 . s5 , s 6 } cu probabilitatile asociate p ( s i )=qi /3. Se cer:
1. Codati optimal sursa S. Descrieti metoda de codare si calculati lungimea medie si eficienta
codului.
Codul construit este un cod unic decodabil?
Dar instantaneu? Justificare.
a. Codati binar (1.5p)
RH

S pi li ci
s1 2/15 3 100
s2 3/15 2 00
s3 2/15 3 111
s4 3/15 2 01
s5 3/15 3 101
s6 2/15 3 110

ĺ a=¿39/15
ηa =¿0.33

b. Codati ternar (1.5p)

c. RH

S pi li ci
s1 2/15 3 212
s2 3/15 2 11
s3 2/15 3 222
s4 3/15 2 12
s5 3/15 3 210
s6 2/15 3 221
 ĺ b=¿39/15
ηb =¿

d. Codati optimal folosind lungime fixa (alfabetul de codare ales are lungimea egala cu nr
de vocale primele 6 litere ale NUMELUI) (1p)
Exemplu: NUMELE = frunzete  se va realiza codare binara

S pi li ci
s1
s2
s3
s4
s5
s6

ĺ c =¿
ηc =¿

2. Stabiliti si justificati valoarea de adevar a urmatoarelor afirmatii, fara a folosi rezultatele

numerice obtinute anterior:

a) Extensia de ordinul 3 a sursei S are 256 simboluri; ADEVARAT / FALS (1p)

b) 0< H ( S 3)<3 H (S); ADEVARAT / FALS (1p)

c) 2 H (S )< l2 <2 H ( S)+1
unde l 2 este lungimea medie a codului binar optimal corespunzator extensiei de ordinul 2 a
sursei S. ADEVARAT / FALS (1p)

d) ĺ c > ĺ a ADEVARAT / FALS (1p)

3. Enuntati teorema I a lui Shannon pentru sursa S3 (extensia de ordinul 3 a sursei S) data si cod
binar. Comentati necesitatea alegerii unui ordin superior pentru extensia sursei in cazul
corespunzator rezultatului numeric obtinut la codarea efectuata in punctul 1a
(2p)