Tema Seminar

Teoria Transmisiunii Informaie

Anul II B, semestrul I, 2014/2015.
Titular de disciplin: Prof. Dr. ing. Adriana VLAD
Titular de aplicaii: S.l. Dr..Ing. Mdlin Frunzete

Problema I. ntr-o urn se gsesc 3 monede, ( x1 , x 2 , x 3 ) , perfect echilibrate (apar la fel de probabil
ambele fee ale monedei) i inscriptionate cu 0 i 1 astfel: x1 : 0 | 1 , x 2 : 0 | 1 si x3 : 1 | 1 . Se alege la
intmplare, fr nici o preferin, o mened xi i se arunc de dou ori succesiv notndu-se suma
rezultata n urma aruncrilor (Indicaie: sumele notate cu y j vor fi egale cu 0, 1 sau 2). Se cere:
1. Sa se reprezinte grafic canalul de informaie asociat experimentului i s se scrie matricea de
zgomot.
2. Calculai urmtoarele mrimi: H (X ) , H (Y ) , H (Y / x i ) , H (Y / X ) , echivocaia i transinformaia.
3. Scriei regula optim de decizie (denumire, relaie, decizie propriu-zis). Calculai probabilitatea
de eroare.
4. Calculati i( x3, y3 ) , i( x1, y3) si i( x2 , y3) . Comentati rezultatele.
5. Simulai software canalul de informaie i msurai experimental probabilitile aposteriori
p ( xi / y j ) . Evaluati (separat pentru fiecare simbol de la iesire) probabilitatea de eroare
experimental, de tip P( E / y j ) , pentru regula aleas la punctul 3.

Problema II. Fie sursa S fr memorie: S {s1 , s2 , s3 , s4 , s5 , s6 } cu probabilitiile simbolurilor

P ( S ) {1 / 4;1 / 4;1 / 4; q1 ; q 2 ; q3 } .
1. Alegei q i astfel nct s se poat coda binar absolut optimal. n aceast situaie calculai entropia sursei

H (S ), redundana sursei, RS i redundana relativ, S a sursei. Pentru codul binar construit calculai
lungimea medie l i eficiena . Avei mai multe soluii pentru probabilitiile qi ?
2. Pentru cazul n care probabilitiile q1 q2 q3 , calculai entropia sursei H (S ), redundana sursei RS
i redundana relativa a sursei S .
a) S se construiasca un cod binar simbol cu simbol dup algoritmul folosit n demonstraia teoremei I a lui
Shannon, conform relaiei:

log 2

1
1
li* log 2
1
p( si )
p( si )

(*)

unde l i* este lungimea cuvantului de cod asociat simbolului s i al sursei S . S se calculeze lungimea
medie, l* i eficiena codului, * pentru codul obinut conform relaiei (*).
b) S se construiasca un cod binar simbol cu simbol dup metoda Huffman. S se calculeze lungimea
medie, l H i eficiena codului, H . Comentai rezultatele n comparaie cu cele obinute la punctul a).
c) S se formuleze teorema I a lui Shannon pentru cazul codului binar i sursa S dat.
3. Fie sursa binar S {0, 1} . Simbolurile sursei sunt emise cu probabilitiile p 0 i p1 . Simulai sursa de
mesaje binare i evideniai noiunea de ir tipic. Se vor considera pe rnd cazurile: i) p 0 0.2 ;
ii) p 0 0.4 i iii) p 0 (0.25 ; 0.35) . Pentru cele trei situaii, construii un cod binar optimal pentru
extensia de ordinul 2 a sursei S i evideniai experimental rolul redundanei n eficiena codului construit.

Obs. Toate mrimile care intervin vor fi definite i toate afirmaiile vor fi justificate