LUCRAREA 1 ANALIZA EXPERIMENTAL ENTROPIC A SURSELOR DE INFORMAIE

1. OBIECTIVELE LUCRRII
Obiectivele lucrrii sunt urmtoarele: - simularea unei surse de informaie folosind tehnica de calcul; - evaluarea entropic a sursei de informaie simulate prin tehnici software.

2. BREVIAR TEORETIC
O surs de informaie discret este caracterizat de un numr n (uzual finit) de stri observabile i de un vector de probabiliti asociate p ! p" p# $ pn% ; sursa se poate &si 'ntr-o anumit stare ( cu o anumit probabilitate p(. )ituarea sursei 'n una sau alta dintre stri reprezint* 'n termeni de teoria probabilitilor* un sistem complet de evenimente mutual incompatibile (sursa nu se poate afla 'n acelai timp 'n doua stri) a cror reuniune este evenimentul si&ur (sursa se afl 'ntr-una din stri). +n aceste condiii* suma probabilitilor asociate celor n stri este e&al cu unitatea:

p( =" .
(= "

(".") O surs de informaie emite uzual un anumit simbol odat cu ocuparea unei noi stri. )imbolul respectiv este purttor de informaie. ,nformaia asociat fiecrui simbol-stare este dat de relaia:

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

B (".#)

,(()

lo& #(p()

(i se msoar 'n bii). ,nformaia asociat unui simbol este cu at9t mai mare cu c9t probabilitatea asociat este mai mic. O surs pentru care probabilitile de ocupare a oricreia dintre stri nu depind de starea (strile) ocupat (ocupate) anterior este o surs fr memorie. O surs care nu 'ndeplinete aceast condiie este* dimpotriv* o surs cu memorie. :entru sursele cu memorie probabilitile p( sunt 'nlocuite 'n cazul cel mai simplu de probabilitile condiionate p(-; 'n care al doilea indice j reprezint starea anterioar strii k. 2ai &eneral* probabilitatea ca sursa s fie la un moment dat 'n starea k poate fi condiionat de mai multe stri ocupate anterior. O surs de informaie fr memorie este caracterizat de informaia medie &enerat:
< = p( lo&# (p( )
(= " n

(".=) numit i entrop e a sursei. +n relaia de calcul a entropiei x lo&(x) ori de c9te ori x >. >

?azul mai complicat* dar foarte frecvent 'n realitate* al surselor de informaie pentru care probabilitatea de producere a unui simbol depinde de secvena emis - produs anterior este modelat suficient de e@act de !e"#en$e%e M&r'o# !t&$ on&re care au urmtoarele caracteristici: - sursa se afl 'n una din cele n stri posibile 1,2,n la 'nceputul fiecrui interval elementar de emitere a unui simbol; - c9nd sursa trece din starea i 'n starea j* se emite un simbol care depinde de starea i i de tranziia ij; - dac s "* s#* $*sm sunt simbolurile alfabetului sursei i x1, x2 ,..., xk, este secvena variabilelor aleatoare emise de surs* probabilitatea ca @( s fie simbolul sA este condiionat de cele k-1 simboluri emise anterior p( @( sA - @"* @# *...*@(-" ) ;

G - influena rezidual a simbolurilor x1, x2 ,...,xk-1 este reprezentat prin starea sistemului la 'nceputul intervalului k* notat s(. p( @( sA - @"* @# *...*@(-" ) p( @( sA - s();

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

- la 'nceputul primului interval de emisie* sistemul se afl 'n una din cele n stri posibile cu probabilitile p"(")* p#(")*$* pn(");

p(") =";
i ="

- dac p ;(() este probabilitatea ca sistemul s fie 'n starea ; la 'nceputul intervalului k* atunci o tranziie a sistemului se reprezint prin:

p ; (( +") = pi (( ) pi .
i= "

(".C) S(r!e%e M&r'o# ) !"rete se reprezint prin &rafuri orientate cu arce de Dcapaciti E e&ale cu probabilitile tranziiilor asociate. 0ceste probabiliti* ca i &raful 'nsui* se pot reprezenta i sub form matricial. 4ste dat mai ;os cazul relativ simplu al unei surse cu patru stri 6 fi&ura ".".
>.H m" >.# >.F m# >.F m= >.G Ii&. ".". )urs 2ar(ov cu patru stri >.F >.= mC
>.H >.> = >.> >.F > .# > .> > .> > .F >.> >.F >.G >.> > .> > .F >.= > .>

>.F

Ap% "&$ e )e consider o surs de informaie av9nd ca model un proces 2ar(ov aleator* er&odic i discret* cu &raful asociat prezentat 'n fi&ura ".#.

H )e cere s se calculeze entropia sursei i informaia medie pe simbol coninut 'n mesa;e de "* # i = simboluri.

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

?
"-C

=-C

"

=-C

"-C

?
Ii&. ".#. Jraful asociat sursei de informaie

+n tabelul "." sunt ilustrate probabilitile de apariie ale tuturor mesa;elor de lun&imi de " simbol* # simboluri i = simboluri.
.abelul ".".

Me!&*e )e %(n+ ,e 1 0 (=-H) 8 (=-H) ? ("-C)

Me!&*e )e %(n+ ,e 2 00 (K-=#) 0? (=-=#) ?? (#-=#) ?8 (=-=#) ?0 (=-=#) 8? (=-=#) 88 (K-=#)

Me!&*e )e %(n+ ,e 000 (#G-"#H) 00? (K-"#H) 0?? (=-"#H) 0?8 (K-"#H) ??0 (=-"#H) ??? (#-"#H) ?8? (=-"#H) ?88 (K-"#H) ?00 (K-"#H) ?0? (=-"#H) ??8 (=-"#H) 8?0 (K-"#H) 8?? (=-"#H) 88? (K-"#H) 888 (#G-"#H)

)e calculeaz: <" <# "-C lo& "-C L=-C lo& =-C >*H""= bit - simbol; < "-# <" L "-# <# >*H""= bit - simbol;

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

?alcul9nd informaia medie coninut 'n cele apte mesa;e de dou simboluri* se obine: , (00) , (88) "*H=; , (8?) , (0?) , (?8) , (?0) =*C"F bii. :onder9nd aceast informaie cu probabilitile corespunztoare* se obine valoarea de #*FFKH bii. /ezult deci informaiile medii pe simbol* respectiv "*FB"# bit - simbol; "*#GKK bit - simbol; "*>KG bit simbol. O surs de informaie poate fi creat prin utilizarea funciei de &enerare a numerelor (pseudo)aleatoare uniform repartizate* e@istent 'n biblioteca asociat oricrui limba; de pro&ramare. +n particular* pentru limba;ul PASCAL. funcia se numete r&n)o,. Iuncia fr ar&ument &enereaz numere aleatore de tip real cuprinse 'ntre > i "* iar cu ar&ument ('ntre& de tip word) &enereaz numere 'ntre&i nene&ative* strict mai mici dec9t ar&umentul. )e &enereaz un numr relativ mare de numere (pseudo)aleatoare* de pild c9teva mii sau zeci de mii* i se studiaz frecvena de apariie a valorilor 'ntre&i 'n cazul utilizrii funciei r&n)o, cu ar&ument* sau frecvenele asociate unor subintervale ale intervalului (>* ") de e&al 'ntindere 'n cazul folosirii aceleiai funcii fr ar&ument. )e calculeaz frecvenele relative i se compar cu probabilitile teoretice. )e evalueaz entropiile utiliz9nd at9t probabilitile c9t i frecvenele relative. )e compar rezultatele. )e 'mparte intervalul (>* ") 'n subintervale de 'ntindere diferit* de pild proporionale cu n numere &enerate cu funcia r&n)o,/101. )e realizeaz studiul frecvenelor relative 'ntocmai ca 'n para&raful precedent i se compar cu probabilitile teoretice. )e calculeaz entropiile sursei pe baza probabilitilor teoretice i utiliz9nd frecvenele relative.

"> )e compar rezultatele obinute* se compar valorile din cazul subintervalelor e&ale cu cel al subintervalelor ine&ale. )e propune pentru acest ultim punct urmtoarea secven PASCAL /P11: randomize; sumaa: >; 2or i: " to n )o 3e+ n a!i%: random(">); sumaa: sumaaLa!i% en); c!>%: >.>; 2or i: " to n )o 3e+ n b!i%: a!i%-sumaa; c!i%: c!i-"%Lb!i%; f!i%: > en); 2or (: " to ">>>> )o 3e+ n r: random; 2or i: " to n )o 2 ( r Mc!i-"% ) &n) ( r N c!i% ) t4en f!i%: f!i%L" en); 2or i: " to n )o fr!i%: fr!i% -">>>>; Onotaii principale: a 6 secven de n numere aleatoare; b 6 lr&imea subintervalelor intervalului (>* "); c 6 coordonatele care marcheaz diviziunea intervalului (>* "); f* fr 6 frecvenele absolute i relative asociate subintervalelor 3esi&ur* secvena trebuie completat cu declaraiile de variabile necesare* etc. )ecvena poate fi 'mbuntit* poate fi tradus 'n alt limba; de pro&ramare. 4valurile pentru o !(r!5 re&%5 se conduc conform recomandrilor care urmeaz. )e consider operaia de lectur bPte cu bPte a coninutului unui fiier la ale&ere. Iiierul poate fi considerat o surs discret de informaie cu #FB de stri. 0simil9nd frecvenele relative cu probabilitile de apariie ale bPtesilor (ceea ce pentru fiiere voluminoase este aproape adevrat deoarece frecvenele relative tind D'n probabilitateE ctre probabilitile de apariie la lectur a diverilor bPtes-i* pe msur ce numrul de observaii asupra sursei crete )* se poate calcula entropia fiierului luat ca surs de informaie discret &eneratoare de bPtes-i. /epet9nd operaia pentru fiiere de diverse tipuri (te@t* e@ecutabile* de date numerice* etc.) se pot face comparaii 'ntre rezultatele obinute.

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

"" :entru cel mai frecvent bPte dintr-un fiier din cele selectate se poate face un studiu al frecvenelor de apariie 'n funcie de bPte-ul anterior. )e apreciaz pentru fiierul 'n cauz calitatea de surs de informaie cu sau fr memorie.

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

)e propune urmtoarea secven PASCAL /P21 pentru evaluarea entropic a sursei 6 fiier tratat ca surs fr memorie: assi&n (fis* fiser); reset(fis); 2or i: > to #FF )o f!i%: >; 64 %e not eof(fis) )o 3e+ n read(fis* b); f!b%: f!b%L" en); close(fis); sumaf: >; 2or i: > to #FF )o sumaf: sumafLf!i%; 2or i: > to #FF )o fr!i%: f!i%-sumaf; h: >.>; 2or i: > to #FF )o h: h-fr!i%Qln(fr!i%)-ln(#.>); Onotaii principale: b 6 bPte-ul curent citit; f* fr 6 frecvenele absolute i relative asociate bPte-ilor; h - enropiaR :entru aprecierea caracterului de surs cu sau fr memorie a fiierului 'n studiu se recomand urmtoarea secven PASCAL/P-1: assi&n (fis* fiser); reset(fis); 2or i: > to #FF )o f!i%: >; 64 %e not eof(fis) )o 3e+ n read(fis* b); f!b%: f!b%L" en); close(fis); ma@f: >; 2or i: > to #FF )o 2 ma@fr Nf!i% t4en 3e+ n ma@f: f!i%; (: , en); assi&n (fis* fiser); reset(fis); 2or i: > to #FF )o f!i%: >; read(fis* ba); 64 %e not eof(fis) )o 3e+ n read(fis* b); 2 b ( t4en f!ba%: f!ba%L"; ba: b; en); close(fis); sumaf: >;

./01)2,),0 30.45O/ 6 +13/720/ 34 508O/0.O/

"#

2or i: > to #FF )o sumaf: sumafLf!i%; 2or i: > to #FF )o fr!i%: f!i%-sumaf; Onotaii principale: b 6 bPte-ul curent citit; ba 6 bPte-ul citit anterior; ( 6 bPte-ul cel mai frecvent; f* fr 6 frecvenele absolute i relative asociate bPtes-ilor sau tranziiei de la un bPte oarecare la bPte-ul (R

-. MOD DE LUCRU
- se completeaz secvenele de pro&ram propuse :"* :#* := cu declaraiile i celelalte elemente de pro&ram necesare; - se elaboreaz un pro&ram care s calculeze frecvenele de apariie absolute i relative ale celor #FB bPtes din sursa real prezentat la punctul = i se construiete histo&rama corespunztoare; - se pornete sistemul de calcul; - se intr 'n subdirectorul de lucru al &rupei; - se lanseaz mediul de pro&ramare; - se introduc secvenele completate de pro&rame :"* :# i :=; - se compileaz* se lin(editeaz i se lanseaz 'n e@ecuie; - se realizeaz* pentru fiecare din cele trei pro&rame* analiza conform celor prezentate la punctul =; - se introduce pro&ramul elaborat de studeni; - se compileaz* se lin(editeaz i se lanseaz 'n e@ecuie; 5ucrarea se consider 'ncheiat c9nd toate pro&ramele sunt funcionale.

7. C8ESTIUNI DE STUDIAT
- ?e este o surs de informaieS - ?are este le&tura dintre informaia asociat unui simbol i probabilitatea de apariie a acelui simbolS - ?e este o surs fr memorieS 3ar o surs cu memorieS :rezentai caracteristicile acestora. - O surs emite o frecven independent de simboluri dintr-un alfabet de ase simboluri 2* 1* O* :* /* ) cu probabilitile "-C* "-C* "-H* "-H* =-"B* "-"B. )e cere entropia sursei i informaia medie pe simbol coninut 'n mesa;e de # simboluri.