Academia Tehnic Militar

Proiect Teoria Informaiei

Codarea uniform
Stud. Sg Dobrescu Adrian
Prof. coordonator :
Grupa E113-A
Slt. Radu Anca
1
1. Codificare evenimentelor static independente
generate de o surs cu debit fix
Metoda de codificare analizat pentru sursele sta ionare cu debit comandat se refer la
sursa cu debit controlabil, adic la surse, la care momentele generrii evenimentelor pot fi
modificate de coderul sursei. ns aceasta metod de codificare nu poate fi folosit n cazul
surselor care genereaz evenimentele cu vitez fix.
Dificultatea de neadaptare ntre viteza de func ionare a sursei si a coderului sursei care
apare in acest caz se poate explica astfel: mpar im irul de evenimente n mesaje compuse dintr-
un numr fix

de evenimente i apoi se executa codificarea fiecrui mesaj posibil,

corespunzndu-I o combina ie de cod de lungime aproximativ egal cu informa ia proprie a
mesajului mpr it la logD capacitatea de transimitere a alfabetului de cod (fiecare semnal din
alfabetul codului con ine maxim bi i de informa ie). Dac presupunem c coderul sursei
transimte fiecare simbol cu o vitez constant, rezult c timpul necesar pentru transmiterea unui
mesaj oarecare este aproximativ propor ional cu informa ia proprie a mesajului. S-ar putea utliza
aceast metod de codificare i n cazul surselor cu debit fix, dar atunci viteza fix a coderului
sursei ar trebui stabilit n a a fel ca n timpul pn cnd sursa genereaza un mesaj, coderul s
poat genera combina ia de cod cea mai lunga. Lucrand cu o asemenea vitez, pentru coder
rezult c, capacitatea de transmisie a alfabetului de cod nu va fi folosit n intervalele de timp
dintre dou mesaje mai scurte. La prima vedere se pare c aceast diferen de viteza s-ar putea
compensa cu ajutorul unui registru de memorie, dar se poate arta c orice memorie finit se
suprasatureaz cu probabilitatea 1.
De exemplu , o surs genereaz evenimente cu viteza v=1 mesaj/sec, dar cu informa ii
proprii diferite (deci cu probabilita i diferite), iar coderul sursei, conform figurii, lucreaz cu o
vitez fix, dar de trei ori mai mare dect viteza de generare a sursei, R=3v. Dac coderul ar
codifica ca in cazul surselor sta ionare cu debit comandat, combina iile de cod ar fi neegale, deci
intervalele de timp necesare pentru transmiterea lor ar fi neegale. Dac presupunem c n 3
secunde s-au generat 3 mesaje pe care coderul le codific cu combina ii de cod de lungime de 6
simboluri, 2 simboluri i 4 simboluri, reiese c n cele 3 secunde, coderul nu reu e te sa transmit
2
combina iile de cod, de i R=3 simboluri pe secund. n acest caz concret coderul ar trebui sa
lucreze cu viteza medie de 4 simboluri/secund. Pentru a evita aceste neajunsuri vom folosi o
nou metod de codificare adecvat pentru surse cu debit fix.
1.1 Formularea Problemei
S presupunem ca din nou mpr im irul de evenimente generate de surs n mesaje
compuse dintr-um numr fix de evenimente.
1 2 1 2 2 2 1
| , ,..., | , ,..., | ,... SURSA


+ + +

Pentru codificarea mesajelor utilizm un cod uniform, adic codificm mesajele posibile
cu combina ii de cod de lungimi egale, care se pot transmite n acela i interval de timp. Dac
fiecare mesaj con ine

evenimente i fiecare eveniment poate fi unul din cele L litere diferite,
atunci numrul de mesaje posibile este
L

. A adar, dac fiecare mesaj va avea o combina ie de

cod,
n

lungimea combina iilor de cod trebuie s satisfac rela ia:

n
D L

,
de unde se ob ine
log
log
L
n
D

,
adic, numrul de simboluri pe mesaje generate de coderul sursei nu poate fi mai mic dect
numrul de evenimente n mesaj, nmul it cu raportul dintre capacita ile de transmisie ale celor
dou alfabete. Astfel, coderul face doar o simpl transformare dintr-un alfabet n altul, far vreo
mic orare a numrului de simboluri pe mesaje.
De exemplu, dac L={ , } i
3
, sursa poate sa genereze
3
2 8 L

evenimente
diferite.
Dac coderul are D={0,1}, lungimea combina iei de cod trebuie s fie
3 n

i vor fi 8
combina ii de cod, ce se vor asocia la cele 8 evenimente posibile.
n mod similar, n cazul teleimprimatorului la care sursa are L=32 simboluri (26 litere + 6
semne speciale), codificnd o liter a sursei,
1
, n semnale binare (D=2), trebuie s avem
3
5 n

simboluri binare/liter de surs, pentru a satisface
log
log
L
n
D

condi ie pe baza creia s-
au realizat aceste aparate.
Este evident c nici o codificare eficient nu se va realiza dac combina ii de cod de aceea i
lungime vor fi asociate la toate mesajele posibile. Codificarea eficient este posibil dac
combina iile de cod de acee i lungime se asociaz tuturor mesajelor, cu excep ia unei submul imi
de m
2. Surse ergodice
Formularea precis a condi iilor de ergodicitate a sursei depa e te cadrul expunerii noastre.
Totu i , prin exemplul urmtor de surs sta ionar neergodic va fi ilustrat deosebirea principal
dintre sursele ergodice i neergodice.
Sursa analizat se define te astfel. Fiecare mesaj creat de surs poate fi una din cele patru
litere i
4
a
. Distribu ia probabilita ilor este acee i pentru to i i N i uniform pe toate cele
patru litere, adic
;
Distribu ia condi ionat a probabilita ilor dat de ;
Tabel 1. Distribu ia condi ionat a probabilit ilor

1
1 i
P

,

pentru to i . Distribu iile condi ionate ale probabilit ilor de ordine mai mari sunt date de rela ia:
4
0 0
0 0
0 0 1/4 3/4
0 0 3/4 1/4
1 1
1 2 1
, ,...,
i i i j i
P P



_
_

,
,
Pentru
1 j >
.
Cu alte cuvinte, distribu iile condi ionate ale probabilit ilor pentru depind nemijlocit doar
de evenimentul anterior, dac acest eveniment este determinat.
Sursa este sta ionar, ntruct toate distribu iile prababilit ilor nu depind de i. Ne putem
convinge u or c egalit ile anterioare sunt compatibile n sensul c
1
1
1
( ) ( )
i
i
i i
A
i
P P P

S presupunem c succesiunea la ie irea sursei se mparte n mesaje succesive, fiecare

fiind format din dou evenimente alturate. Distribu ia probabilit ilor pentru aceste mesaje are,
n acest caz, forma:
i desigur nu depinde de i. Astfel, valorile probabilit ilor mesajelor se ob in prin nmul irea
elementelor matricei mai sus men ionat cu 1/ 4 . Corespunztor acesui lucru, informa ia proprie
a mesajelor are urmtoarele trei valori posibile:
2 2 2
1 1 3
log 3, log 4, log 2, 415
8 16 8

Care apar cu probabilit ile
P(3)=1/2, P(4)=1/8, P(2,415)=3/8
n acest caz entropia ansamblului de mesaje este:
.
S analizm acum succesiunile care pot fi generate de surs. Din egalitatea redat de
tabelul de mai sus este limpede c exist dou tipuri de succesiuni posibile i anume: succesiunea
format din literele i
2
a
i succesiunea, format din literele i
4
a
. ntruct primul eveniment
poate fi, cu probabilit i egale, oricare din cele patru litere, atunci i aceste dou tipuri de
succesiuni o s apar cu probabilit i egale. Se poate spune c sursa este format de fapt din dou
surse diferite, folosite cu probabilit i identice.
5
Notm cu sursa, care genereaz literele , iar cu sursa care genereaz literele Dac este
conectat sursa , atunci informa ia proprie a mesajului
2
( ) I poate s capete numai o singur
valoare 3 , adic
,
Dac este conectat sursa , atunci informa ia proprie a mesajului poate s primeasc una
din cele dou valori 4 i 2,415 cu probabilit ile
2
2
4 1
( )
4
r
P I
S

1

1
]
2
1
2, 415 3
( )
4
r
P I
S

1

1
]
Valoarea medie pe succesiune , exist aproape pentru toate succesiunile. Totu i, mrimea
valorii medii pe succesiune poate s fie diferit pentru diverse succesiuni de mesaje. n exemplul
nostru, aceasta are o valoare pentru succesiunile generate de sursa . Prima valoare coincide cu
speran a matematic condi ionat a informa iei proprii a mesajului, cnd este conectat sursa ,
adic
2 2
1
3
[ ( )] 3 ( ) 3
r
I P I
S

1

1
]
Cea de-a doua valoare coincide, respectiv, cu speran a matematic condi ionat a
informa iei proprii, cnd este conectat sursa , adic
2 2 2
2 2
4 2, 415
[ ( )] 4 ( ) 2, 415 ( ) 2,812
r r
I P I P I
S S

1 1
+
1 1
] ]
.
Avndu-se n vedere c aceste surse se conecteaz cu probabilit i egale, ajungem la concluzia c
media aritmetic a dou valori medii pe succesiuni trebuie s coincid cu entropia determinat
prin rela ia .
Elementul caracteristic al acestei surse sta ionare, n care valorile medii pe succesiune nu
coincide cu valorile medii pe ansamblu, l constituie existen a n cadrul lui a dou regimuri de
lucru diferite, care corespund unui numr de dou surse sta ionare diferite. Aceast particularitate
a sursei analizate nu este esen ial, cnd este vorba de orice medie pe ansamblu. ntr-adevr, dac
media pe ansamblu este reprezentat ca o medie aritmetic, calculat dup mesajele unui numr
mare de surse identice de tipul celor analizate, atunci aproximativ jumtate din ele o s lucreze n
acela i regim iar celelalte n altul. n opozi ie cu acesta, media pe succesiune se calculeaz dup
6
o succesiune oarecare creat de o surs i de aceea valoarea ei depinde de acest regim special de
lucru al sursei.
Sursa sta ionar, care posed mai mult dect un singur regim de lucru, se nume te
decompozabil. Ansamblul de succesiuni care pot fi create de o astfel de surs, con ine dou sau
mai multe subansambluri de succesiuni (care nu coincide cu ntregul ansamblu), care la rndul lor
sunt sta ionare. Cu alte cuvinte, fiecare din asemenea subansamble formeaz cte o surs
sta ionar separat. Sursa sta ionar care nu este decompozabil se nume te ergodic. Se poate
arta c orice surs sta ionar poate fi considerat ca o combina ie de surse ergodice (care se
exclude reciproc), dintre care fiecare d un regim de lucru oarecare, diferit de celelalte regimuri
ale ntregii surse.
Am vzut c n cazul unei surse ergodice valoarea medie pe succesiune exist cu
probabilitatea 1 i este egal cu media pe ansamblu, adic cu entropia ( ) H A

. Prin urmare,
pentru orice surs ergodic, ( ) H A

poate fi interpretat ca o cantitate de informa ie medie pe

succesiune, necesar pentru determinarea fiecruia din mesajele successive, formate din
evenimente.
3. Codare uniform cu semn desparitor
Codurile cu semn despritor sunt codurile la care sfritul combinaiei de cod este marcat de
o succesiune de simboluri. Ca semn despritor se alege una sau mai multe succesiuni de lungime
t ce se adaug fiecrei combinaii informaionale. Combinaiile de cod astfel formate trebuie s
ndeplineasc urmtoarea condiie:
Dac combinaia care reprezint semnul despritor are forma
1 2 ,
, ,..., ,...,
i t
k k k k
o
succesiune oarecare,
1 2
, ,..., ,...,
i s
r r r r , poate fi combinaie de cod numai dac n
succesiunea
2 3 ,
, ..., ,...,
i t
k k k k
,
1 2
, ,..., ,...,
i s
r r r r ultimele t simboluri nu coincide cu
combinaia aleas ca semn despritor.
De exemplu, dac se ia ca semn despritor combinaia 10, pentru n=5, se
obine codul format din trei combinaii:
1 2 3
(00010), (01110), (11110) a a a care
ndeplinesc condiia artat mai sus.
Pentru codurile cu semn despritor cu ajutorul diagramelor strilor este dat
relaia recurent pentru funcia de structur ( ) G j , numrul de combinaii de cod de
lungime j, ( 1, 2, 3...) j cu o combinaie final de lungime :
1 2
( ) ( ) ( ) ... ( )
m
G j G j n G j n G j n + + unde 1, j > + iar
1 2
, ,...
m
n n n sunt lungimile
7
combinaiilor iniiale la care se adaug semnul despritor. La calcul relaiei de mai
sus se ine seama c ( ) 1 G j i ( ) 0 G j .
Codurile cu semn despritor pot fi att neuniforme, ct i uniforme. n cazul
codurilor cu semn despritor uniform, caz particular al codurilor neuniforme, funcia
de structur este:
( ) . G j const pentru
j n
, ( ) 0 G j pentru
j n
Pentru a realiza sincronizarea combinaiilor de cod se folosete o schem
secvenional acordat pe combinaia ce reprezint semnul despritor.
Bibliografie
1. Elemente de teoria transmiterii informa iei General-Maior dr. ing. Angheloiu Ion ,
Maior dr. ing. Gyorfi Eugeniu
2. Internet www.scribd.com Teoria transmisiei datelor
3. Teoria Codurilor, General-Maior doctor inginer Ion Angheloiu
8