18

... 1?
p1'l>b-ab1.J!.. IlrUetlt"I, PJ!nbabll1tatea em1s1el od.carui me4aJ sate l/1f.
h 'Uf8'nsmit6 llD 1118 ssj. adlea ee a!ege t1I1 anum1!; sll.1lt1.ll1
din allS/.lmtUll1: da !lI6Ssje, il-C6asta cone:;:etlz:arll. ae-east!. re~l1z~"='ftt
,tnf!l.lllillat~, ltlf'l':rmaij:!e eat.a '::.iJ. ati t ma1 m.:.u:6 eu. cIt este ma! 1m
I':r-v1"i"~..l1 .rro'U:;"~~a e~enllllll;L;ul~ con;tltu.lt ~; tnlJS;;;'t;Il~e-;
ecel:1i. aemral. ;19<:1 r::1l cit asl:e mal midi probabi1itates .respectivu.
~i mesaJ' !nf~~wn~is depinde d~cl de pr~b9bi11tatea z6s1lzRrii
~e1 anumite ~1tUb~11 ~i prio d6f1nl~ie esteB
Ati'Wl.c d _

tT, iRIA

OR

JIB
,.

i:lc.g!

i .1. M:$BlAII

51 NOTIUIH SPll-ClFrCF TRANSMISU'!

1NF'ORMAT1F1

d~ 1B inceput 0 precizare P.I!iviod nat;ul',ll

t.l!~nSm1s:l.i16v cestes provenilld iutr-lll!

caJ!s 1 e-ste intorma'i1a, lar peste p.robabilltstoa .reallze-fii

f~QiDeotulul con~1derat.

IntoJ?mav1a eate geoel'B.tl de' 0 5ur~ de In!ol'lII!Itie n acesete

J.;1Dd
uo
mecaoism pdQ c,are BE: alege t din allSBmblul de Bllll!ual.,
z5 fJtelo:r care .tnsopesc
!l
mal
scela
c8r6 se va tl'snsmite Beum, Bceasta slegel's flind f~
mod aS6JmflnatO.l' lll(xb.lui in care ae gellElreBza so;nualele uti,le. Din
pratnare
~1
llecuooscutii. 0,,1111 cara va prlml s6DInslul. ~listinllBeest motlv Elste
sa tratlllil lUl1tar
9 seJ:lJ1s_
i
cul,
corllspondeotul,
estelocul f1113l unde tre bule sl. sj unga me
lele
eli daca S-ar comporta int.!!-un mod
e utile. Despre p.rimele
ul
brans.is,
aattel
es sli duea 1nto~ilB.
dSf; 1'mln1st, a1' Pl1tea 1'1 611l1!inate :t.ntee;ral. li'voluHa Io.!! ute dill,
!l'recel'U
prin
cenal
este ins'ot1tA de pertul"ba'iU. Pentzu
tata de leg1 probabilistice .. Aces!;
aleatar 6ste il2Bd pro
4~louaree:
etec'talor
aC6stora.
se ~t1lizead. -d1~-.ree proo6de!l de
prill
semna1utui util, Peotru cli 0 evolllYie deterlllillistli a sa
lucrare
a
semnalelor.
Is
10trare
~1 1s le~1re din oaD.al. Aoes
insemna
8a la PlUlctul de recElP;ie 91 de aici ar daCQr
p1!alucri.rl
sint
modula1jla/demodula'ila.
eodal'u/decodare 8 c Mo1o
ge inutili ta tea
Toc.ma1 earsc te.l!ul alestol' al ,evc1u_
~~la
estll
c~nst1taitl
de
tl'ans!ormar11e
1a
care oate aupus ~ sem
;181
semnalului util Gste reSpOl1sabil de neeaSltatea
ace
i 1.11t orlila p11.
pen1;ru 81 face apt al tl'ea'cli pr1otl'-1l.D. ca>llal, slngllr sail iIll
!ouni eu altele de aeal~l gen. Demodulares este coost!1;u1tl de
Dupti cum S6 ved6 au .fOBt 1 o trodu.se citeva
Pe care
ocesele lnverse ce au 10c 18 recePVle, cu scopul obViQIIl'11 lUlU
1e Pl'6clzam .tn eootinus.re. DeoarGce atit peztu.rbaUa cit 9 semoa
18mbele
.,.nal, ctt mal asemAnlto.r celul emls d. Sllrsa de intormat1e. Co
lul util, au acee/4l1, netura 9i uneori acela!;ii
4trea eate preluc1'8rea la care se aupUOe semnalul pentl'u a 1 se
Se Pot coosidera ca .f1iod semnale, adieli man11'estal'i CODcrete
~1 erlc16n1ja transmite:dt. tn primul l'ind 1'l,!nd 'Vo.rba de SIl1I:l.B
ee eaPablle sli all Propage P1'1ntr-un med1u. D.Wllit canal.
de
l' numeriee. Deeodarea este procesul 1nver6 codl~11t
ateetust 1a
util1zata Ulleori restrl:nB, P9ntru a deD.UJui semnalul
slllllnal
.
util, BCllla carll va SpUll$ ceva ra~6ptDr ului.
h
"cept
Rflcien~a transllllsie1 ee estimea~ to telecomun1cat11 pr1n
o forma Particulara a slllllnalulu1, extrasa dintr-an
~~-o compara1jle,iQ1;~6 a6DInalul Ilmls, generat de aursa de 1nfozma
constitu1e
un mesaj, stuOC! cind ansamblul
a se transoite
uou!
corespondent.
'~1I ljl aemD.alul ofer1t ls raceptle ut1l1zatorulu.i.
Be lltllizeezll
.
t"el
crit,erl1
de
!t~rec1ere a fldel1ta~li tr,!nsml_s1ai Fill anUlllll.
aste WI 8Ilmos1ca.re, in pr oC6sul de transmisie
~roa&ea medie pl1tratlea, reportul ssmnal/~g~oc lji prob~b1l1tatea
Bau'de Pl.'slucrare, .modUic! in mod sleator sellloalut utile
~.cizlel false. Primul crlteriu de f1delltate ae 8~.r1e3
D
daa ut111zata este Beeea de
Os.s! 10
aceastli no;luna, sa nil
un ansamblu de N
[:ret) - 1(1;)J 2
d1te.r1te .fiecarll JDElsaj fiiD.d ales Pentru transmisie in mod Ilchl
LU:lde teste eroarea, d1fere~~a diotrll x(t), aCl:lnalul gsnezat de
~~rsa ljl y(t), semoalQl oferit uti11zatorulul. Bara de deasttpra
Be CUvinll sli. 1'acem

0m

neC-~sClr

~i

per.tltrba~i11t

~tim

c~acter

cunoa~ter6a

tra~misie1.

~.I!anSfll1siei

no~1uni

,,1..

provenieo;~,

fizi~
No~ilUllla

e~tll

"

~rmeaza

ansambl~

PertllrbB~iB

~elege/ll

no~iUAe

_.~~

imag~nam

~ntorma~ie.

~MBaje

?=

_.

18

19
0I)al;1);., Iddo" ".Probabll1.t&tea eillis1ei' oricaJ!u1 metuQ eat. i/ll o
Q111d" __ tnbsmit~ IlD me saj, adioa Se &lege un. aoWD1 t Sll-7l.ual
din Qn~~ d4 I mssaje. ecaasta conc~atlzara. aceast~ r6aIlz~r69
ini'?rmalia, :fuf'tJ-I!_~t;ie llst_e ~02 a_~ to maJ ~a-te cu ettes.!e
1m
F!'ll"~~db:nl u"ll~l'l1a e",oolmentul,d cDastHli1t joe ~l'anslrl1terea
c61~ samDal, d&e1 eU cit Q~te mat mica probab11itHt~o respectivu
or~u~ia depinde decl de probabil1tatea r~a~lzirli
~ei lloUll1w lS1t\l~iiii li'i pdll defilli"iio ostel
Wie-t

, da

1.TEORIA

El

i .1. MAlum

SI NCTIUNr SP.B'C.Q:.ICE
IN110RMATlli'I

TRANSMISI~

;i..,106i

.1:1

priv1~1 OB~url

Be covine sa racem de 1e inceput 0 prec1zare

gomol;61or care
!lcestea Pl'oveni!ld illt:r-Un
l!!.od
lDod"'lu1 io. care ae geOSr61lza sf/mnalele utile. Dill
acest lIlotlv estl; Il6Cf1sar sli.
unital'
:;;1 saJ:-:l'la..
lele IItile. Deeprl; PL'ill!6le iltim 'c4 dec! &-ar comporta int,1'-un 1!l
detsrJ:li,nlst. ar Plltes ri 6HIl!inate integral. li'Irolu1;1a lor 681;6 dill
tats: de legi probabilistice. Acest cara9tel' aleatar asta insa. pr,o
Priu
samnnlului util, Peatru cil. l)
determinist.! s Sa ar
:lIlSellllls ClUloal1'ta.l'ea sa la PUQctoul de rscePiiie ili deaici ar deeur
ge inutillf;atea trsl1Blllisia1. Tocllla1 caracterUl aleator el ,evolu
Hei
semn.al ul
ui uti! est,e J:'6sPollsa b:tl de nece sl til te a !;ran8lll 18161
Uae i ;l.llfol'ms
t 11.

~semanatOl'

ill8o~esc tr~nSlll:i.slile,

t.l'al;~lll

~1

Pe.rl;u-!'ba~iile

evolu,~ie

Dup!l. CUID se vede au roat introduse citeva not;iUai Pe care

le preeizam ill cont1nusJ!6. Deoarece ati t pezturbaVia oi t
semna
luI util, au
natura ill unsori sce1alili proveniful,t;J., ambele
Se Pot considers ca r1ind aemnale, adica
izi_
ce capablle sa se Propage J:\1'io.tl'-un mediu llamit canal. Not;1unea d
SamLlaI este util1zat! UQsori
PElntru a denUl!!1 semuela!
util, scele care va SPUllG ceva re~epto.r ului.

~1

8cee~1,

manifesta~i conc~ete

rest~ina,

ansamblu~

o forma PartiCUlarS: a semoal111ui. extrasa dlntz_UQ

CO!lSi;1tuiG
Ull U111saj, atullci dOd an8amblul IJrmeaza a se transl1ite'
unu1
coresPondent.

PertQrba~ia

este un samnal care, in procesul de transmisie

sau'de p.reluerare, lDodificii in mod sleator selllnal ul utile

o noiiiUlle dea util1za ta es'te acses de IDrorma't;ie. Oa, sa in

hlegem sceastil.
aa ne imag:l:nSJn un anSamblu de N 1I11 00je
d1fer1te,
mesaj fi1nd ales pentru transmisie in mod1 ech1

no~1l1D.e,
fieca~e

ma"

C!lre 1 Iiste illtorllla~la.. 1ar !> este P.t'obabllitate.!. ~ealhbi1

cOlls1derst.
.
Into:!!lIi8't;1a este genuat~ de 0 SIU!~ de inforlllBtie n aceaste,
~od un macanism pr.1Q care se alagl, din ansamblul de s~ua
ems1 Bcela care s6 va transwits scum, Bcaasta oleger, fiind i~
lpllitoare !iii llecunoacuti CQlui care va pr1mi semnallll.6 ~6stin8
Ill. eorllspolldelltal. ute ,looul tillal uudc trllbu1a sA. ajungi me
fjultraosll1s, astfel ca sa dueS. 1Drozm"i1a.
'rrecerea pr1n callal ~ate i~ot1tl de ~ r_turb~~l1. Peotl'u
4t.JDinual'ea eteete10r ace'stora, Se utillzeBzi d1verse procedee de
.luerare B semnalelor, 1a 1ntrare ~1 la ~e~~a din canal. Aces
pl'elueri.:rl sint modula~1al.demodulat1a. codarea/decodarea. 1&D1~
~"ia eate const1tu!t~de ~ranstormlr11e 1a care este sapus un sem
, pen~ru a1 face apt sl traael prlntr-Wl canal, a1oglU! eau ill
eu al,tele de acela:;li gell. Demodulana este conaUt aiti d'
ooeseIe 11lVerse ce au 100 la .teceptie, eu scopu.l obt1oerl1 Wl.u1
nal, cit 01 aeeminiitor cellii emis d.e SlU'sa d' :In!ol'lIBii1e. Co
.~ea este preluerarea 1a care 6e supWle semnalul pentru a 1 8a
~1 efieie,nta transmiter11" in primal rind tHnd vorba de slIllIna
~,' nl.1lllerice. DeeodareB esh procesul 11lVers eO,dlr1i, erectllat 1..
If ce p"i1e.
Ff1cien~a transm1s1ei se estimeaza in teIeeomun1ea~11 pr1,~
Cl'-O compara~1e,intre semnalul em1a. generat de auzea de 1nforma
,te 111 semoalul oferit la reeeptie util1Zl1torulu~. ~.ut~11z.~l
~"e1 erlteri1 de apreclere a f1,del1~at1i transmishi d aname j
OJioaJ;ea media piitratieli, raportul s8IDnal/zgO!!lot ~1 probabll1tllta,a
ec 1zie1 false. Primu.l eritar1u de f1dal1tate ee aoriel
~venimentulu1

,uaa

?=

[x(t) - y(t)]2
lU1dec este eroarea, diferen~B d111tta x(t), sGl:lD.alul ganetst de
a~rsa ~i ,.(t), semnalul ofarit utilizatcrului. Bara de desBupra

20
s1!Jlholizeaz! aod1e~oa in timp S .tIll:tiJni1'. J1vi (,eo!; 0 hsosm:l.s1e
atit llIIIl bUllA. cu cit. cr1terlul dt' 1'idelit;;::e. e.roare mediCI
tratlcii. ea,te lDal l/1idi. Cel de 031 doileB Cl'itarill He scrio'
oS .. U(t)J2
Cit

[n(t)"p
10 CSl'e o(t) este zgomo!;ul ~.rturbato1'. care n~ se as1 sepa.t'a cl~
semnalul lltl1. :z(t). Conform ltcestu:!. c.rite.riu. Ll!l l'apo:rob samnal
zgollJo:. JDare t Indica 0 tral1Slll1eie de mars fld!1l1ta te. AI tre1le<ll
probabilitatea decizie1 1'alse, se .l:'61'5ra 1e trsosmisi
OWll6.l'ice qi Uprlma Probabil1 tetea de a 56 r6Jlllt(l uci 1iz9 torulu
un cuvint ca.1'e de fapt nu a fost t.t'snsmls., invel't.ires 1'Und tac
ca ~a.l'e a zgomotelor din c~Qal. n tl'snsmisle de maro ridellta
loseamos 0 mica P.l'obsbilitate a declziei talse.

Cl'iterl~,

AcUllJ putem desena o'achema de tl'ansmisie care sa con~iol

elellJentele enl.lQ~at6 mat SUs. 4ic1 ~dem Sl.l.1'sa de informa~1e S,
dula toru1 M. codorul 0, canalul P, decodol'ul CI, demodula tOl'ul M
utllizatol'ul U.

rneSOj

perturbofi

semna!

Pig.I.!..
In SChema d1n !igUJ!fl i;l se
all. !'acil1teze tl'allSllliaii multiple.
lDSi Pot introduce element" cu
a mal mUltor s6111nale prio aca
18~1 cansl.
1.2. NEDFTFRMINARii' SI INP'l;RJ4ATlF
m COllsiderQ un a:lS8mb1u de ~saje din care l.l.1'JIIEiad a executa
'trsJ:s isls, P6 care 0 vom denUllli experiment. Pe lIliisl.ll'a ee ..6 face
an
t.1' sm1sia. zicem c1 eXPQl'ioentul se l'ealizeaza iot1'-O 1'orma sau
int..r-o concretizere sau al ta. lnaint6a r9alizB1'l1. deci 1na
10tea trallSll11s1ei: .I.IS~tUnd care din IIllisaje Sa va seoate din ao
aa.bliU, c90s1del'st. avem c ineel'tltlldlDS .Aceasta se va :r1s1pl 1ci
diat ce S-a executat
mesajullli. Incertitudirea. seu

a~ta.

alege~a

~'ds-

21
te~l:J.narea,

8 Wlu1 uven1
de seijl 'ivOnililellt, :ll.!li procis eate funo1i:l.e 10
pl'~babilltatoa lui apr'l.oJ..'i. Od.nt;;l cu in1.itara.r.!lJ inclll'tltJld1ni.1,
ob vlnem 0 1nforlll~~~e claSp!e ~~saoblul din care S-a e~tt8" mosaJul,
Cale_colli ,mll..rillli. 1nta.rllll.!liia ob~:l.nt:ctll. Iii lle,letarm1oaraa unte.ri08r~.
slot, ecb.ivale nt4l.
Conslderb mel3ajul ern1s %1 (t), UP'lLl! ~:i.D I'.a1 mil
]:>OGibila
a fi amiss. pre~um ~j, pl'l))ilb:l.litatfia sa de 8 f1 selao;;tst: 10 1I1ll1
aie, p(xi). InC61't1.tu<iinea init;1alii, ina1cte dEl 6ltll.S1e, esl;;e !'.lrx:
yia F(P(~i), egalli n itlfo.L~~1.r: 1(;(1) aduall de 8~.~~.t1a mesl.ljll
lui xi(t). La trecer-se pric canal, GQronr.lul 1 1 (t) so slt6ren~A 91
ls recepi;ie aose~te "j(t), dependent de "l(t). In Ul'm8 obll-ervarU
sllIlnelului Yj (t), dispare 0 parte din lneert1tu-iioes ex1stll11t!
insinte de observar6a lUi Yj(t? astf61 illeit nedete,r.llli!l&1'6s apes'
teriori, de dupi obslr.vars. F( p(:t l
I
eate, de regula, !!lei m....e
decit nedeterm1narea epriori asupfs lui xiCC). Nod8t9rmi~r~a /IF
terior! este 8ceia91 ~unc~1e F de pl'obabllitatea mfiSsjului .'I 1 (t).
cond1t1onstli insa de realizarea concreta in forma yj(t). Cantite
tea de incertitudioe d1sp:irutii in \U'lII8 obse.rvil.ri1 s8lJ!oalulu! yj(t).
este egall c~ calltitatea de infol'ma~Je aduaa d! 1j(~) despre x 1 (t).
Dec1:
1(-X1.Yj) = F(P(f~)) - tr(P(X1/1~

mant. este

a.:cis;;rnt'ft. naj.ntea 1'6alizal'ii alestoa1'e

futIC~ie

/Yj)

Fo.nc~1a F(.), prin care 'se uprimllnc8l'titlld111ll8, poate!!

de mult6 felllri. Ists DeCeS8r all ,atrlbu1m ~estei ~unctil ca11ta
tea, de aditiv1tata. !-n cazlll in cars Dl8aajul conaideret eate 0
auccaaluns de douli aau ma1 multe asmnale elemsntare,
Je (t) = x 1 (t)I\%12(t)O
i
i

intre care se stahil8~te 0 'J!elat1e de interascth, meaa~lll neceai

tiDd p.l'Gzen1;a ati t a 11,1i Xu. (t). cit ~i a 1111 Jl:12(t). B'v1dsot. pro
bab11itatea mbBajulu1 V6 fit
P("1) '" p(xu) .P(x 12 )
cesa ce 1mp11cl urmAtoarea eJl:presie pentru fUAc;ia F de iocert1tQ
dine
.
1(p(x i )) = 1"(P(%11)P(x )
12

sa

DQl'im ca aceasta lncel't1tud1ne

fie 0 s~i de incertltu
dini par~ial flecara dependenta de sSDnslul alemental' co~eap~
&ltOl'. ad1el

F(P( Xl1)p(:r12)) = F(P(:r1!)) ... l(P(.X12)

dtl ili!l1 deOUi~1l rU.ac~ie

!JJ 00n8Qc1Qrl,

P(z1')~
1.(",)
.
I

Dga.l'it~. UIU.'e

88t1."8.fIiOG

Hla~~ ,.:;.

23
mai

lIItlllone. Dec's. e:d.iiti 0 aa~me:lGa depeD.1;!.eQj;A. atuoci

'"

i:_

~o

.l':I.tDti

aaup.l'o!I

Dacl Wlfjle si.illbolu....~ so

~:"Dt8,l(f7

,,0:, 15 Ilce1a~f ~Il

, ttind

Uti11~!Qd ult~m~ re18~iet ~a~~itatea dll~in~fo~~t11l ob}iQ~

lui .lli' pri.o. obs9rt"ll.l"lla B8IllQalu1.111

J"js~69V~~'~

~i

1.3.

13'JRSE DE

01.

.Log Pr.x. h:J

1

em1 te
SlU'sa

daoOl..eC8 llaan. 'ilill:~J:" 11ta.re.l,~ a1 fil,bet'<.lui ll" .........~ c:l(ln~""IIII. 11W!lllJ.

aao! 8lilifi:'!i~r. :i-Q S~Il,!IrE.'lI U1l;"Q..M'~ ::.u 0
au 5e genllre8z-! dllpl. D alta p!I.ll.:ii, ~&o1i co

t0J:'11. Su,r'sadev111e eu llIemo.ru.

Ip~1/Yj)
=- log p(x
(1.
~
i
Sa PCJste ealcu..la ermoscfnd Pl'pbabiUtate8 llpoat'l.ri.il.ri. II e"801
<Qant<l1u.~ .ll:i t c"llo1.1:t;:i.oaat de rfiOept;1ooal'es StlillnalulUi ;:r;;
'

;>01;

.,Ii.

GOlIlr-!.l.l.'!.lt!v:s.

ba

:L(.xl'Y~)

IlBte

elida Iil:l anumit s1J:1b.fL. ~! SlU!3'!..M....cOlll>~.l'l.~~_.rufi.

c:s.ra dahitea.ii inqCO'J .I'.lO':llil llli~fl 0
u

1180ijSEl:!'

ITzual ~a 1a en bOlza It)

1i iD1'Ol'ill1:t;id Be lucJ;'l?si:oA eli loga_

sa tl ;2. III l;e o.r1e

$lU'a&

III&QDm.e..

1Nmmur.nr

.:!"~~e. staj..!oaa~ slIte aCh sun! 1" c~e ~"'!e1t.l~eI tl..mPlti.u1

nu 1llfluen~eazll. BQlml de Pl'oosbllita;! ca.re 0' d~tllJaDCo 0 cs1;\lg.o
.!!ie deo.sabitli de sJ}..raa Q'ste IUlrs~ !!g~a1C!-. ace a5ta~lud ~'l.1J1!l
~a~_g~n6rea~ n~l ~!.ru.ri t~1C9~ NOViUQ~e a;-~f~ tipia S~ lD
't;ele.gs. daca VoOl consids.rs ell sursa ~!:!ite 6!lCCij.~iWl1 lungi, fio
care d. cIte n s1ll1:b'ollU'1. :s'1i:t OOJllPCll'l:1 ~a unul a.; "llfliUUill ,;.;
toa.rea: III simbolllJ!1 Xl' 112 si~bol1l.& x > n ~IIDlw:i .);'3
~
2
3
,1mbollll'i Xl Bvidant 1l1+n2+1.l3..... ~ni~- ~; a. DaM: ~C~,) es-.
~e P!.'[)bab11itatea de a se gansl'a siitb'c.lll.1 Jl , atWICi w:J. li1!1' de I!
i
silllbolur;i: este t1pie daaa .
h.

1~1'1I2~1e
.!~Il
~}
alog6r~s aciadg~81l

&e~

n BUl'sa de
8ste Un Ill6cetl.ism matslIlatic
tohnl
car!
alege:
em1!.e u.e._mosaJ diatr-un 8D.semblll de I118saja P(l
s1b116,
ll!aato.r. Bursa as
Se
terizeaza Pl'io setlll ne mesaje pos1bil a 1 sellletat:Ei, dellWll1te
simbollU'i sau l1tere, anssmblul fHnd i.o scast llltilll
dlloua1t
al.fabat. Bursa se JD;'i ca r acte.r1zeszs
III doilea s'lt de JIIj
r
riml, care l'ep ezlatia statistic Sursa, .filnd
probabllitl
t110l' cu cal'e 5e amite .fie care simbol

iD1'o~~at1e

Ollr8C~

~aE

~iQtr-un
i~iruirea

%1

.'.J

%3
%1
[
I
P(.xl)
P(X ) p(X )

3
1
Aiei CU .%i am ootat silllbolul al i-lea 9i cu p(X ) PI' ob&bil1ta tea
i
ca aCGst
s1mbol sa SIl emits. Fvldsllt exista egalitlltoa,
-~

1=1

%2
P(%2)

p{x l ) = 1

in care Y eEte iodicele altilllU!ui -simbol -r oldlcli .o.UDial'ul de lite

re dio al.fabstul su.rse!.
o insiruire de me!
CB~acte~, ia~ totalitetas lllulte B1mboluri coostituie u.e. Cllvint seu
Sa poate emite.
cUVlntelor formeazii. 0 limba, 1Q C.Iil'e surDaca Pl:'obabilitatea de SDJ1sie B un
aiei un .fel 1'6 literele aat6rior amill~, z

simool. ou dep1nde iD
em ca SLl..rsa eate fil'a

III :; I1P(x l ): ~
cllea

C6

2 ) 11;1. :; fLP(X1..)
iQs'samna cs. trac'17eoie or;l.dlrui e1mbol in 'iI:l.z1l1 tip1a
fl;:J(X

emis, ~/ll, tlnde sprfl probabllitstea ll':lIIbolulul ~68P8ct;iv. atu.oo1

clod n tLod. 18 1at1a1t.

La ace16a~1 valol'1 ale probsbillta~ilo~ Be ajunge. dsol Be

COlIs1del'a fuoc~lol:larlla slmultan! S n Burse cu ca.l'actel'ist1c1 1den
t1cs 9 i dec! Be observa staree acestu1.ansamblu de su~se 1a ~ll me
J!eot dat. Din aCtiste Zl su.rsa. n i VOl.' lOmite, io mOlDli!ltul aasllzei
,imbolul %1 lece ptlnd Ipoteza de ergodic1 tate, inssamol a pu.e.e
,emnul egal intrs P.l'obabilitavile s1mbolu.rl10r emiSEI de un ansa~
tlu IIl8l'e d. II:1iJJ.'SEi, observate ia Wl !!lOlllflot da,t (probabil1t!~i scoa
dintr-Wl alI~smblu statistic) ~1 prob8b11ltil.~11e 8celora~1 sim
~olUJ!i. ob~il1utf1 de oricarll Burs! la 0 func~ionare dll duratli (p~o
t!abil1:.it1 accase dln .t'unc~1o~ea temporslS). 0 prim! ~i dllosebit
h Utili!. eonsecini;! a 8rgodicitB.~i1, Elste aesea -c! lII6d1erlle sta
istics s facLu.e pen"erl1 Wl sllsamblu lllB.r6 de procese iotimplAtos.l'G,
fiot agale eu me'dlerile telllpo.rale .fic ute pe ot.l'U 0 s1ngura tunc
tlo ua l'e de iu.ngli durllta. deoarece putem dispune de 0 real1zs%'e
II DllQlIe ci a Wl"ui pr DCe s. dar au vom lIV1! a n1cl ode til. UJ:l =ssmbl~ IIIate
de Ptocsse s1mllarll pa oal'e sa Ie putem stud1a.

'6

24

25

. S~sele d' 1lltorJ1ll!Ue ..!.ntill11tl/ 10 tebuiol Be

P~oP216tatea de e~godieitate_
II:! f,ule1;ioll&-l'<ltl

d~ lang~

.tastanll 8iJllboll.l.1u1 ~;l. va .f:l.

-

----

dt:.l:litii.

bllc~rl1

1n.:f'L\1'!r.~~is nd~sa _de

d9

man1

1(%1) :: -log P(%1)

~81oel'ea maxilla a
siJllbolD~11or. sint

t..

-p(:l ) log P(:Zi)

1
1=1.

Boesta1 JlIA~1111 so obV1ne daca probabil~ti~1le

06ale_ La ~ set 081'0081'e de probabilita~i, di
rei-ito lJ.ne!e dll altele,
smite 0 1n1'ormai:ie IIl6die pa s1mbol
ma1 mial. eon~ln!nd ~e88 ce s! nume(te l'eduUdan~a.
R = f:J(x)L~v - H(X)
.I.

S~r3a

.J-...o

FQac~ion~6a woei surse se face 1n timp, f1ecBre simo01

.t'l1nd pi'ezent 10 i6~irea diu su.rsB. un interval de ti!ilp 'L _ Logu
de'
Pl'ocas, definim debitul de
sl 8urse1, drept
purt io-I:re e ntr~~1a su.rsei ~i dlU'ata sm;!.sie1 WlL11 simbo!.

~cest

informa~ie

o BUrsii dsoseblt de simpl/! este SUJ:'S8 bl!lBJ'B.. ale c/!r"~l s'

bo1111'1 se consido.di a ri n respectiv 1, i6l' statistics sa Ilste pn.
c1zatli prin p(o) = I-p(l). ~obsb111t8t8B de aparlvio a llQuis din
aele doua 81mbolurl.

~1

I'nfaoop1e 8ces,te 1 8W.'Be 6ste

H(X) c -p lOS P - (1:"p) lOS (i-p)
depinde de p conto~m grat1eulu1 d1n t1g~a 1.2.

HCslf

--

Canalul este ~6diul prin care sa transmltfl meszjul de 1a

18 L1t-l1zato.r. Daer;. mosa~ele trecute prln cs-oa1 sint d1B
oret6, conalulse I:!UI!I6lilte d1scret~ No1 vom vorbl desp1"8 caQalul
"
.!1scre.t.
Un csn':!l se ea.rllct.rizeaza prill lU'lll!toarele marl-ml.
- a.l!9betL1l ce lntrsl'e!-X, C81'6 este constitult d1n tota11
r;atea slmbolllrllo~ ee pot f,1 adL1se la 1ntrarea in canal fi1 PI oe
Ee acasta 1e acc.pta. notate generic :11
- a1!abetu1 de 1e~lr6. Y. consUtuit 1in totel1tatea simbo
~llri1or ee Sfl ob~in 18 1e~lr6a dio cacal., notate generic ~i. Ie.
~eDera1 cele doull. alfebete nu sint ident1ce, putind e,~a slmbol~1
:;omune.
-.matzicea de trsnsfer, sau matrlces probab11it~~110~ con
cH ~i oDat~ a1 e eimpu1<li de 1a 16 ~lre de e1mp\i.l de 1a 1ntrare. oar e
~rata stet1stios trensformlr1i se~na1elor de la incrare 1n 6amaa
1de de ls i.e~ir6 ~i notate geDll1'lc p(YJ/:l 1 )
'::llI1osciod aceste elemente, .se deduc' mal multe m!.r1m1. prln
:11'6 5e poec6 face 0 evs1ua:e a 6aos1ului" a perfo:manvslor sale.
a trs:!s!erlIlui ln1'(l~ln6~1ei de 18 10trsre apr6 1e~il.'6.
~iIIi~ll.tor

1.4.1~ Probsb111tll yi 1 8ntropi1 in caoal

~At.rll va1o.rlle P.O Mil

pal, cee. oe 1D8eamal ~18l.
c.~tl a lLI1ui a1118U~ B1abol, 1A
formaloia _die PI dabol, genenti d. su.rai, este null, h08

"om scrhl probab1l1til.Ule sursa1 cere dabi teazA' in caDlll.

li ub forlll8 L1nel ma tric&'" 11nier
[P(X~ = [P(X1) p(:r 2 ) ... p(x 1 ) P(:r o )]

~pee

fadllll~ind es. slfab~tul de 1nl:rere el caQ!llulll.1

uv este

Qjcl 0 ~d.te~m1na

~e 1D8lnte de apaJ'1~1B aoelui

J1g.1.2.

-- -

1.4. CANALE

181' vaIosl'e8 l:led1e.J)e~nsaJllblu a 8ceste1 1ll!ol'~a~u. de..nWll1d. 1n

tOl'Ilat1e .edie PtI s1mbtll, sau entrop1a SU.rfill:i., va .t1

= H(X)
tflC:I)l.l
'j

baza 1ogar1tJ:llloI 2, ac~asta vs10are max1.na II entrop1e1 su.rse1 b1

0.81'8, - .~te 6g:I111 ~!l unu iii est"" acceptlita drepl; unite'te d'"1nto,r
in;-~18, P~t~d de~~1rfl;-d; bit.',

. - ,- .

8~ol" deBP~e ea~. iti. all va

aP4.N ~l. deel nil.' ne e11Jll1Dl n10
o 1coel't1tudill8. Valoa~ea mazW
a entrop1e1 8e ob~1D6 pe'Atru
p=o,5, clod eel. doul .sf.abollU'1
sint 8ch1p~obBbll. ~1 est, ege
111 ou -log 0,5_ Bt v.de cl la!a4
."

x n ' avind dec1'n 11t.r6.

ute Xl' :1 2 . :1 1

In mod asellil.nil.tor VOID Bcr1e probablI1t!~11e simbollU'11o~

it 1a 1e~ire, sub forma lUlei lIlEI tr 1ce 11n161
[P(y~ = [PCY1) P( Y2' p(Y ) p(y~fl

~~i~1nd ell a1fabetul de 16911"8 e8ta Yl.Y _ y~ 1., avind

2
lj'o.1 m l1teJ'e_
"OID serb probab1l1tly1l3 P(Y~I:li) de apariy1e It slll1bollU'i
,oJ' de 1.,'11'e eond1~1oQate dll slmbo1lU'lle oe lntrar8, sub toma

26

Wlei iIlstl'1cEl dl'eptunghiulal'e

P(Yl/x l)

.P(Yl/%2)
P(Y/X)

::

I.

.,
x

Ii]'

p(Yt/ o )

Cil

27
0 11011 ~1

ill

r11.d d."

fl..."",..

P(Y2/~a)

'"

P(Yj/x

d. ",,;; t",..,,,

n ) P(Ym/~n)

.rela~1a 1

"'''''oi.

[p(Yl!:il .,

io CSl'S eate util1zat caoalul de cat1'6 SU1'sa de

LF(X~

iafo'l'!lJa~h,

10 UUla 1'salha.rii uo.u1 aownit si1l1bol Is ie:;;i1'6, Y spre

j
a.lCemplu, a"iod setul de Pl'obabil1taH ca1'Bcte1'istic alfabetUlui
do la 10t.ra1'e, 56 pot calcule toate P1'obabil1ta:t;ile apostedoJ'i
lila semoalelo1' de la iat1'a.re coaditioOBte des8l!1nalul Y de 18 189
~ir6, Iltilizind fo1'mula lui Ba]is5:
j
p(X 1 /Yj) ::

p(x i ) P(Y,i /.x )

i
P(y )
j

- F(YIX)

,.

I.

P(~i/Y1)

P{x 2 /Y2)'"

P(~n/Yl)

P(X i /Y2) P(.1C /Y2)

j

zi

C"U

p(',J,.) . p(',/y.) ,(,

,/Y.J

Ob~i.06

Gele Petl'U lllatrice ne prcbabilitii~i PriLl eal'& am descris

stet1stic cac.-So~ul, VOl' da o.89te1'6 la entl'opii. !>1a-tl'icee de proba
b1Hta\:i [P(Z)! ds. Q!l9tere enl;rop1ei H(X) a cimpului de laiot.ra1'e
cO/lfOl'lt 1'(1 1a ti e i:

L"

1.:1

-p(.lC ) log p(.lC )

1
i

(1.7)

H(>~/Y)

-5-"

H('I/Y) :

~~

;f-p(y;) p(x JYj) log p(x 1/Yj)

i ; l "Fl
u
Sau., tio ind Gont cli pl'odusul a noua pl'obabllit!l\:1 este pr oha blli
tatt'a st.samblului celor dou!l variab'ile I
-P(lC1"Yj) log P(lC i / Y j )

(1.9)

Cunosciod semcalele d~ la iatl'a.1'e, sdica statistice sursei,

rp(X~, nu putem- cuaos9te

tllJ cert1tudill!l ci.mpul 013 la 189i.1'e, din

cauza probabllitll.'vilo.1' din canal. "'om l'l!.mine totdclaU08 Cll 0 in

cel'titudioe CB:re ne dli ce6a ce se nume9te 61'0area me~1a1 a canalu

lui, aceasta fiind dec1 0 Illasura a nedeterm1nl1l'11 cimplIlui de 16

ie~Le cion se cuooa9te cimpul de la iotrare. Kste 0 entropie coo

di~1005ta ~i se calculeB~ cu l'61a\:1al

Jiceaste. matrice este ob~iouta Pl'io ca1eul, SPl'e deos bire de mae
tricea [P(Y/XB care se Poste
expel'-imental.
.

Ii (X) :

p(Yj)

l'ela1tia 1

H(Y/X)

P(',h.)

det6l'IiIin~ 61lt.1' opia ci:IipuliJ1 de le

Cuo.l\scinti semnale16 de 1a 1e~irea d1n callal. nl~ plltem lIf1r

ma, nator1ta p.1'cbebll1tllVilor dio caoal, cll. s-a anulat illCe.1't1tu
dinea al;lup,ra semnalelor de la intrare. Ramine 0 1r.~ertit\J~1ne, 0
t\edet81'm1oare 9 i dupii ce a-a recep~10ca~ semoalul 18 i69 i rea din.
canal. 'lTaloare-a ulOd1e a acestei iacel't1tudiai, luata. peste int.1'l:lg
cimpul da 1a i89i.1'e 9i pe otru iotl'eg cimpul de 18 1ntrau I se -nu
m~~te ech1?Oca~ie, fiiod 0 masul'a a echivoculll1 ce ma1 exista 8SU
p~a cimpulu1 alB 1a 1D.trare, ciad 5e cuao69te cimplll de la 1e$1re.
Se noteaza cu R(X/Y) [iind 0 eat.1'op1e cond1v1oQata 9 i se ealeulea

(1.1f

Aceat calcul S6 poate face P6ctru or1ce semoal de la ie:;;ire, ast

fel fecit se va putea se1'; 6 illatrlcea [P(XIY~ B probabil1ta~ilor
s1mbolu.rilor de iot1'a1'e, sPOst61'io.riconditioLJat6 de ie:;;i...e, sub
forlll8 Unei 1II1'Jtrice drsptunghiulare Cll III linti 91 n coloa0.6
p
(Xl/Yl) P(.lC 2 /Y1)

:(X1 / Y2 )

LP(yB

, !tllt.1'ic ea de pl'obab111tl~1

m
=f;
-p(Yj) log

Matrices de probao
ta~i rp~y)J se obUoe cu
[F(Y) :: [F(X) [:(Y/X)!

~ul

colDaoe d.e .fOl'LUl:

P(Y2 / .ll1) " . p(y j h( ) .,. p(ymh 1)1 .Ufil:l.:e. H(Y) I

1
P(Y2 1x2) P(J' j /x ) P(Y Iz }
Hey)
2
m 2

(1.5)

=~
1.:1

~ -p(x i ) p(YJ'/~1) log p(Yj/x 1 )

(1.10)

(1.11)

j:l

Ball

H(Y/X)

n
=~

1II

-p(xiYj) log p(YlJt 1 )

Daca zgomotele sint nul6, atit erosrea roedia cit ~1 ech1vo

C6'iia sint null;. U.1'ma~iod iot1'8.rea io canal, putelll spuna Cll certi
tl1~106 C& ieee dio canal ~i lavers, Bupravegbio,l i(j~i.1'ea, "[toe; ~tl
ceJ:t carE; a fost semoalul 1otrodlls. Anularee celol' doc.a entl'opii
~OMi t10na te, H(Y/X) 9i R(I/Y) sa da toreuii P.1' obabllitil.Uc.r
P(Y /x ) cal'tl au, sau valoa.re 1 S<1U valoa.1'e n.-Din 8cela:;;1 motiv
j
1

28

29

H(X)=H(Y).

Dscii cSllalll1 este dominat de z;golliote toal'te Putel'oica. a.a ~8mll minus. In consecint;~l

S6IDna1elor de Ie
llll l!la1 de phil
I(X,Y) = H(X) - H(X/Y).

(1.15)
c8lla de la intrare. d8'l7 enind dac.i iOtleI>endente, adlca:
ad1ca traosiD.for!ll8tia ute diferent;a d1 ntn 8otropia :;urso! CIt re

pe;YJ/~i) '" p(Y;j) .r.espectiv P(z;i./Y ) = p(x~)

debiteaza in catlal ~i echivocaUe
j
atucci se va Db~ine,
I,n relaUa (1.13), VOIll i'ntroducll !Ol'lIIulll lui BellS pec.t.r'll

p(xl/yj) .vi VOlll ob~inel

R(YII') = H(Y)
lili
H(X/y) = HeX).
tel incH

prob8bil1til.~ih

ie~i.re

ceea ce insealllnil ca, erOSrea medie Pi1 CSl'e 0 facem in 6sti

1,
p(;' /x )

1
marea
l(X;Y) =
este egala cu 1ncertitUdlnea
deci
nilDie
lee;' P~Yj)

despI'e
cind.obse.rvWu iatrares, .respectiv lIehivoeat;ia PEl Clio
eeea ce se l118i Peate soriel

re 0 Bvell Ob1l8.rvind 16 9 i1:'e a , eate tot atit de mre, cit ipcert1tu.

m n

dinea 1ntI'!rii, ceea C8

CB ou
numlc despre
I(X;Y)
~ ~- -p(Yj) P(%1/Yj) log p(Yj) +

j:;IIa
In cazll1 real, ciM zgoll!otele e.xista, dar nu sint atit de
Putarnice, incit din semnalul
se nu se poata deduca
+
P(%10Yj) log
nillli.c asupra semnalului de la intrare. eatI'opiile condiHonatG
1:01 j;l
.J
vor
a"'ea
valor1
interllledisI'e
celor
doua
extreme,
C69a
ca
In .rela~ia de .mai sus, pI'i:::' SlLma dubU este H(Y). oh~inlLt:'li.

se scrie,
~o.r dac;;' S6 trece io af!lra sumei P6 dome:iiul i prcbllhllitstll'&

O"';H(X/Y)-';H(X)
respectiv
p(y.) 9 i 10garitmul sau. A doua dubl!i sumB., ccnfO.1'l:1 (1.11), este

O~1iey/)C)~H(Y)
J
.
.
eroarea medie cu slmnul minus. In conseoin~11
1.4.2. Transioforlllat1a
, r(X;Y) = H(Y) - H(Y/X)
(l.16)
Desp.re traosinformtb putem deci afirma coD!Ol'Q (1.15) cll.
Dacii anal1zlim 0 paraOhe de simbo1u.ri DB .r"c!l{'e, uall'l fHnd
este oedetermios.ree sosamblului de la int1'8I'e minus echivocul.esu
prezent la intral'e, isr ceHUalt la ia$1.l'e. (Xi;Yj)'
CUG am
pre acsstui ansemblu atunei cind se cuooa~te ie$iree, altfe1 spus
adtat in (1..3), vom
eu ajutorul lUi Y 0
aSU.pr3
IIste 1ifer8o~a 11ntre OIIdeteI'm1aarea in1~1aH a intI'A.I'l1 ~i OIIdll
j
lui Jet' ega18 cu log P(Xt/Y;j)/P(%i). Din cauza zgomot1ll:or dill oand tel'minsrea riimasB. eellpI'8 intrarii, ciod S8 cu nOIL9 te :!.s~iI'e 8 .Ace
iotormatia proprie, 10g-PC;i)' este mai mare
mu
1a!;>1 transinfor!lla ~1e, coD.forll: (1.1E este diferen;;a eintn nede
termina.rea init;ialii a ie$irii $i nodetermioa.rea ra:.Jasii asupra le
tualii., log p (1;
Xi Yj y, ceaa ce ins68mnii cli iotormatia adusa de y.J

.viri! cind am ~marit lotrarea. Ic!ol'ma~ia V8 C%89te cael echivo

desPI'a Xi' nu aI'e
lllazimposibilli, fiind
calor

cat;1B scsde, adicil d!lc!i eroarf,!1 llI6die scade, c.ua C6 se intimp1li.

doua 11111.!'1mi demai SUs.
Pent.ru toat6 PEl.rechil6 de variab1

cind
cana1ul are ~gomote slabe. In c!lzul absen~ei acestors, de08
1 iY
le (X
treouta P1'in can3L Mi
cs.
rece probabi.btiit;ile p(Yj/X 1 ) devin, unele ega1e cu 1 Iili altlle ega
"i) posibile, se
le eu 0, BellY) dev1ne null, oa !;>i H(Y/X)J!ar iD.fcNul~1a ob~10'8
veloarea
ID8x1mii, egal! cu Dedetermina.!'ea 'sursel H(I).
J(X;y) '"
P(Xi'Y;j )[10g
f;J.~
1.' ,1
Valoarea
minima a informat;iei eate obt;inuU atunei ciod
og
p(xihj)J
(1.1
Ult1l!la
~ela~1e se llIai poate serie:
siDle r.gomote atH de pute.rlllce. incH PI' obabil1 t! lle condi ~hll6 t.
P(%i/Yj)' ' p(Yj/i:i) devin nec ondit;iOIlB te $i deci entropille condl
ID
n
m
J(X;Y) =
)10g p(x ) ...
~ionate devin egale cu. ceb necondi~ionste.
1= J;I
~
i
~ ::>
j;I P(xioYJ,)log p(x I1;
i
B(X/y) = H(X); H(Y!I) = H(Y)
Sa poats obse.rv8 ell,
in 8fara SUJJ:ei, executate dupii j, ant
In IICest car. rez;ultil. cil.. informat;ia Iste nul!, adicl' din obse~a
PEl P("1) cit
10ga.r1tmul sa.u, Se
in Prima sWila dll.blii en
rell 18~irll nu putem deduce n1mtc asupra u.t1l1r.lrii intrbU 0

~1rii.

ie~irii,

i6~iI'e

Insea~na

ou.~t1m

~tim

1nt~sre.

~ecep~ionat

1:. 1-

situa~:ii

a~a

ob~ioa

iofOl'"l!l!l~ie
~ecit intovaa~ia

v81oa~ea
Medi1.Q~
ob~ine in:orma~i8

. t

'R,pi.

f-

~-P("'1)P(Y~/xi
eco~ind

~1

dlfGrea~8

PC;;J -..
~

ob~il1e

~ ~ P(X1'Y~)

B(X). A .... ..., . . . . . . c.ot,,. ('.9) ...... hi.....,. co

P(y~/xi)

31

30

, ;
H(Y!X) = -p log p-(l-PJ, log .
. . t-p,
' _ (1.17)
.
Concluzla ce se poate '
tJ.'sge este
dec! os latorIllB~1s t1'eCUL. a~aasta relat;;ie rezult"" COlJ: e.oa...es
illil .
.
n
"
,die
eate
1~1ep6n1';1ota
os
o
pr::'o canal, atuoo1 clOd ae cons1rlera v8riabll caMlill CIl raralllEl tJi~" iu1v
ll.ti11zare a b
c,analulu:t" de pro
3Ll il'tii~il(j
1.
. P/X).
,
'
In acest.
s1l1 de
llL'a 0 valool'(l
intre
111 !Intl'opia:sOt
translatol'Dl!lt;;ie ''lata conform 1:;; 1 3.1.0..
. uo_ maXlm.
_
...
i
(1
16)
va
a',1HI
Z
sl1l'SI3..
ac"-
'
.
"il
d J: E(Y) are va10111'O lD3Xi.m1l. .:lQ

trenstl~,

'

c"'P~1[)a.

~e

;:;tl~O

~:i.

trop:l:a iali lrii "'8 fJ. mm!ima

ega
g cu 1. oi~, atl~i eioi) pC11)
-;, " 711-Coosoclntii.
..
P'Y2'
...
, capaciuatea,
G~IlS'
II cana
, 1 u1 u1 binar s1metrl.c

1.4.3. CaAAcitatea caD:alului

C

Ne prOpU0611l sa.apr6c10m valoana maxima a 1atormat;;101, do

data scoasta nu prln vaJ:'1at;;ia f6rametrl10r canalului, cl prin va.
ria~la modulUJ.'de.
ut~"llzare B aCe$tU~8
cBtr6 surss de informa_
'de.
1
t;;1e. valoaros maz1mii astfel obt nuta, va f'i dependecte. de Paramlh.
1
td canaluJ.ul 9 numai de
poarta denumir"aB de capacit-..
te a csnalului. I}slculul 1nfo.rOllai;10i max1lilB so fs':e Wilor dosr P6Q
hu caoalul in parametr11 caruia sint enumite simetr11. Odeo ca.
na1
ls capacltatea sa, dacii SurS8 de 1nformat;;ie. car

-.. ----

c'CBS __ 1

+ P log D +
+ (1-p) log(1-p)

aco~t1a ~i

fUOC~lon6aza

va 1'lr

,
I:
'

Flg.1.,.

(1.18)

informa~ia
atingo cap~citfl-

Sa poate delUonstra c!!.

tr9cutii prio canal

taa acastuia, dad. B'Ill"Sa car" da
" bebilitliif1 agale.

1
b1tssza in cans . are'1 p~li:!)
0
,
deblteaza ill cacal, este
de uosnwn1t sat. do
'1910 ca caoac1tatea
..i ','
OJ-Da."
u
D
1
0
roll
Is
t;;
~
a
"
:;
'
.
bl.litat;;i. Daca caMlul ou f Oc",1oo.eaza 10 capacltat08 sa, apare 0
d t" UJ;:lsi de 7;gOlllQtcl p dl,n CaLlal. Aceas, t 'a d' e _

'
.
.
.
"
1511l10trlc
este
depen
ao
0
rodUllosot;;a, defJ/;.ita ca rilfel'or.t;;a dlotro capsc1.totes canalulu1 $1,
.,
t t-a .'n
flgu"B ~"_-.......
1 3. Dace. p::o,5, ceea os 'i e~alUd t;;a este prozeo e Ii ":'w
~.
,
"
"
trst1S1ofoJ'lDatia
];In. o n .
1 i ..
in CBnal se obt;;iile
ox ..
r
\1
a a ls orlCll semoa nwr"
,
. ..
R =
- r(XiY)
n c .
1 1
aoacitatea canalu1ui este nub,
""',",0
do e~ nici
1'0, c_
"
.'
u1t _
s~o sta se aa
uo canal deosebit de simplu eate cacalul bi.n!u si.D18tric (}<!. care s1.mbol
ma1
un tel de 1[1forma",l9.
Fap
x
re aro matrices do transf:Jr
toresza
~ 00 ioilependootei sOll!nalului, do . i re d e ,. 1 de l/ltrar6 C<>Cl,

caracter~zste.

pr,,:Ja~

t'

CBS

--

~P

1-j

.t'entru ..cest csoal, care are dubHI silUetrie, wd iatii ;:it'

orice linie se gase9te scelo!;;i set de probabilit at1 91 apoi po
orice coloane. so gase9te sCGlaljll set de probabi11tat;;1, so posts
calcula capecitatea. ()bserv~ wai intii ca oroarsa JIll/Gie se scri
desfal;lU'1ed sillDels din rela~ia (1.10).
H(YIX) = -P(x l ) P(Y1 1y.1) log P(Y1/xl) - P(xl) P(Y lx1)

.10g P(Yz/x 1 ) - p(x 2 ) P(Y1/};2) log P(Y1 /x 2) _

- p(x z ) P(YZ lx 2 log P(Y /x )
z 2
coosider.l.Dd
P(Y1/x l )

se va obylno

P(Y2 Ix 2)

~/l~.

troci~d

llchip~obao11
prl~

~e9

daca- p::o, 5'

I-p P
.
dOPllndentii doar deo siogura probabi11tate p. Se vede ca l:O cessl
biMr simotric are alfabotLll de iotrarG, ca 9 i po cel de lqii'

compus doar din doua simbolu1:'i, iar probsbilita~i1,e condi~1o::,

sltuato po cole doua linit siot 8celes9i

~i

caoalu~r

~.t"

I",r(XIY'~max

~o

P(~'l/xZ)= P(Y2/xl) = 1-p

~6

= 0,5

ln~epeodeota oe lctra~a,

p(y ) = P(x1) p + p(x ) (1-p)

2
1
..
ca6S c e 1ns6amna ca ~e~lres,
,
sp u OIl elmi'"_ dospre 1otrsre.

OU

DB poate

1.5. CODURI
Ne PWl611l prob;Le!!U! tranaportltlui ioformat;ie1 uoei su.rse I\a
Ill.formstie priotr-uo cBcal 9i constatam ca io gooeral, alfabot'll
sUrsoi ou este idontic cu elfebotul de la iotr(lrea cana1ului. A
ceastii oo'edaptere fac6 imposlbila conectarea sursoi direct 1a ca
oal. llste nevola de 0 coo"ors1e s su.rsei, int1'-un mod caro sa 0
rae! acceptata de cacsl.
"'om iotercela iotn surse. 91 cacal uo coc"'6rtor, cu sccpt:.l
de 9 trsnsforms oricare simbol gODerst de s!.lrsa, lo.tr-o aucces1u
Qa de simbolurl acceptate de canal. Acost ,~oD:\'6'rtor BI nWll&~te

32

33

cod, . procesul ~!J nUDIelj;te e odare i reprell1ntil

lIHll~14tea simbollU'llor SUred de 1lltorma U& o tUllC~1e dBt'1ru.jdUIU1. va 1 dec1 1nter6santa 0 anal1za a procedeelor de codsn t
cu ~alor1 in mul cere sli Ele perm1tl!. 0 alege!'!!1 dupli un cr1terlu de opt11:11zsre. '70l1l
lIlea cav1ntelor ~OdQIU1, tl {S11---lcJ.
acc6'pts d.rapt (:r1t6riu, costul tranem1s1ei, pe caro-l tior 1111 :!I1aim,
AOcep.;!a 1,0 coderea c!t;sc r 1s4, cll. .fJ.acaru1 simbol a~!] $,1 cue ce ins.8!ldlna u.n minim pe n.tru dura te de t,ra OS III 131 e , dec1 un m1~
H CorflSpuode 0 SU(lce3:!.Une ".e Silllbolur1 de 18 1e:;;1rea et>du1Lli El1m ~ntru nwnal'ul de simboluri 1ntrodusel in canal.
cil nu slnt doul sau lui /lIulte simbolur1 d1n sursa, el1'o1's sIi 1
Pentru a' face aC6asta apreciere t detinim lung1mea u~u1 cU
C01'8SPUl1dl 0 aceia~1 sucCOS1U06 de cod. ~u alte eu"inta tullC~
"i tit de cod, 11 , drept numarul s1mbolur11Or de cod cere-1 COlllpun.
t,{s11-[c 1 sste inject1v/l.. In CDZ contrar ou se va putea re
Dacl pCs1) e ste probabllita tea elll1s1ll1 simbolulu1, 8 10 atl.lD.c1
Oo~te In cUvlntul eorlului simbolul cOdat, ceea oe sr tace 1mp
b1l Proeesul 1nvers, le ie~1rea din canal.
(1.2, j
,-L ..
P(s1) p .
o III dous 1II1s1Ul1e a Procesulu1 de codare, este aC6Ga de 8
hsns.tollme SurS5 de
P.t'1mara, cu
lIEre, lot este lung111lflS med1e a cuvintelor de cod, rezult'atl 08 mediare a
Buraa cu. 1'tIduodant;ii lIIai lll1ca.
lang1m110r f acestes sviDd Bceleal;l1 probab111tl~1 ca ,1 s1Qbol~
1
Doarede caoalels cele mai s1mple sint ~1 C6la mai trec". r11e surea1 c!rora le siIlt atSl;1ate cuv10tele de ~od c "
1
te ,1 ale cint bi..c.ere, in cs1e ce ur1ll6aza D6 vom p.reOCl;.pa d6 e
Costul transl!l1e1e1 va f1 proportional .cu L ,1 dee1 1111011111
Qu.!."Ue binare, CIUS treos.fo.t'l!Ili ortee sj,mbol al SUrs6j. iatr-un
zarea eceste1 mar1m1 S8 va ~mar1 10 eont1Iluare. Intorma~1a ~edi.
de si.mboll1l'i, b1ns re
pa s1mbo! 8 sursd este egal,a. cu 1ntorlllll~ia medh pe ewint de co1
Dedi Uti cod satlstace ecndi~la ca, oricare1 sUcces1uni ill
R(S) :
-P(s1)11>g ,P(s1) =.~ -P(ci)log p(c 1.2.
s1Jlloluri din sursll. Sl'i-t coresPUnda 0 SuceGS1u.De d1teriM de euv
~1
~
te'dio cod, atu~1 codul se nume9te un1c decodeb;.!.
deoa~ece si , i c1 au a~elea~i probab111tl~1.
Da.cA un cod aste ltnie oeeodabl1 1 !W. aols :.t~voie, PElntru
Intorma~is medie pe simbol a C1>dului estel
cUvlnt:l1u1 de cod, tara sli
COlWersia' 1nv..rd, decit de
2.

mal .tie 0llc6sara 0 parte diQ l1l"matorul cuv10t de cod, codul Sa

H(I) .. ~ -p(x i ) log p(x 1 )

lIlel;lta 1nstaIltaoeu. Codul b10sr cu CU'l11nte,ls 10; 100; 1000; ou e.

lUlde s-a pre8upus 110 cod b1nsr.
te 1ostsotane u, delj;1 are CU,r1nts unic dec odabile, daDa reee, dup!
. Deoarllce L simboluri de cod componetlte ale cuvintului de cor!
sos1res la rece P~1e a s1mbolu.r11or In, nu ,se poe te d ecoda, dsoa.
vor
aves
0 1ntorma~ie de Lori ma1 IlIBre deeit 1ntorma~11l JlI8d1e pe
ee au ,t1m dae! va sosi I, cees ce itlseamoa ca 'io est~ UO cu~iQt
simbol
a
codulu1,
rezultl cl 1ntorma~1a DlfI die pe s1mbol s surse1 d,
Sau va sos1 0, ceea ce lnseamoa ca 10 nu este decit ioceputul,
1ntorma~1e,
este
de
L od 1lla1 mare declt 1!l!ormaUa I118die pe s111
tuul cavintulu1. De a1ci decurge cond1Ua: peotru cs uo,cod u_
bol
e
oodulo.1
deeodabl1 sa .f1e 1nstactan6U este oavole cs prlith:e!e cU,\.1n.telllt
R(S) =: LB(X)
de cOd sA au tie cuvinte de cod. Codul nl; I1rll; 001 este 1a.etalll
TalOl1rea max1ma a 80trop1e1 H(X) eate log 2 ~1 ae ob~1D8 10 cs~ul
teneu. oie1 un cuvint de cod oeti1nd pre:l.xul altu1 cavint de co
Codl1l'ile iostantaoee Se ma1 llUJll6 se ~i 1reduet1bil
in csre simboluri1e Xl lj;1 x 2 sint ecn1probab11s. 54 peate deei
ser1e
1.5.1. Fr1clenta codiiri!
(1.
= L ;>
pe

1ntorma~1e

reduor!an~!

"t:.

Prezeo~a

Dffi

10 P!'ocesul de eodare, tiecaru1 aimbol al SUrse1 ii coree

PUnrle t1.lI cUvint dol'cod. Procodeul de eodara cars iOdica Corespoll
ce 6e .tace intre
[xV
ml.ll.;-imee {cil poate 1
l1Z!lt io /lIu.Lte te1ur.1, utllizind ace!eal;1i simbolu.rl {xJ ale

deD~a

mul~1lllea

~1

~
ell~

f;:)2

Rels~i8 de mai sus eratl cA laogtmee med1e S cuv1nt.lor de cod AU

Poate ti 11181 mic!. decit eotropia aurse1 reportetl 18 log 2. Dacl
bsz a logaritm11or este 2, atuac1 scesstl ult1mi rele~1e s. va
1I01'1e
L >17(S)

(I..a;)

35

34
E.fic1en~a

cOdii.rl1 ae va !l,p~ec1a. pe baza l11.eglllr11

i.e eompsraUe ell entl'oP1a Sl1rae1 R(S).

'l. c

m~dl1. L,

!'S)
log 2

(1

Codudle cal'e au eI1 e11l.et;a egala eu un1tatea 88 numeso absolut 0,

timel.,,- Pentl'u aattel de coduJ'1, 8Q'1:;.t Dpia simbolurilQ,J" do ClQd est
mu1lriii (agalli cu 1 b1t pentru oodlll b1nar). In acest caz p(x ) ::
Pl'obab1l1tatea uou.l cuvint de cod. atuo01 dad 1%1
.. p(x 2 ) ::
:1 2 sint 1ndeP8adeote. va .f1

1 Ii
P(%1) p(c i ) :: (~)
= 2 -1

(1.

deoal'ece cuvintul de cod este 1nterB8c~1a a 1 s1mbolo.rt da cod,

1'1ecal'& cu probab111tatea ~, IQS'Illllind Peotru toete valorile 1u1
obtins ,

o
r2
i= 1

-to
1

:E1
(1.,

ACElBsta 1lli;1.mli l'elat1&. Qllcesa.ri P6ntl'u oa Wl ood sii .f1e absolut

oPtililal, no este suti01ellt8. de oal'ace au Be re.fe.ra decit la IIlng1.
~a cav1ntelor de ood uu ~1 1a Con~iQlltlll lor. Re1at;1a oe arata
doel' eii cu aeele simbolu.r1 de cod 1jI1 Cll ace1e lungimi 88 poeta
oonstl'u1 Un c cd absolut optilllalo
Sa pllQll 10trebarea daoll. putem

ati~e

valoarea lllBx1mi a e.f1

e1en~a1 ~1 in ce eond1~11. La aeeastii 1ntrebal'e l'iisPUoda pr1ma
teorema a lui Shanoon aau. qa cwn este CWlOSClltB io 11tereturli.,
teOl't1l1lB cooal'ili e8'nale101' .fal'l zgol:lot. deaum1l'e del'1vaU d1n seo
pill urmarit ~1 anume ace Ie de a cods BUrsa de 1oforma~1e, peotru
& putee tl'aversa canale odn!luentate de zgolllot. Ca sa ajll!l8em 16
8ceast~ teorema oe intoarcem 1& relatia (1.25) ~1 0 rese~i~m ~1ni
coot oil :1 este l1.Il numal' intreg 91 ci, in geoaral, P(si) nu este

D putel'e intl'eaga a lU1 d01. In aoest oaz, :f real va i1 cu ~8va

1
mai mal'e decit aeala eare l'ezllltii din.(l.25), seeasta de~1r8

("onstituind redWldeo~a. DIlIpB,eins nu ~ fi mai IIBre ca 1, ac!1ci

log2

i
'Pt's."'J
~ 11 < 1062
1

~pl:!.!icll.m

obt1nindl

S8U

1~

eu P(s1)
.

~1

PrS:;Js.1

of-

ReS) ~ L ~H(S) 1

(1.'<7)

Rela~ia (1.27) ne aL'atl 01 1ung1il1e a llle"1&

eu.. .iot;el or d.
cod este l1m1tetli 1ateriol' 1a eotrop1a sUl'se1 R(S). P.61a~1l! (1.27)
ne arE:t~ aeU!ll clL se poe te eons1ders oa 11m1 ti. su~ ri oera a aeestei
lllag1m1 medii, ev1dent IJ3ntl'u co(1ur1 b1care, va100rea eotrop1e1
!I

sursal plus 1,1.0 b1 t.

Cons1deriod exte~1a slUse1 6. adieii 0 sursA care deb1telid
sllcoes1uni de t s1mbolur1 d1n aursa S, ccostatiia e~ 1c!Ol'ma~1a me
d1e pe Buceesiune, dacl lieS) este 1atormat1a media pe simbo1ul
surse! S. va I1 tH(S), de tori Cl.!l1 mare. Daeii vDlIl eods fieears
sllccea1une pos1b11a cu un cod b1car, '70111 ob~10e euv1n;e de cod a
airor 1ungime mad1e va fi L ; pent.rll &Cest Lt VOlll p~ea rescrie
t
re1atia (1.27) tinini coot de valoarea 8otrop1ei SIlrse1 ex!;ios(j,
tH~S) ~ L ,s;;; tH(S) + 1
t
Divizh ell t ~1 ftiOelll ea t a8 cre asc~ nel1.;dtat ~1 gls1Jl
H(S)~

Lt
t

<ReS) +

PeotJ:'u t mare. sa vede eb.

L t _ R(S)
r-

SSIl

tneS)

(1.213;

Deosrece uo s1mbol d1n B~sa.S posrtii io l:l6die R(S) bi~1 de

ic!orma~1e, rezulta cil t simbDl~i ~r avea tH(E) bi~1, codab11i
eu un ouviot de 1ungima medie egal a ou Lt s11l1bol~1 b1aal'e. r!1
et.o~a codhi1 se va eal'cula eu (1.211), puniod la nWllarator 1n!or
maUa medi6 pe sueces1unea de simb,olw:i din sw:se S, adicA. tli(S) ~1
18 numitor luo,gimea eu care se codes~a sueees1uoes, Lt , ap\;loio
dl.-se ev1dent unu, aeeaata _const1tuiod prima teo:rema 8 lui Shannon,
care se 6lunta BstIel, 0 codaro (bioarli) ee poate face ou stichn;.!
maxima agal! cu Wl1tat;;:-ds~-;;SiPUllE.l eodir11 uteosi& de ord1I:
mare a surse 1 de 1c!orma ~ie .

1.5.2. Metode de eoda1'8 bioarl

iWilUlIlam P8ntru toate va1arlle lui 1

n
0
1
_
P(s1)log z+..-~::>"
~\~1) t;1 P(s1)!1 <~
J;I P(s1)10g Pr8;'J
1

-=

)l

Fie sursa S ell a11l1bo1urile {B l } f;>1 probab1litat;lle {pe s i

ell i= 1~0. 0 vom coda cu un cod bioa: eonstituib dia s1mbo1c.dle
1 ~1 O. Impar~im surss B i~ douii mul~im1, So respeetlv Sl' !ieea
.re cilprillzilld Ull numa:- de s1mbo1ur1 n1n e61& a aJ.e sur.sei S, a-et
tel e8 sona probabilita'yl10r s1mbolurilor d1n mul~lmea So sA t1a

16
egal! cu SWDll Pt'obab111dillor Sbbolll1'llol' din IlllU.V11llaa
dent e~lsti ega11tates:

~.

37

BIrd;..
'tabelull.2

. P(B o ) " P(~) = 2- 1

1aol'l~1,

Se d1vide

in cite doua

st obUclDdu-se.sublaul~1lD11e

ublllul'!'iOlI, aUt

mul~ll11!l!11

~o' ~l'

61D
B1) cit

Soo' Sol'
tn .t1&cB.r.e d11l
cirtlr ~oba bllitat;e, Insumat! tn dOlleniUl

SUbllul1;1JD11 l'especUve, sst1s.t.'ace egalita tea I

d. 1.Qtol'il1d B1mbolur1

P(SOO)

Ii.

P( So1)

P(~o)

:: P(SH) '" 2 -2

cont1~

p(a 1 ) :: 2

-i 1

sl

~1

(1.

sl
s2
8

~'f25

8 4 .

0,125
0,0625
0,0625
0,0625
0,03125
0,03125_
0,03125
0,03125
0.tl3125

85

B?
&8
s9
s10
sll
&1
8

Instllll1nd reIavis (1.29). Pliatru dOllJen1ul de variat;le 81 1W.

1, ae obt;11JB:

a
~

1::i

p(d 1 ) ::

1 =
.

fu
1=

-t

adlca t DCIlIB1 egaUtstes (1.26). De slcl ~zul t8. cl

lungilll11e UIlul cad lnstantsne u abaol ut optimal .

sol'bo~8Ceat

~
fu

P(s1) l.og

Dae! SQrss Sol' 1 de

[H(S~

1IIlU: ::

~x1ma

12
13
0,0~25

'0

100 .
1010
loll
1100
llolo
'11011

11100

1
0

11101
11110

11111

0
1

1,

......

011

,,1
0'
1

;
~

<;
-_u

Ii

.5

c;

,.,1:_ _- _

<;

ol'epl'edntl

codal'~
b1ns~

iitb- " },3125 b1t/simbol

1.

entrople, Sol'

8V8S

10g2 13 = 3,,7 blt/simbol .

l~

_.

DO

.01_,) _.__

II

~.

- .Plg.1.4.

Lung1111es medie a cQvlntelor de cod este

L ::

tul de
cod

lw:J.gime8 ou
viatllllli de
cod

D1n elul CUll s-a det6ol'm1nat l1' PZio dlv1zsrea in submul_

t;1m1 de agall Probeb111tate, decurge metoda de

b1nsrl, P

en

tru
se Prez1ntl in tabelul T.I.2 0 codsol'e
Shannon
-Fano 1ar in .flgura 1.4 gol's.tul
cool'espunzatool'. Sursa
are 13 s1mbolurl ~1 0 entr op1e:
R(S) =

--

CuviQ-

2
1

11~trare

D1v1zaraa in BU_bmuHi.m1
t~ 1nd.1cl1 sublllul1;1m1~

0,25
o.}25

In continU&1'$ sa PZocedeazl shdls.l' imllirt111d sUbmult1mlle

in douti subllulV!1l.1 de Probab111tate egaU, pinl clnd in altll1111 41.
v1U1,N II rimas llns1D8ur Bimbol. Be observl cl neclU'e sUbmultimo
are SlUlla probab1l1tA vllor sil:lboluol'llool' componente ega!! cu 0 pu
tere a lu1 2, Puter88 este egsn cu numil'ul 11:td1cilor submult;1JDti
luat cu semn Bch1JDbat. Submultimea carG
un s1ngur 81mbol
(s1 eu Pol'obab111tatu Pi) are UQ numb de 1ndie1 ,t
decl:

bol

Probab1l1
tstea s1m
bolulu1
P(S1)

Be vede cl
P(st)l1:: 2'0,25 ... 3.0,125.3 ... 4.0,062.5.3 ...

... 5.0,03125.6 :: 3,3125

S~bo1

blQ8r/s1mbol sUrsl'

eu 'Qtrop1a

luag~es ~dle

a cuv1nte1or d. cod

es~ gall

s~sel, dec1 e11010n1;s codlr11 este ma%lmi, egal1

Oil

Caloul.lII eQtropia simbolu.dlo% d. cod,B(X). PlotI'll oue ,JIll

.... ~1 IlI8CeBU8 p(o) ,1 p(1).
)'1. Dol oWIIlrul d. zerou.n dlll c~Dtu.l de cod atuer:t .t.
bollll ll1
1 1 ,,1 ~1 JWIIlrul d. lUllltl 4111 acela,l cllYlat d. cod' Bri

38
dent Jl 01 +1111=1' 1'robllb111tatea em1terii.
codbl1,vs 11

~ ( .
2-.
P 81)

P(o) .. {;l

ti

ZEll'O,

I1J.'ma~iJ

cs

11

01

11 01

...

p(St) .llt1

Probab111tates emlter11 unu! 1 va 1

fu P(s1) Cs,1
P(l) .. ..=-=
~

r.
1:1

39
~"~1.JnA14 pnSllptme

cu lu,~-1lDfla iIJ6
dad. Metoda S.l:l.8l1D.OQ ,-.---'- ~
}"aIlO pe:rmitt obt1nerae anui cod instllntsneu 8...b~111~ opt11l1:;!o dar
Daisl pentru C8Znl 03U totul particu,lal:' clod probab111t{ltea tbcii~
.zu1 simbol 81 SIll'se1 se poste exp.ri.ma p.ri otr-o pute 1'6 iato1'6 aga a
lui 1/2. In rea11~lt:!l fl:e BA"seGc nll1.wll eazl1.l'), ia C31'6 .l.[;a~l3ti C.. ~1il
'~1.Quest6 ~alizata ~1 d.lrel metoc.a Q\}. '8 pOlIte apl.iDB. Obaen-iud
un ood optiIDal.se pot, .nUo.1;8 urmatoarlile p.rt'pr1eta~i alfj lui I
.-
i. _ Cuv1nt,!ls ~ctJ.!te d1 Q cod siot atalil8 te- 61mbolurllor eu
11

p(a 1 )

IlI1U:!

-=-_

i f;r
~ P(s1) P(O/8 1 ) 1
P(1) = !.t= P(s1) pe1/s ) i
i
1
J.=l
P(o) =

p(a)

...

!).125(~ + ~ +

j).3 ...

BEl

ab1;inG

0.0625(~

...

i +f

12 2 1 2 1 1 J l
.
... 0,03 5(> ... )' + )' + > + ;).5J~ .. 0.5)
COIl1'~lIIind asttel cal1tatea absolute. optimala a c odlidi. Prill
dare, SUrss prllDara cu efic.1 e111; a

ll.s

~ = 0,895

B fost trsasforlDati in sursa

af1elel11;i ma%1ma.

sec~ndara,

- -

P(Sl) ~P(32) ~p(S3)~P(s4)~'" ~p(sn)

1~ t2~i}~i4~"o~11

2. - Ii:lt~-:un cod optimal,-!IUlg~.le lj\T~1i:ltelor d.! eodeo~

oalor douA s1.mh\)llU1 care au cel. lILa! lII:Loi Il:;'l!tIabi

lltl1jl si~ale.
U~il1zfnd cde doua propr1etA.1;i ale codur,llor b1Q8l'e opti
male. in 1959 HUf~~yeziot! 0 me toai. de s1~tez!l :1 coduz1l'or bi
Que optima.le. Pentru flxpunerea IllEItode1.enun1;i.m 1o.i~ial medul d'J
zoeal1~~~~ ~1;;ur8e redu86.
!,1e ~rsa S Cll 8imbolu.dle S1'8 2 Sll ~1 probab1l1U1;1h
P1 P2 PQ' a~ste probab1l1tl1;1 fUnd Ol'dOllate in sens necrescl
tor, adieli P1'''P2~P3'';''.~Pll. Sursa
care cOQ1;1ne s1mbolur1h
81. 82 8 _ .5 11_1' 011 probab111ta1;1le P1'~2'P} Pn-2. P n-1+ Po.
0 2
este ~ima reduc1jie a 5urse1 S, ob~inuta din S prla inlooulre8 ul
tlmelol' dous simboll1l'l cu nn al t silllbol. care 81'1 pr obebllHe tea

egali. OU sums pl'cbablllta1;1lor ultimelor doua 81mboluzi dln aurs8

orig1bBU S.
Simbollll'lle 8urse1 reduse s; po': f1 scum 0:0 (\0 DS tEl in slcsul
l:l8erescltor a1 PJ! obab1l1ta1;1l0r simbolurl1or. Inloo uind ul timele
doui Silllbolur1, cu ~ nou almbol avind probabll1tat.a .gela cu su

. . probabl11tA~110r celOI' doa! s1mbolur1 in1ocu1te. se postl ob y l

n. a dOIla redUC1;1e J S;la surse1 or1ginBle S. In cOllt1nWl!'8 se poate

"PI's OPBra 1;1a d. reducere pin! se ob~1D1l 0 reduc 1;le eare COD~1D1

~UI81 doul s~bolurl. In tsbelul T.l.} SI prez1nta osursi. 01'101

tl.all 8 ell '1 s1.mbolu.r1 ~1 reduc~iile ee se pot construl.
Pentru ultlma rlduc1;ie oars con1;lD1l douA. 61.11bo1ur1. s. pgB
~. Q/for Pre01za eod.ul bln.ar. ace8ta avind cuvintele
11'1 :12 =1
r6Spunzl1tOB~6

cazul COl1c1'8t al cedulu1 constru1t

= (0) 25'12

SU.:S8

probab111tll.1;lle e~le mal ~r1 ~i 1nve~s. Aceastll. proprlata!:, as

aerie io forma a d oua ~1ru.ri denWll8l'El oare 59 cond1 ~10DS azA :uc'1

p(a1 ) n o1 ...
P(s1) n
11
1=1

C0l:l81dulnd Probabllita1;lle cond1Uooate peo/s ) ~:i. p(11i proel

1
rezl1lU cli 110i=P(o/si)'~ l}1 nl1 =p(o/s1).l Nwnit;or!1l P!'obabil1
i
~11ar de lIIa1 SIlB eate lung1~ea medie L. In consecin1;~

Pentru

c,oo~luJ

gA...i%e.B

a olWtD,talor CGa mal mlc! P6-QtN

cu simbolur11e 0

~1

I,

In cazl1.l'ile practice nu totdaaul:!a este posibll !l ee imp

slmboll1.l'lle Burse! in doua. grupe de I!IgaHi PI' obab1l1ta te .M~tot!a d
::lodera S~onon-P'ano se poate fOl_o_si, eu observai;ia c1l codul ob~1'
nut este insta otsoeu. dar nu 9i absolut opti:l:al. Aplicam me tode
Shsnnoll-FBllO divizlnd BUrsa in douB. SUbllllll~1mi de prohabllitii1;1
cit mel apl'opiate. Divizarea urmatoare se face de a5meQea in s
ilJuHi!!li de P.l'obabil.:!.tate ap.rcpiata. In fiecare divizan se at%ib
una1 mul1;1mi simb01ul 0 9 1 oeleilalte mul1;1mi simbolul 1. Oilld
te,rmloa t c.1viza,re8, ob1;ioinau-se ir. :.U.cima liiviziuna t1Ll unic si
bol, codsl'ea este te:rmioata.. Clltrintul de cod., psntl'Li uo. simbol,
filnd suece5iulllla indic11o!" sllbsu.rse1 cara-1 con~1ae.

S;

.au 1Iln .rB Xi =1

zt=o

~1. ~=O. orlean solll1j1. fUnd W1 cad unlc d.codabll.

40
Tabelul !'.
P~obab11itl~11e s~roeln~ reduse

SlU'Ba tlt1g111aU

B1Jrlbo- Pl'Obab:L
ilU'1 Ut!U
8

1
8
r

53
Jr

~1

8}

0,3

0,25

0,20

,..

.,10

,2' 5
25
It.

1
Q , 2

88

0,08

.,

05

0,02

-r

0 ,~~

0.25,3
2

[0 1

....' .

..

0,25

,.,2

0,1'

54
r

--

a5r

.,

0,'. jO._.
0,4

. ,25 ,

"

Oodur1 P8l1tl'U l'Sdnot'18

0,-",:
0,25
0,20
0,10

2
2
2

00
11

10
00
11

10
00 .

1.1

.
101

0,08

0,05
0,02-

5
5

lo~' I~

S'r

61l'

P(s1) .

lo

~10

,J

101'1
. 1001:l
11
10001r l 00
10;:]
. '

S5

0
00 1 [ 1

11

54

" 1:

01
0

o'

1 0000

Codul b1D8~ pant~u. psnult1ma .redue~1s, B8 ob~1Dll p!l.std

CtlVintul d8 cod p.nt.!'u s1!l1bolul comWl ~sducUe1 ult1me 1i11 pe
me ' i const~u1na doul cUv1nte d. cod P8ntru cele doul s1mbolcun
cal'S au tOBt reunite In ult1ms r8duc~ie. Flcind uz de Pl'OP~1et.
2-& a codur11tlt b111a1'e oPtimale, cele.doul ce:vlnte de cod, c
tru1te pent~u P8Qultima l'educ~1., VOl' SVea 8ce1a,1 lung e ,1
lm
d1ter1 pr1n ultiJrlul Bimbol, cee8 ce inseamnii cI ae pot ooostl'uj
8dlugind 0 rupect1v 1 s1mbolul u 1 d1n ultilllfl .NducUe. In 8Ces~
WI cuv.tnt de cod d1n ult11l1B reduc~1e, &-8 deBcompuS in dPllll cu.,.
te de cod In P80ttlt1ma reduc~1e. In lIIod 8s.mloitor 8e coot111ul
la SUrsa l1.r1g1nalii, 11181'g.ind din ~.ducU. in reducU Codul obi
aut in Beest llIod este WI c cd instsntaneu ~i optill81.

...

P.ntl'u 0 ace1a~1 sursa S 8e pot Construl mal mult. codurl

daca .in proc.sul de ob~laer. a reduc~i110r'sUl'se1 S se pot.conQ
del'S mal llIulte varlOllte de creare 8 nduo~iilor, esea ce evident
se intimpla dacl apal' probsb1liti~1 egsle latr-o reduc~1e.

Ma1 multe codUl'1 Be ob~in III ca l1.rIil81'S s aloc!rl1 arb1tJlll

1'e a &1mbolUl'1101' 0 re8Pect1v 1, a~D:l1 clad se tHce de la 0 Zf'
duc~1e S~Perioari Is cea interiosra.
In seemen.s cazUl'1 ss ob~1D cOdur! cu Scsea~1 lungillle me
cUv1ntelor de c!Xi, dec1 1a tel de efic !en!;s. Codars' cu 1118 tods
Hu.ftIllSD ae poa te tace In scela~i mod ~i pentru codur! eu. JIl81 lIlul
d. dow( B1~bolUl'1.
8

Pentru Sill'sa din tabelul

tlU'1 a cUVlnta loot de cod.

T.1.,

Be

ob~1ns

lU'IIIitoa.res

stl'~

Pent.ru. aceastl surs! ealculll.m,

Bntrop1a

8u~se1:

-,
iB(S) :: 0,3 log
~.

.... ~

......

+ 0,1 log

....L
1
+
0;; + 0,25 log 0;25 + 0,2 log ~
1

'

1
o:r
+ 0,08

+ 0,02 log 0:02

Introp18 ma~ml poslb11a,
.[B(S~'ma~ .. log2 7

log ~ + 0,05 log

2,4~82

0~05

b1t/s1mbol

2,807 4 b1t/Bimbol

Itlcien~a B~s.11

JLs z IHr~~i1118~ ~
0:

0:

0,8685

Lung1mea madie 8 ellvlnte101' de eod

L :: ~ P(s1)

'

f1

:: (0,'+0.25+0,2).2+0,1.3+ 0 ,08.4 +

+ (0,05+0,02).5 .. 2,47 simbo1 bina.r/s1mbol Bural

Prob8b111tlVl1e s1mbo1ur1101' 0 01 il
p(o) .. [0,',

~ .2+0,25.1.2+0,1. ~ .'+0,08.

.4+0, r/j.

.5+

JI ~
1

- 5'
4 5
+ o,~.

p(1) = 0,476
p(o) .. 0,524
1'8spsctlv
BQ1;l'oPia codului I
H(X) :: -0.524 log 0,524 - 0,476 log 0,4{6 :: 0,998 ~1t/81mbol
it1c1enta coda~1ll

"4=

HiS) = ~: :~82 .. 0,987

Se Poete COQstata 0 et1c1en~l 8 codar11 apropiatl de w:d.ta t6. D,
asemenss S8 vede cl sursa or 191 nall cu efic haV8 0, d6li5, d up( co

42
43

~a

del'e, ,se trsllatormll 1ntr-o su.rs! secuodsl'a cu enc len

aul t
ime oe:reclU'e. &-a constata t ei 81'o.rlle 1.nd1"ld U3l., oa z 11l:11tl
tli. In acest Dlod Prill codare se
aloft 0 'lda.p(;sre
caDel, cit Vi 0 l'edueel'e a redullrlac~e1 SU1'se1.
a eu.rs!l~ ;ro.rU; in pacheloe de ~ung11il6 ~1t8ra, 9Par 1Il,,1 rar tle~il: ere
p
tf1& pachete. Peotru ue canal de tip dat, pe'1h,st!Jlo <'15 ""rori au rie
.
robl!!.!

~,.c:el lungimll ct9ta Hcl pr1e lungimoa pachatub1 -:e e:ori invels
fl. Sa 8e cOlleze cu un
d
ie~ eum!rul (Ie slmbolurl capricse laUe pri<nul er".:.~. :;i ultimal
t1 t;
.
'
, co blOB r
.
'" '
" ~
"
ulta d1e ci.fHle bicare ut- Ii
' sursa de IJlfCJl'matla c.J:onalo apar~1Q~od pachetulul. F<lcelll p.rec1z'area Cll J,.[\ 1~,t6riorJ.1
459' 563
- . za loe io s , . , .
.. -
'
,
2; 1461; 88B, 963' 548' 1""
Crlarea aillllerelar 123rtlDu1 pacbet de erori, sil!l~olU1'lle iotermedlare pot llii 1'1e sou d
t1 tuie osur.....
. . x ech1P1!obabllii.
"
7'1'6, daca OUJlle re 1 e elUllllerate cIl
"
'.
,
u fie e.rOllate Lucg:u:Jea pachetulul de erorl r1epicc:e ~i ,Ill vlteza

ob~iOB

[1 2

B _
-11

1..
2 _

o~J

- o.a.o
_
3 - 011

Dr

4 = 100

5 = 101
6 .. 1100

4 5

~ ~ k ~ ~J
678

7 '" 1101

II(S) _

B"
= 1110
9 _

- 3,084
- 3.28
~ = o,93B

- 1111

L(

de

trsl1Sl1lisle dll1 canal.

1.6.1. Regula de decide dupa probabllita tea

maYlma :;;1 regula de deelzie

" i ;(
~
'

bit/81mb

dll,~a

anoste.r~

dist3!'l)s .. HalllJ:licg

_-

Prin csnslul bina~ se trallsclt suecesiuI11 de slmbo1url bi

'. SA. 8e caleuleZG
..

probab111te.;Uor coadi'"
c8Pa.clt;a(;ea CS!llI1ulu.1 dat df3 lIl!ltr1cee nan, llWllite
la em1619 cuv1nte de cod, i~.r_l~e~~ie cuv111te re
.
ylonate

o ,l
cepYlonate. III general cuviotul amls I1U este identlc eU eel zoe
P ..
0,91
.

, LO,,9 _ o,Jj

cep~ionat, dlteren~s plovenlnd d1e ,canal ~i numlndu-se CltVlotllcl

B .. 0,;)31
eroa.:,e. qo ~u"Vint de cod oa::eca1:e. Vi' apar~1QB lDulUmH cl1vll1te
3. Bt11Qd cd 8-a
HceP1'10aat CUVill(;ul
l~l' de ~od,"" t'rican ""i putiDd Ii em1s. Cuvintul .rece~locat,
v' -- 1 0 1 olD
Sa
poate ti ident1c cu Vi SBIlVS diter! de Bcesta, astfal incitl
8e p re c1zel'.e ee CUy! t
bile cool'las.
n S-a 8Illie. dac! D1ul.UlII6a cu-1 t 1
(1.30)

n e or ellll
= 'IT1 + 3'1
VI ::: 1001 0 0; 17 '" 011 ll
Ullde prin H 8IIl ootat cuvietul 'eroare, campus din ~ero-u.rl ~1
2
o 'IT - 111 1
1
~i dsc! Ca l1a1ul
10
3 0 .0; V4 = 010111

1
Ull-ur1, apa.rtinilld lIIul~im1i euvinulor eroara, II. ~ele trei 1Il1.r1ml.
e8 e b 0ar silllll trie.

1;
I;li Bl , s10t vectori
dimeDslonali saa matrlce 1inle eu n
colosllB
B::: "3'
Se plll1e p.rob1elllB C8, pe bad cuvintu1lrl recep~iona~, vi, sA
1.6. LRoRlLll' CANAWIDI DIScm 5I MASUR! Dp l'ROTFg'Ui
dete1'lll1alm
cuvintul de cod eaill, 'lT cUllosclnd st!lt13tle eaaalul
l!!?OTRIvA IDR
j
de hansmis1e ,1.mul ~1lD6a cuylntelor de cod emislblle. U.r:llito.rul
.ra~lol:l8ll1ent., .De va permits sli 11lam 0 decide 86UPl'8 lui v Aces
1
Be. De smlotim lD8trlce8 de trSllB.fer a CBl1a1u.lut bioer, in tl Poate provenl dl11 v 68U din V sail dlll "'t etc. La .recePti.
1~1
k
j
ea.re e:zisU.
d11'erlte de Zllro io toate cue patru
regula de declzh pe care 0 vem cOllSt.rlli, o.e ",8 cooduce 18
z1i;il. 0 aSEllIleClea llI9trice l1e condl1Ce la eroare medie, HSP8eU..,.
atirmarea emislel Ullul In~l~ cllvillt de cod, sl__~:e. V Stim c1
j
eCh1vocaUe, ditel'i::e de zerD. Alttel SPllS, Prilltl'-Ull aS8lllene.s G
Qneo1!l vom gUlll. Regula de decld~ tl'ebu1e sli Ile conduc! la C88
aal S6 H'cep~ioll.eazll seDinale llneori eronate.
::lIsl rsrli eroal'll. AltIel SPl18 .regula d. clecide trebuie .sa tie
111trodU8e de c8nalul disc.ret pot .fi de dDui tLpuzl 8ettel aloasa. iacit probabi11ta~ea aposterio.rll ~~j;Vl) ca sl 8e
nc1 y
el'Ol'i 1
1duale, dscd aper riil'.!ete 1;l1 oacore1ste Ullsle cu alt ...
U lnt.rodus "j 1a cond1~ia .recep~10n!.r11 lui ~i, sa. tie
:nsl'8
1 ..
el'Ol'i grupate in Pachetll ds arari, ciaca Spar ill gl'l1Pu.ri de
Cs arlce probabilltate, P(trJ!Vj) dll a 58 t1 IDtr~ll& Vko a~WlCi
cilld S-I 1'8cep1;iocat
0 asttel de regula de deeiz1e eate dellll

Vi,

"i

Vi

Pl'ObBbll1te.~1

"1'

~rorile

mat:

~1

''''i.

45

.II11tli m.u1.111 aposter1o.l'i, PElDl'ru cli decide in eoa.forc1tate -eu :n~",OT;61 Hamm1ng. ('~~!.
i. - : -~te
f'
ll!_ acestai z~gul1,
a-a !D~8 a~l c~vtQt ~6
~-. _...
' - - - - 9i oe conduCl la ces. ma1 miC!tcd.

- '!.ll ~a,
"-'-5P~' OO,h
es
lIlul
W1e1 probab1l1tli~1
aposterlol'i
fa~a- de cere cU'~c'
,
eel oa~ ~;:;:il~~t. dis
.
. , a.1 1'11 j
d15tan~a Ha=l.~
6Z08rl lDedle..
t;atl'ti est1mat
n...!_ _
dO'1l1
De08rec. I
D1-nmula~ rje~1z1e cla ,~ ~ _
_
j

p(V

P (Vj/V!) =

pA1W'aa~a l:ia:n!ll:!.n~" ~ecurg

~mar1 1m~oEta~e.~i ~UID6I n m~s1bll., trebuie sa t~8 0 ~1a-

-e~8p~1otl3t
o~t"

) V p(ViIVj)

ae

1)

i tul-;1'o;'.
,
_ tntrs euviotele t!,s Cll" 1
~
"entra os CUv Il
.. - ~
"
.
Hsm1Il111g
me;!.
..
. ' ~.u..
~ d eCl
t "1::
IItLl.ac1 Cllld
p(v.) nu se CUllOB.!i'te .!i'l
se accepta
acn1probabil1tac t tll n+li
y_
_ __ _
_ marl? CS~..
alt -u..,.int
e:nis1b11. '\Tk' tlb"

emis1ei SUV1:l.tslor
ele
cod,
regula
declziel
ma~::Lm
aposterlori
5e
"!It'
1a
i1
Ace9.sta
:lllsea:!loli
C,!1
Il"
t
_
.
J
" ' ! s! nu semene cu l I D "

.
.'
euv1o
.
_ "e
~ ca:::.
trallSfoL'l:lB.- in zegula de declz1e a Pt'obab111tlit;i1 :naxlllle.
coni'ot't cl1Vi n tul d1n care pro"
. b e,
lu.rl j .blnare '111)1' !1 cu"11l,,e
,
.
OlDpuse
die
n
"
. . \6
.
f1 IIl8i
c!ire1a &-a eJll1s acel 'lTj care are cas mai !IIBre Pl'ooab11itace,
t8 1e o
.

1 Sl-m
t ;'-30
IVj
- Cu
' .....ce
- pot-inhr"5nl
- - , POilU f1 l!I31
. llBre ,
p(Vi
), de a S6 trSll8forma ill
an1ca
__.. Clt
_ d: s auy
IV
mare, cU atH racl
~lJllIar~
---,.1e iii'ne;>artiadLl-sl
de
p(vi j p('lTi/l1k)-dec1z1e; &-a emis l"-;
0
';
'\T
1
.
.
~
"
ra:._c_
~
~
ea
mult
de
un
a
..
t; ouv_r-l: . k.
Dou:i cuv1et de acs1a!1 lungll1le, D, CODStltuite rlll:i SllDbll- v emiB, V' eu ae apJ!opie pr
_
iLlCa
1
.

'.
j
"
este
C~!<
luri Olnare,
se deosebeac In
clteva
pozitii.
Se poate
c Ii , dacs.,!), _
_. --:
''''O!;:l'U e
1
...
a.~.
Baaing dietre cuvinte le v 1' lii 'lTJ. 9 0 not am -
<il l!.alDlll1r.g .i,intra
ice.pe rec h e de "'l..-v:nt;ie ,~ti \-(.h....
i
t
..~.A.t' rElII cesaz
--- - oj

i
!'6C-S
I

poz11;;1i in eare ce16 douli

'IT\
/iil
sint dired te.
slIslza ;:Jrezeni:a a s er01'l 0
._
di'
atru a decide ooreet
-- - . . .
__" carflcal'1.
De poste ajuta la stabil:!.rea UDlli
be- ca D>e+1. l'eQtru.Jl corec t8 6 , e1'or .. , ._a ca pe, e He::i
1'1u de dec1z1e.
oric-s
slmbol blear 5e eroneaz5.,.i.a
aal1pra
.
AcceptalD cs
.
'- - provenillll~el
-:--.
. cu.-i 11 tulul
Clol
t?ecera'ii P!'1ncaoa1, cu Probab1l1tatea p. In Bcest cez, probabil\ ests tlllcesar ea

"ataa condi v1olUlte. p(ViIVj)' de a se recep~iona "I at~i cine j;

alDis vj ' eate produsul Il1'obab111 tli~il or' ds transformare a tiecil.a:

1.6.2. 'Jlasificare.a cOGurilar

simbol component d1n "J io s1mbolul raspect1v d1n Vi 91 se ve
scr1el
'trom clas1f1ca codu1'-ile bi oare ;>,:'otec tOs.1'fo l.e zgc:llotele di:;;
D(V', v )
n-D(tri. 'IT.)
p('lTi/l1.) = p
1 j
callal
:iup6.
lu~ime, efsct, etorl sesizeta.
(l-p)
J
J
Codurl1e, care P6 rlDit 16 rece pl;ili SeSlZSrl> a yreze Q~el er 0
Pl'obabllitatea
P(vi/l1k) de a se l'ecep~ioaa Vi atlinc1 cine
~lor, ae n~~-sc codur:' det;ctoare o.e erorl. Ac&t" -::0::\;;1'1 rerlll1t
a-a em::s 17 , va fi
k
8tir-~rea-cu cal't1tudioe a prue llyel ~orilo1', !a;'f< &10 Be poata
feee 0 loca11zare a aC<lstora. Dacs. cocul per!:1te 10cbl~zer6. ero
D(Vi'Vk )
o-D(vi'''k)
P(VillTk) = p
(l-p)
1':1101', atunei vorbim despre Wl c~ cerectcl' de "rc:1, r:eoaHce

-Aic1 D este Dumarul de simbol~1 d1D v~.

~llpa localizar,e 5e poate coovert1 ~i!:lbolurile, lOCElizc,te C!l 81'0

Regula de dee1z1e a probab1lita;ii maxime De cooduee 1a ~
IlIIt!J,. in SiClbolu.rile coreete. Dadj, cant1-ta:;e;-:-'1;-e~ se ;;;;a~l!lA1
zia em1s1e1 lu1 V daca
iQ 11m1ta1s P6rr~r~61;; codulu1, corec~ia ae 6Yec~tA cu clztl
j
tllrl1ne. ProcaduJ!a dl coroc1f1e este llI!!1 complic8 til jl!lC~t acela de
p('lTillTj) > P('lTi!V )
k
""tec~1e. rl1nd Decesare sUP~,i-!IJI!l;t8r -:;;1 1D:cr:r.a~1i csre s~ perm1
oeea ce, considericrl rela~111e in care
9U iotrat d1staQ~ele Ha
t~_loce11Z8tea eror110r, nu Duma1 afirmerea p:ez60yli ecestoro.
PI'ICUlI 1J1 taptul el p 1, De eondUce
-Ala Be,e
- B intra cod ul cozeetOl' de e:"o1'1 1il1 c 0".u1 detector dl Izor1,
1& a a1'il'ma ca s-a emiL ~j'
dac~
Be raee ~iQind cOllt ca. or101 detec~1e de eroarl este QZllIatl dl
D(tri'v j ) <D(Vi,V )
k
l'ePetBrea transm1e1el li 1 aeessta preoupl1D6 ~ll!J._rlta%, Il1'1~
AttaBsta este reg~a d. dle1z1. dupi
nloazla 1Il1a,1mi d;i.s

Vi

7"'"~--;;-;;-se

D6numlm_~lstaD~~

D1staDt~alRlll1cg

Becven~e,.

Ha~l:!Itn" ia~re C127l::;~Sl!...1~O.

~'~";ro.r1
dec1z~f~ls!, ~eoarec

D(-"l!'''~)' nUJla~ul
-~
~~,
c~

del!loo~t.r;a

D~2e!

~'~l
:i1stall~a
~ .-'l~"

~
~_ ,,~.
~"_V~"
~UVl-o.t~
recElp.~on3t

'~ll

'7

- '-"nale illr zgo:Dotlll ,a!ec~eaz! slmlll

_4
ee omit doua :;"'w
,
ft
t lua
tllseU
f 1 ..... c.
. _
b.... alo: de E1rori, I , ElS Q
.
_
~"~~im6e maX1.ma a pac...
_
eaN aml~/l.torlll este Intormet dospre nllcesltatea repetArl1.
'"'Ill acbele eai ........z
de transmisie, care, 1.11

..
nst rllc~ll1 schemeJ.
Transtol'marea Intorma~iei cu scopul prot"jbl1 la tree: ate ~ tn cons1rl.81'sre 1.n eo
d
mot
_
.
.~
~
4i\il1ore zgo

prln canal se .oUJ!lo~te eorla l'e, . asemib!l.tor transformArl1 simbolU.d.t est tel. ae arl.aptoez con
...1 ...... a sis tel:lallli de trac,s
,c.
1 5
p"ez intil. schema u ""
10J! l1ll.11i BUrSEI oareC8rEl in cuvlnte bi B!ll'e. De data aeeesta 8a
In tlgll,ra Be..
b l . S un. te ... lstru de de

~e saJ:Lcalll
0131'...

,.

transforml cuyintul de informs vie, secV6n~a bl ns1'/l. de lungime It, -481 Aicl ae vade Bursa
t 18 omiote. In can3lu~ 1
8
.....
",~
BD~ embele ples e
in cU1rint de cod, t.ot succesiune biMr!\. dsl' de lungime Il, mel llIIl'plasa1'e Cll L eel 11..... ,
.'.
fi
t. dstoriti. regil!tl'ulul
t tirzlere de L tac v,
decit k. Dec! codarea Se tsc..!! pentru e se obvine blocurl de ctte'deb1teazl aurSl S CU 0 11
alul 2 deblt6ez~ aceia~1 SUI's!, til.r~
n SI111bollll'i ~1 :'n f1ecal'e bloc 8e face preluerl.ri farA reterlre ~ dl deples8l'e RDI.. lar in can
Istru de deplslIrtt tn ca
l
te pla sat un l'6g
alte bloclll'I, vorbim despu codll.r1 bloc tel' succes1l1Dee de n eim. htil'ziere. La. recep~ e 6S
~ "1'e eU f tacta 8 1l6J:\~lU
...
t'
ttnd 0 int_~rzle
boll11'i S6 nWlleqte cl%Vint. Dec! preluerarea ae [ace contlnuu, VOl'- 1181al 2, RO ,ac6st s exoCll

blm deSpl'8 co~uri cOl:rvolu~lpne h. Noi VOOI atudie c oollr1le grllp q. lui uia din sursa S.

codlU'ile clc11ce, ambele coduri bloc, pl'8cum ~i codur;.le cotlvOlu.

o
R
Vlooale.

1
Shannon, ana11ziDd p~sibl11tatea decodazli coreetl a CUvil
2
telor recep~lonate, a ejuns la conclude ca exlste. posib1l1tetee
de a se coda 0 sursa dil1D.forllla~1e~ eu un cod cere sa poata II
codat""c;u ar08rs 0:r1cit de mica, daca se
codlaza extens1a a 0.
8 sllied Ill'lmsrs ~1 dsc! canalul are capacttatea nu. 11181 micA decl
entropla sursei, 0 Iilad cit mal mare. Aceasta ests 8 (lOttS te Oll'lI
l .5.
a lu1 ~han~, denumlta t60roma cOdil.rii caoaielor cu zgomot, c~re
In punotal a ~1 b, dscl nu sint 61'01'1 la treeerea prin CS
e
ef!!~ posibll1tataa codar!1 far! sA iad~ce metoda de codare.
se ob~in Bamnale de ece1a~l torml. Prln C~lllutetoral K SI
Or lcUlll , pentru ca el'oarea de decodarff sa fie mica, este Mcsser C Dale,
trsIlSlll1t ~pre utl1batorll1 B. semnale16 din punctul a. sehllma re
II ali tie IlIIll'6, cue ce inseamn~ 0 schemA. concreta deOLebit de co
ce~tQ1'alu1 1181 convioe un comparator C, cau suizeazl di!eren~e
pl1cst!i.
intre selllnalel din punctele a fll b, ee ar putea si ap81'l atllnci
e
ciad caQ81ul Introduce 6rol'1. Deoareo e el'odle din canalal 1 pl
1.7. annum SIMPLF DJi'TFC'lnARIl' SAU cnR~TOARB' DE BooRI
t:Wld 1JIled1at io a, 1ar' erorile dincalllll ul 2, a;lUD8 in- p~tul b
llamal dup!.1 tac~e, cit dureaza traversarea 1'eglstl'ulu1 de ~Ipla
::;:0. cele ce l1l'llleazl se pl'ezlnt! citeva coduri capeblle sa
&ere, eOlllpa1'8torul C IDd1cil. dispozit1vul u1 de comandl DC prilll8 0.1
corecteze sau s! detectaze e1'o1'1, ea1'acterlzatl prln almplitatl ,I
181' aceata comuta ehel8 K 10 poz1 y is h. 10 eclst puDCt
c omod1tate in exploatare.
..1 sosesc inea .t s!mbolUI'l corecte, eClste a fllDd stocate in l'li
81strul de deplas 8 n de 18
ROI'. Dup/!. Cll S-8n aclUS i
1.7.1. Tl'ansm1s1e pe doua cenale pentl'u corec~la
aimboll11'1, cbeia K este coml1tatl tnapol in punctul a, d,oaraci.
pachet6lor de el'oi
a
eUII em presUpua, pachat111 de erod are lungiml lIlU!ml t q1
deci 8Cestea s-aU selUS d.ja pr1n punctul a, 111' pQOctlll b inc:epe
Slstelllul de tl'sosm1s1e ce va fl descrls, ut111zeeza doul
., fie perCllrs de eror11e care au trsvlrsat reglstrlll da daplasa
canale, pl'in care la!ol'ma~ls circulA iotr-un"s1ngur seDS. de ls
J!e -to
8mls1e SPl'l recep~h. Sa Pl'6S~?Un6 ce. in smbele canale apar .s:..mul'
-- III
. p1'1Cl111e .t tacte, dtlpi
II ce compl1'ator ll l C a ses1:r.a t pnaa
tan ero:i gr ups te in pache te, eu lun~lme C6 nu depa~e9te .f bi ~1.
llIIeoDcordanyl, eroril. ce aper in a coDdue la al te nlcollCo~aa.t;6
n aaemen,a presupunere este ind~~pta~ita in cazul a douA o/l.1 de
trallSlllisie mult1pla eu 5ap&rarea cAllor in tad., cind pe aclla~l

46

"""~

~ c~n~N~
...
ng.

cObCo~anva,

reeep~le,

8~