A1( j ) A(2j ) A(3j )

A j:
( ps p e p d )
Aşadar, efectuăm cântăriri succesive până când H(A)≤H( A1, A2,…, An )≤
k
≤ ∑ H ( A j ) ≤ k log 3.
j =1

De aici, se obţine: log 25≤ k log 3; 25≤3k , adică k = 3 cântăriri.

Să efectuăm cântăririle astfel încât să obţinem maximum de informaţie într-o cântărire. Aşezăm
pe un taler m piese şi pe celălalt taler tot m piese, astfel balanţa va înclina într-o parte în mod
cert. Avem experimentul:

m m25−m
A : m
(m)
(
m 25−2m
25 25 25 )
m m 25−2 m
Pentru a înlătura o nedeterminare maximă va trebui ca probabilităţile: , ,
25 25 25
să fie cât mai apropiate ca valoare. Acest lucru se întâmplă când m = 8; 25 – 2m = 9 Aşadar,
aşezând pe fiecare taler câte 8 piese, la prima cântărire se poate ca balanţa să fie în echilibru şi
atunci piesa defectă se află între cele 9 necântărite. Pe acestea le împărţim în 3 grupe de câte 3
piese şi punem pe un taler o grupă, iar pe celălalt taler altă grupă. Dacă talerul înclină în dreapta,
să zicem, cum ştim că piesa defectă este mai uşoară, atunci ea se află pe celălalt taler. Din cele
trei piese situate pe talerul în care se află cea defectă, cântărim câte una pe un taler şi în urma
cestei cântăriri (a treia) determinăm exact care este piesa defectă. Analog se raţionează cu
celelalte situaţii care pot să apară. Problema se poate rezolva, în general, când avem n piese
identice şi printre ele se află una defectă care este mai uşoară. În acest caz este nevoie de k
cântăriri, k fiind determinat din relaţia:
log n ≤ k log 3
Se organizează apoi cântăririle astfel încât să se înlăture la fiecare o nedeterminare maximă.
Această problemă se poate formula şi rezolva ceva mai complicat şi în cazul când nu mai avem
informaţie asupra naturii falsului (mai uşoară sau mai grea) şi trebuie descoperită piesa defectă şi
totodată şi natura falsului. Exemplu. Două unităţi economice realizează acelaşi produs pentru un
beneficiar. Produsul are două caracteristici în funcţie de care se apreciază calitatea lui de a fi
corespunzător sau necorespunzător. La unitatea U1, 95% din produse sunt corespunzătoare, iar
4% sunt necorespunzătoare din cauza caracteristicii X şi 4% din cauza caracteristicii Y.
La unitatea U2 tot 95% sunt produse corespunzătoare, însă 4,5% sunt necorespunzătoare din
cauza caracteristicii X şi 3,5% din cauza caracteristicii Y. Să se stabilească la care dintre unităţi
avem o nedeterminare mai mare asupra caracteristicilor produsului.
Soluţie. Asimilăm caracteristicile X şi Y cu variabile aleatoare ce iau valorile 1 sau 0. Atunci,
obţinem următoarele repartiţii

X/ 1 0 X/ 1 0
U1 : Y U2 : Y
1 0.03 0.01 0.04 1 0.030 0.015 0.045
0 0.01 0.95 0.96 0 0.005 0.950 0.955
0.04 0.96 1 0.035 0.965 1
Rezultă de aici:
H U (x,y) = - (0,03 log 0,03 + 0,01 log 0,01 + 0,01 log 0,01 + 0,95 log 0,95)
1

H U (x, y) = - (0,030 log 0,030 + 0,015 log 0,015 + 0,005 log 0,005 + 0,950 log 0,950)
2

H U (x, y) = 0,3549; H U (x, y) = 0,3512.

1 2

Cum H U (x,y) ˃ H U (x,y) rezultă o nedeterminare mai mare la prima unitate.

1 2

Exemplu. Se ştie că două produse dintr-o sută au un anumit defect ascuns. Pentru depistarea
produselor defecte se foloseşte o anumită reacţie chimică care este totdeauna pozitivă când
produsul este defect, iar dacă produsul este corespunzător reacţia este tot atât de frecvent pozitivă
cât şi negativă. Considerăm experimentul B care constă în a determina dacă un produs este
corespunzător sau nu, iar experimentul A constă în a determina rezultatul reacţiei. Se cere să se
calculeze entropiile H(B) și H A (B)
Soluţie.

B:( B ( produs corespun zător

1 ) B ( produs corespunzător )
0.98 0.02
2
)
De aici rezultă: H(B) = - 0,98 log 0,98 – 0,02 log 0,02 = 0,1415 biţi

A: ( A ( reacț ie pozitiv0.510.49
1 ă ) A ( reac ție negativă )
2
)
( P ( A )= jumătatea dincazurile
1
100
când areloc B toate cazurile când areloc B 49+2
+ 1
100
=
100
2
=0,51 și , analog , P(

49 2 49 49 2 2
Cum P A ( B1)= ; P A ( B2)= , rezultă H A (B)=- log - log ≈ 0.2377,
1
51 2
51 1
51 51 51 51
H A (B)=0, deoarece, dacă experimentul A are rezultatul A2, putem afirma cu certitudine că
2

experimentul B a avut rezultatul B1 (produs corespunzător).

Atunci: H A (B)=0.51 H A (B) + 0.49 H A (B) = 0,51*0,2377=0,1212

1 2

6.3. Entropia relativă

Până acum am pus în evidenţă entropia corespunzătoare experimentelor cu o mulţime finită de
rezultate posibile. Aceasta poate fi extinsă imediat pentru experimente cu o mulţime numărabilă
de rezultate. Cum în expresia entropiei intervin numai probabilităţi cu care apar rezultatele,
putem spune că s-a introdus noţiunea de entropie pentru variabilele aleatoare discrete, dat fiind
faptul că nu intervin valorile luate de variabilele aleatoare, ci numai probabilităţile cu care sunt
luate valorile respective. Acest lucru constituie de altfel şi un neajuns al noţiunii de entropie, căci
nu putem pătrunde în esenţa fenomenului, rămânând cu gradul de cunoaştere doar la nivelul de
organizare sau dezorganizare a fenomenului (sistemului) fizic urmărit. În practică, însă, intervin
adesea situaţii când avem de a face cu variabile aleatoare continue ce caracterizează anumite
experimente. În cele ce urmează, noi vom presupune că este vorba de variabile aleatoare care
admit densităţi de repartiţie şi pentru acestea vom căuta să introducem noţiunea de entropie. Fie
variabila aleatoare X cu densitatea de repartiţie f(x). Atunci, după cum se ştie, dacă ∆x este
suficient de mic, putem scrie egalitatea:
P( x ≤ X < x + ∆ x ) =f(x) ∆x
Dacă admitem că X ia valori pe toată dreapta reală, R, să considerăm o diviziune a ei prin
punctele
…, x−1, x 0, x 1, x 2,…, x i,… (o mulţime numărabilă) astfel încât x i+1 - x i= ∆x,i ∈ Z. Să considerăm
variabila aleatoare discretă X’, cu repartiţia:
… x −1 x 0 x 1 x 2 … xi …
X: ( … p−1 p0 p 1 p2 … p i … )
, unde pi= f( x i ¿ ∆x,i ∈ Z.

Atunci, conform definiţiei lui Shannon, avem:

∞
H( X ) = - ∑ p ilog pi
'

i=−∞

Obţinem:
∞ ∞
'
{ } { }
H(X) = lim H ( X ) = lim − ∑ f ( x i ) ∆ x log [ f (x i) ∆ x ] = lim − ∑ f ( x i ) ∆ x log f ( x i) ∆ x +
∆ x→ 0 ∆ x→ 0 i=−∞ ∆ x→ 0 i=−∞
∞ +∞

∆ x→ 0 { i=−∞
}
lim − ∑ f ( x i ) ∆ x log ∆ x = - ∫ f ( x ) log f ( x ) dx− lim log ∆ x →+ ∞
−∞ ∆ x→ 0

Prin urmare, rezultă că entropia oricărei variabile aleatoare continue tinde către + ∞. Acest lucru
are şi un suport intuitiv, şi anume gradul de nedeterminare al unei variabile aleatoare ce ia o
infinitate de valori poate să fie oricât de mare. Pentru a înlătura acest inconvenient s-a convenit
introducerea unei măsuri relative a gradului de nedeterminare a unei variabile aleatoare X în
raport cu o variabilă aleatoare dată X 0. Variabila aleatoare X 0 poate fi aleasă arbitrar şi, pentru a
simplifica cât mai mult expresia entropiei relative, vom lua pe X 0 ca fiind repartizată uniform pe
intervalul [a, b] de lungime ε = b – a În acest caz rezultă că densitatea de repartiţie a variabilei X 0
este:

1
g(x)= ε
{
dacă x ∈ [ a , b ]
0 în rest
}
,ceea ce conduce la :

H( X 0)=-∫ f ( x ) log f ( x ) dx,

a

constatăm că această diferenţă indică cu cât nedeterminarea variabilei aleatoare X cu densitatea

de repartiţie f(x) este mai mare ( H ε (X)˃0) sau mai mică ( H ε (X)¿ 0) decât nedeterminarea unei
variabile aleatoare repartizată uniform pe un interval [a, b] de lungime ε =1.
+∞

Prin definiţie, vom numi expresia H ε (X) = - ∫ f ( x ) log f ( x ) dxentropia relativă a variabilei
−∞
aleatoare X. Să punem în evidenţă unele proprietăţi ale acestei entropii. Propoziţie. Entropia
relativă este independentă de valorile efective ale variabilei aleatoare X. Demonstraţie. Este
suficient să arătăm că variabila aleatoare Y = X – a, a ∈ R, are aceeaşi entropie relativă ca şi
variabila aleatoare X. Într-adevăr,
+∞ +∞
H ε ( Y ) = H ε (X−a)= - ∫ f ( x −a ) log f ( x−a ) dx=- ∫ f ( x ) log f ( x ) dx=H ε ( X )
−∞ −∞

Observaţie. Se constată imediat că proprietatea este adevărată şi pentru variabile aleatoare

discrete.
Propoziţie. Dacă f(x, y) şi g(x, y) sunt densităţi de repartiţie bidimensionale, atunci are loc
+∞ +∞
f (x , y )
inegalitatea: ∫ ∫ f ( x , y ) log dxdy ≥ 0
−∞ −∞
g (x , y )

Demonstraţie. Să arătăm mai întâi că oricare ar fi funcţia u(x, y) > 0, are loc inegalitatea:

ln u(x , y ) 1 1
log 2 u(x , y )=
ln 2
≥
ln 2
1−
(
u(x, y) )
1 1
Într-adevăr, dacă u(x,y)≥1 şi dacă t ∈ [1, u], atunci ≥ şi, de aici:
t u
u 1
dt 1 1 1
ln u = ∫ ≥ ∫ dt = (u-1)= 1-
1 t uu u u

1 1
Dacă u ∈ (0, 1), atunci - ≥ - oricare ar fi t ∈ [u, 1] şi deci:
t u
1 1
dt 1 1 1
ln u = -∫ ≥ - ∫ dt = - (1-u)= 1 -
u t uu u u

Deci, are loc, totdeauna, inegalitatea menţionată.

Bazaţi pe această inegalitate, putem scrie:
∞ ∞ ∞ ∞ ∞ ∞
f (x , y ) 1 g (x , y )
∫ ∫ f (x , y ) log g ( x , y ) dxdy ≥ ln 2 ∫ ∫ f (x , y ) 1− f ( x , y) dxdy = ln12 ∫ ∫ f ( x , y )dxdy
( )
−∞ −∞ −∞ −∞ −∞ −∞

∞ ∞
1
- ∫ ∫ g(x , y)dxdy = 0 ,
ln 2 −∞ −∞

întrucât f(x, y) şi g(x, y) sunt densităţi de repartiţie bidimensionale.

În plus, avem egalitate dacă f(x, y) = g(x, y)
Propoziţie
Dacă X şi Y sunt variabile aleatoare a căror entropie relativă compusă este H E(X,Y), atunci are
loc inegalitatea: H E(X,Y) ≤ H E(X) + H E(Y).
Demonstraţie Să exprimăm membrul al doilea şi să folosim inegalitatea dovedită anterior:
∞ ∞
H E(X)+ H E(Y) = - ∫ f 1 ( x )log f 1(x)dx - ∫ f 2(y)log f 2(y)dy=
−∞ −∞
 ∞ ∞ ∞ ∞

=- ∫ ∫ f ( x , y )[ log f 1 ( x ) +f 2( y)]dxdy = - ∫ ∫ f ( x , y )¿dxdy=

−∞ −∞ −∞ −∞

∞ ∞ ∞ ∞

=- ∫ ∫ f ( x , y ) ¿dxdy = ∫ ∫ f ( x , y )¿dxdy=
−∞ −∞ −∞ −∞

∞ ∞
f (x , y)
= H E ( X ,Y ) + ∫ ∫ f (x , y )log f 1 (x ) f 2 ( y) dxdy
−∞ −∞

Cum integrala dublă din ultima egalitate obţinută este totdeauna pozitivă (pe baza proprietăţii
anterioare) rezultă că: H E(X,Y) ≤ H E(X) + H E(Y), adică tocmai inegalitatea menţionată.

Se constată imediat că relaţia este identică cu cea găsită pentru entropia unui experiment compus,
cu un număr finit de rezultate.
Aşadar, relaţia este adevărată pentru entropia oricărei variabile aleatoare discrete. Din această
relaţie rezultă că şi în cazul discret avem egalitatea în cazul variabilelor aleatoare independente.
Propoziţie
Pentru orice vector aleator (X, Y) sunt adevărate egalităţile:
H E(X,Y) = H E(X) + H E(Y / X ) = H E(Y) + H E ¿ ¿

Demonstraţie
Din definiţia entropiei unui sistem de două variabile aleatoare (X, Y) rezultă:
∞ ∞ ∞ ∞
H E(X,Y) = - ∫ ∫ f ( x , y ) log f(x,y)dxdy = ∫ ∫ f ( x , y ) log[ f 1 ( x ) f (x / y ) ]dxdy =
−∞ −∞ −∞ −∞

∞ ∞ ∞ ∞

=- ∫ ∫ f ¿ ¿ ¿ log f 1(x) dxdy - ∫ ∫ f ( x , y ) log f( y / x ¿ ¿dxdy = H E(X) + H E ¿,

−∞ −∞ −∞ −∞

∞ ∞
unde am pus H E(Y / X ) = - ∫ ∫ f (x , y ) log f( y / x)dxdy entropia relativă condiţionată a
−∞ −∞
variabilei aleatoare Y.
Analog se obţine şi cealaltă inegalitate. Să mai dăm o propoziţie care să stabilească o legătură
între entropia relativă a două variabile aleatoare X şi Y.
Propoziţie
Dacă X este o variabilă aleatoare cu densitatea de repartiţie f(x), iar Y este o variabilă aleatoare a
∞

cărei repartiţie este caracterizată de densitatea: g(y) = ∫ c( x , y)f(x)dx , unde c(x,y) este o
−∞
funcţie pondere care satisface condiţiile: c(x, y) ≥ 0,
∞ ∞

∫ c ( x , y ) dx = ∫ c( x , y)dy = 1, atunci H E(Y) - H E(X) ≥ 0.

−∞ −∞

Demonstraţie
Să exprimăm diferenţa celor două entropii relative:
∞ ∞ ∞
H E(Y) - H E(X) = ∫ f ( x ) log f ( x ) dx - ∫ ∫ c (x , y )f(x) log g(y)dxdy =
−∞ −∞ −∞

∞ ∞ ∞ ∞
f (x) c ( x , y ) f (x )
= ∫ ∫ c (x , y ) f(x) log dxdy = ∫ ∫ c (x , y ) f(x) log dxdy
−∞ −∞
g(y) −∞ −∞ c ( x , y ) g( y )

Întrucât a(x, y) = c(x, y) şi b(x, y) = c(x, y) g(y) sunt densităţi de repartiţie bidimensionale, pe
baza unei propoziţii date anterior rezultă că:
∞ ∞
c ( x, y) f (x)
∫ ∫ c ( x , y ) f(x) log c ( x , y ) g( y ) dxdy ≥ 0.
−∞ −∞

şi deci H E(Y) - H E(X) ≥ 0.

Pentru două experimente (deci şi pentru două variabile aleatoare discrete) s-a introdus noţiunea
de cantitate de informaţie continuă în experimentul B relativ la experimentul A ca fiind dată de:
I(A, B) = H(A) – H(A/B) .

Dacă acum considerăm două variabile aleatoare X şi Y cu densitatea de repartiţie comună f(x, y),
atunci definim cantitatea de informaţie conţinută în variabila aleatoare Y relativ la variabila
aleatoare X ca diferenţa dintre entropia relativă H E(X) şi entropia relativă condiţionată H E ¿ ¿ .
Notând cu I(X, Y) această cantitate de informaţie, atunci I(X, Y) = H E(X) - H E ¿ ¿ .

Această cantitate de informaţie se bucură de o proprietate importantă exprimată în propoziţia de

mai jos.

Propoziţie

Dacă X, Y sunt două variabile aleatoare continue (care au densităţi de repartiţie) atunci,

I(X,Y) = H E(X) - H E ¿ ¿ este independentă de ε.

Demonstraţie
∞
H E(X) = - ∫ f 1(x) log f 1(x)dx – log ε.
−∞

∞ ∞
H E ¿ ¿ = - ∫ ∫ f (x , y ) log f(x / y)dxdy – log ε , atunci:
−∞ −∞
 ∞ ∞ ∞

I(X,Y) = - ∫ f 1(x) log f 1(x)dx – log ε + ∫ ∫ f ( x , y ) log f(x / y)dxdy + log ε =

−∞ −∞ −∞

∞ ∞ ∞ ∞
f (x , y )
= ∫ ∫ f ( x , y )log f ¿ ¿dxdy = ∫ ∫ f ( x , y )log f 1 ( x ) f 2 ( y) dxdy
−∞ −∞ −∞ −∞

Se observă că relaţia este întrutotul analoagă cu cea obţinută pentru variabila aleatoare discretă
şi, în plus faţă de entropia relativă, cantitatea de informaţie conţinută în Y relativ la X are un
caracter absolut.

Exemplu. S ă se calculeze entropia relativă a unei variabile aleatoare exponenţial negative de

parametru λ şi a unei variabile aleatoare normale N(0, σ).

Soluţie Dacă X este variabilă aleatoare repartizată exponenţial negativ, atunci are densitatea:
∞ ∞
−λ x −λ x −λ x 2 −λ x e
f(x) = { λ e log λ e dx = -λ log λ ∫ e dx + λ log e∫ x e dx = log
0 0
λ

1 −y
2

Y este normală N(0, σ) dacă are densitatea f(y) = e 2σ , y ∈ R

2

σ √2 π
2
∞ −y
1
( )
2

Atunci: H E(Y) = - ∫
−y 1 2
2 σ log e 2 σ dy =
2

−∞ σ √2 π e σ √2 π
2
∞ −y ∞
1 1 1 −y
2

∫ y2 e 2σ
2
2σ
=- log ∫e dy + log e 2
dy = log(√ 2 πe σ ¿
σ √2 π σ √2 π −∞ 2 σ3√ 2 π −∞

Exemplu. Să se arate că dintre toate repartiţiile cu entropie dată, repartiţia normală N (o,σ) are
cea mai mică dispersie.

Soluţie. Să determinăm densitatea de repartiţie cu cea mai mică dispersie:

∞

σ = 2
∫ x 2 f(x)dx , cu conditiile:
−∞

∞ ∞
H E(X) = - ∫ f (x) log f(x)dx și ∫ f (x)dx = 1
−∞ −∞

Alcătuim funcţia: φ(f,x) = x 2 f(x) - λ 1f(x) log f(x) + λ 2f(x) şi, din ecuaţia lui Euler (calculul
∂φ λ
variaţional): = x 2 - λ 1log f(x) - 1 + λ 2 = 0 obținem:
∂f ln 2

x 2 ln 2
f(x)=exp( λ 2 ln2−λ1 ) exp ( λ1 )
∞ ∞

Substituind f(x) în H E(X) = - ∫ f (x) log f(x)dx și ∫ f (x)dx = 1 , obţinem:

−∞ −∞
ln 2
= -π exp(2 H Eln2-1) și exp( λ 2 ln2 - λ 1) = √ exp(2 H E ln2−1)
λ1

Determinând λ 1 și λ 2 şi înlocuind în f(x) avem:

1 −x 2
f(x) = √ exp(2 H E ln 2−1) exp[−π exp(2 H E ln 2−1) x 2 ] =
σ √2 π
exp( )
2 σ2
−1
unde: σ = ( √2 π exp (2 H E ln 2−1) )

Exemplu. Să se determine cantitatea de informaţie I(X, Y) pentru vectorul aleator (X, Y) cu

densitatea de repartiţie:

1 x2 y2
f(x,y) =
2 π σ x σ y √ 1−ρ2
exp
[ −1
(
2(1−ρ2) σ 2x
−2 ρ
xy
+
)]
σ x σ y σ 2y
,

unde ρ este coeficientul de corelaţie al variabilelor X şi Y.

∞ ∞
f ( x , y)
Soluţie. I(X,Y) = ∫ ∫ f ( x , y ) log f 1 (x )f 2 ( y) dxdy
−∞ −∞

Înlocuindu-se în această relaţie f(x, y), f 1(x), f 2(x) ( f 1, f 2 densităţile de repartiţie marginale), se
obţine: I(X,Y) = -log√ 1−ρ2

6.4. Transmiterea informaţiei. Codificarea

Oricare ar fi natura unui mesaj, el nu poate fi transmis fără existenţa unui anumit purtător
material al mesajului, care serveşte drept semnal de transmitere a informaţiei conţinute în
mesajul respectiv.
Semnalele purtătoare de informaţii sunt emise de o anumită sursă de semnale, se propagă printr-
un anumit mediu, numit canal de comunicaţie şi ajung la destinaţie unde sunt recepţionate. Prin
intermediul semnalelor recepţionate destinatarul ia cunoştinţă de informaţia transmisă.
O particularitate esenţială a semnalului este independenţa informaţiei pe care o transmite faţă de
energia consumată pentru producerea lui. Desigur, pentru emiterea semnalului este necesar un
minim de energie, dar cantitatea de informaţie nu depinde de valoarea acestui minim.
O ştire de importanţă capitală poate fi transmisă cu ajutorul unui semnal extrem de mic şi de
slab.
Numai conţinutul semnalului, şi nu energia lui, determină cantitatea de informaţie pe care o
poartă.

Orice sistem de comunicaţie, de transmitere a informaţiei – indiferent de natura lui – se

încadrează în schema generală de mai jos:
Informaţia se transmite cu ajutorul unor semnale, emise de o sursă. Semnalele se pot transforma
prin codificare în alte semnale, a căror transmisie este mai avantajoasă; ele se propagă pe un
canal de comunicaţie, în care pot suferi diferite perturbaţii (distorsionări) şi ajung la recepţie,
unde cu ajutorul unui traducător se face decodificarea, obţinându-se în final, semnalele transmise
iniţial, care poartă informaţia transmisă de sursă şi care a fost perturbată pe canal.
Vom defini matematic un sistem de transmitere a informaţiei (în cazul finit).
Definiţie. Numim sistem de transmitere a informaţiei sistemul format din două mulţimi finite X,
Y şi o probabilitate p(y/x) definită pe Y pentru orice x ∈ X, pe care-l vom nota {X, p(y/x), Y}.
Mulţimea X se numeşte mulţimea semnalelor care se emit; mulţimea Y se numeşte mulţimea
semnalelor care se recepţionează; probabilitatea p(y/x) se numeşte probabilitatea de recepţionare
condiţionată de ceea ce se emite.
Definiţie. Fiind dată probabilitatea p(x) pentru fiecare x ∈ X, numită probabilitate de emisie,
∑ p(x)=1, câmpul de probabilitate {X, x, p(x)} se numeşte sursa sistemului {X, p(y/x), Y} de
x∈ X
transmitere a informaţiei.
Definiţie. Fiind date sistemul de transmitere a informaţiei sistemului {X, p(y/x), Y} şi
probabilitatea p(x) pe X, se numeşte recepţia sistemului câmpul de probabilitate {Y, y, p(y)}
unde probabilitatea p(y) de recepţionare a semnalelor y se obţine conform relaţiei:

p(y) = ∑ p(x) p( y / x)
x∈ X

Definiţie. Mediul prin care se propagă semnalele de la sursă la recepţie se numeşte canalul
sistemului de transmitere a informaţiei. A cunoaşte canalul de comunicaţie al unui sistem
înseamnă a cunoaşte probabilităţile P(y/x) pentru toate semnalele x ∈ X, y ∈ Y. Dacă p(y/x) ia
numai valorile 0 sau 1 pentru orice x ∈ X, y ∈ Y canalul prezintă perturbaţii.

P(Y / X ) = ( p ( y / x ) )x ∈ X / y ∈Y ; H(X) = - ∑ p ( x ) log p ( x) reprezintă cantitatea de

x∈ X

informaţie transmisă la sursă.

H(Y / X ¿ ¿ = - ∑ ∑ p (x , y ) log p(x / y) reprezintă cantitatea de informaţie care se

x∈ X x ∈ X

pierde pe canal.
H(X) – H(X/Y) reprezintă cantitatea de informaţie care se recepţionează. Din proprietăţile
entropiei, rezultă: 0 ≤ H(X) – H(X/Y) ≤ H(X) Dacă H(X/Y) = 0 înseamnă că pe canal nu se
pierde nimic din informaţia transmisă. Dacă H(X) = H(X/Y) înseamnă că pe canal perturbaţia
este atât de puternică încât la recepţie nu se primeşte nici un fel de informaţie. În condiţii reale,
în mod curent: 0 < H(X) – H)X/Y) < H(X).
Definiţie. Valoarea maximă a diferenţei H(X) – H(X/Y) pentru toate probabilităţile p la sursă o
notăm cu C şi o vom numi capacitatea canalului de transmitere.
C = max p {H(X) – H(X/Y)}
Cantitatea H(X) – H(X/Y) reprezintă cantitatea de informaţie obţinută în medie la trecerea prin
canal a unui semnal al sursei şi poartă numele de viteză de transmitere a informaţiei.
Codificarea. În general, semnalele x ∈ X nu se transmit direct, ci codificat. Asocierea la un
anumit sistem de semnale purtătoare de informaţie a unor succesiuni de alte semnale se numeşte
codificare. Codificarea se realizează cu ajutorul unei mulţimi de semnale simple, mulţime cu nu
prea multe elemente, care sunt înlănţuite în anumite succesiuni.
În cazul telegrafului, în mod uzual se întrebuinţează două tipuri de codificare: codificarea Morse
- codificare mai veche – şi codificarea Baudot.
În general, codificarea înseamnă înlocuirea fiecărui semnal dintr-o anumită mulţime, printr-o
succesiune de o anumită lungime, de semnale numite semnale simple. Semnalele simple pot fi
chiar semnalele de la care am plecat. În acest caz, codificarea semnalelor dintr-o anumită
mulţime, înseamnă înlocuirea fiecărui semnal printr-o succesiune, de o anumită lungime, de
semnale din aceeaşi mulţime iniţială. O codificare este cu atât mai avantajoasă, cu cât sunt mai
reduse atât numărul semnalelor simple care servesc la codificare, cât şi lungimea succesiunilor
de semnale simple.
În cazul în care se face codificarea, la recepţie trebuie să se efectueze decodificarea
corespunzătoare.
Necesitatea introducerii codificării, ţine în primul rând de natura concretă a sistemului de
transmitere a informaţiei. Informaţia este purtată de un anumit tip de semnale, iar sistemului de
transmitere îi sunt proprii alte tipuri de semnale şi ca atare este impusă realizarea unei
corespondenţe între semnalele iniţiale şi semnalele care urmează a fi transmise.
În al doilea rând, codificarea este impusă de prezenţa perturbaţiei pe canal, care diminuează
cantitatea de informaţie transmisă, ceea ce impune codificarea.
Vom considera o codificare în care drept semnale simple se consideră tot semnale din mulţimea
X, un semnal x ∈ X înlocuindu-se printr-un şir de semnale tot din mulţimea X.
Pentru a lămuri lucrurile, să considerăm un sistem de transmitere a informaţiei {X, p(y/x), Y}.
Când transmitem un şir de semnale x ∈ X, recepţionăm un şir de semnale y ∈ Y.
Să notăm cu U mulţimea tuturor şirurilor de lungime n formate cu semnale din X şi cu mulţimea
tuturor şirurilor de lungime n formate cu semnale din Y.
u ∈ U ⇔ ( x 1, x 2,…, x n) , ( x 1, x 2,…, x n) ∈ X x X x … x X;

v ∈ V ⇔ ( y 1, y 2, … y n) , ( y 1, y 2, … y n) ∈ Y x Y x … x Y;
Introducem o probabilitate p(v/u) definită pe V, condiţionată de elementele u ∈ U, în felul
următor:

p(v /u) = π nj=1 p( y j /x j) ; p(v/u) reprezintă probabilitatea ca să se recepţioneze şirul de semnale

v, dacă s-a emis şirul de semnale u; această probabilitate este complet determinată de p(y/x).
Putem acum introduce următoarea definiţie.
Definiţie. Fiind dat sistemul de transmitere a informaţiei {X, p(y/x), Y} se numeşte extensie de
lungime n, sistemul {U, p(v/u), V} unde U reprezintă mulţimea tuturor şirurilor u, de lungime n
de semnale x ∈ X, V reprezintă mulţimea tuturor şirurilor v, de lungime n, de semnale y ∈ Y, iar
p(v/u) = π nj=1 p( y j /x j)

Definiţie. Trecerea de la sistemul de transmitere a informaţiei {X, p(y/x), Y} la sistemul {U,

p(v/u), V} se numeşte codificare.
Definiţie. Legea potrivit căreia se asociază semnalelor x ∈ X şiruri u ∈ U se numeşte cod.
Legătura între capacitatea sistemului {X, p(y/x), Y} şi capacitatea sistemului {U, p(v/u), V} este
dată de:
Teoremă. Fie {X, p(y/x), Y} un sistem de transmitere a informaţiei, al cărui canal are
capacitatea C. Extensia de lungime n are capacitatea n C. Nu vom da demonstraţie acestei
teoreme. Vom da schema sistemului de transmitere {U, p(v/u), V}:

{ x nj=1 X j ;( x1 , … , x n ) , p(x 1 , … , x n)} nC {Y nj=1 Y j ; ( y 1 , … , y ) , p ( y 1 , … , y n )}

Codificarea realizată mai sus se face înlocuind fiecare semnal x ∈ X cu u = ( x 1 , x 2 , … , x n) ∈ U.

Dar, în general, fiecare semnal din x ∈ X se înlocuieşte cu o succesiune de o anumită lungime de
semnale din A = {a 1 , a2 , … , aa} pe care le numim semnale simple.
Un mesaj codificat trebuie să fie decodificat, adică este necesar să se poată şti, atunci când se
recepţionează un anumit şir lung de semnale simple, unde se termină subşirul corespunzător
semnalului iniţial următor.
O cale este aceea de a impune condiţia ca semnalelor iniţiale să li se ataşeze şiruri de semnale
simple, care au aceeaşi lungime. În acest caz, cunoscându-se această lungime comună,
decodificarea se face extrem de uşor, prin împărţirea şirului recepţionat în blocuri având o
lungime egală cu lungimea dată. Aceste coduri se numesc uniforme. (Acest caz îl întâlnim în
telegrafie, când se întrebuinţează codificarea Baudot).
Sunt posibile şi codificări neuniforme, în care diversele şiruri de semnale simple care se ataşează
semnalelor iniţiale au lungimi diferite.
Pentru unele codificări neuniforme se cere, însă, ca nici un şir de semnale simple ataşat unui
semnal iniţial să nu coincidă cu începutul unui alt şir mai lung de semnale simple, pentru a nu
avea dificultăţi la decodificare.
Dăm mai jos metoda lui Fano de codificare neuniformă, cu ajutorul a două semnale simple, A =
{a 1 , a1}, codificare care se numeşte binară (se poate pune a 1 = 1, a 2 = 0).
Pentru a ataşa fiecărui semnal iniţial un şir de semnale simple se procedează astfel: Se ataşează
mulţimea X = { x 1 , x 2 , … , x n } într-o coloană, în ordinea descrescătoare a probabilităţilor p(xi), 1
≤ i ≤ N, de apariţie. Împărţim acum coloana de semnale în două grupe, grupa de sus şi grupa de
jos, în aşa fel ca probabilitatea unui semnal iniţial de a aparţine la grupa de sus să fie foarte
apropiată de probabilitatea ca acest semnal să aparţină grupei de jos. Pentru semnalele din grupa
de sus folosim pe a1 ca prim semnal simplu, iar pentru semnalele din grupa de jos folosim pe a2
ca prim semnal simplu. Atât grupa de sus, cât şi cea de jos le împărţim, la rândul lor, în două
subgrupe, având probabilităţile totale cât mai aproape între ele. Pentru subgrupa de sus folosim
ca cel de al doilea semnal pe a1, iar pentru subgrupa de jos folosim pe a 2ca al doilea semnal
simplu. Fiecare din aceste subgrupe se împarte din nou în alte două subgrupe, şi aşa mai departe,
până când în fiecare grupă rămâne câte un singur element, epuizând astfel semnalele iniţiale.
Şirurile de semnale simple ataşate în acest mod semnalelor iniţiale realizează codificarea.
Codificarea realizată în acest mod este neuniformă, iar şirurile de semnale simple ataşate
semnalelor iniţiale, îndeplinesc condiţia de a nu cuprinde în ele nici un şir de lungime mai mică
ataşat unui alt semnal iniţial. Să codificăm semnalele X = { x 1 , x 2 , … , x 12 } cu ajutorul cărora
transmitem o cantitate de informaţii H(X). Fiecărui semnal iniţial îi corespunde o probabilitate
bine determinată de întrebuinţare în transmiterea cantităţii de informaţie respective. Semnalele
iniţiale, probabilităţile p(xi), 1 ≤ i ≤ 12, împărţirea pe grupe şi şirurile de codificare apar în
tabelul de mai jos.

6.5. Cantitatea de informaţie conţinută într-un model input-output şi variaţia ei prin

agregare Să considerăm modelul dat de ecuaţiile de balanţă în expresie valorică:
m
X i = ∑ x ij + f i , 1 ≤ i ≤ m,
j=1

Unde x ij sunt fluxurile interramuri, iar fi produsul final al ramurii i.

Dacă luăm în considerare şi cadranul III în care apar elemente de valoare nou creată şi adăugată
şi notăm cu y kj mărimea inputului k absorbit de ramura j, obţinem alte relaţii de balanţă:
m m
X j = ∑ x ij + ∑ J k , 1 ≤ j ≤ m,
i=1 k =1

Unde m' este numărul inputurilor referitoare la cadranul III. Introducând coeficienţii cheltuielilor
x ij
directe a ij = , 1 ≤ i , j ≤ m, primele relaţii de balanţă devin:
Xj
 m
X i = ∑ aij X j + f i , 1 ≤ i ≤ m, sau în scriere matriceală:
j=1

X = AX + f ; X = ( I − A )−1 f

Luând în considerare şi coeficienţii cheltuielilor directe referitoare la elementele cuprinse în

cadranul III :
y kj
b ij = , 1 ≤ k ≤ m , 1 ≤ j ≤ m, din al doilea grup de relaţii de balanţă, obţinem:
Xj
'
m m

∑ aij + ∑ bkj = 1 , I≤j≤m

i=1 k =1

k
Dacă punem: y k = ∑ y kj , 1 ≤ k ≤ m' pentru cererea totală a tuturor ramurilor din inputul k
j=1
referitor la cadranul III, obţinem relaţia Y = BX.
Vectorul Y se poate exprima acum cu ajutorul matricilor A, B şi a vectorului f, astfel:

Y = ( I − A )−1 f

În vederea efectuării de analize şi prognoze este necesară cunoaşterea coeficienţilor ce constituie

elementele matricilor A şi B, cunoscuţi sub numele de coeficienţi input – output.
Valenţele analizei informaţionale pe baza modelului input – output sunt valorificate integral la
modelele macroeconomice, când intervine frecvent problema omogenităţii produselor. Dar, şi
pentru astfel de situaţii, este necesar să agregăm unele ramuri, agregare care conduce la un model
de dimensiune mai mică, adecvat unor analize eficiente şi rapide.
Simplificând schema modelului de balanţă, obţinem:
¿,
unde matricea U (cadranul I) conţine fluxurile interramuri, f(cadranul II) conţine produsul final
cu componentele sale (consum individual, consum social etc.), iar V(cadranul III) conţine
amortizări, retribuţii etc. În condiţiile în care ne interesează doar relaţiile dintre ramuri, eliminăm
produsul final şi păstrăm matricea:
¿,
care este o matrice pătratică de ordinul m+m’, asociată relaţiilor de balanţă:
m

∑ x ij = X i - f i , I ≤ i ≤ m
j=1

∑ y kj = y k , 1 ≤ k ≤ m'
j=1

m
Dacă împărţim în ambii membri aceste m+m’ relaţii prin ∑ X h , atunci toţi termenii din
h =1
membrul stâng vor lua valori între 0 şi 1 şi vom putea constitui cu ajutorul lor o repartiţie
bidimensională. Vom nota astfel:
 xij
m
pij = , 1 ≤ i , j ≤ m , fluxurile interramuri măsurate ca fracţiuni ale outputului (sau
∑ Xh
h=1
inputului) tuturor ramurilor,
y kj
m
pm+k , j = , 1 ≤ k ≤ m' , 1 ≤ j ≤ m
∑ Xh
h=1

inputurile corespunzătoare cadranului III, măsurate în fracţiuni de inputuri totale. Vom nota în
plus: pij=
= 0, 1≤ i ≤ m+m’; m+1 ≤ j ≤ m+m’
' '
m +m m+m
Deoarece pij ≥ 0 , 1 ≤ i ≤ m + m º I '
∑∑ pij = 1 ;
i=1 j=1

am definit astfel repartiţia unui vector aleatory (φ 1 , φ2 ¿. Folosind membrul drept al relaţiilor de
balanţă, se obţin repartiţiile marginale ale componentelor Φ 1 şi Φ 2:
X i−f i
m
pi· = ,1≤i≤m,
∑ Xh
h=1

yk
m
pm +k· = , 1 ≤ k ≤ m' ,
∑ Xh
h=1

care sunt, respectiv, cererea totală intermediară de produse din ramura i şi inputul k,
corespunzător cadranului III, raportate la inputul total;

Xj

P· j =
{ ∑ Xh
h =1
0 , m+1 ≤ j≤ m+m '
m
1≤ j≤ m

Vom pune, pentru uniformitatea scrierii, m+m’ = n.

Cu aceste relaţii, coeficienţii cheltuielilor directe se pot exprima prin:
x ij p ij
a ij = = , 1≤i , j≤m,
X j p∙ j

iar coeficienţii cheltuielilor directe referitoare la elementele din cadranul III.

y kj p m+k , j
b kj = = , 1 ≤ k ≤ m' ; 1 ≤ j ≤ m'
Xj p∙ j

În procesul de agregare să considerăm că cele m+m’ = n inputuri (outputuri) se comasează în

M+M’ = G inputuri (outputuri), M< m, M’ < m’.
Vom nota S g mulţimea ramurilor iniţiale cuprinse în ramura g din tabelul agregat (1 ≤ g ≤ G).
Fluxurile interramuri din tabelul agregat vor fi:

x́ gh = ∑ ∑ xij ,
i ∈S g j ∈S h

iar coeficienţii cheltuielilor directe:

∑ ∑ x ij Xi
á gh =
i∈ Sg j ∈Sh
= i∑ ∑ aij ∑∑a w
∑ Xj ∈S g
j ∈S h ∑ X j = i ∈ S j ∈S ij j ;
g h
j ∈Sh
j ∈Sh

Xi
Unde : w j = ∑ Xj , i∈ S g , 1 ≤ g ≤ M
j ∈Sh

(ponderea ramurii i în outputul corespunzător grupului de ramuri Sh). În mod analog se

procedează cu coeficienţii cheltuielilor directe corespunzători cadranului III: Transformând
tabelul agregat pentru a obţine o repartiţie bidimensională, vom avea:

Pgh = ∑ ∑ p ij 1≤g,h≤G
i ∈S g j ∈S h

G
Pg ∙= ∑ P gh = ∑ pi ∙ , 1 ≤ g ≤ G
i ∈S g
h =1

G
P∙h ∙= ∑ P gh = ∑ p∙ j , 1 ≤ h ≤ G
j ∈ Sh
g=1

acestea reprezentând, respectiv, fluxul de la S gla Sh, fluxul total cu originea în S g , fluxul total ce
intră în Sh, toate exprimate în fracţiuni ale inputului (outputului) total.
Să considerăm acum cantitatea de informaţie conţinută într-un model input-output, ce poate fi
exprimată prin intermediul entropiei asociate repartiţiei bidimensionale.
Fie I 0 cantitatea de informaţie conţinută în tabelul input-output iniţial, definită prin intermediul
entropiei asociate repartiţiei ( pij )i , j∈ 1 ´, n
n n
p ij
I 0 = ∑ ∑ p ij log
i=1 j=1 p ∙i p∙ j

După cum s-a demonstrat, avem: 0 ≤ I 0 ≤ log n2 , cu semnificaţiile cunoscute pentru cazurile
extreme.

Fie I A informaţia conţinută în modelul agregat ( P gh) 1≤ g , h≤ G:

G G
P gh
I A=∑ ∑ Pgh log
g=1 k=1 P g ∙ P∙h

Notând: γ gj = i∑
∈S
pi j , 1 ≤ g ≤ G , 1 ≤ j ≤ n
g

(fluxurile din ramura agregată S g la ramurile individuale j, măsurate în fracţiuni de output

agregat al ramurilor)
C ih = ∑ pij , 1 ≤ h ≤ G , 1 ≤ i ≤ n
j ∈ Sh

(fluxurile de la ramura i la ramura agregată Sh, exprimate ca mai sus) se obţin imediat relaţiile:
G

∑ γ gj = P· j ; j∑
∈S
γ gj = P
gh
g=1 h

G
∑ Cih = Pgh ; ∑ C ih = Pi ∙
i ∈S g
h =1

Se constată că ponderea de informaţie într-un proces de agregare este:

G G G G
I 0 - I A =∑ P∙ h P∙ h + ∑ P g ∙ I g + ∑ ∑ Pgh I gh
h =1 g=1 g=1 h=1

unde I h este efectul coloană al ramurii agregate Sh:

G
P gh γ γ gj /P gh
I ∙h = ∑
Pg ∙
∑ Pgj log
p ∙ j /P∙ h
g=1 j ∈ Sh gh

G
Pgh C Cih / P gh
I g∙ = ∑
Pg ∙
∑ P ih log p i ∙ / Pg ∙
,
h =1 i ∈Sg gh

iar I gh este efectul celular ce se referă la fluxurile componentelor ramurii agregate S g la

componentele ramurii agregate Sh:
pij p /P
I gh = ∑∑ log ij gh
i ∈S g j ∈S h P gh ¿¿
I h, I g, I gh pot fi interpretate ca informaţii medii ale mesajelor indirecte. Deoarece apar cu
coeficienţi negativi în ecuaţia de descompunere a informaţiei, rezultă că I 0 – I A ≥ 0 şi, deci, în
procesul de agregare informaţia scade.