Sunteți pe pagina 1din 15

(𝑗) (𝑗) (𝑗)

𝐴𝑗 :(𝐴𝑝1 𝐴2
𝑝𝑒
𝐴3
𝑝𝑑
)
𝑠

Aşadar, efectuăm cântăriri succesive până când H(A)≤H(𝐴1 ,𝐴2 ,…,𝐴𝑛 )≤


𝑘

≤ ∑ 𝐻 (𝐴𝑗 ) ≤ 𝑘 log 3.
𝑗=1

De aici, se obţine: log 25≤ k log 3; 25≤3𝑘 , adică k = 3 cântăriri.


Să efectuăm cântăririle astfel încât să obţinem maximum de informaţie într-o cântărire. Aşezăm
pe un taler m piese şi pe celălalt taler tot m piese, astfel balanţa va înclina într-o parte în mod cert.
Avem experimentul:

𝑚 𝑚 25−𝑚
𝐴(𝑚) :( 𝑚 𝑚 25−2𝑚)
25 25 25

𝑚 𝑚 25−2𝑚
Pentru a înlătura o nedeterminare maximă va trebui ca probabilităţile:25,25, 25

să fie cât mai apropiate ca valoare. Acest lucru se întâmplă când m = 8; 25 – 2m = 9 Aşadar,
aşezând pe fiecare taler câte 8 piese, la prima cântărire se poate ca balanţa să fie în echilibru şi
atunci piesa defectă se află între cele 9 necântărite. Pe acestea le împărţim în 3 grupe de câte 3
piese şi punem pe un taler o grupă, iar pe celălalt taler altă grupă. Dacă talerul înclină în dreapta,
să zicem, cum ştim că piesa defectă este mai uşoară, atunci ea se află pe celălalt taler. Din cele trei
piese situate pe talerul în care se află cea defectă, cântărim câte una pe un taler şi în urma cestei
cântăriri (a treia) determinăm exact care este piesa defectă. Analog se raţionează cu celelalte
situaţii care pot să apară. Problema se poate rezolva, în general, când avem n piese identice şi
printre ele se află una defectă care este mai uşoară. În acest caz este nevoie de k cântăriri, k fiind
determinat din relaţia:
log n ≤ k log 3
Se organizează apoi cântăririle astfel încât să se înlăture la fiecare o nedeterminare maximă.
Această problemă se poate formula şi rezolva ceva mai complicat şi în cazul când nu mai avem
informaţie asupra naturii falsului (mai uşoară sau mai grea) şi trebuie descoperită piesa defectă şi
totodată şi natura falsului. Exemplu. Două unităţi economice realizează acelaşi produs pentru un
beneficiar. Produsul are două caracteristici în funcţie de care se apreciază calitatea lui de a fi
corespunzător sau necorespunzător. La unitatea U1, 95% din produse sunt corespunzătoare, iar 4%
sunt necorespunzătoare din cauza caracteristicii X şi 4% din cauza caracteristicii Y.
La unitatea U2 tot 95% sunt produse corespunzătoare, însă 4,5% sunt necorespunzătoare din cauza
caracteristicii X şi 3,5% din cauza caracteristicii Y. Să se stabilească la care dintre unităţi avem o
nedeterminare mai mare asupra caracteristicilor produsului.
Soluţie. Asimilăm caracteristicile X şi Y cu variabile aleatoare ce iau valorile 1 sau 0. Atunci,
obţinem următoarele repartiţii

X/Y 1 0 X/Y 1 0
𝑈1 : 𝑈2
1 0.03 0.01 0.04 1 0.030 0.015 0.045
: 0 0.01 0.95 0.96 0 0.005 0.950 0.955
0.04 0.96 1 0.035 0.965 1
Rezultă de aici:
𝐻𝑈1 (x,y) = - (0,03 log 0,03 + 0,01 log 0,01 + 0,01 log 0,01 + 0,95 log 0,95)

𝐻𝑈2 (x, y) = - (0,030 log 0,030 + 0,015 log 0,015 + 0,005 log 0,005 + 0,950 log 0,950)

𝐻𝑈1 (x, y) = 0,3549; 𝐻𝑈2 (x, y) = 0,3512.

Cum 𝐻𝑈1 (x,y) ˃ 𝐻𝑈2 (x,y) rezultă o nedeterminare mai mare la prima unitate.

Exemplu. Se ştie că două produse dintr-o sută au un anumit defect ascuns. Pentru depistarea
produselor defecte se foloseşte o anumită reacţie chimică care este totdeauna pozitivă când
produsul este defect, iar dacă produsul este corespunzător reacţia este tot atât de frecvent pozitivă
cât şi negativă. Considerăm experimentul B care constă în a determina dacă un produs este
corespunzător sau nu, iar experimentul A constă în a determina rezultatul reacţiei. Se cere să se
calculeze entropiile H(B) și 𝐻𝐴 (B)
Soluţie.
𝐵1 (𝑝𝑟𝑜𝑑𝑢𝑠 𝑐𝑜𝑟𝑒𝑠𝑝𝑢𝑛𝑧ă𝑡𝑜𝑟) 𝐵2 (𝑝𝑟𝑜𝑑𝑢𝑠 𝑐𝑜𝑟𝑒𝑠𝑝𝑢𝑛𝑧ă𝑡𝑜𝑟)
B:( )
0.98 0.02
De aici rezultă: H(B) = - 0,98 log 0,98 – 0,02 log 0,02 = 0,1415 biţi
𝐴 (𝑟𝑒𝑎𝑐ț𝑖𝑒 𝑝𝑜𝑧𝑖𝑡𝑖𝑣ă) 𝐴2 (𝑟𝑒𝑎𝑐ț𝑖𝑒 𝑛𝑒𝑔𝑎𝑡𝑖𝑣ă)
A:( 1 )
0.51 0.49
jumătatea din cazurile când are locB1 toate cazurile când are loc B2 49 + 2
(P(A1 ) = + =
100 100 100
= 0,51 și, analog, P(A2 ))

49 2 49 49 2 2
Cum 𝑃𝐴1 (𝐵1)=51 ; 𝑃𝐴2 (𝐵2)=51, rezultă 𝐻𝐴1 (B)=-51log51-51log51 ≈ 0.2377,

𝐻𝐴2 (B)=0, deoarece, dacă experimentul A are rezultatul 𝐴2 , putem afirma cu certitudine că
experimentul B a avut rezultatul 𝐵1 (produs corespunzător).
Atunci:𝐻𝐴 (B)=0.51 𝐻𝐴1 (B) + 0.49 𝐻𝐴2 (B) = 0,51*0,2377=0,1212

6.3. Entropia relativă


Până acum am pus în evidenţă entropia corespunzătoare experimentelor cu o mulţime finită de
rezultate posibile. Aceasta poate fi extinsă imediat pentru experimente cu o mulţime numărabilă
de rezultate. Cum în expresia entropiei intervin numai probabilităţi cu care apar rezultatele, putem
spune că s-a introdus noţiunea de entropie pentru variabilele aleatoare discrete, dat fiind faptul că
nu intervin valorile luate de variabilele aleatoare, ci numai probabilităţile cu care sunt luate valorile
respective. Acest lucru constituie de altfel şi un neajuns al noţiunii de entropie, căci nu putem
pătrunde în esenţa fenomenului, rămânând cu gradul de cunoaştere doar la nivelul de organizare
sau dezorganizare a fenomenului (sistemului) fizic urmărit. În practică, însă, intervin adesea
situaţii când avem de a face cu variabile aleatoare continue ce caracterizează anumite experimente.
În cele ce urmează, noi vom presupune că este vorba de variabile aleatoare care admit densităţi de
repartiţie şi pentru acestea vom căuta să introducem noţiunea de entropie. Fie variabila aleatoare
X cu densitatea de repartiţie f(x). Atunci, după cum se ştie, dacă ∆x este suficient de mic, putem
scrie egalitatea:
P(𝑥 ≤ 𝑋 < 𝑥 + ∆x)=f(x) ∆x
Dacă admitem că X ia valori pe toată dreapta reală, R, să considerăm o diviziune a ei prin punctele
…,𝑥−1 ,𝑥0 ,𝑥1 ,𝑥2 ,…,𝑥𝑖 ,… (o mulţime numărabilă) astfel încât 𝑥𝑖+1 - 𝑥𝑖 = ∆x,i ∈ Z. Să considerăm
variabila aleatoare discretă X’, cu repartiţia:
… 𝑥−1 𝑥0 𝑥1 𝑥2 … 𝑥𝑖 …
X:(… 𝑝 𝑝 𝑝 𝑝 … 𝑝 …), unde 𝑝𝑖 = f(𝑥𝑖 )∆x,i ∈ Z.
−1 0 1 2 𝑖

Atunci, conform definiţiei lui Shannon, avem:


H(𝑋 ′ ) = -∑∞
𝑖=−∞ 𝑝𝑖 log 𝑝𝑖

Obţinem:
H(X) = lim 𝐻(𝑋 ′ ) = lim {− ∑∞
𝑖=−∞ 𝑓(𝑥𝑖 ) ∆𝑥 𝑙𝑜𝑔[𝑓(𝑥𝑖 )∆𝑥]}=
∆𝑥→0 ∆𝑥→0
lim {− ∑∞ ∞
𝑖=−∞ 𝑓(𝑥𝑖 )∆𝑥 log 𝑓(𝑥𝑖 )∆𝑥 } + lim {− ∑𝑖=−∞ 𝑓(𝑥𝑖 )∆𝑥 log ∆𝑥 } = -
∆𝑥→0 ∆𝑥→0
+∞
∫−∞ 𝑓(𝑥) log 𝑓(𝑥) 𝑑𝑥 − lim log ∆𝑥 → +∞
∆𝑥→0

Prin urmare, rezultă că entropia oricărei variabile aleatoare continue tinde către + ∞. Acest lucru
are şi un suport intuitiv, şi anume gradul de nedeterminare al unei variabile aleatoare ce ia o
infinitate de valori poate să fie oricât de mare. Pentru a înlătura acest inconvenient s-a convenit
introducerea unei măsuri relative a gradului de nedeterminare a unei variabile aleatoare X în
raport cu o variabilă aleatoare dată 𝑋0. Variabila aleatoare 𝑋0 poate fi aleasă arbitrar şi, pentru a
simplifica cât mai mult expresia entropiei relative, vom lua pe 𝑋0 ca fiind repartizată uniform pe
intervalul [a, b] de lungime ε = b – a În acest caz rezultă că densitatea de repartiţie a variabilei 𝑋0
este:
1
𝑑𝑎𝑐ă 𝑥 ∈ [𝑎, 𝑏]
g(x)= {𝜀 },ceea ce conduce la :
0 î𝑛 𝑟𝑒𝑠𝑡
𝑏
H(𝑋0)=-∫𝑎 𝑓(𝑥) log 𝑓(𝑥)𝑑𝑥,

constatăm că această diferenţă indică cu cât nedeterminarea variabilei aleatoare X cu densitatea


de repartiţie f(x) este mai mare (𝐻𝜀 (X)˃0) sau mai mică (𝐻𝜀 (X)< 0) decât nedeterminarea unei
variabile aleatoare repartizată uniform pe un interval [a, b] de lungime 𝜀 = 1.
+∞
Prin definiţie, vom numi expresia 𝐻𝜀 (X) = -∫−∞ 𝑓(𝑥) log 𝑓(𝑥)𝑑𝑥 entropia relativă a variabilei
aleatoare X. Să punem în evidenţă unele proprietăţi ale acestei entropii. Propoziţie. Entropia
relativă este independentă de valorile efective ale variabilei aleatoare X. Demonstraţie. Este
suficient să arătăm că variabila aleatoare Y = X – a, a ∈ R, are aceeaşi entropie relativă ca şi
variabila aleatoare X. Într-adevăr,
+∞ +∞
𝐻𝜀 (𝑌)= 𝐻𝜀 (𝑋 − 𝑎)= -∫−∞ 𝑓(𝑥 − 𝑎) log 𝑓(𝑥 − 𝑎)𝑑𝑥=-∫−∞ 𝑓(𝑥) log 𝑓(𝑥)𝑑𝑥 = 𝐻𝜀 (𝑋)

Observaţie. Se constată imediat că proprietatea este adevărată şi pentru variabile aleatoare


discrete.
Propoziţie. Dacă f(x, y) şi g(x, y) sunt densităţi de repartiţie bidimensionale, atunci are loc
+∞ +∞ 𝑓(𝑥,𝑦)
inegalitatea:∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log 𝑔(𝑥,𝑦) dxdy ≥ 0
Demonstraţie. Să arătăm mai întâi că oricare ar fi funcţia u(x, y) > 0, are loc inegalitatea:
ln 𝑢 (𝑥,𝑦) 1 1
𝑙𝑜𝑔2 𝑢(𝑥, 𝑦)= ≥ ln 2 (1 − )
ln 2 𝑢 (𝑥,𝑦)

1 1
Într-adevăr, dacă u(x,y)≥1 şi dacă t ∈ [1, u], atunci 𝑡 ≥𝑢 şi, de aici:
𝑢 𝑑𝑡 1 1 1 1
ln u = ∫1 ≥ 𝑢 ∫𝑢 𝑑𝑡 = 𝑢 (u-1)= 1- 𝑢
𝑡
1 1
Dacă u ∈ (0, 1), atunci - 𝑡 ≥ -𝑢 oricare ar fi t ∈ [u, 1] şi deci:
1 𝑑𝑡 1 1 1 1
ln u = -∫𝑢 ≥ -𝑢 ∫𝑢 𝑑𝑡 = -𝑢(1-u)= 1 - 𝑢
𝑡

Deci, are loc, totdeauna, inegalitatea menţionată.


Bazaţi pe această inegalitate, putem scrie:
∞ ∞ 𝑓(𝑥,𝑦) 1 ∞ ∞ 𝑔(𝑥,𝑦) 1 ∞ ∞
∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log 𝑔(𝑥,𝑦)dxdy ≥ ln 2 ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) (1 − 𝑓(𝑥,𝑦))dxdy = ln 2 ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦)dxdy
1 ∞ ∞
-ln 2 ∫−∞ ∫−∞ 𝑔(𝑥, 𝑦)dxdy = 0 ,

întrucât f(x, y) şi g(x, y) sunt densităţi de repartiţie bidimensionale.


În plus, avem egalitate dacă f(x, y) = g(x, y)
Propoziţie
Dacă X şi Y sunt variabile aleatoare a căror entropie relativă compusă este 𝐻ℰ (X,Y), atunci are
loc inegalitatea:𝐻ℰ (X,Y) ≤ 𝐻ℰ (X) + 𝐻ℰ (Y).
Demonstraţie Să exprimăm membrul al doilea şi să folosim inegalitatea dovedită anterior:
∞ ∞
𝐻ℰ (X)+𝐻ℰ (Y) = - ∫−∞ 𝑓1 (𝑥)log 𝑓1 (x)dx - ∫−∞ 𝑓2 (y)log 𝑓2 (y)dy=
∞ ∞ ∞ ∞ 𝑓(𝑥,𝑦)
= - ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) [log 𝑓1 (𝑥) + 𝑓2 (𝑦)]dxdy = - ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) [log 𝑓(𝑦⁄𝑥) 𝑓2 (𝑦)]dxdy=

∞ ∞ 𝑓(𝑥,𝑦) ∞ ∞ 𝑓(𝑦⁄𝑥
= - ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) [𝑙𝑜𝑔 𝑓(𝑦⁄𝑥) ]dxdy = ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) [log 𝑓(𝑥, 𝑦) − 𝑙𝑜𝑔 ]dxdy=
𝑓2 (𝑦)
𝑓2 (𝑦)

∞ ∞ 𝑓(𝑥,𝑦)
= 𝐻ℰ (𝑋, 𝑌) + ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦)log 𝑓 (𝑥)𝑓 (𝑦)dxdy
1 2

Cum integrala dublă din ultima egalitate obţinută este totdeauna pozitivă (pe baza proprietăţii
anterioare) rezultă că: 𝐻ℰ (X,Y) ≤ 𝐻ℰ (X) + 𝐻ℰ (Y), adică tocmai inegalitatea menţionată.
Se constată imediat că relaţia este identică cu cea găsită pentru entropia unui experiment compus,
cu un număr finit de rezultate.
Aşadar, relaţia este adevărată pentru entropia oricărei variabile aleatoare discrete. Din această
relaţie rezultă că şi în cazul discret avem egalitatea în cazul variabilelor aleatoare independente.
Propoziţie
Pentru orice vector aleator (X, Y) sunt adevărate egalităţile:
𝐻ℰ (X,Y) = 𝐻ℰ (X) + 𝐻ℰ (𝑌⁄𝑋) = 𝐻ℰ (Y) + 𝐻ℰ (𝑋⁄𝑌)
Demonstraţie
Din definiţia entropiei unui sistem de două variabile aleatoare (X, Y) rezultă:
∞ ∞ ∞ ∞
𝐻ℰ (X,Y) = -∫−∞ ∫−∞ 𝑓(𝑥, 𝑦)log f(x,y)dxdy = ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log[𝑓1 (𝑥)𝑓(𝑥⁄𝑦)]dxdy =
∞ ∞ ∞ ∞
= - ∫−∞ ∫−∞ 𝑓(𝑥⁄𝑦) log 𝑓1 (x) dxdy - ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log f(𝑦⁄𝑥)dxdy = 𝐻ℰ (X) + 𝐻ℰ (𝑌⁄𝑋),
∞ ∞
unde am pus 𝐻ℰ (𝑌⁄𝑋) = - ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log f(𝑦⁄𝑥)dxdy entropia relativă condiţionată a
variabilei aleatoare Y.
Analog se obţine şi cealaltă inegalitate. Să mai dăm o propoziţie care să stabilească o legătură
între entropia relativă a două variabile aleatoare X şi Y.
Propoziţie
Dacă X este o variabilă aleatoare cu densitatea de repartiţie f(x), iar Y este o variabilă aleatoare a

cărei repartiţie este caracterizată de densitatea: g(y) = ∫−∞ 𝑐(𝑥, 𝑦)f(x)dx , unde c(x,y) este o
funcţie pondere care satisface condiţiile: c(x, y) ≥ 0,
∞ ∞
∫−∞ c(x, y)dx = ∫−∞ 𝑐(𝑥, 𝑦)dy = 1, atunci 𝐻ℰ (Y) - 𝐻ℰ (X) ≥ 0.

Demonstraţie
Să exprimăm diferenţa celor două entropii relative:
∞ ∞ ∞
𝐻ℰ (Y) - 𝐻ℰ (X) = ∫−∞ 𝑓(𝑥) log 𝑓(𝑥)𝑑𝑥 - ∫−∞ ∫−∞ 𝑐(𝑥, 𝑦)f(x) log g(y)dxdy =
∞ ∞ 𝑓(𝑥) ∞ ∞ 𝑐(𝑥,𝑦)𝑓(𝑥)
=∫−∞ ∫−∞ c(x, y) f(x) log 𝑔(𝑦) dxdy = ∫−∞ ∫−∞ 𝑐(𝑥, 𝑦) f(x) log 𝑐(𝑥,𝑦)𝑔(𝑦)dxdy

Întrucât a(x, y) = c(x, y) şi b(x, y) = c(x, y) g(y) sunt densităţi de repartiţie bidimensionale, pe
baza unei propoziţii date anterior rezultă că:
∞ ∞ 𝑐(𝑥,𝑦)𝑓(𝑥)
∫−∞ ∫−∞ 𝑐(𝑥, 𝑦) f(x) log 𝑐(𝑥,𝑦)𝑔(𝑦)dxdy ≥ 0.

şi deci 𝐻ℰ (Y) - 𝐻ℰ (X) ≥ 0.


Pentru două experimente (deci şi pentru două variabile aleatoare discrete) s-a introdus noţiunea
de cantitate de informaţie continuă în experimentul B relativ la experimentul A ca fiind dată de:
I(A, B) = H(A) – H(A/B) .

Dacă acum considerăm două variabile aleatoare X şi Y cu densitatea de repartiţie comună f(x, y),
atunci definim cantitatea de informaţie conţinută în variabila aleatoare Y relativ la variabila
aleatoare X ca diferenţa dintre entropia relativă 𝐻ℰ (X) şi entropia relativă condiţionată
𝐻ℰ (𝑋⁄𝑌). Notând cu I(X, Y) această cantitate de informaţie, atunci I(X, Y) =𝐻ℰ (X) - 𝐻ℰ (𝑋⁄𝑌).

Această cantitate de informaţie se bucură de o proprietate importantă exprimată în propoziţia de


mai jos.

Propoziţie

Dacă X, Y sunt două variabile aleatoare continue (care au densităţi de repartiţie) atunci,

I(X,Y) = 𝐻ℰ (X) - 𝐻ℰ (𝑋⁄𝑌) este independentă de ε.

Demonstraţie

𝐻ℰ (X) = -∫−∞ 𝑓1 (x) log 𝑓1 (x)dx – log ε.
∞ ∞
𝐻ℰ (𝑋⁄𝑌) = -∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log f(𝑥⁄𝑦)dxdy – log ε , atunci:

∞ ∞ ∞
I(X,Y) = -∫−∞ 𝑓1 (x) log 𝑓1 (x)dx – log ε + ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log f(𝑥⁄𝑦)dxdy + log ε =

∞ ∞ 𝑓(𝑥⁄𝑦) ∞ ∞ 𝑓(𝑥,𝑦)
= ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦)log dxdy = ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦)log𝑓 (𝑥)𝑓 (𝑦)dxdy
𝑓1 (𝑥) 1 2

Se observă că relaţia este întrutotul analoagă cu cea obţinută pentru variabila aleatoare discretă
şi, în plus faţă de entropia relativă, cantitatea de informaţie conţinută în Y relativ la X are un
caracter absolut.

Exemplu. S ă se calculeze entropia relativă a unei variabile aleatoare exponenţial negative de


parametru λ şi a unei variabile aleatoare normale N(0, σ).

Soluţie Dacă X este variabilă aleatoare repartizată exponenţial negativ, atunci are densitatea:
∞ ∞ 𝑒
f(x) = {λ𝑒 −λx log λ𝑒 −λx dx = - λ log λ ∫0 𝑒 −λx dx + λ2 log e∫0 𝑥 𝑒 −λx dx = log λ

𝑦2
1 −
Y este normală N(0, σ) dacă are densitatea f(y) = 𝜎√2𝜋 𝑒 2𝜎2 ,y∈R

𝑦2 𝑦2
∞ 1 − 1 −
Atunci: 𝐻ℰ (Y) = -∫−∞ 𝜎√2𝜋 𝑒 2𝜎2 log ( 𝜎√2𝜋 𝑒 2𝜎2 )dy =

2 𝑦2
1 1 ∞ −𝑦2 1 ∞ −
= - 𝜎√2𝜋 log ∫
𝜎√2𝜋 −∞
𝑒 2𝜎 dy + 2𝜎3
√2𝜋
log e ∫−∞ 𝑦 2 𝑒 2𝜎2 dy = log(√2𝜋𝑒 𝜎)

Exemplu. Să se arate că dintre toate repartiţiile cu entropie dată, repartiţia normală N (o,σ) are
cea mai mică dispersie.

Soluţie. Să determinăm densitatea de repartiţie cu cea mai mică dispersie:



𝜎 2 = ∫−∞ 𝑥 2 f(x)dx , cu conditiile:
∞ ∞
𝐻ℰ (X) = -∫−∞ 𝑓 (x) log f(x)dx și ∫−∞ 𝑓(x)dx = 1
Alcătuim funcţia: φ(f,x) = 𝑥 2 f(x) - λ1 f(x) log f(x) + λ2 f(x) şi, din ecuaţia lui Euler (calculul
𝜕𝜑 λ
variaţional): 𝜕𝑓 = 𝑥 2 - λ1 log f(x) - ln12 + λ2 = 0 obținem:

𝑥 2 𝑙𝑛2
f(x)=exp(λ2 𝑙𝑛2 − λ1 ) exp( )
λ1
∞ ∞
Substituind f(x) în 𝐻ℰ (X) = -∫−∞ 𝑓 (x) log f(x)dx și ∫−∞ 𝑓(x)dx = 1 , obţinem:
ln 2
= -𝜋 exp(2𝐻ℰ ln2-1) și exp(λ2 ln2 - λ1 ) = √exp(2𝐻ℰ ln2 − 1)
λ1

Determinând λ1 și λ2 şi înlocuind în f(x) avem:


1 𝑥2
f(x) = √exp(2𝐻ℰ ln2 − 1) exp[−𝜋 exp(2𝐻ℰ ln2 − 1)𝑥 2 ] = exp(− 2𝜎2 )
𝜎√2𝜋
−1
unde: 𝜎 = (√2𝜋 exp(2𝐻ℰ ln2 − 1))
Exemplu. Să se determine cantitatea de informaţie I(X, Y) pentru vectorul aleator (X, Y) cu
densitatea de repartiţie:
1 1 𝑥2 𝑥𝑦 𝑦2
f(x,y) = exp[− 2(1−𝜌2 ) (𝜎2 − 2𝜌 𝜎 + 𝜎2 )],
2𝜋𝜎𝑥 𝜎𝑦 √1−𝜌2 𝑥 𝑥 𝜎𝑦 𝑦

unde ρ este coeficientul de corelaţie al variabilelor X şi Y.


∞ ∞ 𝑓(𝑥,𝑦)
Soluţie. I(X,Y) = ∫−∞ ∫−∞ 𝑓(𝑥, 𝑦) log𝑓 (𝑥)𝑓 (𝑦)dxdy
1 2

Înlocuindu-se în această relaţie f(x, y), 𝑓1 (x), 𝑓2 (x) (𝑓1 ,𝑓2 densităţile de repartiţie marginale), se
obţine: I(X,Y) = -log√1 − 𝜌2

6.4. Transmiterea informaţiei. Codificarea

Oricare ar fi natura unui mesaj, el nu poate fi transmis fără existenţa unui anumit purtător
material al mesajului, care serveşte drept semnal de transmitere a informaţiei conţinute în
mesajul respectiv.
Semnalele purtătoare de informaţii sunt emise de o anumită sursă de semnale, se propagă printr-
un anumit mediu, numit canal de comunicaţie şi ajung la destinaţie unde sunt recepţionate. Prin
intermediul semnalelor recepţionate destinatarul ia cunoştinţă de informaţia transmisă.
O particularitate esenţială a semnalului este independenţa informaţiei pe care o transmite faţă de
energia consumată pentru producerea lui. Desigur, pentru emiterea semnalului este necesar un
minim de energie, dar cantitatea de informaţie nu depinde de valoarea acestui minim.
O ştire de importanţă capitală poate fi transmisă cu ajutorul unui semnal extrem de mic şi de
slab.
Numai conţinutul semnalului, şi nu energia lui, determină cantitatea de informaţie pe care o
poartă.
Orice sistem de comunicaţie, de transmitere a informaţiei – indiferent de natura lui – se
încadrează în schema generală de mai jos:

Informaţia se transmite cu ajutorul unor semnale, emise de o sursă. Semnalele se pot transforma
prin codificare în alte semnale, a căror transmisie este mai avantajoasă; ele se propagă pe un
canal de comunicaţie, în care pot suferi diferite perturbaţii (distorsionări) şi ajung la recepţie,
unde cu ajutorul unui traducător se face decodificarea, obţinându-se în final, semnalele transmise
iniţial, care poartă informaţia transmisă de sursă şi care a fost perturbată pe canal.
Vom defini matematic un sistem de transmitere a informaţiei (în cazul finit).
Definiţie. Numim sistem de transmitere a informaţiei sistemul format din două mulţimi finite X,
Y şi o probabilitate p(y/x) definită pe Y pentru orice x ∈ X, pe care-l vom nota {X, p(y/x), Y}.
Mulţimea X se numeşte mulţimea semnalelor care se emit; mulţimea Y se numeşte mulţimea
semnalelor care se recepţionează; probabilitatea p(y/x) se numeşte probabilitatea de recepţionare
condiţionată de ceea ce se emite.
Definiţie. Fiind dată probabilitatea p(x) pentru fiecare x ∈ X, numită probabilitate de
emisie,∑𝑥 ∈X 𝑝(𝑥)=1, câmpul de probabilitate {X, x, p(x)} se numeşte sursa sistemului {X,
p(y/x), Y} de transmitere a informaţiei.
Definiţie. Fiind date sistemul de transmitere a informaţiei sistemului {X, p(y/x), Y} şi
probabilitatea p(x) pe X, se numeşte recepţia sistemului câmpul de probabilitate {Y, y, p(y)}
unde probabilitatea p(y) de recepţionare a semnalelor y se obţine conform relaţiei:
p(y) = ∑𝑥 ∈X 𝑝(𝑥) p(𝑦⁄𝑥)
Definiţie. Mediul prin care se propagă semnalele de la sursă la recepţie se numeşte canalul
sistemului de transmitere a informaţiei. A cunoaşte canalul de comunicaţie al unui sistem
înseamnă a cunoaşte probabilităţile P(y/x) pentru toate semnalele x ∈ X, y ∈ Y. Dacă p(y/x) ia
numai valorile 0 sau 1 pentru orice x ∈ X, y ∈ Y canalul prezintă perturbaţii.
P(𝑌⁄𝑋) = (p(𝑦⁄𝑥))𝑥∈𝑋/𝑦∈𝑌 ; H(X) = - ∑𝑥∈X 𝑝(𝑥) log 𝑝(𝑥) reprezintă cantitatea de

informaţie transmisă la sursă.


H(𝑌⁄𝑋) = - ∑𝑥 ∈X ∑𝑥 ∈X 𝑝(𝑥, 𝑦) log p(𝑥⁄𝑦) reprezintă cantitatea de informaţie care se
pierde pe canal.
H(X) – H(X/Y) reprezintă cantitatea de informaţie care se recepţionează. Din proprietăţile
entropiei, rezultă: 0 ≤ H(X) – H(X/Y) ≤ H(X) Dacă H(X/Y) = 0 înseamnă că pe canal nu se
pierde nimic din informaţia transmisă. Dacă H(X) = H(X/Y) înseamnă că pe canal perturbaţia
este atât de puternică încât la recepţie nu se primeşte nici un fel de informaţie. În condiţii reale,
în mod curent: 0 < H(X) – H)X/Y) < H(X).
Definiţie. Valoarea maximă a diferenţei H(X) – H(X/Y) pentru toate probabilităţile p la sursă o
notăm cu C şi o vom numi capacitatea canalului de transmitere.
C = 𝑚𝑎𝑥𝑝 {H(X) – H(X/Y)}

Cantitatea H(X) – H(X/Y) reprezintă cantitatea de informaţie obţinută în medie la trecerea prin
canal a unui semnal al sursei şi poartă numele de viteză de transmitere a informaţiei.
Codificarea. În general, semnalele x ∈ X nu se transmit direct, ci codificat. Asocierea la un
anumit sistem de semnale purtătoare de informaţie a unor succesiuni de alte semnale se numeşte
codificare. Codificarea se realizează cu ajutorul unei mulţimi de semnale simple, mulţime cu nu
prea multe elemente, care sunt înlănţuite în anumite succesiuni.
În cazul telegrafului, în mod uzual se întrebuinţează două tipuri de codificare: codificarea Morse
- codificare mai veche – şi codificarea Baudot.
În general, codificarea înseamnă înlocuirea fiecărui semnal dintr-o anumită mulţime, printr-o
succesiune de o anumită lungime, de semnale numite semnale simple. Semnalele simple pot fi
chiar semnalele de la care am plecat. În acest caz, codificarea semnalelor dintr-o anumită
mulţime, înseamnă înlocuirea fiecărui semnal printr-o succesiune, de o anumită lungime, de
semnale din aceeaşi mulţime iniţială. O codificare este cu atât mai avantajoasă, cu cât sunt mai
reduse atât numărul semnalelor simple care servesc la codificare, cât şi lungimea succesiunilor
de semnale simple.
În cazul în care se face codificarea, la recepţie trebuie să se efectueze decodificarea
corespunzătoare.
Necesitatea introducerii codificării, ţine în primul rând de natura concretă a sistemului de
transmitere a informaţiei. Informaţia este purtată de un anumit tip de semnale, iar sistemului de
transmitere îi sunt proprii alte tipuri de semnale şi ca atare este impusă realizarea unei
corespondenţe între semnalele iniţiale şi semnalele care urmează a fi transmise.
În al doilea rând, codificarea este impusă de prezenţa perturbaţiei pe canal, care diminuează
cantitatea de informaţie transmisă, ceea ce impune codificarea.
Vom considera o codificare în care drept semnale simple se consideră tot semnale din mulţimea
X, un semnal x ∈ X înlocuindu-se printr-un şir de semnale tot din mulţimea X.
Pentru a lămuri lucrurile, să considerăm un sistem de transmitere a informaţiei {X, p(y/x), Y}.
Când transmitem un şir de semnale x ∈ X, recepţionăm un şir de semnale y ∈ Y.
Să notăm cu U mulţimea tuturor şirurilor de lungime n formate cu semnale din X şi cu mulţimea
tuturor şirurilor de lungime n formate cu semnale din Y.
u ∈ U ⇔ (𝑥1 ,𝑥2 ,…,𝑥𝑛 ) , (𝑥1 ,𝑥2 ,…,𝑥𝑛 ) ∈ X x X x … x X;
v ∈ V ⇔ (𝑦1 ,𝑦2 , … 𝑦𝑛 ) , (𝑦1 ,𝑦2 , … 𝑦𝑛 ) ∈ Y x Y x … x Y;
Introducem o probabilitate p(v/u) definită pe V, condiţionată de elementele u ∈ U, în felul
următor:
𝑛
p(𝑣⁄𝑢 ) = 𝜋𝑗=1 p(𝑦𝑗 ⁄𝑥𝑗 ) ; p(v/u) reprezintă probabilitatea ca să se recepţioneze şirul de
semnale v, dacă s-a emis şirul de semnale u; această probabilitate este complet determinată de
p(y/x).
Putem acum introduce următoarea definiţie.
Definiţie. Fiind dat sistemul de transmitere a informaţiei {X, p(y/x), Y} se numeşte extensie de
lungime n, sistemul {U, p(v/u), V} unde U reprezintă mulţimea tuturor şirurilor u, de lungime n
de semnale x ∈ X, V reprezintă mulţimea tuturor şirurilor v, de lungime n, de semnale y ∈ Y, iar
𝑛
p(v/u) = 𝜋𝑗=1 p(𝑦𝑗 ⁄𝑥𝑗 )

Definiţie. Trecerea de la sistemul de transmitere a informaţiei {X, p(y/x), Y} la sistemul {U,


p(v/u), V} se numeşte codificare.
Definiţie. Legea potrivit căreia se asociază semnalelor x ∈ X şiruri u ∈ U se numeşte cod.
Legătura între capacitatea sistemului {X, p(y/x), Y} şi capacitatea sistemului {U, p(v/u), V} este
dată de:
Teoremă. Fie {X, p(y/x), Y} un sistem de transmitere a informaţiei, al cărui canal are
capacitatea C. Extensia de lungime n are capacitatea n C. Nu vom da demonstraţie acestei
teoreme. Vom da schema sistemului de transmitere {U, p(v/u), V}:
𝑛 𝑛
{𝐱𝑗=1 𝑋𝑗 ; (𝑥1 , … , 𝑥𝑛 ), 𝑝(𝑥1 , … , 𝑥𝑛 )} nC {𝐘𝑗=1 𝑌𝑗 ; (𝑦1 , … , 𝑦), 𝑝(𝑦1 , … , 𝑦𝑛 )}

Codificarea realizată mai sus se face înlocuind fiecare semnal x ∈ X cu u = (𝑥1 , 𝑥2 , … , 𝑥𝑛 ) ∈ U.


Dar, în general, fiecare semnal din x ∈ X se înlocuieşte cu o succesiune de o anumită lungime de
semnale din A = {𝑎1 , 𝑎2 , … , 𝑎𝑎 } pe care le numim semnale simple.
Un mesaj codificat trebuie să fie decodificat, adică este necesar să se poată şti, atunci când se
recepţionează un anumit şir lung de semnale simple, unde se termină subşirul corespunzător
semnalului iniţial următor.
O cale este aceea de a impune condiţia ca semnalelor iniţiale să li se ataşeze şiruri de semnale
simple, care au aceeaşi lungime. În acest caz, cunoscându-se această lungime comună,
decodificarea se face extrem de uşor, prin împărţirea şirului recepţionat în blocuri având o
lungime egală cu lungimea dată. Aceste coduri se numesc uniforme. (Acest caz îl întâlnim în
telegrafie, când se întrebuinţează codificarea Baudot).
Sunt posibile şi codificări neuniforme, în care diversele şiruri de semnale simple care se ataşează
semnalelor iniţiale au lungimi diferite.
Pentru unele codificări neuniforme se cere, însă, ca nici un şir de semnale simple ataşat unui
semnal iniţial să nu coincidă cu începutul unui alt şir mai lung de semnale simple, pentru a nu
avea dificultăţi la decodificare.
Dăm mai jos metoda lui Fano de codificare neuniformă, cu ajutorul a două semnale simple, A =
{𝑎1 , 𝑎1}, codificare care se numeşte binară (se poate pune 𝑎1 = 1, 𝑎2 = 0).
Pentru a ataşa fiecărui semnal iniţial un şir de semnale simple se procedează astfel: Se ataşează
mulţimea X = {𝑥1 , 𝑥2 , … , 𝑥𝑛 } într-o coloană, în ordinea descrescătoare a probabilităţilor p(xi), 1
≤ i ≤ N, de apariţie. Împărţim acum coloana de semnale în două grupe, grupa de sus şi grupa de
jos, în aşa fel ca probabilitatea unui semnal iniţial de a aparţine la grupa de sus să fie foarte
apropiată de probabilitatea ca acest semnal să aparţină grupei de jos. Pentru semnalele din grupa
de sus folosim pe a1 ca prim semnal simplu, iar pentru semnalele din grupa de jos folosim pe a2
ca prim semnal simplu. Atât grupa de sus, cât şi cea de jos le împărţim, la rândul lor, în două
subgrupe, având probabilităţile totale cât mai aproape între ele. Pentru subgrupa de sus folosim
ca cel de al doilea semnal pe a1, iar pentru subgrupa de jos folosim pe 𝑎2 ca al doilea semnal
simplu. Fiecare din aceste subgrupe se împarte din nou în alte două subgrupe, şi aşa mai departe,
până când în fiecare grupă rămâne câte un singur element, epuizând astfel semnalele iniţiale.
Şirurile de semnale simple ataşate în acest mod semnalelor iniţiale realizează codificarea.
Codificarea realizată în acest mod este neuniformă, iar şirurile de semnale simple ataşate
semnalelor iniţiale, îndeplinesc condiţia de a nu cuprinde în ele nici un şir de lungime mai mică
ataşat unui alt semnal iniţial. Să codificăm semnalele X = {𝑥1 , 𝑥2 , … , 𝑥12 } cu ajutorul cărora
transmitem o cantitate de informaţii H(X). Fiecărui semnal iniţial îi corespunde o probabilitate
bine determinată de întrebuinţare în transmiterea cantităţii de informaţie respective. Semnalele
iniţiale, probabilităţile p(xi), 1 ≤ i ≤ 12, împărţirea pe grupe şi şirurile de codificare apar în
tabelul de mai jos.

6.5. Cantitatea de informaţie conţinută într-un model input-output şi variaţia ei prin


agregare Să considerăm modelul dat de ecuaţiile de balanţă în expresie valorică:
𝑋𝑖 = ∑𝑚
𝑗=1 𝑥𝑖𝑗 + 𝑓𝑖 , 1 ≤ i ≤ m,

Unde 𝑥𝑖𝑗 sunt fluxurile interramuri, iar fi produsul final al ramurii i.


Dacă luăm în considerare şi cadranul III în care apar elemente de valoare nou creată şi adăugată
şi notăm cu 𝑦𝑘𝑗 mărimea inputului k absorbit de ramura j, obţinem alte relaţii de balanţă:

𝑋𝑗 = ∑𝑚 𝑚
𝑖=1 𝑥𝑖𝑗 + ∑𝑘=1 𝐽𝑘 , 1 ≤ j ≤ m,

Unde 𝑚′ este numărul inputurilor referitoare la cadranul III. Introducând coeficienţii cheltuielilor
𝑥
directe 𝑎𝑖𝑗 = 𝑋𝑖𝑗 , 1 ≤ i , j ≤ m, primele relaţii de balanţă devin:
𝑗

𝑋𝑖 = ∑𝑚
𝑗=1 𝑎𝑖𝑗 𝑋𝑗 + 𝑓𝑖 , 1 ≤ i ≤ m, sau în scriere matriceală:

X = AX + f ; X = (𝐼 − 𝐴)−1f
Luând în considerare şi coeficienţii cheltuielilor directe referitoare la elementele cuprinse în
cadranul III :
𝑦𝑘𝑗
𝑏𝑖𝑗 = , 1 ≤ k ≤ m , 1 ≤ j ≤ m, din al doilea grup de relaţii de balanţă, obţinem:
𝑋𝑗


∑𝑚 𝑚
𝑖=1 𝑎𝑖𝑗 + ∑𝑘=1 𝑏𝑘𝑗 = 1 , I ≤ j ≤ m

Dacă punem: 𝑦𝑘 = ∑𝑘𝑗=1 𝑦𝑘𝑗 , 1 ≤ k ≤ 𝑚′ pentru cererea totală a tuturor ramurilor din inputul k
referitor la cadranul III, obţinem relaţia Y = BX.
Vectorul Y se poate exprima acum cu ajutorul matricilor A, B şi a vectorului f, astfel:
Y = (𝐼 − 𝐴)−1 f
În vederea efectuării de analize şi prognoze este necesară cunoaşterea coeficienţilor ce constituie
elementele matricilor A şi B, cunoscuţi sub numele de coeficienţi input – output.
Valenţele analizei informaţionale pe baza modelului input – output sunt valorificate integral la
modelele macroeconomice, când intervine frecvent problema omogenităţii produselor. Dar, şi
pentru astfel de situaţii, este necesar să agregăm unele ramuri, agregare care conduce la un model
de dimensiune mai mică, adecvat unor analize eficiente şi rapide.
Simplificând schema modelului de balanţă, obţinem:
𝑈 𝑓
(𝑚𝑥𝑚) (𝑚𝑥𝑛)
( 𝑉 𝑂 ) ,
(𝑚′ 𝑥𝑚) (𝑚′ 𝑥𝑛)

unde matricea U (cadranul I) conţine fluxurile interramuri, f(cadranul II) conţine produsul final
cu componentele sale (consum individual, consum social etc.), iar V(cadranul III) conţine
amortizări, retribuţii etc. În condiţiile în care ne interesează doar relaţiile dintre ramuri, eliminăm
produsul final şi păstrăm matricea:
𝑈 𝑂
(𝑚𝑥𝑚) (𝑚𝑥𝑚′ )
( 𝑉 𝑂 ),
(𝑚′ 𝑥𝑚) (𝑚′ 𝑥𝑚′ )

care este o matrice pătratică de ordinul m+m’, asociată relaţiilor de balanţă:


∑𝑚
𝑗=1 𝑥𝑖𝑗 = 𝑋𝑖 - 𝑓𝑖 , I ≤ i ≤ m

∑𝑚
𝑗=1 𝑦𝑘𝑗 = 𝑦𝑘 , 1 ≤ k ≤ 𝑚

Dacă împărţim în ambii membri aceste m+m’ relaţii prin ∑𝑚 ℎ=1 𝑋ℎ , atunci toţi termenii din
membrul stâng vor lua valori între 0 şi 1 şi vom putea constitui cu ajutorul lor o repartiţie
bidimensională. Vom nota astfel:
𝑥
𝑝𝑖𝑗 = ∑𝑚 𝑖𝑗𝑋 , 1 ≤ i , j ≤ m , fluxurile interramuri măsurate ca fracţiuni ale outputului (sau
ℎ=1 ℎ
inputului) tuturor ramurilor,
𝑦
𝑝𝑚+𝑘,𝑗 = ∑𝑚 𝑘𝑗𝑋 , 1 ≤ 𝑘 ≤ 𝑚′ , 1 ≤ j ≤ m
ℎ=1 ℎ

inputurile corespunzătoare cadranului III, măsurate în fracţiuni de inputuri totale. Vom nota în
plus: 𝑝𝑖𝑗 =
= 0, 1≤ i ≤ m+m’; m+1 ≤ j ≤ m+m’
′ ′
Deoarece 𝑝𝑖𝑗 ≥ 0 , 1 ≤ i ≤ m + 𝑚′ º I ∑𝑚+𝑚
𝑖=1 ∑𝑚+𝑚
𝑗=1 𝑝𝑖𝑗 = 1 ;

am definit astfel repartiţia unui vector aleatory (𝜑1 , 𝜑2 ). Folosind membrul drept al relaţiilor de
balanţă, se obţin repartiţiile marginale ale componentelor Φ1 şi Φ2 :
𝑋 − 𝑓𝑖
𝑝𝑖· = ∑𝑚𝑖 ,1≤i≤m,
ℎ=1 𝑋ℎ

𝑦
𝑝𝑚+𝑘· = ∑𝑚 𝑘 𝑋 , 1 ≤ k ≤ 𝑚′ ,
ℎ=1 ℎ

care sunt, respectiv, cererea totală intermediară de produse din ramura i şi inputul k,
corespunzător cadranului III, raportate la inputul total;
𝑋𝑗
𝑃·𝑗 = { ∑𝑚
ℎ=1 𝑋ℎ 1≤j ≤ m
0, 𝑚 + 1 ≤ 𝑗 ≤ 𝑚 + 𝑚′
Vom pune, pentru uniformitatea scrierii, m+m’ = n.
Cu aceste relaţii, coeficienţii cheltuielilor directe se pot exprima prin:
𝑥𝑖𝑗 𝑝
𝑎𝑖𝑗 = = 𝑝𝑖𝑗 , 1≤i , j≤m,
𝑋𝑗 ∙𝑗

iar coeficienţii cheltuielilor directe referitoare la elementele din cadranul III.


𝑦𝑘𝑗 𝑝𝑚+𝑘,𝑗
𝑏𝑘𝑗 = = , 1 ≤ k ≤ 𝑚′ ; 1 ≤ j ≤ 𝑚′
𝑋𝑗 𝑝∙𝑗

În procesul de agregare să considerăm că cele m+m’ = n inputuri (outputuri) se comasează în


M+M’ = G inputuri (outputuri), M< m, M’ < m’.
Vom nota 𝑆𝑔 mulţimea ramurilor iniţiale cuprinse în ramura g din tabelul agregat (1 ≤ g ≤ G).

Fluxurile interramuri din tabelul agregat vor fi:


𝑥̅𝑔ℎ = ∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆ℎ 𝑥𝑖𝑗 ,

iar coeficienţii cheltuielilor directe:


∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆 𝑥𝑖𝑗 𝑋𝑖

𝑎̅𝑔ℎ = ∑𝑗∈𝑆 𝑋𝑗
= ∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆ℎ 𝑎𝑖𝑗 ∑𝑗∈𝑆 𝑋𝑗
= ∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆ℎ 𝑎𝑖𝑗 𝑤𝑗 ;
ℎ ℎ

𝑋𝑖
Unde : 𝑤𝑗 = ∑ , 𝑖 ∈ 𝑆𝑔 , 1 ≤ g ≤ M
𝑗∈𝑆ℎ 𝑋𝑗

(ponderea ramurii i în outputul corespunzător grupului de ramuri 𝑆ℎ ). În mod analog se


procedează cu coeficienţii cheltuielilor directe corespunzători cadranului III: Transformând
tabelul agregat pentru a obţine o repartiţie bidimensională, vom avea:
𝑃𝑔ℎ = ∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆ℎ 𝑝𝑖𝑗 1 ≤ g , h ≤ G

𝑃𝑔∙ = ∑𝐺ℎ=1 𝑃𝑔ℎ = ∑𝑖∈𝑆𝑔 𝑝𝑖∙ , 1 ≤ g ≤ G

𝑃∙ℎ∙ = ∑𝐺𝑔=1 𝑃𝑔ℎ = ∑𝑗∈𝑆ℎ 𝑝∙𝑗 , 1 ≤ h ≤ G


acestea reprezentând, respectiv, fluxul de la 𝑆𝑔 la 𝑆ℎ , fluxul total cu originea în 𝑆𝑔 , fluxul total ce
intră în 𝑆ℎ , toate exprimate în fracţiuni ale inputului (outputului) total.
Să considerăm acum cantitatea de informaţie conţinută într-un model input-output, ce poate fi
exprimată prin intermediul entropiei asociate repartiţiei bidimensionale.
Fie 𝐼0 cantitatea de informaţie conţinută în tabelul input-output iniţial, definită prin intermediul
entropiei asociate repartiţiei (𝑝𝑖𝑗 )𝑖,𝑗 ∈ ̅̅̅̅̅
1, 𝑛
𝑝𝑖𝑗
𝐼0 = ∑𝑛𝑖=1 ∑𝑛𝑗=1 𝑝𝑖𝑗 log𝑝
∙𝑖 𝑝∙𝑗

După cum s-a demonstrat, avem: 0 ≤ 𝐼0 ≤ log 𝑛2 , cu semnificaţiile cunoscute pentru cazurile
extreme.

Fie I𝐴 informaţia conţinută în modelul agregat (𝑃𝑔ℎ ) :


1≤𝑔,ℎ≤𝐺

𝑃𝑔ℎ
𝐼𝐴 = ∑𝐺𝑔=1 ∑𝐺𝑘=1 𝑃𝑔ℎ log 𝑃
𝑔∙ 𝑃∙ℎ

Notând: 𝛾𝑔𝑗 = ∑𝑖∈𝑆𝑔 𝑝𝑖𝑗 , 1 ≤ g ≤ G , 1 ≤ j ≤ n

(fluxurile din ramura agregată 𝑆𝑔 la ramurile individuale j, măsurate în fracţiuni de output


agregat al ramurilor)
𝐶𝑖ℎ = ∑𝑗∈𝑆ℎ 𝑝𝑖𝑗 , 1 ≤ h ≤ G , 1 ≤ i ≤ n

(fluxurile de la ramura i la ramura agregată Sh, exprimate ca mai sus) se obţin imediat relaţiile:
∑𝐺𝑔=1 𝛾𝑔𝑗 = 𝑃·j ; ∑𝑗∈𝑆ℎ 𝛾𝑔𝑗 = 𝑃𝑔ℎ

∑𝑖∈𝑆𝑔 𝐶𝑖ℎ = 𝑃𝑔ℎ ; ∑𝐺ℎ=1 𝐶𝑖ℎ = 𝑃𝑖∙

Se constată că ponderea de informaţie într-un proces de agregare este:


𝐼0 - 𝐼𝐴 =∑𝐺ℎ=1 𝑃∙ℎ 𝑃∙ℎ + ∑𝐺𝑔=1 𝑃𝑔∙ 𝐼𝑔 + ∑𝐺𝑔=1 ∑𝐺ℎ=1 𝑃𝑔ℎ 𝐼𝑔ℎ

unde 𝐼ℎ este efectul coloană al ramurii agregate 𝑆ℎ :


𝑃𝑔ℎ 𝛾𝑔𝑗 𝛾 ⁄𝑃𝑔ℎ
𝐼∙ℎ = ∑𝐺𝑔=1 ∑𝑗∈𝑆ℎ log 𝑝𝑔𝑗 ⁄𝑃
𝑃𝑔∙ 𝑃𝑔ℎ ∙𝑗 ∙ℎ

𝑃𝑔ℎ 𝐶𝑖ℎ 𝐶𝑖ℎ ⁄𝑃𝑔ℎ


𝐼𝑔∙ = ∑𝐺ℎ=1 ∑𝑖∈𝑆𝑔 log ,
𝑃𝑔∙ 𝑃𝑔ℎ 𝑝𝑖∙ ⁄𝑃𝑔∙

iar 𝐼𝑔ℎ este efectul celular ce se referă la fluxurile componentelor ramurii agregate 𝑆𝑔 la
componentele ramurii agregate 𝑆ℎ :
𝑝 𝑝𝑖𝑗 ⁄𝑃𝑔ℎ
𝐼𝑔ℎ = ∑𝑖∈𝑆𝑔 ∑𝑗∈𝑆ℎ 𝑃 𝑖𝑗 log (𝛾
𝑔ℎ 𝑔𝑗 ⁄𝑃𝑔ℎ )(𝐶𝑖ℎ ⁄𝑃𝑔ℎ )

𝐼ℎ , 𝐼𝑔 , 𝐼𝑔ℎ pot fi interpretate ca informaţii medii ale mesajelor indirecte. Deoarece apar cu
coeficienţi negativi în ecuaţia de descompunere a informaţiei, rezultă că 𝐼0 – 𝐼𝐴 ≥ 0 şi, deci, în
procesul de agregare informaţia scade.

S-ar putea să vă placă și