CAPITOLUL 1

INFORMAŢIE, ENTROPIE, SISTEM INFORMATIC

1.1. INFORMAŢIE ŞI ENTROPIE

Prin organizaţie înţelegem două sau mai multe persoane asociate în vederea realizării unui
scop productiv sau de servicii. Orice organizaţie pentru a funcţiona are nevoie de resurse:
materiale, financiare, umane (resurse vizibile) şi informaţionale (resurse invizibile).
Secolul XX marchează trecerea de la societatea industrială, în care producţia de bază este
producţia industrială, iar resursa strategică este capitalul, la societatea informaţională, în care
producţia de bază este cea intelectuală, iar resursa cea mai importantă este informaţia. În
ultimii ani ai secolului trecut apare un nou concept de societate a cunoaşterii în care resursa
principală o constituie cunoştinţele şi care este caracterizată de noile tehnologii informaţionale
şi ale comunicaţiei. “Cunoaşterea este prin ea însăşi putere” afirma Francis Bacon1 acum patru
sute de ani, idee extrem de actuală astăzi în societatea cunoaşterii în care informaţia semnifică
puterea, în sensul cel mai general – indiferent că este vorba de cea politică, cea economică sau
cea financiară.
Cunoștințele se bazează pe date și informație, dar conțin inteligență și experiență. Cunoștințele
se dobândesc în timp și se sedimentează, spre deosebire de date și informații care se pot obține
și interpreta relativ rapid.

„Avantajul competitiv real se obţine de surse invizibile, adică din informaţii sau circuite
informaţionale, resursele vizibile pot fi cumpărate sau copiate rapid, cele invizibile se
acumulează însă în ani” (Hiroyouki Itami2).

Noţiunile de dată şi informaţie se consideră în vorbirea curentă ca fiind sinonime, ele însă diferă
esenţial. Se remarcă două moduri de abordare:
A) se consideră noţiunea de bază cea de informaţie, iar cea de dată derivă din aceasta;
B) noţiunea de bază este cea de dată, iar informaţia se consideră ca derivată din aceasta.

1
Francis Bacon (1561-1626) filosof englez a fost procuror general şi lord cancelar al Angliei. Este
creatorul empirismului - doctrină filosofică a testării şi a experimentării conform căreia toată
cunoașterea umană provine din simțuri și din experiență. A fost înnobilat în 1603, fiind primul om de
știință care a primit titlul de cavaler.

2
Hiroyouki Itami (1945- ) profesor de management şi decan la Graduate School of Management of
Science and Technology, Tokyo University of Science. Este autorul unui număr mare de cărţi şi articole în
domeniul managementului strategic, guvernanţei corporative, sistemului corporaţiilor japoneze,
inovaţiei în management.

1
A) Noţiunea de informaţie este complexă, de mare generalitate şi se ridică la nivelul noţiunii de
materie. Nu i s-a putut da încă o definiţie unitară, fiind considerată un concept primar, la fel
cum în matematică există noţiunea fundamentală de mulţime. Informaţia este una din cele trei
forme de manifestare ale materiei, alături de substanţă şi energie.
În general, se identifică trei niveluri la care poate fi analizată informaţia: sintactic, semantic şi
pragmatic.

1. Nivelul sintactic se referă la sistemul de semne şi reguli de reunire a acestora în construcţii

sintactice utilizate pentru reprezentarea informaţiei în procesul culegerii, transmiterii şi
prelucrării acesteia.
În informatică modelul de reprezentare a informaţiei este data. Conceptul de dată,
corespunzând nivelului sintactic, poate fi definit în notaţia BNF (Backus-Naur-Form), astfel:

<dată> := <identificator><atribut><valoare>

Din definiţia noţiunii de dată în informatică, se observă că ea cuprinde şi noţiunea de valoare,

dar presupune în plus elementul de reprezentare şi manipulare, adică o modalitate simbolică de
exprimare şi un sistem de reguli de transformare a acesteia, prin care se pot obţine noi date.
Deosebirea dintre informaţie şi dată este echivalentă cu deosebirea dintre obiect şi modelul
său. Informaţia şi data se pot utiliza ca sinonime numai în măsura în care convenim să
identificăm obiectul prin modelul său.

2. Nivelul semantic presupune trecerea de la structură la sens. Sub aspect semantic, informaţia
poate fi caracterizată, de fapt, ca semnificaţia datelor. Sensul informaţiei la nivel semantic este
corespondenţa dintre o dată şi obiectul real sau situaţia pe care o reprezintă această dată.

3. Nivelul pragmatic este cel mai concret nivel de considerare a informaţiei, singurul care
raportează informaţia la scopurile receptorului. În raport cu necesităţile receptorului se
definesc caracteristici, ca importanţa sau utilitatea informaţiei. Abordarea pragmatică include
problemele de management, de necesar de informaţii şi de eficienţă a sistemelor
informaţionale, care constituie baza luării deciziilor. Actul managerial de utilizare a informaţiilor
în procesul decizional este considerat o artă. De aceea, aspectul pragmatic al informaţiei este în
acest moment neformalizabil.

B) Activitatea umană, în cele mai diverse forme ale sale a fost întotdeauna caracterizată prin
entităţi faptice exprimate fie sub formă de valori numerice, fie ca percepţii sau observaţii
nenumerice. Aceste entităţi faptice independente şi neevaluate existente în general în număr
nelimitat se numesc date.
Din acest material informaţional brut, printr-un proces de transformare şi prelucrare (evaluare,
selectare, ordonare) se obţin informaţii. Deci, datele reprezintă materia primă din care se obţin
informaţiile.

2
Informaţiile la rândul lor constituie baza raţionamentelor, experimentărilor, imaginate în scopul
obţinerii de noi cunoştinţe. În figura 1.1 se prezintă acest proces care începe cu achiziţionarea
datelor şi se încheie cu înregistrare de noi cunoştinţe

Utilizare
Date Prelucrare Informaţii
Raţionamente / Experimentări

Cunoştinţe

Figura 1.1. Procesul de transformare a datelor

În informatica economică nivelul dată-informaţie este considerat un prim nivel. Nivelul
cunoştinţelor reprezintă un al doilea nivel, rezultat din informaţii derivate din alte informaţii pe
bază de raţionamente şi/sau experimentări.

Cunoştinţa include capacitatea de a evalua informaţia într-un sens sau scop. A avea cunoştinţe
sau abilitatea de a efectua sarcini complexe, presupune mai mult decât a avea o listă de
instrucţiuni sau informaţii necesare; se cere abilitatea manipulării informaţiilor sau a sarcinilor.

În informatica economică, datorită preocupării centrale asupra aspectelor pragmatice ale

informaţiei, se consideră sinonime conceptele de informaţie şi dată. Nivelul pragmatic reflectă
cel mai fidel mecanismul procesului de cunoaştere. Procesul de cunoaştere se realizează în timp
prin acumularea treptată de informaţii despre obiectul cunoaşterii. La un moment dat,
cunoştinţele reprezintă totalitatea informaţiilor dobândite anterior – tezaurul – la care trebuie
raportat rezultatul oricărui proces de informare.
La limită sunt posibile următoarele situaţii:
 procesul de informare este nul, dacă informaţia respectivă face parte din tezaurul
receptorului, adică a devenit o cunoştinţă;
 procesul de informare este maxim, dacă intersecţia între conţinutul tezaurului şi cel al
informaţiei este vidă.

Informaţiile se pot clasifica după mai multe criterii:

 după natură: cantitative, calitative;
 după situarea în timp: active, pasive, previzionale;
 după modul de apariţie: la intervale precizate, la cerere, ocazionale;
 după conţinut: elementare, complexe, sintetice;
 după frecvenţă: continue (în timp real), anuale, trimestriale, lunare, zilnice etc.;
 după nivel: strategic, tactic, operaţional;
 după origine: interne, externe.
O aceeaşi informaţie poate avea utilităţi pentru receptori diferiţi, depinzând de gradul
cunoaşterii anterioare, ca şi de poziţia receptorului în raport cu obiectul.

3
Gradul de utilitate a informaţiei şi eficacitatea utilizării acesteia în procesul decizional sunt
determinate de indici de calitate specifici:
 oportunitatea sau actualitatea – exprimă faptul că o informaţie este utilă într-un anumit
moment, legat de desfăşurarea în timp a unor fenomene şi care impun luarea unor decizii;
 precizia sau acurateţea – este măsurată prin cantitatea de informaţie corectă în raport cu
întregul volum de informaţii produs într-o perioadă de timp;
 completitudinea – exprimă necesitatea de a dispune de cât mai multe informaţii care să
acopere aria dorită de factorul decizional;
 relevanţa – exprimă necesitatea ca informaţiile achiziţionate să poată furniza cunoştinţele
care lipsesc în procesul decizional; în multe situaţii este dificil să se spună dacă o informaţie
este sau nu relevantă;
 conciziunea – exprimă necesitatea ca informaţiile să aibă o exprimare succintă, concentrată,
adică un anumit nivel de agregare necesar procesului de luare a deciziilor.

Contribuţii la măsurarea utilităţii informaţiei aduce matematicianul român Silviu Guiaşu, care
introduce în 1968 entropia ponderată, analoagă conceptului de utilitate introdus de John von
Neumann şi Oskar Morgenstern în 1944.

Pentru a opera cu noţiunea de informaţie, pe lângă evaluarea calitativă este necesară şi o

exprimare cantitativă.
Bazele teoriei matematice a informaţiei au fost puse de Claude Shannon în 1948, prin lucrarea
“A Mathematical Theory of Communication”. Se consideră o mulţime de evenimente
A1 , A2 , , An care sunt rezultatele posibile ale unui experiment oarecare X. Probabilităţile de
realizare ale acestor evenimente vor fi notate p1 , p2 , , pn  .
Se presupune că sistemul de evenimente A1 , A2 , , An  este un sistem complet de
evenimente, adică în urma efectuării experimentului X se va obţine ca rezultat unul din
evenimentele elementare A1 , A2 , , An . Matematic, aceasta se exprimă prin relaţiile:
n
pi  0 , i  2 , , n ;  pi  1 (1.1)
i 1
În acest mod, experimentul X pune în evidenţă un câmp finit de probabilitate X , A , pA , care
se mai poate nota prin repartiţia variabilei aleatoare discrete:
 A1 A2  An 
X :   (1.2)
 p1 p2  pn 
Expresia (1.2) evidenţiază faptul că experimentul X conţine un anumit grad de nedeterminare
atât timp cât rezultatul lui nu este cunoscut.
Între informaţie şi nedeterminare există o strânsă legătură. Cu cât nedeterminarea de la
începutul experimentului este mai mare, cu atât este mai mare informaţia care se obţine după
efectuarea experimentului.
Cantitativ, cele două concepte pot fi identificate şi deci măsurate în acelaşi mod, dar trebuie
privite separat în ceea ce priveşte sensul de variaţie şi semnificaţia fiecăruia.

4
Ca semnificaţie, informaţia este eliminarea unei nedeterminări (incertitudini), iar cantitatea de
informaţie a unui eveniment măsoară cantitatea de nedeterminare (incertitudine) asupra
producerii lui.

Realizarea evenimentului Ai , furnizează o cantitate de informaţie I Ai  . Intuitiv, informaţia

adusă prin producerea evenimentului Ai este cu atât mai mare cu cât probabilitatea acestuia,
pi , este mai mică.

Definiţia 1.1. Se numeşte entropie Shannon a variabilei aleatoare discrete X, cu repartiţia dată
de (1.2), mărimea:
n
H X   Hn p1 , p2 ,  , pn     pi  log2 pi (1.3)
i 1
Termenul de entropie vine din limba greacă (en - „în”, tropo – „conversiune”, „involuţie”,
„transformare”, „schimbare”) şi a fost introdus în termodinamică de fizicianul german R.S.
Clausius în 1850, pentru a indica gradul de ireversibilitate a transformărilor energiei într-un
sistem închis3.
O abordare originală a legii entropiei în studiul proceselor economice realizează N.Georgescu-
Roegen4 în lucrarea Legea entropiei şi procesul economic.

Observaţie. H  X  este cantitatea medie de informaţie obţinută prin efectuarea experimentului

cu n rezultate posibile, descris de variabila aleatoare X. H X  se mai numeşte entropie
informaţională. Ca unitate a cantităţii medii de informaţie a fost acceptat “bit”-ul (BInary digiT
– cifră binară). Acesta reprezintă cantitatea medie de informaţie obţinută prin apariţia unui
eveniment din două egal probabile.
Entropia informaţională care se obţine prin precizarea uneia din cele două cifre echiprobabile 0
şi 1 ale sistemului binar, cu repartiţia:
0 1
X :1 1
 
2 2

3
Legea entropiei formulată de Clausius în legătură cu principiul al doilea al termodinamicii afirmă că
entropia unui sistem creşte permanent şi ireversibil.
4
Nicolae Georgescu - Roegen (n. 4 februarie 1906 la Constanţa - d. 30 octombrie 1994 la Nashville,
Tennessee, Statele Unite) a fost un distins matematician și unul dintre marii economişti ai lumii din
secolul XX. După studii de matematică la Universitatea din Bucureşti obţine doctoratul în statistică la
Universitatea Sorbonne din Paris. Face cercetări postdoctorale în Anglia cu Karl Pearson. În anul 1934
obţine o bursă din partea Fundaţiei Rockefeller de cercetător în economie la Harvard. A fost profesor la
Universitatea din Bucureşti şi director al Institutului Central de Statistică. În anul 1948 se stabileşte în
Statele Unite, cercetător la Harvard, iar din 1949 a fost titularizat ca profesor de economie la
Universitatea Vanderbilt din Nashville, Tennessee. A mai predat la Universităţile din Geneva (1974) şi
Strassbourg (1977 -1978). Nicolae Georgescu-Roegen este fondatorul teoriei bioeconomice, o teorie
care prezintă un mod revoluționar și integrator de a vedea economia. Opera sa fundamentală este The
Entropy Law and the Economic Process, publicată în 1971 la Harvard University Press. Lucrarea a fost
tradusă în limba română în 1979. În anul 1990, a fost ales membru de onoare al Academiei Române.

5
se poate calcula după relaţia (1.3) astfel:

 1 1 2 1 1 1 1
H X   H 2  ,     pi  log pi    log 2   log 2  1 BIT (1.4)
2 2 i 1 2 2 2 2

Ca multipli se utilizează:
1 B (byte sau octet) = 8 bits
1 KB (kilobyte)= 1024 B = 210 bytes
1 MB (megabyte)=1024 KB = 220 bytes
1 GB (gigabyte)=1024 MB =230 bytes
1 TB (terabyte)=1024 GB =240 bytes
1 PB (petabyte)=1024 TB =250 bytes

Proprietăţile entropiei
1) Entropia, ca orice măsură, este nenegativă:
Hn p1 , p2 , , pn   0 (1.5)

2) Dacă există un eveniment sigur ( pi  1 ), iar restul evenimentelor sunt imposibile, adică
pk  0 pentru k  i şi 1  k  n , atunci nu există nici o incertitudine şi informaţia medie este
nulă:
Hn p1 , p2 , , pn   0 (1.6)

3) Entropia este maximă când toate probabilităţile sunt egale:

1 1 1
Hn p1 , p2 , , pn   Hn  , , ,   log 2 n  Hmax (1.7)
n n n
Observaţie. Dacă toate evenimentele sunt egal probabile entropia este maximă şi informaţia
medie creşte logaritmic cu numărul de evenimente n. Numărul n de evenimente independente
semnifică varietatea sistemului, adică numărul său de grade de libertate. Varietatea este un
concept de bază al ciberneticii, având rolul de a face legătura cu teoria informaţiei prin legea:
“entropia maximă a unui sistem este logaritmul varietăţii sale”.

4) Avem
Hn1 p1 , p2 ,..., pn ,0  Hn p1 , p2 ,..., pn  (1.8)

Această proprietate arată că dacă avem două experimente: A, cu evenimentele

A1 , A2 ,..., An cu probabilităţile pA1   p1 , pA2   p2 ,..., pAn   pn şi B având
evenimentele A1 , A2 ,..., An şi An1 cu probabilităţile: pA1   p1 , pA2   p2 ,...,
pAn   pn , pAn1   0 , atunci entropiile sunt egale.

Domeniul de definiţie al entropiei 0 ,Hmax  este variabil, în funcţie de numărul stărilor posibile
ale elementelor sistemului. Această variaţie a domeniului de definiţie provoacă greutăţi în
compararea mărimii entropiei, respectiv a cantităţii de informaţii conţinută în două sau mai

6
multe sisteme de complexitate diferită. Pentru înlăturarea acestui inconvenient se determină o
mărime relativă a entropiei:
HX 
Hr  X   (1.9)
Hmax  X 
care va lua valori în intervalul [0,1].

Faţă de entropia relativă se poate determina mărimea:

  X   1  Hr  X  (1.10)

care reprezintă ponderea cantităţii de informaţii deţinute despre sistem faţă de entropia sa în
momentul iniţial, când se prezenta sub forma unui sistem complet necunoscut.

Observaţie. Mărimea   X  poarte fi utilizată pentru definirea gradului de organizare a unui

sistem. Dacă Hmax = constant, prin creşterea gradului de organizare se obţine o reducere a
entropiei informaţionale.

De exemplu, dacă avem două sisteme de complexităţi diferite şi valorile entropiilor sunt egale:
S1 : n1  3 , H3 X   0.8 0  H3 X   Hmax  log2 3  1.5849
şi S 2 : n2  10 , H10 X   0.8 0  H10 X   Hmax  log2 10  3.3219
calculăm conform (1.9) entropiile relative:
0.8
- pentru S1: Hr   0.5047
1.5849
0.8
- pentru S2: Hr   0.2408
3.3219
Deci, entropia lui S2 este mai mică decât entropia lui S1 şi implicit gradul de organizare al lui S2
este mai mare faţă de S1.

În 1966 academicianul român Octav Onicescu5 introduce conceptul de energie informaţională

ca măsură a incertitudinii unui sistem de evenimente.
Definiţia 1.2. Se numeşte energie informaţională a variabilei aleatoare discrete X cu repartiţia
dată de (1.2), expresia:
n
E n p1 , p2 ,..., pn    pi2 (1.11)
i 1
Proprietăţile energiei informaţionale
1) Energia informaţională este minimă când toate probabilităţile sunt egale:
1 1 1 1
E n  , ,...,    E n p1 , p2 ,..., pn  (1.12)
n n n n

5
Octav Onicescu (1892-1983) a fost membru al Academiei Române. Alături de academicianul Gheorghe
Mihoc, este considerat creatorul școlii matematice românești de teoria probabilităților și statistică
matematică.

7
 2) Dacă există un eveniment sigur ( pi  1 ), iar restul evenimentelor sunt imposibile, adică
pk  0 pentru k  i şi 1  k  n , atunci energia informaţională este maximă:
n
E n p1 , p2 ,..., pn   E n 0 ,...,0 ,1,0 ,...0    pi2  1  E max (1.13)
i 1
1
Rezultă că valorile posibile ale energiei informaţionale sunt cuprinse între şi 1.
n
1
 E n p1 , p2 ,..., pn   1
n

Concluzie. Energia informaţională scade atunci când nedeterminarea creşte.

3) Dacă unui experiment îi vom adăuga un eveniment An1 de probabilitate nulă,

pn1  0 , energia nu se modifică:
E n1 p1 , p2 ,..., pn ,0  E n p1 , p2 ,..., pn  (1.14)

1 
Domeniul de definiţie al energiei informaţionale  ,1 este variabil, în funcţie de numărul
n 
stărilor posibile ale elementelor sistemului. Această variaţie a domeniului de definiţie provoacă
greutăţi în compararea mărimii energiei informaţionale a două sau mai multe sisteme ce diferă
ca număr de evenimente (descrise de stările elementelor). Analog cu situaţia întâlnită la
entropie, pentru înlăturarea acestui inconvenient se poate determina o mărime relativă a
energiei informaţionale, notată E~n :
1
En 
1
 E n  1  E~n  n  n  E n  1  0 ,1, n  2 (1.15)
n 1
1 n  1
n
De exemplu, dacă avem două sisteme de complexităţi diferite:
3 1
n1  3 , E 3  şi n2  10 , E 10 
4 2

Conform (1.15) obţinem:

3  E 3  1 5 45 10  E 10  1 4 32
E~3    şi E~10   
2 8 72 9 9 72
~ ~
Rezultă că: E 3  E 10 .

În situaţia:
3 3
n1  3 , E 3  şi n2  10 , E 10 
4 4

8
compararea energiilor conduce la:

3  E 3  1 5 45 10  E 10  1 13 52
E~3    şi E~10   
2 8 72 9 18 72

Rezultă că: E~3  E~10 .