Bazele tehnologiei informației

Seminar 2
1. Informația
Informaţia este un mesaj care aduce o precizare într-o problemă cu un anumit grad de
incertitudine. Există o mare diversitate de informaţie, atât din punct de vedere al formei de
prezentare, a conţinutului, a sursei care o generează, cât şi a modului de recepţionare.
Informația este intrinsecă, adică este independetă de context/mesaj, de aceea acesta trebuie
să fie codificată.
Exemplu de informație:
 „Soarele răsare” – Informație codificată în limba română
 „太阳升起” – Informație codificată în limba chineză

1.1. Schema transmisiei informației

2. Codificarea informației
Codificare reprezintă procedeul de reprezentare a informației conform unui anumit format.
Se ştie că informaţia cel mai frecvent este codificată cu ajutorul cifrelor zecimale, literelor
alfabetului (caracterele majuscule şi minuscule) şi diverse semne speciale. Pentru a putea fi
prelucrată şi eventual transmisă cu ajutorul unui sistem de calcul, informaţia va fi codificată
binar.

3. Entropia informațională
Entropia informaţională măsoară cantitatea medie de informaţie dintr-un mesaj, unitatea
de măsură a informaţiei fiind bitul. Astfel se poate spune că entropia informaţională exprimată
în biţi reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica
informaţia.
 Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie
matematică a comunicației”.
𝑛

𝐻(𝑋) = ∑ 𝑝𝑖 ∗ log 2 𝑝𝑖
𝑖=1

unde pi reprezintă probabilitățile de realizare a evenimentelor xi ale experimentului X

3.1.Proprietățile entropiei
 Entropia informațională, fiind masura informației, este o entitate nenegativă:
H(p1, p2, ... , pn) ≥ 0
 Dacă pentru un indice i € {1, 2, .., n} avem pi = 1, atunci entropia infirmaţională este
nulă:
H(p1, p2, .…, pn) = 0
 Entropia unui sistem de evenimente este maximă când evenimentele au aceeaşi
probabilitate de apariţie:
H(p1, p2, .…, pn) ≤ H(1/n, 1/n, 1/n,…, 1/n)
 Entropia unui sistem de evenimente este minimă când cel puțin unul dintre evenimente
este sigur, celelalte evenimente ale sale fiind imposibile.
 Evenimentele imposibile nu modifică valoarea entropiei informaţionale a unui sistem:
H(p1, p2, .…, pn, 0) = H(p1, p2, .…, pn)
 Entropia produsului mai multor surse independente de informaţie este egală cu suma
entropiilor fiecărei surse luate separat:
H(X1 x X2 x…x Xn) = H(X1) + H(X2) +.. H(Xn)
Produsul mai multor surse de informaţie reprezintă un experiment compus care constă din
realizarea simultană a câte unui eveniment corespunzător fiecărei surse.
 Entropia produsului a două surse oarecare X şi Y de informaţie este:
H(X x Y) = H(X) + H(Y/X)
H(Y/X) reprezintă cantitatea medie de informaţie ce se obţine în urma realizării
experimentului Y, condiţionat de experimentul X.
𝑛

𝐻(𝑌⁄𝑋) = ∑ 𝑝(𝑥𝑘 ) ∗ 𝐻 (𝑌⁄𝑋 )

𝑘
𝑘=1

unde:
• p(xk) reprezintă probabilitatea realizării evenimentului xk € X ;
• H(Y/xk) reprezintă entropia experimentului Y, condiţionată de evenimentul xk € X
 𝑚
𝑦 𝑦
𝐻(𝑌⁄𝑥𝑘 ) = ∑ 𝑝( 𝑖⁄𝑥𝑘 ) ∗ log 2 𝑝( 𝑖⁄𝑥𝑘 )
𝑘=1
𝑦
iar p( 𝑖⁄𝑥𝑘 ) este probabilitatea realizării evenimentului elementar yi € Y (i = ̅̅̅̅̅̅
1, 𝑚) când s-
a realizat evenimentul xk € X (k = ̅̅̅̅̅
1, 𝑛 ).
Dacă X şi Y sunt experimente oarecare sunt respectate proprietăţile:
 H(Y/X) ≤ H(Y)
 H(X x Y) ≤ H(X) + H(Y)
 H(X/Y) = H(Y/X) + H(X) - H(Y)

Exemple:
1. Să se determine entropia alfabetului limbii engleze.
Se consideră 26 de caractere, literele mici ale alfabetului.
Probabilitatea ca la destinatar sa apară litera: p(a) = 1/26, p(b) = 1/26, ... , p(z) = 1/26
26
1 1
𝐻(𝑋) = − ∑ ∗ log 2 = 4,7 𝑏𝑖ț𝑖
26 26
𝑖=1

2. Să se determine cantitatea de informație dintr-o imagine alb-negru.

Dimensiunea imaginii este de 1920x1080 (Full HD), iar fiecare pixel are o valoare
între 0-255.
Se calculează cantitatea de incertitudine pe care o dezvaluie un pixel:
256
1 1
𝐻(𝑋) = − ∑ ∗ log 2 = 8 𝑏𝑖ț𝑖
256 256
𝑖=1

Se calculează cantitatea de informație din imagine:

8 * 1920 * 1080 = 16 588 800 biți = 15,58 Megabiți

3. Să se determine cantitatea de informație în urma aruncării unui zar în 2 ipostaze:

a. Zarul este echilibrat (toate fețtele zarului au șanse egale de apariție – fețe
echiprobabile)
1 2 3 4 5 6
𝑋 = (1 1 1 1 1 1)
6 6 6 6 6 6

6
1 1
𝐻(𝑋) = − ∑ ∗ log 2 = 2,58 𝑏𝑖ț𝑖
6 6
𝑖=1
 b. Zarul prezintă următoarele probabilități de apariție a fețelor: p(1) = 1/2, p(2)
= 1/4, p(3) = 1/8, p(4) = 1/16, p(5) = 1/32, p(6) = 1/32

1 2 3 4 5 6
𝑋 = (1 1 1 1 1 1)
2 4 8 16 32 32
1 1 1 1 1 1 1 1 1 1
𝐻(𝑋) = − (2 ∗ log 2 2 + 4 ∗ log 2 4 + 8 ∗ log 2 8 + 16 ∗ log 2 16 + 2 ∗ 32 ∗ log 2 32) = 1,937 biți

Se poate observa că incertitudinea s-a diminuat față de punctul a.

4. Fie schema de repartiție a unui experminet X:
𝑥1 𝑥2 𝑥3
X = (𝑥 − 𝑦 𝑦 − 𝑧 𝑧 + 𝑥)
Determinați x,y,z astfel încat entropia experimentului să fie:
a. Maximă
Entropia unui experiment este maximă dacă evenimentele sale sunt echiprobabile
(probabilitățile asociate evenimentelor sunt egale între ele, iar suma lor este egală
cu 1)
𝑥1 𝑥2 𝑥3
X=(1 1 1)
3 3 3

1
𝑥−𝑦 =
3
1
𝑦−𝑧 =
3
1
{𝑧 + 𝑥 = 3
1
𝑥=
2
1
𝑦=
6
1
{ 𝑧 = −
6

b. Minimă
Entropia unui sistem este minimă când cel puțin unu dintre evenimentele sale
este sigur (celelalte evenimente ale sale fiind imposibile). Astfel se diting 3
cazuri:
1
𝑥=
𝑥−𝑦 =1 2
1
1. { 𝑦 − 𝑧 = 0 => 𝑦= − 2
𝑥+𝑧 =0 1
𝑧= −
{ 2
 1
𝑥=
𝑥−𝑦 =0 2
1
2. { 𝑦 − 𝑧 = 1 => 𝑦= 2
𝑥+𝑧 =0 1
𝑧= −
{ 2

1
𝑥=
𝑥−𝑦 =0 2
1
3. { 𝑦 − 𝑧 = 0 => 𝑦= 2
𝑥+𝑧 =1 1
𝑧=
{ 2

5. Dintr-o urnă care conține 5 bile negre și 3 bile albe să se efectueze două extrageri
succesive, scoțându-se o bila la prima extragere și apoi încă o bilă (fară revenirea
primei bile extrase în urnă). Să se calculeze cantitatea medie de informație obținută:
a. În urma extragerii primei bile H(X)
Numărul total de bile: 3 + 5 = 8 bile
𝑥1 𝑥2
𝑋=(3 5)
8 8
3 3 5 5
𝐻(𝑋) = − ( ∗ log 2 + ∗ log 2 ) = 0,953 𝑏𝑖ț𝑖
8 8 8 8

b. După extragerea celei de-a doua bile H(Y/X)

1. În urma primei extrageri a fost scoasă o bilă albă

𝑌1 /𝑋1 𝑌2 /𝑋2
𝑌/𝑋1 = ( 2 5 )
7 7
2 2 5 5
𝐻(𝑌/𝑋1 ) = − ( ∗ log 2 + ∗ log 2 ) = 0,861 𝑏𝑖ț𝑖
7 7 7 7
2. În urma primei extrageri a fost scoasă o bilă neagră
𝑌1 /𝑋2 𝑌2 /𝑋1
𝑌/𝑋2 = ( 3 4 )
7 7
3 3 4 4
𝐻(𝑌/𝑋2 ) = − ( ∗ log 2 + ∗ log 2 ) = 0,982 𝑏𝑖ț𝑖
7 7 7 7
 𝑛
𝑦 𝑦
𝐻(𝑌⁄𝑋) = ∑ 𝑝(𝑥𝑘 ) ∗ 𝐻 (𝑌⁄𝑋 ) = 𝑝(𝑥1 ) ∗ 𝐻( ⁄𝑥1 ) + 𝑝(𝑥2 ) ∗ 𝐻 ( ⁄𝑥2 )
𝑘
𝑘=1
3 5
= ∗ 0,861 + ∗ 0,982 = 0,935 𝑏𝑖ț𝑖
8 8
c. În urma extragerii celor două bile H(X x Y)
H(X x Y) = H(X) + H(Y/X) = 0,953 + 0,935 = 1,888 biți