Seminar 3

Prezentare. Pas cu pas

Problema 1
• Matricea probabilităţilor reunite intrare-ieşire asociată unui canal de
transmisiune este de forma:
1 1
4 4 𝐹𝑂𝑅𝑀𝐴 𝐺𝐸𝑁𝐸𝑅𝐴𝐿𝐴 𝑝 𝑥1 , 𝑦1 𝑝 𝑥1 , 𝑦2
𝑃 𝑋, 𝑌 = 1 1 𝑝 𝑥2 , 𝑦1 𝑝 𝑥2 , 𝑦2
4 4

• Se cere să se calculeze:
• a) entropia cîmpului de la intrare;
• b) entropia cîmpului de la ieşire;
• c) entropia cîmpurilor reunite;
• d) eroarea medie şi echivocaţia;
• e) transinformaţia şi capacitatea canalului.
 Seminar 3. Soluție 1a
• a. Pentru calculul entropiei H(X) sînt necesare probabilităţile p(xi). Acestea se
calculează din matricea probabilităţilor cîmpurilor reunite ţinînd seama că:

𝑟𝑒𝑧𝑢𝑙𝑡ă 1 1 1
𝑝 𝑥𝑖 = σ2𝑗=1 𝑝 𝑥𝑖 , 𝑦𝑗 𝑝 𝑥1 = 𝑝 𝑥2 = + =
4 4 2

• Prin urmare, 𝑝 𝑥𝑖 se obţine prin însumarea elementelor liniei i a matricei 𝑃 𝑋, 𝑌 .

Astfel se obţine entropia:
2
1 1 1 1 1 1
𝐻 𝑥 = − ෍ 𝑝 𝑥𝑖 ∙ log 2 𝑝 𝑥𝑖 = − ∙ log 2 − ∙ log 2 = + = 1𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
2 2 2 2 2 2
𝑖=1
 Seminar 3. Soluție 1b
• b. Deoarece
2
𝑟𝑒𝑧𝑢𝑙𝑡ă 1 1 1
𝑝 𝑦𝑖 = ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 𝑝 𝑦1 = 𝑝 𝑦2 = + =
4 4 2
𝑖=1

• rezultă că P(Y) se obţine prin însumarea elementelor coloanei j a matricei P(X, Y).
Entropia câmpului de la ieșirea din canal va fi

2
1 1 1 1 1 1
𝐻 𝑌 = − ෍ 𝑝 𝑦𝑗 ∙ log 2 𝑝 𝑦𝑗 = − ∙ log 2 − ∙ log 2 = + = 1𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
2 2 2 2 2 2
𝑖=1
 Soluție 1c
• c. entropia câmpurilor reunite se obține din relația
𝑛 𝑚 2 2
𝑚=𝑛=2
𝐻 𝑋, 𝑌 = − ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 log 2 𝑝 𝑥𝑖 , 𝑦𝑗 − ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 ∙ log 2 𝑝 𝑥𝑖 , 𝑦𝑗
𝑖=1 𝑗=1 𝑖=1 𝑗=1

1 1 1
𝐻 𝑋, 𝑌 = −4 ∙ ∙ log 2 = 4 ∙ ∙ log 2 4 = 2𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
4 4 4
 Soluție 1d
• d. Entropiile condiţionate se vor putea calcula pe baza rezultatelor anterioare,
aplicând relaţiile
𝑛 𝑚 2 2
𝑚=𝑛=2
𝐻 𝑋 ∕ 𝑌 = ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 ∙ log 2 𝑝 𝑥𝑖 ∕ 𝑦𝑗 ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 ∙ log 2 𝑝 𝑥𝑖 ∕ 𝑦𝑗
𝑖=1 𝑗=1 𝑖=1 𝑗=1

𝑛 𝑚 2 2
𝑚=𝑛=2
𝐻 𝑌 ∕ 𝑋 = ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 ∙ log 2 𝑝 𝑦𝑗 ∕ 𝑥𝑖 ෍ ෍ 𝑝 𝑥𝑖 , 𝑦𝑗 ∙ log 2 𝑝 𝑦𝑗 ∕ 𝑥𝑖
𝑖=1 𝑗=1 𝑖=1 𝑗=1
Soluție 1d (continuare)
• Dar întâi avem nevoie de probabilitățile condiționate. Pornind de la relația
probabilității condiționate
1 1
𝑝 𝑥1 , 𝑦1 𝑝 𝑥1 , 𝑦2 4 4
1 1 1 1
𝑝 𝑥𝑖 , 𝑦𝑗 𝑝 𝑦1 𝑝 𝑦2 2 = 2 2
𝑝 𝑥𝑖 ∕ 𝑦𝑗 = → 𝑃 𝑋/𝑌 = = 2
𝑝 𝑦𝑗 𝑝 𝑥2 , 𝑦1 𝑝 𝑥2 , 𝑦2 1 1 1 1
𝑝 𝑦1 𝑝 𝑦2 4 4 2 2
1 1
2 2
• De unde rezultă
1 1
𝐻 𝑋 ∕ 𝑌 = −4 ∙ ∙ log 2 = 1𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
4 2
Soluție 1d (continuare)
• În mod similar (se poate ține cont și de simetria problemei – canal binar simetric)
1 1
𝑝 𝑥1 , 𝑦1 𝑝 𝑥1 , 𝑦2 4 4
1 1 1 1
𝑝 𝑥𝑖 , 𝑦𝑗 𝑝 𝑥1 𝑝 𝑥1 2 = 2 2
𝑝 𝑦𝑗 ∕ 𝑥𝑖 = → 𝑃 𝑌/𝑋 = = 2
𝑝 𝑥𝑖 𝑝 𝑥2 , 𝑦1 𝑝 𝑥2 , 𝑦2 1 1 1 1
𝑝 𝑥2 𝑝 𝑥2 4 4 2 2
1 1
1 1 2 2
𝐻 𝑌 ∕ 𝑋 = −4 ∙ ∙ log 2 = 1𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
4 2
Soluție 1e
• e. Introducînd valorile calculate ale entropiilor condiționate, se scrie relația
transinformației

𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋Τ𝑌 = 𝐻 𝑌 − 𝐻 𝑌Τ𝑋 = 0

• Capacitatea canalului

𝐶 = max 𝐻 𝑋 − 𝐻 𝑋Τ𝑌 = max 𝐻 𝑌 − 𝐻 𝑌Τ𝑋 =0

𝑥𝑖 𝑦𝑖

Concluzie. Acest canal are perturbaţii foarte mari şi ca urmare nu transmite

informaţie.
Problema 2

• La intrarea unui canal caracterizat printr-o matrice de zgomot de forma:

0,9 7 0,03 0
𝑃 𝑌Τ𝑋 = 0,01 0,98 0,01
0 0.04 0,96

• se aplică simbolurile 𝑥1 , 𝑥2 , 𝑥3 cu probabilitățile 𝑝 𝑥1 = 0.5, 𝑝 𝑥2 =

0.3, 𝑝 𝑥3 = 0.2.
• Se cere să se calculeze entropia cîmpului de la ieşire.
 Soluție
𝑦𝑗
• 𝑝 𝑦𝑗 = σ3𝑖=1 𝑝 𝑥𝑖 ∙ 𝑝 ൗ𝑥𝑖

𝑦1
• 𝑝 𝑦1 = σ3𝑖=1 𝑝 𝑥𝑖 ∙ 𝑝 Τ𝑥𝑖 = 0.5 ∙ 0.97 + 0.3 ∙ 0.01 + 0.2 ∙ 0 = 0.488
𝑦2
• 𝑝 𝑦2 = σ3𝑖=1 𝑝 𝑥𝑖 ∙ 𝑝 Τ𝑥𝑖 = 0.5 ∙ 0.03 + 0.3 ∙ 0.98 + 0.2 ∙ 0.04 = 0.317
𝑦3
• 𝑝 𝑦3 = σ3𝑖=1 𝑝 𝑥𝑖 ∙ 𝑝 Τ𝑥𝑖 = 0.3 ∙ 0.01 + 0.2 ∙ 0.96 = 0.195

• 𝐻 𝑌 = − σ3𝑖=1 𝑝 𝑦𝑗 ∙ log 2 𝑝 𝑦𝑗 = − 0.488log 2 0.488 − 0.317log 2 0.317 −

0.195log 2 0.195 = 1.49 𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙
 Auxiliar
• Ca exercițiu auxiliar se poate scrie matricea probabilității evenimentelor reunite
𝑃 𝑋, 𝑌

𝑝 𝑦1 Τ𝑥1 𝑝 𝑦2 Τ𝑥1 𝑝 𝑦3 Τ𝑥1

• 𝑃 𝑋, 𝑌 = 𝑃 𝑋 ∙ 𝑃 𝑌Τ𝑋 = 𝑝 𝑥1 𝑝 𝑥2 𝑝 𝑥3 ∙ 𝑝 𝑦1 Τ𝑥2 𝑝 𝑦2 Τ𝑥2 𝑝 𝑦3 Τ𝑥2
𝑝 𝑦1 Τ𝑥3 𝑝 𝑦2 Τ𝑥3 𝑝 𝑦3 Τ𝑥3
• Adică
𝑝 𝑥1 ∙ 𝑝 𝑦1 Τ𝑥1 𝑝 𝑥1 ∙ 𝑝 𝑦2 Τ𝑥1 𝑝 𝑥1 ∙ 𝑝 𝑦3 Τ𝑥1
𝑃 𝑋, 𝑌 = 𝑝 𝑥2 ∙ 𝑝 𝑦1 Τ𝑥2 𝑝 𝑥2 ∙ 𝑝 𝑦2 Τ𝑥2 𝑝 𝑥2 ∙ 𝑝 𝑦3 Τ𝑥2
𝑝 𝑥3 ∙ 𝑝 𝑦1 Τ𝑥3 𝑝 𝑥3 ∙ 𝑝 𝑦2 Τ𝑥3 𝑝 𝑥3 ∙ 𝑝 𝑦3 Τ𝑥3
 Auxiliar
• Respectiv

𝑝 𝑥1 , 𝑦1 𝑝 𝑥1 , 𝑦2 𝑝 𝑥1 , 𝑦3 0.5 ∙ 0.97 0.5 ∙ 0.03 0.5 ∙ 0

𝑃 𝑋, 𝑌 = 𝑝 𝑥2 , 𝑦1 𝑝 𝑥2 , 𝑦2 𝑝 𝑥2 , 𝑦3 = 0.3 ∙ 0.01 0.3 ∙ 0.98 0.3 ∙ 0.01
𝑝 𝑥3 , 𝑦1 𝑝 𝑥3 , 𝑦2 𝑝 𝑥3 , 𝑦3 0.2 ∙ 0 0.2 ∙ 0.04 0.2 ∙ 0.96
Problema 3
• Fie o sursă de informații care generează semnale continue în timp. Se cere:
• a. să se calculeze cantitatea de informație furnizată de sursă dacă semnalul
generat ocupă banda de frecvență 0 𝐻𝑧 ÷ 6 𝑀𝐻𝑧 și are amplitudinea cuantizată
în 128 de nivele egal probabile
• b. să se calculeze banda de frecvență necesară transmiterii cantității de
informație conținute în semnalul de la punctul a, dacă se transmite în urma unei
transformări adecvate, o succesiune de eșantioane care vor putea lua cu aceeași
probabilitate unul dintre patru nivele de cuantizare posibile;
• c. să se calculeze de cîte nivele de cuantizare ar fi nevoie pentru transmiterea
cantității de informație conținute în semnalul de la punctul a pe un canal de
transmisiune de având banda de 3 𝑀𝐻𝑧;
• d. să se calculeze de câte ori crește durata transmisiunii față de cazul de la
punctul a, dacă utilizăm un canal de transmisiune de având banda de 6 𝑀𝐻𝑧 dar
cu un raport semnal zgomot 𝑅𝑆𝑍𝑑𝐵 = 20 𝑑𝐵
 Soluție 3a
• a. numărul maxim de nivele de cuantizare depinde de raportul semnal/zgomot
și este dat de relația
𝑃𝑆 + 𝑃𝑁
𝑚=
𝑃𝑁
• Capacitatea canalului este

𝑃𝑆 +𝑃𝑁
𝐶 = 2𝐵 ∙ 𝑙𝑜𝑔2 = 2𝐵 ∙ 𝑙𝑜𝑔2 𝑚 = 2 ∙ 6 ∙ 106 ∙ 𝑙𝑜𝑔2 128 = 84 𝑀𝑏𝑖𝑡/𝑠𝑒𝑐
𝑃𝑁
 Soluție 3b
• b. având în vedere că trebuie transmisă aceeași cantitate de informație,
datorită reducerii numărului nivelelor de cuantizare de la 128 la 4, va trebui
să crească în mod obligatoriu banda de frecvență,

𝑙𝑜𝑔2 𝑚 6
𝑙𝑜𝑔2 128 6
7
𝐶 = 2𝐵 ∙ 𝑙𝑜𝑔2 𝑚 = 2𝐵1 ∙ 𝑙𝑜𝑔2 𝑚1 → 𝐵1 = 𝐵 ∙ = 6 ∙ 10 ∙ = 6 ∙ 10 ∙ = 21 𝑀𝐻𝑧
𝑙𝑜𝑔2 𝑚1 𝑙𝑜𝑔2 4 2

• Se observă că o mărire de 3.5 ori a benzii de frecvență, va reduce numărul

nivelelor de cuantizare de 32 de ori
 Soluție 3c
• notând cu 𝐵3 = 3 𝑀𝐻𝑧
• Noul număr de nivele se calculează

𝐵
𝐶 = 2𝐵 ∙ 𝑙𝑜𝑔2 𝑚 = 2𝐵3 ∙ 𝑙𝑜𝑔2 𝑚3 → 𝑚3 = 𝑚2 𝐵3 = 1282 = 214 = 16384 𝑛𝑖𝑣𝑒𝑙𝑒
Soluția 3d
d. utilizând relația

1 ∆𝐼
𝐶 ≅ ∙ 𝐵 ∙ 𝑅𝑆𝑍𝑑𝐵 → 𝐶 = → ∆𝐼 = 𝐶 ∙ ∆𝑡 = 𝐶4 ∙ ∆𝑡4
3 ∆𝑡

1 6 6
∆𝑡4 𝐶 84
𝐶4 = ∙ 6 ∙ 10 ∙ 20 = 40 ∙ 10 → = = = 2.1
3 ∆𝑡 𝐶4 40

• Deci crește de peste două ori durata transmisiei

Problema 4
• Să se calculeze capacitatea canalului necesară pentru a transmite:

• a) semnal vocal;
• b) o piesă muzicală;
• c) imagine statică;
• d) imagine TV alb-negru.
Generalități
• Semnalul sonor reprezintă o modificare în timp a presiunii aerului,
care creează în ureche senzaţia de sunet.
• în cazul în care avem în vedere realizarea unui sistem de transmitere a
semnalelor sonore, trebuie să luăm în consideraţie în primul rînd
caracteristicile fiziologice ale sistemului auditiv uman.
• că urechea poate percepe sunete al căror spectru se întinde de la 30 ... 50 Hz
pînă la 15 kHz.
Soluție 4a
• a. Pentru a realiza o transmisie vocală inteligibilă, este necesară o
bandă de frecvenţă cuprinsă între 300 Hz şi 3 000 Hz şi o dinamică de
20 dB.Cu aceste precizări rezultă capacitatea canalului Cv, pentru
transmiterea semnalului vocal:

𝑃
𝐶𝑉 = 𝑊 ∙ log 2 1+ = 2.7 ∙ 103 ∙ log 2 101 = 18 ∙ 103 𝑏𝑖𝑡/𝑠
𝑁
 Soluție 4b
• în cazul unei emisiuni muzicale, pentru o calitate foarte bună este
necesară o bandă de frecvenţă cuprinsă între 40 Hz şi 15 000 Hz şi o
dinamică de cea. 80 dB. Pentru a realiza această transmisie va fi necesar un
canal avînd capacitatea

𝐶𝑀 = 15000 − 40 ∙ log 2 1 + 108 = 14960 ∙ 26.66 = 398933.33 ≈ 4 ∙ 105 𝑏𝑖𝑡/𝑠

• Este deci necesară o capacitate cu cea. două ordine de mărime superioară

celei necesare transmiterii unui semnal vocal.
 Soluție 4c
• dacă dorim să transmitem o imagine (fotografie) pe o linie telefonică avînd W = 3
kHz şi un raport semnal-zgomot de 26 dB, va trebui să calculăm la început
capacitatea acestui canal
𝑃 1
• 𝐶𝑉 = 𝑊 ∙ log 2 1 + ≈ 3 ∙ 103 ∙ 26 = 26 ∙ 103 𝑏𝑖𝑡/𝑠
𝑁 3
• Dacă imaginea respective este formată din puncte cu un număr de 100 de nivele de
gri, se asigură calitatea unei imagini bune
1 𝑝𝑒𝑛𝑡𝑟𝑢 𝑁
• 𝑖𝑝𝑢𝑛𝑐𝑡 = − log 2 = 6.65 𝑏𝑖𝑡 𝐼𝐼𝑀𝐴𝐺 = 4.8 ∙ 105 ∙ 6.65 = 3.19 ∙ 106 𝑏𝑖𝑡
100
• Durata transmisiei
3.19 ∙ 106
𝑇= 3
= 122.69 𝑠𝑒𝑐 ≈ 2𝑚𝑖𝑛3𝑠𝑒𝑐
26 ∙ 10
Soluție 4d
• în cazul în care se pune problema transmiterii de imagini dinamice,
vom avea în vedere inerţia ochiului uman şi în locul unei transmisii
continue vom transmite o succesiune de n = 25 imagini pe secundă,
suficient pentru a crea o senzaţie de imagine vie în sistemul vizual
uman
𝐼𝐼𝑀𝐷 = 𝑛 ∙ 𝐼𝐼𝑀𝑆 = 25 ∙ 4.8 ∙ 105 ∙ 6.65 = 79.8 ∙ 106 𝑏𝑖𝑡
• Dacă 80Mbit se transmite pe un canal, atunci un canal de TV alb-
negru calculat anterior cu 100 nivele de gri ar avea banda

𝐶𝐼𝑀𝐷 79.8 ∙ 106

𝑊= = = 5.972 ∙ 106 ≅ 6 𝑀𝐻𝑧
2 ∙ log 2 101 2 ∙ 6.681