Teoria Transmisiunii Informației, Curs 1, Ș.l.

Lucian Perișoară III C, 2022

TEORIA TRANSMISIUNII INFORMAŢIEI

(Teoria Informaţiei şi a Codurilor)

Anul III, Seria C (TST), 2022-2023

1. Reguli de funcţionare

Platfoma Moodle:
https://curs.upb.ro/2022/course/view.php?id=9921

Platforma MS Teams:
https://teams.microsoft.com/l/team/19%3aV3Y0fsN8IDhw6bxC3tQslc-
SBxBA2F8UJwvBiG4aA041%40thread.tacv2/conversations?groupId=b53411d3-e484-424f-bd5a-
f62059364281&tenantId=2d8cc8ba-8dda-4334-9e5c-fac2092e9bac

Titulari:
• Ş.l. Dr. Ing. Lucian-Andrei PERIŞOARĂ
email: lucian.perisoara@upb.ro, lperisoara@yahoo.com
web: http://ceospacetech.pub.ro/
http://campus.pub.ro/website/automotive-green-technologies
profil Google Scholar: https://scholar.google.com/citations?user=_0Bm3YsAAAAJ
profil ResearchGate: https://www.researchgate.net/profile/Lucian_Perisoara/research
• As. Drd. Ing. Alexandru DINU
email: alexandru.dinu2408@upb.ro, alexdinu89@gmail.com
• Ing. Gabriela TOD-RĂILEANU
email: gabriela.tod@stud.etti.upb.ro, gabriela.tod98@gmail.com

Prezenţă obligatorie:
Curs nu
Seminar nu
Laborator da

Evaluare:
Seminar: 20 p. Test in Sem.4, teme de casa in Sem. 7
Laborator: 20 p. (>50%) Colocviu test grila (lab.7), 15 p.
Quiz Moodle 1 intrebare, fiecare laborator, 5 p.
Lucrare de verificare: 30 p. Eseu și oral: 2 probleme
Examen final: 30 p. Eseu și oral: 2 probleme
Total: 100 p. (>50%) => 10 (zece)

Punctaje bonus: teme individuale sau de grup pentru participare la sesiunile de comunicări
științifice studențești, activitate online la curs/seminar/laborator.
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

Bibliografie:

Cărți:

[Spa83] Alexandru Spătaru, „Teoria Transmisiunii Informatiei”, Editura Didactică şi Pedagogică,

Bucureşti, 1983.
[Sto88] Rodica Stoian, Compresie de date. Algoritmi de predicţie, Editura Ştiinţifică şi
Enciclopedică, Bucureşti, 1988.
[Mur98] Adrian Traian Murgan, „Principiile teoriei informatiei in ingineria informatiei si a
comunicatiilor”, Editura Academiei Romane, Bucuresti, 1998.

[Gal68] Robert G. Gallager, “Information Theory and Reliable Communication”, 1968.

[Bla87] Richard Blahut, „Principles and Practice of Informations Theory”, Addison-Wesley,
1987.
[McE02] Robert McEliece, „The Theory of Information and Coding”, Cambridge University Press,
2002.
[CT06] Thomas Cover, Joy Thomas, „Elements of Information Theory”, Wiley, 2nd edition, 2006.

Culegeri de probleme:

[MSG83] Adrian Traian Murgan, Iulia Spânu, Inge Gavăt, Istvan Sztojanov, Victor Emil Neagoe,
Adriana Vlad, „Teoria Transmisiunii Informatiei – probleme”, Ed. Didactica si
Pedagogica, Bucuresti, 1983.
[VGS99] Constantin Vertan, Inge Gavăt, Rodica Stoian, „Variabile şi procese aleatoare: principii
şi aplicaţii”, Ed. Printech, 1999.
[SP10] Rodica Stoian, Lucian Andrei Perişoară, „Teoria Informaţiei şi a Codurilor.
Aplicaţii”, Editura Politehnica Press, 228 pag., Bucureşti, 2010.
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

Îndrumare de laborator:

[SSG83] Istvan Sztojanov, Iulia Spânu, Inge Gavăt, Rodica Stoian, „Teoria Transmisiunii
Informaţiei – Îndrumar de laborator”, Litografie, Institutul Politehnic din Bucureşti, 1983.
[RS98] Radu Rădescu, Rodica Stoian, „Teoria Informaţiei şi a Codurilor (Teoria Transmisiunii
Informaţiei 1) – Îndrumar de laborator”, Editura Printech, Bucureşti, 1998.
[FPP16] Daniela Faur, Carmen Pătrașcu, Anca Popescu, Cosmin Dănișor, “Teoria
Transmisiunii Informaţiei-Aplicații”, Editura Printech, București, 2016.

Background:
1. Matematici Speciale - an I
2. Structuri de Date și Algoritmi – an I
3. Semnale şi Sisteme - an II
4. Circuite Integrate Digitale – an II
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

2. Introducere

• Claude Elwood Shannon (1916-2001), https://ro.wikipedia.org/wiki/Claude_Shannon

“The fundamental problem of communications is that of

reproducing at one point either exactly or approximately
a message selected at another point.”

C.E. Shannon, “A mathematical theory of communication”, Bell System

Technical Journal, vol. 27, pp. 379–423, 623–656, July, October, 1948.

semnal semnal
mesaj transmis recepţionat mesaj

Sursă de Emiţător Canal de Receptor Utilizator

informaţii comunicaţie

Sursă de
zgomot

• Claude Shannon - Father of the Information Age

https://www.youtube.com/watch?v=z2Whj_nL-x8

• Robert G. Gallager despre Claude Shannon, 5 Nov. 2015

https://www.youtube.com/watch?v=neA0NJNUEfM

• Emre Telatar, Robert Gallager despre Claude Shannon, 1 Nov. 2019

https://www.youtube.com/watch?v=xwI6ObPZf5Q

• Sergio Verdu, „Information Theory Today”, Princeton University

https://www.youtube.com/watch?v=GFGZiplFFQQ

• David MacKay, “Lecture 1: Introduction to Information Theory”, University of Cambridge

https://www.youtube.com/watch?v=BCiZc0n6COY

• Jeffrey Bilmes, “Information Theory I, Lecture 1”, University of Washington, 2013

https://www.youtube.com/watch?v=EwmZEbVIhIU

• Richard W. Hamming, “Information Theory”, The Art of Doing Science and Engineering:
Learning to Learn Course, Naval Postgraduate School (NPS) in Monterey California, 1995.
https://www.youtube.com/watch?v=YF2wOE66gfw

• Andrew Viterbi, “The Mathematics of Epidemics – A Century-Long Saga”, 7 Mai 2020.

https://www.youtube.com/watch?v=FpFlFu-JbXo
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

3. Structura unui sistem digital de transmitere a informației

Sursă de Codare Codare

Modulator
informaţii sursă canal

Perturbaţii Canal
continuu

Utilizator Decodare Decodare

Demodulator
sursă canal

Canal discret

Fig. P.1. Schema generală a unui sistem de transmitere a informaţiei.

• Surse de informație: microfon, cameră foto/video, tastatură, senzor temperatură, senzor PIR, etc.

• Canale de comunicație: aer (eter), fibră optică, cablu coaxial, cablu bifilar, cablu UTP, etc.

• Cum se poate transmite informaţia printr-un astfel de sistem, cât mai eficient posibil şi fără
distorsiuni?

• Criterii care stau la baza proiectării unui sistem de transmitere a informaţiei :

- Maximizarea debitului de informaţie (data rate) ;
- Maximizarea siguranţei transmisiei (data reliability) // Minimizarea probabilităţii de eroare;
- Minimizarea energiei / puterii necesare transmisiei;
- Minimizarea benzii de frecvenţă necesară transmisiei;
- Reducerea complexităţii sistemului.
- Minimizarea costurilor;
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

4. Ce este Teoria Informației?

• Teoria Informației studiază limitele teoretice ale unui sistem de comunicații:

o Care este cantitatea maximă de informație emisă de o sursă? R: Hmax(X)
o Care este rata maximă de compresie pentru o imagine? R: min I ( X , Xˆ )
o Care este viteza maximă de transmisie printr-un canal? R: C = max I ( X , Y )

• Aplicații ale Teoriei Informației:

o comunicaţii
o stocarea datelor
o securitatea informației (criptografie)
o managementul drepturilor digitale (watermarking)
o lingvistică și procesarea limbajului natural
o recunoașterea vorbirii
o fizică (mecanică statistică)
o matematică (probabilități și statistică)
o economie
o biologie și genetică
o psihologie
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

5. Ce este Teoria Codurilor?

• Teoria Codurilor studiază algoritmii și metodele de codare/decodare utilizate pentru

transmiterea cât mai eficientă a informației prin canale reale, cu zgomot.

• Aplicații ale Teoriei Codurilor:

o Coduri sursă - coduri de compactare
▪ compactarea fișierelor (ZIP, PKZIP, RAR, ARJ)
▪ compresia imaginilor (JPEG) și secvențelor video (MPEG)

o Coduri canal (coduri detectoare și corectoare de erori)

▪ coduri bloc (coduri grup, coduri ciclice):
- comunicaţii spaţiale (Mariner, Viking)
- rețele de calculatoare (Ethernet),
- rețele metropolitane (WiMAX),
- reţele wireless de senzori (ZigBee),
- comunicații în infraroșu (IrDA),
- carduri de memorie (MMC, SD),
- memorii de calculator (SDRAM, DDR),
- hard-discuri;
▪ coduri convoluționale:
- comunicaţii spaţiale (Pioneer, Voyager, Galileo, Mars Pathfinder, Cassini)
- comunicații satelitare
- comunicații mobile celulare 2G (GSM)
- transmisiuni video digitale terestre (DVB-T)
- reţele wireless de calculatoare (WLAN)
▪ coduri concatenate serial
- comunicaţii spaţiale (Voyager, Galileo, Giotto, Mars Spirit, Opportunity)
- medii de stocare (CD, DVD, DAT)
- comunicații mobile celulare 2G (GSM)
- transmisiuni video digitale terestre (DVB-T) și prin satelit (DVB-S)
▪ coduri concatenate în paralel (coduri turbo)
- comunicaţii spaţiale
- comunicaţii satelitare
- comunicații mobile celulare 3G, 4G

o Coduri pentru transmiterea cu mai multe antene (MIMO)

• coduri spațiu-timp
- reţele locale wireless (WLAN) - standardul IEEE 802.11n (Wi-Fi)
- reţele metropolitane (WMAN) - standardul IEEE 802.16e (WiMAX)
- reţele mobile de bandă largă (MBWA) - standardul IEEE 802.20
- comunicaţii mobile celulare 3G, 4G - standardele HSPA+, LTE
- microfoane wireless
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

6. Evoluția sistemelor de comunicații

1948

1996

2005

• Cazuri particulare de sisteme MIMO

Tx Rx Tx Rx

SISO = Single Input Single Output MISO = Multiple Input Single Output

Tx Rx Tx Rx

SIMO = Single Input Multiple Output MIMO = Multiple Input Multiple Output

• Cunoașterea canalului (Channel State Information, CSI)

Emiţător Receptor

a) emițătorul nu cunoaște canalul

Emiţător Receptor

CSI

b) emițătorul cunoaște canalul

Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

• Sisteme MIMO multi-utilizator

• Rețele wireless de senzori cooperative (Cooperative-MIMO)

• Parametri de performanță
- rata sau debitul de transmisie, R [biți pe secundă, bps]
- lățimea de bandă, W [Hz]
- eficiența spectrală, Rb/W [biți/secundă/Hz]
- rata de eroare per bit (Bit Error Rate, BER) / rata de eroare pe simbol (Symbol Error Rate,
SER) / rata de eroare pe pachet (Frame Error Rate, FER)
- raportul semnal zgomot (RSZ)
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

• Comparație performanțe modulații digitale

• Comparație performanțe coduri corectoare de erori

Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

 = Rb / B , [bps/Hz]
Capacitatea BPSK necodat
2
Limita BPSK
Shannon necodat
1.5
CC(2,1,31) CC(2,1,6) BCH(255,123)
1
Coduri
Turbo
0.5 RM(32,6)
CC(4,1,14)
Eb / N0 , [dB]
-1 0 1 2 3 4 5 6 7 8 9 10

Fig. 1.9. Eficienţa spectrală a unui sistem de comunicaţii utilizând diferite coduri canal.

7. Programa analitică a activităţilor didactice

Să
Curs Seminar Laborator
pt.
1 C1. Introducere S1. Surse L1. Introducere
C2. Teoria Informaţiei discrete de in Matlab /
2 C3. Surse discrete de informaţie informație Octave
3 C4. Caracterizarea informațională a surselor discrete S2. Codarea L2. Surse
C5. Codarea surselor discrete surselor de discrete de
4 C6. Codarea Shannon-Fano. Codarea Huffman informație informație
5 C7. Codarea aritmetică. Codarea surselor cu S3. Canale de L3. Codarea
memorie. Codarea JPEG comunicații sursei
C8. Canale discrete de comunicaţie
6 C9. Caracterizarea informațională a canalelor discrete
7 C10. Surse continue de informaţie Test 1 L4. Canale
8 C11. Canale continue S4. Coduri discrete
C12. Lucrare de verificare bloc
9 C13. Coduri bloc S5. Coduri L5. Coduri grup
10 C14. Coduri grup. bloc
C15. Decodarea codurilor grup.
11 C16. Câmpuri Galois. S6. Coduri L6. Coduri
12 C17. Coduri ciclice. ciclice ciclice
C18. Decodarea codurilor ciclice.
13 C19. Coduri convoluţionale. S7. Coduri Test 2
14 C20. Decodarea codurilor convoluționale. Algoritmul convoluționale Colocviu
Viterbi laborator
C21. Aplicaţii ale codurilor corectoare de erori
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

8. Recapitulare probabilităţi şi variabile aleatoare

8.1. Definiţii

O variabilă aleatoare (v.a.) X este o funcţie ce asociază o valoare reală x  realizării unui
eveniment probabilistic  dintr-o mulţime posibilă de evenimente :
X :  → , X () = x . (0.1)

Exemple: aruncarea cu zarul, aruncarea cu banul, loto 6/49, valoarea rezistenţei unui rezistor, etc.

• Dimensiunea spaţiului tuturor evenimentelor este cardinalitatea lui , notată  .

o Dacă mulţimea  este numărabilă, atunci X este o v.a. discretă având alfabetul
X = {x1 , x2 , , x|X |} , cu X =  ;
o Dacă mulţimea  este nenumărabilă, atunci X este o v.a. continuă.

• Funcţia de repartiţie a unei v.a. X se poate scrie ca:

F ( x) = P( X  x) , (0.2)
având proprietăţile:
o are valori pozitive şi subunitare: 0  F ( x)  1 ,
o F (−) = 0 ,
o F (+) = 1 ,
o funcţie crescătoare: x1  x2  F ( x1 )  F ( x2 ) .

• Funcţia densitate de probabilitate (f.d.p.) p( x) pentru v.a. continue se poate calcula ca

derivata funcţiei de repartiţie:
d
p ( x) = F ( x) , (0.3)
dx
având proprietăţile:

o condiţia de normare: −
p( x)dx = 1 ;
b
o probabilitatea ca v.a. X să ia valori în intervalul (a, b) : P ( X  (a, b) ) =  p( x)dx ;
a
x
o funcţia de repartiţie se poate scrie: F ( x) = P ( X  x ) =  p (u )du .
−

Pentru v.a. discrete, derivata se calculează pe fiecare interval de continuitate, fiind definită
funcţia de masă a probabilităţilor (f.m.p.):
p( x) =  k pk ( x − xk ) , (0.4)
unde ( x ) este funcţia delta (funcţia impuls, funcţia Dirac) şi având proprietăţile:
o probabilitatea ca v.a. X să ia valoarea xk: P ( X = xk ) = pk .
o condiţia de normare:  k
pk = 1 ;
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

Considerăm 2 v.a. continue X şi Y.

• Funcţia de repartiţie reunită este definită ca:

F ( x, y ) = P ( X  x , Y  y ) .
• F.d.p. reunită este dată de:
 2 F ( x, y )
p ( x, y ) = ,
xy
 
îndeplinind condiţia de normare:  
− −
p( x, y )dxdy = 1 .

• F.d.p. marginale în raport cu p( x, y ) se pot calcula ca:

 
p( x) =  p( x, y )dy , p( y ) =  p( x, y )dx .
− −

• F.d.p. condiţionate sunt definite cu ajutorul relaţiilor Bayes:

p ( x, y ) p ( x, y )
p( y | x) = , p( x | y ) = .
p( x) p( y )

8.2. Valori medii statistice

Operatorul de mediere statistică, notat E    sau  , este definit pentru:

+
• v.a. continue: E    =  =   p(  )d  ,
−

• v.a. discrete: E    =  =   pk .
k

Pentru o v.a. X, valorile medii statistice sunt:

• valoarea medie (momentul de ordin 1):
1, X = E  X  = X .
• valoarea pătratică medie (momentul de ordin 2):
2, X = E  X 2  = X 2 .
• dispersia sau varianţa (momentul centrat de ordinul 2):

2X = E ( X − E  X )  = ( X − X ) =  2, X − 1,2 X .
2 2

 
Deviaţia standard (σ) reprezintă rădăcina de ordinul doi a varianţei.

Pentru o pereche de v.a. X şi Y se pot defini:

• corelaţia (momentul reunit de ordinul 1):
RXY = E  XY  = XY .
• covarianţa (momentul reunit centrat de ordinul 1):

C XY = E ( X − E  X ) (Y − E Y ) = ( X − X )(Y − Y ) .

• coeficientul de corelaţie:
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

=
C XY
=
( X − X )(Y − Y )  [−1,1] .
 X Y  X Y
Coeficientul de corelaţie ne oferă o măsură a linearităţii dintre v.a. X şi Y: cu cât ρXY tinde la 1 , cu atât v.a. X
şi Y sunt într-o dependenţă lineară (vezi figura 1.10).
y y y y

x x x x

ρ = -0.8 ρ=0 ρ = 0.2 ρ = 0.8

Figura 1.10. Contururile f.d.p. constante p(x,y)=ct. pentru diferite valori ale coeficientului de corelaţie.

[SP10, ANEXA 1]

8.3. Distribuţii de probabilități

A1.1. Distribuţia gaussiană pentru o variabilă aleatorie continuă

Pentru o variabilă aleatorie (v.a.) continuă X, distribuită gaussian (normal), de medie μ şi dispersie
 2 , notată X N (, 2 ) , cu   0 , funcţia densitate de probabilitate (f.d.p.) p( x) şi funcţia de
repartiţie F ( x) , vezi Fig. A1.1, sunt:
1  ( x − ) 2  1
x
 (u − )2 
p ( x) =
22
exp  −
 22 
, F ( x) =   − 22  du .
22 −
exp

p(x) F(x)

1
1
2 2

σ 0.5

x x
 
Fig. A1.1. F.d.p. şi funcţia de repartiţie pentru o v.a. continuă, gaussiană, de medie μ şi dispersie σ2.
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

p(x) F(x)

0.399 1
0.977
0.841

σ 0.5
0.242

2σ x 0.158 x
0.054
-2 -1 0 1 2 -2 -1 0 1 2
Fig. A1.2. F.d.p. şi funcţia de repartiţie pentru o v.a. continuă, gaussiană, de medie 0 şi dispersie 1.

Fig. x. Intervalele de confidență pentru regula de 3-sigma în cazul unei distribuții gaussiene.

A1.2. Distribuţia uniformă pentru o variabilă aleatorie continuă

Pentru o v.a. continuă X, distribuită uniform în intervalul (a, b), a  b, a, b , notată
X U (, 2 ) , f.d.p. p(x) şi funcţia de repartiţie F(x) sunt:
 0, pentru x  a
 1 
 , a xb x−a
p ( x) =  b − a , F ( x) =  , pentru a  x  b .
 0,  b−a
in rest
 1, pentru x  b

Valoarea medie: Valoarea pătratică medie: Dispersia:

a+b a 2 + ab + b2 (b − a)2
1, X = = 2, X = 2X = = 2
2 3 12
p(x) F(x)
1
1
b−a
x x
0 a  b 0 a b
Fig. A1.3. F.d.p. şi funcţia de repartiţie pentru o v.a. continuă, distribuită uniform în intervalul (a,b).
Teoria Transmisiunii Informației, Curs 1, Ș.l. Lucian Perișoară III C, 2022

A1.3. Distribuţia uniformă pentru o variabilă aleatorie discretă

Pentru o v.a. discretă X, ce ia n valori distribuite uniform în intervalul (a, b) , a  b , a, b ,

funcţia de masă a probabilităţilor (f.m.p.) p(x) este:
n
1  b−a
p( x) =   x − a − k 
k =0 n + 1  n 
a+b (n + 2)(b − a)2
Valoarea medie: 1, X = Dispersia: 2X =
2 12n
p(x) F(x)
1
1 δ(x-a)/6 δ(x-b)/6
6
x x
a b 0 a b
Fig. A1.4. F.m.p. şi funcţia de repartiţie pentru o v.a. discretă, distribuită uniform în intervalul (a,b)
cu n = 6 realizări particulare.

A1.4. Distribuţia Rayleigh pentru o variabilă aleatorie continuă

Pentru o v.a. continuă X, distribuită după legea Rayleigh, cu parametrul   0 , funcţia densitate de
probabilitate p(x) şi funcţia de repartiţie F(x) sunt:
 x  x2 
 exp  − 2  , x  0  x2 
p ( x) =   2  2  F ( x ) = 1 − exp  − 2 , x  0 .
 ,  2 
 0, x0

Valoarea medie: Valoarea pătratică medie: Dispersia:

  
1, X =  2, X = 2 2 2X =  2 −   2
2  2

p(x) F(x)

0.606 1


0.393

x x
 

Fig. A1.5. F.d.p. şi funcţia de repartiţie pentru o v.a. continuă, distribuită Rayleigh cu parametrul  .