Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

1
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Prezentarea cursului

CURS - Marti, 9-11, sala A103

Miercuri 13-15, sala B223, impar

LABORATOR Vineri, 9-13, 17-21, sala B236 Daniela FAUR

SEMINAR Marti 12-16, Sala B13 Cosmin DNIOR

Moodle: http://electronica.curs.pub.ro/2015/course/view.php?id=958
Contact
http://lpsv.pub.ro/ TTI
dfaur@ceospacetech.pub.ro, Sala B229, Corp B
Sala P103, Corp P Polizu
2
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Evaluare
Examen final
Examen partial
Laborator
Seminar Lucrari

30 puncte
30 puncte
20 puncte
10 pct Lucrarea 1
10 pct Lucrarea 2
__________
100 de puncte

Conditie minima de promovare 30 pct. (partial +final)!!!!

3
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.1Introducere.
Ce este Teoria Informatiei?

Computer
science
ElementsofInformationTheory,ThomasCover,SecondEd.
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Istoric
Information Theory
Initiator: Claude Shannon (1916-2001)
A Mathematical Theory of
Communication, 1948,
Bell System Technical Journal

http://cm.belllabs.com/cm/ms/what/shannonday/shannon1948.pdf
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

2concepte cheie

Informatia este incertitudine: se modeleaza ca

variabile aleatoare

Informatia este digitala: transmisia se face pe biti

0 si 1 fara referinta la ceea ce reprezinta.

6
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

2teoreme fundamentale
Teorema codarii surselor
- Defineste limita fundamentala a compresiei de date
Teorema codarii canalelor
Stabilieste limita absoluta a ratei de transmisie
printr-un canal cu perturbatii

7
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

TTI:Aplicatii si impact
Compresia datelor fara pierderi (fisiere ZIP)
Compresia datelor cu pierderi (.MP3, .JPEG)
Codarea canalului ( DSL Digital Subscriber Line)
Criptografie
Studiul vorbirii si perceptiei umane
Dezvoltarea Internetului
Inventia compact discului
8
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.2Sisteme de
transmitere ainformatiei
- Primirea unei informatii este echivalenta cu eliminarea incertitudinii;
- Cantitatii de informatie i se poate atasa o functie de probabilitate;
- In studiu este considerata partea obiectiva( cantitativa) a informatiei,
nu si caracterul sau semantic.

9
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.2Sisteme de
transmitere ainformatiei
Semnalele purtatoare de informatie pof fi:
functii continue in timp;

esantionare si cuantizare

functii discrete.

@http://ro.wikipedia.org
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

10

Cap.2Sisteme de
transmitere ainformatiei
Sursa

Emitator

CANAL

Traducerea
Codarea
Modularea

Exemple:

Receptor

Destinatar

Demodularea
Decodarea
Traducerea

Perturbatii

1. Olinie detelefon analogica incaredoua modemuri comunica

digitalinformatia:modem linie telefonicamodem;
2. Legatura deradiocomunicatie dintre naveta Galileoce orbiteaza
injurul lui Jupitersi Pamant:Galileounde radioPamant
3. Harddiskul
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

11

Structura cursului

1. Introducere. Masura informatiei.Aplicatii

2. Surse de informatiei.
3. Canale de transmitere a informatiei.
4. Receptoare de simboluri discrete.
5. Codarea surselor discrete.
EXAMEN PARTIAL
6. Codarea pentru canale cu perturbatii.
7. Mecanismul de corectie si detectie a erorilor
8. Coduri ciclice. Circuite de codare si decodare a
codurilor ciclice.
9. Coduri convolutionale.
12

D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Modelarea probabilistica
Evenimente,variabile aleatoare si probabilitati
Fie spatiul esantion :={w1,w2,.wn}
Variabila aleatoare

X:

{x1,x2,..xD}

Ex.Experimentul aruncarii cuzarul.

wi evenimentul aparitiei fetei i;
X(w1)=1;X(w2)=2..X(w6)=6
Fiep omasura numita probabilitate si asociata unui ev.elementar i .
PX:{x1,x2,..xD}Rastfel incat p(xi)=P(X=xi)i=1,2,D,p(xi)0

P (x ) 1

i1

13
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Modelarea probabilistica

Determinarea experimentala aprobabilitatii derealizare aunui eveniment

sefacedupa relatia:
p(A)=nrdecazuri favorabile realiz lui A/numar totaldecazuri
Probabilitatea conditionata:fieAsi Bdoua evenimente
p(B/A)=p(A,B)/P(A)
Daca cele doua
evenimente Asi Bsunt
Independenta statistica
statisticindependente
p(A,B)=p(A)*p(B)
cateste p(A/B)?
Regula lui Bayes:
p(A,B)=p(A) p(B/A)=p(B) p(A/B)
Formulaprobabilitatii totale:
p(B)=p(B/A)*P(A)+p(B/)*p()unde
A A

p(A) 1 p(A)
14

D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Modelare probabilistica
Problema .Dintre n bilete cusubiecte laexamen,m sunt favorabile.Stundetii vin
pe randsi aleg cate unbilet.Daca primul studentalege unbilet favorabil care
este sansa ca si cel dealdoilea sa aleaga unbilet favorabil?
Fie
A evenimentul alegerii unui bilet favorabil decatre primul student
B evenimentul alegerii unui bilet favorabil decatre cel dealdoilea student
=m/n
p(A)=?

p(B/A)=m1/n1

p(B)=p(B/A)*P(A)+p(B/A)*p(A)

p(B/)=m/n1
A

=m/n
p(B)=?

p()=nm/n
A

15
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.3Masura informatiei
insisteme discrete
Informatie proprie i(xi)

Incertitudine a priori
UxiFpxi

informatie a posteriori

i xi F p xi
16

D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.3Masura informatiei
insisteme discrete
Specificarea functiei F:
- i(xi)>=0;
- Daca i(xi) creste, incertitudinea creste;
- i(xi) trebuie sa aiba proprietatea de aditivitate:
- Solutia ecuatiei:

F p log B p
i xi log B p xi , ct. 0

17
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Unitati demasura

Binarydigit

BIT(B=2,=1)
NIT(B=e,=1)1nit=log2e=1.44biti
DIT(B=10,=1)1dit=log2 10=3.32biti

18
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Exemple

19
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.3Masura informatiei
insisteme discrete
Informatia mutuala i(xi, yj)
Fie 2 experimente:

Xx1,x2 ...xn

Yy1,...,ym

xi x j ij
Pxpx1,px2,... pxn

y j yk , j k
Pypy1,...,pym
m

py 1

px 1

j1

i1

p(xi ,y j )
pxi /y j
p(y j )

ixi /y j logpxi /y j

20
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Cap.3Masura informatiei
insisteme discrete
Informatia mutuala i(xi, yj)

ixi ,y j ixiixi /y j logpxilogpxi /y j log

pxi /y j
pxi

log

pxi ,y j

pxipy j

Caz I :

xiy j ixi ,xilogpxilogpxi /xii(xi )

Caz II:

xi y j ixi ,y j logpxilogpxi /y j 0
21
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

Exemplu:Alfabetul lb.engleze

p(x,y)
p(y/x)
David J.C. MacKay - Information Theory, Inference and learning algorithms, Cambridge University Press
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

22

Exemplu:Alfabetul lb.engleze

David J.C. MacKay - Information Theory, Inference and learning algorithms, Cambridge University Press
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

23

Tema
Ioana isi face un test pentru depistarea unei boli. Notam
starea ei de sanatate utilizand variabila a si rezultatele
testului pe care il face pentru depistarea bolii cu b.
a=1 Ioana este bolnava;
a=0 Iona nu este bolnava;
Rezultatele testului sunt fie pozitive (b=1), fie negative
(b=0). Testul este demn de incredere in proportie de 95% (
in 95% din cazuri persoanele carora testul le a iesit pozitiv
aveau boala). O ultima informatie: 1% din populatie
avand varsta si backgroundul Ioanei are acesta boala.
Ioana si-a facut testul iar rezultatul este pozitiv.
Care este probabilitatea ca ea sa aiba aceasta boala?

The meaning of probability - David J.C. MacKay - Information Theory, Inference and learning algorithms,
Cambridge University Press
D. Faur - Teoria transmiunii informatiei, note de curs, 2016

24