Sunteți pe pagina 1din 27

Teoria informaţiei

Capacitatea canalului
Cuprins

„ Generalităţi
„ Tipuri de canale
„ Capacitatea canalelor ideale
„ Capacitatea canalului zgomotos

13.12.2012 Teoria informaţiei şi coduri 2


Capacitatea canalelor de
comunicaţii

Clasificarea canalelor
Clasificarea canalelor de comunicaţie

„ Spaţiile de intrare şi de ieşire


„ Gradul de dependenţă al transformărilor din
canal de transformările anterioare
„ Influenţa perturbaţiilor asupra transmisiei
„ Statistica transmisiei

13.12.2012 Teoria informaţiei şi coduri 4


Clasificarea canalelor de comunicaţie
Spaţiile de intrare şi de ieşire

„ canale discrete – spaţiile de intrare şi de


ieşire sunt discrete
„ canale continue - spaţiile de intrare şi de
ieşire sunt continue
„ canale discrete/continue
„ canale continue/discrete

13.12.2012 Teoria informaţiei şi coduri 5


Clasificarea canalelor de comunicaţie
Gradul de dependenţă al transformărilor din canal de transformările
anterioare

„ canale fără memorie – transformările intrare-


ieşire nu depind de transformările anterioare
„ canale cu memorie – transformările intrare-
ieşire depind de transformările anterioare

13.12.2012 Teoria informaţiei şi coduri 6


Clasificarea canalelor de comunicaţie

„ Influenţa perturbaţiilor asupra transmisiei


‰ fără perturbaţii
‰ cu perturbaţii
„ Statistica transmisiei
‰ staţionar
‰ nestaţionar

13.12.2012 Teoria informaţiei şi coduri 7


Canale de comunicaţie

„ Studiu asupra canalelor discrete, staţionare şi


fără memorie
„ Canalul este caracterizat de anumite mărimi
informationale
„ Entropia intrare, ieşire
„ Entropiile condiţionate
„ Transinformaţia
„ Capacitatea canalului

13.12.2012 Teoria informaţiei şi coduri 8


Matricea de zgomot
„ Canalele discrete de transmisiuni sunt caracterizate prin
matricea de zgomot
„ În funcţie de forma matricei canalele discrete fara
memorie se clasifică
‰ canale cu echivocaţie nulă
‰ canale cu eroare medie nulă
‰ canale uniforme faţă de intrare
‰ canale uniforme faţă de ieşire
‰ canale simetrice

13.12.2012 Teoria informaţiei şi coduri 9


Canale cu echivocaţie nulă

„ Matricea de zgomot „ Graful de tranziţie


y1
⎡1 1 ⎤
⎢2 0 0 0⎥ y2
2
⎢ ⎥ x1
⎢0 1 2 ⎥
⎡⎣P(Y | X)⎤=
⎦ ⎢ 0 0
3 3 ⎥ y3
⎢ ⎥
⎢0 0 0 0 1⎥ x2 y5
⎢⎣ ⎥⎦
y4

y5
x3

13.12.2012 Teoria informaţiei şi coduri 10


Canale cu eroare medie nulă
„ Canalele discrete de transmisiuni sunt caracterizate prin
matricea de zgomot
„ În funcţie de forma matricei canalele discrete fara
memorie se clasifică
‰ canale cu echivocaţie nulă
‰ canale cu eroare medie nulă
‰ canale uniforme faţă de intrare
‰ canale uniforme faţă de ieşire
‰ canale simetrice

13.12.2012 Teoria informaţiei şi coduri 11


Canale cu eroare medie nulă

„ Matricea de zgomot „ Graful de tranziţie

x1
⎡1 0⎤
⎢ ⎥ x2
⎢1 0⎥
⎡⎣P(Y | X ) ⎤⎦ = y1
⎢1 0⎥
⎢ ⎥
⎣0 1⎦ x3
y2
x4

13.12.2012 Teoria informaţiei şi coduri 12


Canal binar simetric
„ Matricea de zgomot „ Graful de tranziţie

x1 y1

⎡ p( y1 | x1) p( y2 | x1) ⎤
⎡⎣P(Y | X)⎤⎦ = ⎢ ⎥=
⎣p( y1 | x2) p( y2 | x2 )⎦
⎡1− p p ⎤
=⎢ ⎥
⎣ p 1 − p ⎦
x2 y2

13.12.2012 Teoria informaţiei şi coduri 13


Capacitatea canalelor de
comunicaţii

Canalul binar
Canal binar simetric
„ Matricea de zgomot „ Graful de tranziţie

x1 y1

⎡ p( y1 | x1) p( y2 | x1) ⎤
⎡⎣P(Y | X)⎤⎦ = ⎢ ⎥=
⎣p( y1 | x2) p( y2 | x2 )⎦
⎡1− p p ⎤
=⎢ ⎥
⎣ p 1 − p ⎦
x2 y2

13.12.2012 Teoria informaţiei şi coduri 15


Capacitatea canalului binar simetric
C =maxH(Y)+⎡⎣ plog p+(1− p) log(1− p)⎤⎦ =1+⎡⎣plog p+(1− p) log(1− p) ⎤⎦ =1−H( p)

13.12.2012 Teoria informaţiei şi coduri 16


Capacitatea canalelor de
comunicaţii

Calculul capacităţii canalului


Capacitatea canalului ideal
„ Teorema eşantionării f es ≥ 2 f s
„ Criteriul I al lui Nyquist f s max = f N = B
f es = 2 B
nr.semnale ( esant )
vt = Rsemnal = = f es
s
nr.simboluri binare
vb = Rbinar =
s
nr.eşantioane nr.simboluri binare
Rbinar = ⋅
s eşantion
C = Rbin max = f es log M = 2 B log M
C = 2 B log M

13.12.2012 Teoria informaţiei şi coduri 18


Capacitatea canalului zgomotos
„ Teorema lui Shannon

C = 2 B log N
Px + Pn ⎛ Px ⎞
C = 2 B log = B log ⎜ 1 + ⎟
Pn ⎝ Pn ⎠
⎛ Px ⎞
C = B log ⎜ 1 + ⎟
⎝ Pn ⎠

13.12.2012 Teoria informaţiei şi coduri 19


Teorema lui Shannon
H ( x ) = − ∫ p ( x ) log p ( x ) dx
x2
1 −
p (x) = e 2σ 2
2πσ
2
x
1 −
H ( x ) = − ∫ p ( x ) log e 2σ 2
dx
2πσ
2

x2
x
1 −
− log e 2σ 2
= log 2πσ + log e
2πσ 2σ 2

⎛ x2 ⎞
H ( x ) = ∫ p ( x ) ⎜ log 2π σ + log e ⎟ dx
⎝ 2σ 2

log e
H ( x ) = log 2πσ ∫ p ( x ) dx + 2 ∫
p ( x ) x 2
dx

log e 2
H ( x ) = log 2πσ + σ = log 2π eσ
2σ 2

13.12.2012 Teoria informaţiei şi coduri 20


Teorema lui Shannon

C = max ⎡⎣ H ( y ) − H ( z ) ⎤⎦

H ( y ) = log 2π e ( Px + Pz )
H ( z ) = log 2π ePz
2π e ( Px + Pz )
C = 2 B ⎡ log 2π e ( Px + Pz ) − log 2π ePz ⎤ = 2 B log
⎣ ⎦ 2π ePz
( Px + Pz ) ⎛ Px ⎞
C = 2 B log = B log ⎜ 1 + ⎟
Pz ⎝ Pz ⎠
⎛ Px ⎞
C = B log ⎜ 1 + ⎟
⎝ Pn ⎠

13.12.2012 Teoria informaţiei şi coduri 21


Limita capacităţii canalului continuu

⎛ Px ⎞
C = B log ⎜ 1 + ⎟
⎝ Pn ⎠
Pn = BN 0
⎛ Px ⎞ Px
C = B log ⎜ 1 + ⎟  B log
⎝ BN 0 ⎠ BN 0
Px
C∞ = lim C = log e
B →∞ N0

13.12.2012 Teoria informaţiei şi coduri 22


Limita capacităţii canalului continuu

C
Px
C∞ log e
N0

f max

13.12.2012 Teoria informaţiei şi coduri 23


Relaţii între entropii

I ( X ;Y ) = H ( X ) − H ( X | Y )
I ( Y ; X ) = H ( Y ) − H (Y | X ) = I ( X ; Y )
I ( X ; Y ) = H ( X ) + H (Y ) − H (Y , X )
C = max I ( X ; Y ) = max ⎡⎣ H (Y ) − H (Y | X ) ⎤⎦

13.12.2012 Teoria informaţiei şi coduri 24


Canale fără perturbaţii
H ( X | Y) = H ( Y | X ) = 0
H ( X ) = H (Y) = I ( X;Y) = H( X,Y )
C = maxp( x ) H( X )
i

13.12.2012 Teoria informaţiei şi coduri 25


Canale cu perturbaţii foarte mari
H ( X | Y) = H ( X )
H (Y | X ) = H (Y )
H ( X ,Y ) = H ( X ) + H (Y )
I ( X ;Y ) = 0 H
(X
|Y |X
)
) (Y
H
C=0

13.12.2012 Teoria informaţiei şi coduri 26


Concluzii
„ Teoria informaţiei – limite teoretice
„ Teoria codurilor – limite practice
„ Informaţia poate fi generată, stocată, prelucrată şi
transmisă
„ Capacitatea canalului depinde de condiţiile
transmiterii
‰ Ideal
‰ Afectat de zgomot
„ Capacitatea canalului nu este infinită

13.12.2012 Teoria informaţiei şi coduri 27