Documente Academic
Documente Profesional
Documente Cultură
1. Introducere.
Codificator Codificator de
Sursa Modulator
de sursă. canal
Canal
Decodor de Decodor de
Receptor Demodulator
sursă canal
figura 1.1
3
Tabel 1.1
Evenimen
Probabilitatea Cod1 Cod2
t
A 1/2 00 0
B 1/4 01 10
C 1/8 10 110
D 1/8 11 111
1 1 1 1 7
Cod 2 → n2 = ⋅ 1 + ⋅ 2 + ⋅ 3 + ⋅ 3 = biti de cod
2 4 8 8 4
1
În cadrul lucrării vom nota log subînţelegând logaritmarea în baza doi.
8
iii. I ( p1 ⋅ p2 ) = I ( p1 ) + I ( p2 )
este funcţia logaritmică adică I ( p ) = −C ⋅ log( p ) unde C este o
constantă pozitivă (baza de logaritmare va fi ulterior precizată
deocamdată nefiind necesară).
Demonstraţie.
Demonstraţia teoremei va fi făcută urmărind următorii paşi:
1 1
iii) Vom arăta că pentru ∀n ∈ N ∗ ⇒ I = −C ⋅ log
n n
1 1 1
∀ n, m ∈ N ∗ I = I + I
m⋅n n m
şi deci
1 1 1
k ⋅ I ≤ r ⋅ I ≤ ( k + 1) ⋅ I
n
2 n
1
Cum I > I (1) = 0
n
12
1
I
k k +1
≤ ≤
2
r 1 r
I
n
sau
k ⋅ log n ≤ r ⋅ log 2 ≤ ( k + 1) ⋅ log n
Rezultă imediat:
k log 2 k +1
≤ ≤
r log n r
Cum n este fixat, iar r poate fi ales ori cât de mare ( deci r → ∞)
rezultă:
1
I = C ⋅ log n
n
1
I
unde C = >0.
2 Cu aceasta primul pas este încheiat.
log 2
axiomatice
1 r 1 r 1
I = I ⋅ = I + I
s s r s r
13
şi deci
r 1 1
I ( p) = I = I − I
s s r
I ( p) = l i Im( a) = l i =m− C ⋅ l op g
a→ p b→ p
a r a t i o n b ra a l t i o n a l
2.1.2 Entropia.
Demonstraţie.
n n
H ( X ) = − ∑ pi ⋅ log pi pentru care ∑ pi =1
i =1 i =1
n
asigură entropia maximă în restricţia ∑ pi = 1 . Aplică metoda
i =1
Prin urmare:
− log pi =1 − λ ∀i ∈1, n
Prin urmare
H ( X ) ≤ H max = log n
H ( X ,Y ) = H ( X ) + H (Y )
H X ( Y ) = H (Y X ) = ∑ p k ⋅ H k ( Y ) = −∑∑ p k ⋅ q kl ⋅ log q kl
n n m
k =1 k =1 l =1
= ∑ pk ⋅ log pk ⋅ ∑ qkl − ∑ pk ⋅ ∑ qkl ⋅ log qkl = H ( X ) + H ( Y X ) ⋅
n m m n
k =1 l =1 k =1 l =1
Prin urmare, entropia evenimentului cumulat poate fi exprimată în
forma:
H ( X , Y ) = H ( X ) + H (Y X )
evenimentul ( X , Y ) .
Definiţie. Definim entropia evenimentului cumulat prin:
H ( X ,Y ) = − ∑P ( x, y ) log P ( x, y ) = E [ − log P ( X , Y ) ]
X ,Y
( x , y )∈X ×Y
X ,Y X ,Y
(
= E − log PY X
(Y X ))
n
( ) n α ⋅t
∑i=1 i i ∑i=1 i i
α ⋅ f t ≥ f
n
a n
∑i=1 ai
∑i=1 ai ⋅ log bi ≥ ∑ ai ⋅ log n
i =1
i
∑ b
i =1
i
sau
n
1 ai 1 n ∑i=1 ai
⋅ ∑ ai ⋅ log ≥ n ∑ ai ⋅ log n
∑ b j i=1 ∑ bi
n
bi
∑ bj
j =1 j =1 i =1
PX Y ( x y ) ⋅ PY ( y ) PX ,Y ( x, y )
= ∑ PX ,Y log = ∑ PX ,Y ( x, y ) ⋅ log ≥
( x, y
) ∈X ×Y PX ( x ) ⋅ PY ( y ) ( x, y
) ∈X ×Y PX ( x ) ⋅ PY ( y )
∑P ( x. y ) X ,Y
Prin urmare:
H (X Y ) ≤H ( X )
X
1 2 3 4
Y
1 1 1 1 1
8
16 32 32
2 1 1 1 1
16 8 32 32
3 1 1 1 1
16 16 16 16
4 1 0 0 0
4
20
7
entropiile celor două câmpuri de evenimente H ( X ) = biţi şi
4
H (Y ) = 2 biţi. Putem calcula :
H ( X Y ) = ∑ p( Y = i ) ⋅ H ( X Y = i ) =
4
i =1
=
1
4 2
( 4 8 8
1
4
)
⋅H 1 , 1 , 1 , 1 + ⋅H 1 , 1 , 1 , 1 +
4 2 8 8
( )
1
4 4
( 4 4 4
1
4
)
+ ⋅ H 1 , 1 , 1 , 1 + ⋅ H (1 , 0 , 0 , 0 ) =
1 7 1 7 1 1 11
= ⋅ + ⋅ + ⋅2 + ⋅0 = biti
4 4 4 4 4 4 8
13
În mod similar determinăm H (Y X ) = biti . Entropia
8
evenimentului cumulat va fi :
7 13 27
H ( X , Y ) = H ( X ) + H (Y X ) = + = biti
4 8 8
Prin urmare:
I ( X ; Y ) = H ( X ) − H ( X Y ) = H (Y ) − H (Y X ) = I (Y ; X )
21
2. I ( X ;Y ) = I (Y ; X )
3. I ( X ;Y ) = H ( X ) + H ( Y ) − H ( X , Y )
4. I ( X ;Y ) ≤ H ( X ) inegalitatea se transformă în egalitate numai dacă
X = f (Y ) pentru f (⋅) oricare.
5. I ( X ;Y ) ≥ 0 inegalitatea se transformă în egalitate numai dacă X
şi Y sunt independente.
• D( X , X ) = 0
22
• D ( X ,Y ) = D ( Y , X )
• D ( X , Z ) ≤ D ( X ,Y ) + D ( Y , Z ) 2
va fi caracterizată de entropia:
H ( Y ) = − ∑ p ( y j ) ⋅ log p ( y j )
n
j =1
de probabilitate ( ( X , Y ), ( x, y ), p( x, y ) ) în care ∑∑ p( xi , y j ) = 1 .
n n
i =1 j =1
∑ p( x , y ) = p( x ) şi ∑ p( x , y ) = p( y ) .
n n
i j i i j j
j =1 i =1
H ( X , Y ) = −∑∑ p ( xi , y j ) ⋅ log ( p( xi , y j ) )
n n
i =1 j =1
24
∑ p ( y ) = ∑ p( y )
n n
∑ p ( xi ) = ∑ p ( x )
i =1 x∈ X
si
j =1
j
y∈Y
I ( X ,Y )
unde termenul ηC = reprezintă eficienţa canalului indicând cât
C
vS simbol
sec atunci se poate defini viteza (rata) de transmitere a
sursei :
VS = vS ⋅ H ( X ) biti .
sec
p1 (1) p1 ( 2 ) ⋅ ⋅ p1 ( m )
p 2 (1) p2 ( 2 ) ⋅ ⋅ p2 ( m)
π = ⋅ ⋅ ⋅ ⋅ ⋅
⋅ ⋅ ⋅ ⋅ ⋅
p (1) pn ( 2) ⋅ ⋅ p n ( m )
n
(
m m j =1
)
C = max[ H ( Y ) − H ( Y X ) ] = H 1 ,1 m ,... 1 + ∑ pi ( j ) ⋅ log( pi ( j ) )
m
m
C = log m + ∑ pi ( j ) ⋅ log pi ( j )
j =1
1 − p q ⋅ ⋅ q
q 1− p ⋅ ⋅ q
π =
p
⋅ ,q= ; m =n
⋅ ⋅ ⋅ ⋅ m −1
q
q ⋅ ⋅ 1 − p
3. Codificarea informaţiei.
31
3.1 Definiţii.
Definiţia 1. Fie A un ansamblu discret şi N un întreg pozitiv.
Vom reprezenta prin A N un N- uplu ordonat de elemente din A :
A N = { x1 , x2 ,....x N } xi ∈ A
(n)
Vom nota elementele lui A n prin x = x1 ... xn , xi ∈ A . Vom nota
A + ansamblul tuturor secvenţelor de lungime finită formate din
elemente ale lui A.
A+ = An
n
x →c( x )
C +: X+ → {0,1} +
x1 x2 .. xn →c( x ) c( x )...c( x )
1 2 n
∑2 −l ( c ( x ) ) ≤ 1
x∈X
1 1
−log −log
p( x )
∑2
≤ ∑2 p( x )
= ∑2 log p ( x ) = 1
x∈X x∈X x∈X
Demonstraţie.
Pentru a demonstra limitarea superioară este suficient să calculăm
lungimea medie a cuvintelor de cod la care lungimea acestora este
1
aleasă conform unei teoreme precedente în forma l ( x ) = log p( x ) .
1 1
LC ( X ) = ∑ p( x ) ⋅ log ≤ ∑ p( x ) ⋅ log + 1 = H ( X ) + 1 4
x∈X p ( x ) x∈X p( x )
Prin urmare lungimea unui cod optimal va fi mai mică decât limita
superioară impusă.
4
În demonstraţie ne bazăm pe inegalitatea [ x ] <x +1
37
Demonstraţie.
Notăm :
s = ∑ 2 −l ( c ( x ) ) ≤ 1
x∈X
2 ( ( ) ) = qC ( x ) ⋅ s ⇒ l ( c ( x ) ) = − log qC ( x ) − log s
−l c x
R ≥ D ( p qC ) ≥ 0
38
ceea ce implică :
1
l ( c ( x ) ) = log , ∀x∈ X
p( x)
LC ( X ) ≤ H ( X ) + ε
n
( )
H X ( n) = n ⋅ H ( X ) .
( )
LC X ( n ) ≤ H ( X n ) + 1 = n ⋅ H ( X ) + 1
LC ( X ) =
(
LC X ( n ) ) =H( X) +1
n
n n
39
1
faptul că l ( i ) = log , i = 1,2,3,4.
p( i)
40
1
Exemplu 3. Pentru sursa considerată în exemplu 1 considerăm
următoarea schemă de codare :
41
c ( 1) = 0, c ( 2 ) = 1, c ( 3) = 00, c ( 4 ) = 11.
( 134213) → ( 0011111010011)
este unic decodabilă.
42