Documente Academic
Documente Profesional
Documente Cultură
Curs PI
Curs PI
1. Introducere.
Canal
figura 1.1
3
Tabel 1.1
Evenimen
Probabilitatea Cod1 Cod2
t
A 1/2 00 0
B 1/4 01 10
C 1/8 10 110
D 1/8 11 111
1 1 1 1 7
Cod 2 → n2 1 2 3 3 biti de cod
2 4 8 8 4
1
În cadrul lucrării vom nota log subînţelegând logaritmarea în baza doi.
8
( E1 E 2 ) ( E1 ) ( E 2 ) .
iii. I ( p1 p2 ) I ( p1 ) I ( p2 )
este funcţia logaritmică adică I ( p ) C log( p ) unde C este o
constantă pozitivă (baza de logaritmare va fi ulterior precizată
deocamdată nefiind necesară).
Demonstraţie.
Demonstraţia teoremei va fi făcută urmărind următorii paşi:
1 1
iii) Vom arăta că pentru n N I C log
n n
1 1 1
n, m N I I I
mn n m
şi deci
1 1 1
k I r I k 1 I
n 2 n
1
Cum I I 1 0
n
12
1
I
k k 1
2
r 1 r
I
n
sau
k log n r log 2 k 1 log n
Rezultă imediat:
k log 2 k 1
r log n r
Cum n este fixat, iar r poate fi ales ori cât de mare deci r
rezultă:
1
I C log n
n
1
I
unde C 0.
2 Cu aceasta primul pas este încheiat.
log 2
axiomatice
1 r 1 r 1
I I I I
s s r s r
13
şi deci
r 1 1
I p I I I
s s r
2.1.2 Entropia.
Demonstraţie.
n n
H X pi log pi pentru care pi 1
i 1 i 1
n
asigură entropia maximă în restricţia pi 1 . Aplică metoda
i 1
Prin urmare:
log pi 1 i 1, n
k 1 k 1 l 1
pk log pk qkl pk qkl log qkl H X H Y X
n m n m
k 1 l 1 k 1 l 1
urmare, entropia evenimentului cumulat poate fi exprimată în forma:
H X , Y H X H Y X
E log PY X
Y X
n
n t
i 1
i
f t i
f i i
i 1
Egalitatea se impune în cazul şi numai în cazul t1 t 2 ... t n .
18
n
a n
ai
ai log i
bi
ai log n
i 1
i 1
i 1
b
i 1
i
sau
n
1 ai 1 n ai
ai log n ai log n
i 1
b j i1 bi
n
bi
bj
j 1 j 1 i 1
H X H X Y P x, y log P x
X ,Y X
PX ,Y x, y log PX Y x y
x , y X Y x , y X Y
PX Y x y PY y PX ,Y x, y
PX ,Y log PX ,Y x, y log
x, y
X Y PX x PY y x, y
X Y PX x PY y
P x. y X ,Y
PX ,Y x, y log x , y X Y
0
x , y X Y P x P y
x , y X Y
X Y
Prin urmare:
HX Y H X
X
1 2 3 4
Y
1 1 1 1 1
816 32 32
2 1 1 1 1
16 8 32 32
3 1 1 1 1
16 16 16 16
4 1 0 0 0
4
7
entropiile celor două câmpuri de evenimente H X biţi şi H Y 2
4
H X Y p Y i H X Y i
4
i 1
1
4
2 4 8 8 4
1
H 1 , 1 , 1 , 1 H 1 , 1 , 1 , 1
4 2 8 8
1
4
4 4 4 4 4
1
H 1 , 1 , 1 , 1 H 1 , 0 , 0 , 0
1 7 1 7 1 1 11
2 0 biti
4 4 4 4 4 4 8
13
În mod similar determinăm H Y X biti . Entropia
8
evenimentului cumulat va fi :
7 13 27
H X ,Y H X H Y X biti
4 8 8
Prin urmare:
I X ;Y H X H X Y H Y H Y X I Y ; X
Lema.
PX ,Y x, y
1. I X ;Y PX ,Y x, y log
x X yY PX x PY y
2. I X ;Y I Y ; X
3. I X ;Y H X H Y H X ,Y
4. I X ;Y H X inegalitatea se transformă în egalitate numai
dacă X f Y pentru f oricare.
5. I X ;Y 0 inegalitatea se transformă în egalitate numai dacă X
şi Y sunt independente.
D X , X 0
D X ,Y D Y , X
D X , Z D X ,Y D Y , Z 2
2
Demonstraţia , altfel foarte simplă , poate fi făcută de cititorii interesaţi.
22
3
Inegalitatea lui Gibbs.
23
va fi caracterizată de entropia:
H Y p y j log p y j
n
j 1
de probabilitate X ,Y , x, y , p x, y în care p xi , y j 1 .
n n
i 1 j 1
p x , y p x şi p x , y p y .
n n
i j i i j j
j 1 i 1
H X , Y p xi , y j log p xi , y j
n n
i 1 j 1
24
p y p y
n n
p x p x
i 1
i
xX
si
j 1
j
yY
I X ,Y
unde termenul C reprezintă eficienţa canalului indicând cât
C
vS simbol
sec atunci se poate defini viteza (rata) de transmitere a sursei
:
VS vS H X biti
sec .
p1 1 p1 2 p1 m
p2 1 p2 2 p2 m
p 1 pn 2 pn m
n
m
m j 1
C max H Y H Y X H 1 ,1 m ,... 1 pi j log pi j
m
m
C log m pi j log pi j
j 1
1 p q q
q 1 p q p
,q ;mn
m 1
q q 1 p
3. Codificarea informaţiei.
31
3.1 Definiţii.
Definiţia 1. Fie A un ansamblu discret şi N un întreg pozitiv.
Vom reprezenta prin A N un N- uplu ordonat de elemente din A :
A N x1 , x2 ,....x N xi A
n
Vom nota elementele lui A n prin x x1 ...xn , xi A . Vom nota
A ansamblul tuturor secvenţelor de lungime finită formate din
elemente ale lui A.
A A n
n
x c x
C : X 0,1
x1 x 2 ..xn c x c x ...c x
1 2 n
0 1
0 1 0 1
1 0 1 0 1 0
2 l c x 1
xX
1 1
log log
p x
2
2 p x
2 log p x 1
xX xX xX
Demonstraţie.
Pentru a demonstra limitarea superioară este suficient să calculăm
lungimea medie a cuvintelor de cod la care lungimea acestora este
1
aleasă conform unei teoreme precedente în forma l x log p x .
1 1
LC X p x log p x p x log p x 1 H X 14
xX xX
Prin urmare lungimea unui cod optimal va fi mai mică decât limita
superioară impusă.
4
În demonstraţie ne bazăm pe inegalitatea x x 1
37
Demonstraţie.
Notăm :
s 2 l c x 1
xX
2 qC x s l c x log qC x log s
l c x
R D p qC 0
38
ceea ce implică :
1
l c x log , x X
p x
LC X H X
n
H X n n H X .
LC X n H X n 1 n H X 1
LC X
LC X n H X 1
n
n n
39
1
faptul că l i log , i 1,2,3,4.
p i
40
111
1
1 0
110
0
10
1
0
0
c 1 0, c 2 1, c 3 00, c 4 11.
134213 0011111010011
este unic decodabilă.
42