Teoria Transmisiei Informatiei

Teoria transmisiei informaiei
Prof. univ. dr. Fl. NSTASE

Ba
Ba
zele tehnologiei
zele tehnologiei
informa
informa
iei
iei
2
Cuprins
1. Entropia informaional
2. Sistem de transmisie a informaiei
3. Codificarea informaiei n sistemele de calcul
4. Coduri numerice i alfanumerice
5. Coduri detectoare i corectoare de erori
3
Entropia informaional
Fie un experiment, avnd repartiia:
X =
x

x
. . .
x
p

p
. . .
p
1 2 n
1 2 n

p
0 i =1, n

p
= 1

i
i = 1
n
i

unde:
x
i
: eveniment
p
i
: probabilitatea de apariie a evenimentului x
i
4
n urma realizrii unui experiment se obine
informaie dac i numai dac rezultatul
experimentului nltur o anumit nedeterminare;
Informaia i nedeterminarea sunt mrimi direct
proporionale;
Informaia nlocuiete nedeterminare.
5
Se noteaz cu H msura gradului de nedeterminare,
pentru experimentul X:
H(X) = H(p
1
, p
2
, ., p
n
)
n 1948, C. Shannon a folosit formula pentru entropia
experimentului X sau entropia informaional:
H(
p
,
p
...
p
) = -
p log p

1 2 n
i=1
n
i 2 i
6
Unitatea de msur a informaiei se numete bit (binary digit) i
reprezint cantitatea de informaie obinut prin realizarea unui
eveniment din dou egal probabile.
Multipli:
1 octet (byte) = 8 bii
1 Kilo octet = 2
10
B
1 Mega octet = 2
10
KB = 2
20
B
1 Giga octet = 2
10
MB
1 Tera octet = 2
10
GB
1 Peta octet = 2
10
TB
1 cuvnt = 16 / 32 / 64 bii, lungimea variaz n funcie de tipul
calculatorului.
7
Principalele propieti ale entropiei informaionale sunt:
P
1
. H(p
1
, p
2
, ., p
n
) 0.
P
2
. H(p
1
, p
2
, ., p
n
) = 0 - dac pentru un indice i {1, 2, .., n} avem p
i
=1
P
3
. H(p
1
, p
2
, ., p
n
) H(1/n, 1/n, 1/n,, 1/n).
P
4
. H(p
1
, p
2
, ., p
n
, 0) = H(p
1
, p
2
, ., p
n
).
P
5
. H(X
1
x X
2
xX
n
) = H(X
1
)+ H(X
2
)+.. H(X
n
).
P
6
. H(X x Y) = H(X) + H(Y/X).
P
7
. H(Y/X) H(Y)
P
8
. H(X x Y) H(X) + H(Y)
P
9
. H(X/Y) = H(Y/X) + H(X) - H(Y)
8
Sistem de transmisie a informaiei
Schema general a unui sistem de transmisie a informaiei fr
codificare este:
9
Fie:
X mulimea mesajelor emise de o surs de informaie (intrarea
sistemului);
Y mulimea mesajelor care se recepioneaz (ieirea sistemului);
p(y/x) probabilitatea de a recepiona mesajul y Y cnd s-a
emis x X.
10
Sistemul de transmisia informaiei este format din dou mulimi
finite X, Y i o probabilitate condiionat p(y/x), definit pe Y
pentru orice x X i se noteaz cu [X, p(y/x), Y].
Sursa sistemului de transmisie a informaiei este reprezentat prin
cmpul de probabilitate {X, x, p(x)}, fiind dat probabilitatea de
emisie p(x) pentru x X, astfel nct
p x
x X
( ) =
1
11
Recepia sistemului de transmisie a informaiei este reprezentat
prin cmpul de probabilitate {Y, y, p(y)}, fiind dat probabilitatea
de emisie p(x) pentru x X, iar probabilitatea de recepie se
calculeaz prin relaia:
p y p x p y x
x X
( ) ( ) ( / ) =
12
Canalul unui sistem de transmisie a informaiei reprezint mediul
prin care se propag semnalele purttoare de informaie, de la surs
la recepie. Dac:
p(y/x) = 0 [sau 1] pentru orice x X i y Y - asupra canalului nu
acionaz perturbaii.
p(y/x) 0 [sau 1] pentru oricare ar fi x X i y Y - asupra canalului
acionaz perturbaii.
13
ntr-un sistem de transmisia informaiei [X, p(y/x), Y]
expresiile:
H X p x p x
x X
( ) ( ) log ( ) =
2
H Y p y p y
y Y
( ) ( ) log ( ) =
2
reprezint entropiile cmpului de evenimente de la intrare i
cmpului de evenimente de la ieire.
14
Expresia H(X/y) reprezint cantitatea de informaie care trebuie
emis de ctre surs pentru a recepiona mesajul y Y. Dac p(x/y)
este probabilitatea de a se emite mesajul x X cnd se
recepioneaz y Y, atunci:
H X y p x y p x y
x X
( / ) ( / ) log ( / ) =
2
15
Entropia H(X/Y) reprezint cantitatea medie de informaie emis
de surs, necesar pentru a recepiona ntreaga mulime a mesajelor
y Y (echivocaie):
H X Y p y H X y
y Y
( / ) ( ) ( / ) =
16
Reprezentarea grafic a echivocului:
Expresia: I(X,Y) = H(X) - H(X/Y) reprezint informaia transmis
prin canal i se mai numete transinformaie.
17
Codificarea informaiei n sistemele de
calcul
Codificarea informaiei permite:
transmisia n sistemele de calcul - pentru procesarea datelor;
detectarea i corectarea erorilor - se asigur integritatea
datelor;
compresia - pentru minimizarea cantitii de date;
criptarea - pentru a se garanta securitatea datelor.
18
Codificarea informaiei n sistemele
de calcul
Fie:
X={x
1
, x
2
, x
3
,..., x
N
} - mulimea simbolurilor
primare emise de o surs de informaie
A={a
1
, a
2
,..., a
D
} - mulimea simbolurilor codului
folosit.
Cu simbolurile: a
1
, a
2
,..., a
D
se formeaz un numr N de
cuvinte de cod:
C = {c
1
, c
2
,..., c
N
}
19
de calcul
Codificarea este operaia de stabilire a unei corespondene
biunivoce ntre simbolurile x
i
X i c
i
C (pentru i = 1N).
De exemplu:
c
1
: a
1
a
2
a
3
x
1
c
2
: a
2
a
1
a
3
x
2
c
3
:
Totalitatea cuvintelor c
i
(i = 1N) formeaz un cod.
20
de calcul
Dac exist funcia cod:
f: X C
trebuie s existe i funcia invers:
f
-1
: C X.
Operaia de revenire, din mulimea secvenelor de cod n
mulimea simbolurilor primare, se numete decodificare.
21
de calcul
Numrul de simboluri elementare dintr-un cuvnt de cod
reprezint lungimea acestuia.
Codificarea este uniform dac toate cuvintele de cod au aceeai
lungime.
Numrul de secvene distincte (NR) de lungime m, care se pot
crea cu D simboluri elementare, se determin prin formula:
NR = D
m
22
de calcul
n sistemele de calcul mulimea simbolurilor codului este:
A = {0,1}
innd cont de relaia anterioar avem:
N 2
m (
N numrul simbolurilor primare)
Prin logaritmarea relaiei se va obine:
log
2
N m
ntr-o codificare uniform, lungimea m a secvenelor de cod
trebuie s fie cel puin egal cu entropia maxim a sursei.
23
de calcul
Pentru realizarea unei codificri se ine seama de:
Lungimea secvenelor de cod
Capacitatea codului - valoarea maxim a entropiei
alfabetului codului: C
cod
= max H(A) = log
2
D
Eficiena codului - raportul dintre lungimea medie minim
i lungimea medie a unui cuvnt de cod
Redundana codului este mrimea complementar
eficienei.
24
Schema general a unui sistem de transmisie a informaiei
devine (include codificarea primar):
de calcul
25
Coduri numerice i alfanumerice
Coduri alfanumerice
Codul BCD (Binary Coded Decimal);
Codul EBCDIC (Extended Binary Coded Decimal
Information Interchange Code) cod elaborat de
IBM, folosete 8 bii;
Standardul ASCII (American Standard Cod for
Information Interchange) standard de codificare pe 7
sau 8 bii (elaborat n 1968);
Standardul Unicode standard de codificare pe 16 bii
(elaborat n perioada 1988-1991).
26
Caracterul Codul ASCII Codul
EBCDIC
Codul
UNICODE
0 0011 0000 1111 0000 (0030)
H
1 0011 0001 1111 0001 (0031)
H
.
9 0011 1001 1111 1001 (0039)
H
a 0110 0001 1000 0001 (0061)
H
.
z 0111 1010 1010 1001 (007A)
H
27
Caracterul Codul ASCII Codul
EBCDIC
Codul
UNICODE
A 0100 0001 1100 0001 (0041)
H
B 0100 0010 1100 0010 (0042)
H
..
Z 0101 1010 1110 1001 (005A)
H
LF(lineFeed) 0000 1010 0010 0101 (000A)
H
28
Codurile numerice: ponderate i neponderate
Coduri numerice ponderate
Fie N un numr zecimal:
N=z
k
z
k-1
z
k-2
.z
0
z
i
{0, 1, 2, 9} pentru i = 1k
a
j
{0,1};
n - numrul de simboluri din secvena binar asociat cifrei zecimale.
j
P
{0, 1, 2, .... } 9
- ponderea asociat rangului j;
i
j=1
n
j j
z
=
a P

29
Cifra
zecimal
Codul 8421 Codul 2421
Codul
0000 0000
0111
0110
0101
0100
0001
0010
0011
0100
Codul 4221
Codul
bichinar
50 43210
0 0000 0000 01 00001
1 0001 0001 01 00010
2 0010 0010 01 00100
3 0011 0011 01 01000
4 0100 0110 01 10000
8421
Coduri numerice ponderate (I)
30
Cifra
zecimal
Codul 8421 Codul 2421
Codul
1011 1011
1010
1001
1000
1111
1100
1101
1110
1111
Codul 4221 Codul
bichinar
50 43210
5 0101 1001 10 00001
6 0110 1100 10 00010
7 0111 1101 10 00100
8 1000 1110 10 01000
9 1001 1111 10 10000
8421
Coduri numerice ponderate (II)
31
Cifra
zecimal
Codul
Exces 3
Codul
Gray
Codul 2 din 5
(74210)
0 0011 0000 11 000
1 0100 0001 00 011
2 0101 0011 00 101
3 0110 0010 00 110
4 0111 0110 01 001
Coduri numerice neponderate (I)
32
Cifra
zecimal
Codul
Exces 3
Codul
Gray
Codul 2 din 5
(74210)
5 1000 0111 01 010
6 1001 0101 01 100
7 1010 0100 10 001
8 1011 1100 10 010
9 1100 1101 10 100
Coduri numerice neponderate (II)
33
Caracter Linia 1 Linia 2 Linia 3
1 1 0 0 0 1
2 0 1 0 0 1
3 1 1 0 0 0
4 0 0 1 0 1
5 1 0 1 0 0
6 0 1 1 0 0
0
0
0
1
start 1 1 0 0 0
1
1
0
1
0
0
Linia 4 Linia 5
7 0 1 1
8 1 1 0
9 0 1 0
0 0 1 0
stop 1 0 0
Codul de bare 2/5
1: linie lat 0: linie ngust
34
Codul de bare 2/5
1: linie lat 0: linie ngust
35
Coduri detectoare i corectoare de erori
Distana de cod (Hamming)
Codul Hamming
Coduri liniare cu control ncruciat
Coduri polinomiale ciclice
36
Schema general a unui sistem de transmisie a informaiei
devine (include codificarea redundant):
37
Dup modul de prelucrare:
coduri bloc prelucrrile, necesare obinerii proprietilor de
detecie sau de corecie, se fac n blocuri de n simboluri;
coduri convoluionale (recurente) prelucrarea simbolurilor
generate de surs se realizeaz n mod continuu.
Din categoria codurilor bloc se disting:
codurile grup, secvenele de cod sunt considerate ca fiind
elemente dintr-un spaiu vectorial;
codurile ciclice, secvenele de cod sunt considerate ca fiind
elemente ntr-o algebr.
38
Distana Hamming
n spaiul n dimensional al cuvintelor de cod se introduce
funcia distan:
=
=
n
k
jk ik j i a a v v D
1
) ( ) , (
v
i
= [a
i1
, a
i2
, , a
in
] i v
j
= [a
j1
, a
j2
,, a
jn
]
39
Distana Hamming
Probabilitatea unui cod de a detecta i corecta erori depinde de
distana minim ntre dou cuvinte de cod.
Un cod poate detecta un numr de e erori existente n una din
secvenele sale dac:
D
min
e + 1
Un cod poate detecta e erori i corecta c erori, avnd c e,
dac:
D
min
e + c + 1
40
Distana Hamming
Realizarea unor structuri de cod va ine seama de :
numrul secvenelor ce aparin codului;
lungimea cuvintelor de cod;
distana minim de cod.
Operaia de determinare a simbolurilor de control n funcie de

simbolurile de informaie se numete codificare redundant.
41
Codul Hamming
Se consider un spaiu m-dimensional - spaiu de corecie
(2
m
corectori z).
Se definete operatorul : {v
i
} = z
Dac v
i
= v
i
se consider {v
i
} = 0 {v
i
} = 0.
42
Codul Hamming
Structura cea mai simpl pentru operatorul se obine dac se
va considera o transformare liniar, definit prin ecuaiile:
h
11
a
1
+ h
12
a
2
+ . h
1n
a
n
= e
m
h
21
a
1
+ h
22
a
2
+ . h
2n
a
n
= e
m-1
.
h
m1
a
1
+ h
m2
a
2
+ . h
mn
a
n
= e
1
h
ij
- parametri care determin transformarea (i = 1m, j = 1n)
a
j
- simboluri ale cuvntului recepionat (j = 1n)
e
i
elemente ale corectorului (i = 1m)
43
Codul Hamming
Dac se vor utiliza notaiile:
H
h h h
h h h
h h h
n
n
m m mn
=
11 12 1
21 22 2
1 2
- matricea de control;
v = [ a
1
a
2
a
n
] - cuvntul recepionat;
z
e
e
e
m
=
2
1
- cuvnt corector.
H v
T
= z
cnd v = v relaia se consider: H v
T
= 0 H v
T
= 0
(relaia prin care se determin cele m simboluri de control)
44
Codul Hamming
Codul Hamming asigur detecia i corecia unei singure erori.
Pentru a indica poziia erorii - unul din cele n simboluri ale
cuvntului de cod, sau pentru a indica absena erorilor este
necesar ca numrul corectorilor 2
m
n + 1.
Cum n = k + m, o s avem c:
2
m
m + k + 1
mnumrul simbolurilor de control;
k numrul simbolurilor folosite pentru codificarea primar
a informaiei.
45
Codul Hamming
Codul Hamming este caracterizat de o matrice de control H
m,n
,
unde coloana h
k
este reprezentarea binar a numrului k:
H = [h
1
h
2
....h
n
]
Se consider cuvntul eroare, cu o singur eroare:
e = [0,...,
k
,...0] (
k
=1)
Dac se transmite mesajul v se va recepiona:
v`= v e (perturbaie aditiv)
46
Codul Hamming
Corectorul corespunztor va fi:
T
v
H = z

este relaia care se folosete pentru determinarea celor m

simboluri de control, vom avea:
0 =
T
v H

0
.
.
.
.
0
]
h
....
h
.....
h h
[ =
n 2 1
z
k k
e
H
T
v H = z
T
) e v ( H = z
T

e
H =
T
z

z = h
k
Cum
47
Codul Hamming
Pentru emisia unui cuvnt de cod este necesar s se determine
simbolurile de control. Vom nota:
c
m
simbolurile de control
a
k
simbolurile de informaie
vectorul cuvnt de cod va fi: v=[c
1
c
2
a
3
c
4
....a
n
].
Tinnd seama de relaia:
0
T
v H =
48
Codul Hamming
[
h

h
....
h
]
c
c
a
.
.
a
= 0
1 2 n
1
2
3
n
0 0 . . . . 1
0 . . . . . 1
. . . . . . . .
. . . . . . . .
0 1 . . . . .
1 0 . . . . 1

c
c
.
.
.
a
= 0
1
2
n
sau
49
Codul Hamming
1 3 5 n
2 3 6 n
m m+1 n
c a a
.....
a
= 0
c a a
.....
a
= 0
.
.
c a
.......
a
= 0

=
=
=
a
.......
a c
.
.
a
.....
a a c
a
.....
a a c
n 1 m+ m
n 6 3 2
n 5 3 1
50
Codul Hamming
La recepionarea cuvintelor de cod v' se calculeaz corectorul:

v
H = z
T ,

a
.
.
c
c
]
h
......
h
[ =
e
e
.
e
'
n
'
2
'
1
n 1
1
2
m
51
Codul Hamming
1
' ' '
m
' ' '
e
= a ..... a
.................
e
= c a ...+ a

c
n
m m n
1 3
1

+
Numrul binar (e
m
.....e
2
,e
1
) se decodific i se obine poziia
erorii.
52
Codul Hamming
Vom particulariza pentru k = 4 - numrul simbolurilor de informaie
Din relaia:
2
m
m + k + 1 2
m
5 + m m 3
Considernd m=3 :
n = m + k n= 7
Vom avea:
v=[c
1
c
2
a
3
c
4
a
5
a
6
a
7
] - vectorul cuvnt de cod
H
3,7
=[h
1
h
2
.....h
7
] - matricea de control
53
Codul Hamming
Aplicnd relaia:
Hv
T
=0
pentru determinarea celor msimboluri de control, vom avea:
0 0 0 1 1 1 1
0 1 1 0 0 1 1
1 0 1 0 1 0 1
c
c
a
c
a
a
a
= 0
1
2
3
4
5
6
7
54
Codul Hamming
Efectund calculele:
4 5 6 7
2 3 6 7
1 3 5 7
4 5 6 7
2 3 6 7
1 3 5 7
c a a a
= 0
c a a a
= 0
c a a a
= 0

c
=
a a a
c
=
a a a
c
=
a a a

55
Codul Hamming
La recepie, determinarea corectorului se obine prin relaia:
4
2
1
'
'
'
'
'
'
'
e
e
e
=
0 0 0 1 1 1 1
0 1 1 0 0 1 1
1 0 1 0 1 0 1

c
c
a
c
a
a
a

1
2
3
4
5
6
7
56
Codul Hamming
Efectund calculele vom avea:
4
' ' ' '
2
' ' ' '
1
' ' ' '
e
= c a a a
e
= c a a a
e
= c a a a

4 5 6 7
2 3 6 7
1 3 5 7

Combinaia binar (e
4
,e
2
,e
1
) decodificat indic poziia eronat.
57
Se va emite blocul de informaie codificat:
Simboluri
informaionale
Control
linie
a
11
a
12
....a
1n
............
a
m1
a
m2
....a
mn
l
1
l
m
Control
coloan
c
1
c
2
....... c
n
l
m+1

impar paritatea 1
a
par paritatea
a
=
l
ik
n
1 = k
ik
n
1 = k
i

) m 1, = (i
impar paritatea 1
a
par paritatea
a
=
c
kj
m
1 = k
kj
m
1 = k
j

) n 1, (j=
Paritate lateral sau transversal:
Paritate longitudinal:
58
Informaia recepionat este:
Simboluri
informaionale
Control
linie
a'
11
a'
12
..a'
1n
............
a'
m1
a'
m2
..a'
mn
l'
1
l'
m
Control
coloan
c'
1
c'
2
....... c'
n
l'
m+1
Paritate lateral calculat la recepie:
Paritate longitudinal calculat la
recepie:
m 1, = i , 1] [
' a
=
l
ik
n
1 = k
icalc

n 1, = j , 1] [
' a
=
c
kj
m
1 = k
jcalc

59
Prin compararea paritilor recepionate cu cele calculate, se poate
afirma c blocul de informaie a fost transmis:
fr erori, dac l'
i
= l
icalc
pentru i = 1m i c'
j
= c
jcalc
pentru j = 1n ;
cu erori, dac i{1, 2,, m} astfel nct l'
i
l
icalc
sau
j{1, 2,, n} astfel nct c'
j
c
jcalc
60
Codurile polinomiale ciclice - simbolurile care formeaz o secven
de cod sunt considerate ca fiind coeficienii unui polinom:
M(x) = a
n
x
n
+a
n-1
x
n-1
++a
0
unde a
i
{0, 1} , i = 0n
61
Algoritmul de codificare prin mprire este:
Fie mesajul M: (a
n
,a
n-1
,.....,a
0
) - n+1 cifre binare informaionale.
Se asociaz un polinomul:
M(x) = a
n
x
n
+a
n-1
x
n-1
++a
0
( a
i
{0, 1}, i = 0n )
Se alege polinomul G(x) de grad r, acesta fiind polinomul de
genarare a codului:
G(x) = b
r
x
r
+ b
r-1
x
r-1
+..+ b
0
(b
j
{0, 1}, j = 0r )
62
Se nmulete M(x) cu x
r
:
M'(x)=M(x)x
r
Se mparte M'(x) la G(x):
M (x)
G(x)
= C(x)
R(x)
G(x)

Se adun R(x) cu M'(x):
T(x) = M'(x) R(x)
Coeficienii polinomului T(x) constituie mesajul emis:
T: (a
n
a
n-1
....a
0
c
r-1
.....c
0
)
unde a
i
{0, 1}, i = 0n ; c
j
{0, 1}, j = 0r-1
63
Polinomul ataat mesajului transmis este un multiplu al polinomului
de generare:
T(x)
G(x)
=
M (x) R(x)
G(x)
=
M (x)
G(x)

R(x)
G(x)

M (x)
G(x)
= C(x)
R(x)
G(x)

se va obine: Cum
C(x) =
G(x)
R(x)

G(x)
R(x)
C(x) =
G(x)
T(x)
0
4 43 4 42 1
=

Criteriul pentru
detectarea erorilor
64
Mesajului recepionat se asociaz polinomul T'(x):
T'(x)=T(x) E(x)
unde E(x) este polinomul erorilor;
Se verific dac T'(x) este divizibil prin G(x) (criteriul de
detectare a erorilor):

T (x)
G(x)
=
T(x) E(x)
G(X)
=
T(x)
G(x)

E(x)
G(x)
= C(x)
E(x)
G(x)
E(x) este multiplu al lui G(x) - mesajul recepionat este validat
E(x) nu este multiplu al lui G(x) - mesaj cu eroare
65
Bibliografie
1. Nstase Fl., Zota R., TimofteC., Constantinescu R., Bazele
tehnologiei informaiei, Ed. InfoMega, Bucureti, 2007

Teoria Transmisiei Informatiei

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Teoria Transmisiei Informatiei

Încărcat de

Drepturi de autor:

Formate disponibile

Teoria transmisiei informaiei

Prof. univ. dr. Fl. NSTASE

Operaia de determinare a simbolurilor de control n funcie de

este relaia care se folosete pentru determinarea celor m

S-ar putea să vă placă și