Bazele Tehnologiei Informaiei

Curs 2
Facultatea de Cibernetic, Statistic i Informatic Economic
(CSIE) ASE Bucureti

Rzvan Daniel ZOTA

zota@ase.ro
http://zota.ase.ro/bti

5/16/16

Elemente de teoria transmisiei informaiei

1. Entropia informaional
Informaia = mesaj care aduce o precizare ntr-o problem cu un
anumit grad de incertitudine.
Incertitudinea (nedeterminarea) scade o data cu apariia informaiei
Fie experimentul X, cu repartiia probabilistic:

x1 x2 ... xn

p
p
...
p
n
1 2
Sistemul de evenimente considerat este un sistem complet.

Formula lui Shannon

Claude E. Shannon a considerat urmtoarea formul ca msur a
nedeterminrii:
n

H ( p1 , p2 ,..., pn ) pi log 2 pi
i 1

H se numete entropie informaional.

Unitatea de msur a informaiei este bitul. Un bit (Binary digIT) este
definit ca fiind cantitatea de informaie obinut prin precizarea unei
variante din dou egal probabile*.

Exemplu de codificare
Ce nseamn faptul c un semnal codificat are 1,75 bii/simbol?
= putem converti semnalul original ntr-un ir de 1 i 0 astfel nct media
este 1,75 cifre binare pentru fiecare simbol din semnalul original.
Pp. c avem 4 simboluri: A, B, C, D cu probabilitile:
PA=1/2; PB=1/4; PC=1/8; PD=1/8
-log2PA = 1 bit, -log2PB = 2 bii, -log2PC = 3 bii, -log2PD = 3 bii
Conform formulei lui Shannon, nedeterminarea este:

1
1
1
1
1 2 3 3 1,75 biti
2
4
8
8

Exemplu de codificare (cont.)

Dac folosim reprezentarea binar pentru simbolurile A,B,C,D:
A = 1; B = 01; C = 000; D = 001, atunci irul ABADCAAB va fi
codificat astfel:
10110010001101
(14 cifre binare utilizate pentru codificarea celor 8 simboluri => media
este 14/8 = 1,75)
Obs. Ce se ntmpl dac folosim o codificare de genul:
A = 00; B = 01; C = 10; D = 11 ?

Proprietile entropiei informaionale

P1. H ( p1 , p2 ,..., pn ) 0

P 2. H ( p1 , p2 ,..., pn ) 0 k 1,2...n a.i. pk 1

1 1
1
P3. H ( p1 , p2 ,..., pn ) H ( , ,..., )
n n
n

Proprietile entropiei informaionale (cont.)

P 4. H ( p1 , p2 ,..., pn ,0) H ( p1 , p2 ,..., pn )

P5. H ( X 1 X 2 ... X n ) H ( X 1 ) H ( X 2 ) ... H ( X n )
P 6. H ( X Y ) H ( X ) H (Y / X ), X , Y
n

unde : H (Y / X ) p ( xk ) H (Y / xk )
k 1

H (Y / xk ) p ( yi / xk ) log 2 p ( yi / xk )
i 1

Proprietile entropiei informaionale (cont.)

P7. H (Y / X ) H (Y ), X , Y
P8. H ( X Y ) H ( X ) H (Y )
P9. H ( X / Y ) H (Y / X ) H ( X ) H (Y )

Bazele aritmetice ale calculatoarelor

Sistem de numeraie = totalitatea regulilor de reprezentare a
numerelor cu ajutorul unor simboluri (cifre).
Numrul de simboluri permise s.n. baza (rdcina) sistemului de
numeraie
Sisteme de numeraie
poziionale
nepoziionale
Sistemul roman
I X C M
V L
1 10 100 1000
5

D
50 500

Bazele aritmetice ale calculatoarelor

Atunci cnd un simbol cu o valoare mai mic este poziionat dup un simbol
cu o valoare mai mare, valorile simbolurilor se adun.

Bazele aritmetice ale calculatoarelor

Atunci cnd un simbol cu o valoare mai mic este poziionat nainte de un
simbol cu o valoare mai mare, valoarea mai mic se scade din cealalt.

Reprezentarea ntr-o baz oarecare a unui

numr ntreg

Reprezentarea unui numr ntreg

N an an 1 a0
N an b n an 1 b n 1 a0 b 0
Este reprezentarea numrului ntreg N n baza b. Cifrele
numrului N au urmtoarea proprietate:

0 ai b 1, i 0, n

5/16/16

Reprezentarea ntr-o baz oarecare a unui

numr real

Reprezentarea unui numr real R

R an an 1 a0 a1 a m
R an b n an 1 b n 1 a0 b 0 a1 b 1 a m b m
Este reprezentarea numrului real R n baza b. Cifrele numrului
R au urmtoarea proprietate:

0 ai b 1, i m, n
nu exist k astfel nct ak ak 1 ak 2 b 1
5/16/16

Conversia bazei de numeratie

Conversia bazei de numeraie (partea ntreag, partea

fracionar)
Conversia rapid ntre baze ntre care exist relaia:

b1 b2p ,

5/16/16

Reprezentarea numerelor n virgula fix

Reprezentarea n virgul fix

5/16/16

cod direct (CD)

cod invers (CI)
cod complementar (CC)

Reprezentarea numerelor n cod direct (CD)

CD

R an 2 n

n 1

i
a

2
i

i m

0 , dac R 0
an
1, dac R 0
an bit de semn
5/16/16

Reprezentarea numerelor n cod invers (CI)

n 1

i
0

2
, dac R 0

i
CI

i m
R
n 1
1 2n
a i 2i , dac R 0

i m
n

a i 1 ai , i m, n 1, unde a i sunt cifrele binare ale lui R n

cod direct
Modalitate de calcul :
CI

R 2 n 1 R CD 2 m

5/16/16

Reprezentarea numerelor n cod complementar (CC)

n 1

0 2 ai 2i , dac R 0

CC

i m
R
n 1
n
1 2
a i 2i , dac R 0

i m
n

n 1

i m

2
i

n 1

im

2i 2 m , unde a i a i - 1 i a i sunt cifrele binare ale

lui R n cod direct

Modalitate de calcul :
CC

R 2 n 1 R CD
5/16/16

Adunarea/scderea n virgul fix

Adunarea n CD, CI i CC (Ex. 93-27 n CI)

Scderea n CD, CI i CC

5/16/16

Reprezentarea numerelor n format BCD

BCD (Binary Coded Decimal) zecimal codificat binar
Format:
mpachetat (packed BCD)
despachetat (unpacked BCD)
n format mpachetat se reprezint 2 cifre zecimale pe un octet (cifra
cmps pe biii 0-3 i cifra zecimal cms pe biii 4-7):
96 = 1 0 0 1 0 1 1 0
7

43

n format despachetat se reprezint o cifr zecimal pe un octet

memorat pe biii 0-3, iar biii 4-7 conin informaia F h:
6= 11110110
7
5/16/16

43

Reprezentarea numerelor n format BCD la Intel

Tipul

Lungime

Precizie

Domeniul de valori
(zecimal)

BCD
mpachetat

80

18 (cifre
zecimale)

(-1018+1) (1018-1)

S
79 78

5/16/16

D17 D16 D15

72 71

D1 D0
0

Adunarea numerelor n BCD

Adunarea n BCD adunare obinuit n binar, pentru
fiecare grup de cte 4 cifre binare, avndu-se n vedere
urmtoarele cazuri. Dac a i b sunt cele dou cifre
zecimale codificate n binar, rezultatul c=a+b este:
Corect, dac 0000 < c <=1001
Incorect, i se adun 0110 astfel:
1010

<= c <=1111 nu corespunde unei cifre zecimale

(adunarea lui 0110 va determina transport la rangul
urmtor)
0000 <= c < 1001, cu apariia celei de-a 5-a cifre binare,
1, care reprezint transport pentru tetrada superioar
5/16/16

Scderea numerelor n BCD

Scderea n BCD scdere obinuit n binar, pentru fiecare
grup de cte 4 cifre binare, avndu-se n vedere urmtoarele
cazuri:
Dac a i b sunt cele dou cifre zecimale codificate n binar,
rezultatul c = a - b este:
corect, dac c > 0
Dac c < 0 atunci se face mprumut de la tetrada
superioar, se face scderea, apoi se scade valoarea de
corecie 0110

5/16/16