Informatia

Teoria informaiei s-a impus n comunitatea oamenilor de tiin i n

special a inginerilor fixnd un cadru general de abordare a problemelor
legate de comunicaii (telecomunicaii). Acest cadru teoretic permite
definirea i evaluarea performanelor precum i a unor limite
fundamentale pentru diverse sisteme de comunicaii. Rezultatele iniiale
au fost obinute de inginerul englez Claude Shannon i au fost orientate n
a stabili modul de organizare a unui sistem de transmitere a informaiei pe
canale perturbate astfel ca probabilitatea recepionrii unor semnale
eronate s fie mai mic dect o valoare impus. Cum vehicularea
informaiei este puternic dependent de tipul i proprietile canalului
utilizat a fost definit capacitatea unui canal de comunicaii. Pentru o
corect definire a problemelor analizate s-a introdus noiunea de surs
aleatoare de semnale discrete (care substituie conversia i transmisia
semnalelor video sau audio). Aceste surse sunt n general extrem de
complexe ; prelucrarea primar n ideea transmiterii la distan produce
distorsiuni n raport de forma real iniial. Astfel de surse sunt definite ca
surse entropice.

Pornind de la lucrrile de pionierat elaborate de Shannon , teoria informaiei
a fost dezvoltat ulterior permind lrgirea cadrului n care aceast teorie
este aplicat cu succes. Domeniul de aplicabilitate este foarte larg . n
continuare vom enumera numai cteva domenii de aplicabilitate:
fizica statistic (termodinamic , fizic cuantic)
tiina calculatoarelor ( complexitatea algoritmilor , probleme de
calculabilitate)
teoria probabilitilor ( teorema limitei centrale)
statistica matematic ( testarea ipotezelor statistice , teoria informaiei de
tip Fisher , teoria estimaiei)
economie
biologie
criptografie ( securizarea transmiterii datelor)
reele de comunicaii
Schema generala
Sursa primar este modelat n general ca generator de semnal aleatoriu discret
sau continuu.
Codorul de surs realizeaz conversia semnalului dat de surs pentru a obine o
compactare a semnalului oferit de surs , eliminnd elementele lipsite de coninut
sau redundante (compactarea semnalului iniial).
Codorul de canal realizeaz o conversie a semnalului astfel nct acesta s poat
fi reprodus la recepie cu o ct mai mare fidelitate. n general este necesar
introducerea unei redundane pentru ca recepie semnalul s fie recunoscut chiar
dac acesta a fost modificat datorit unor perturbaii mai mult sau mai puin
puternice ce apar pe canalul de transmisie.
Modulatorul transmiterea pe canale perturbate a unor semnale de tip tot sau
nimic (impulsuri rectangulare) este puternic afectat de zgomotele
perturbatoare. n general , semnalele obinute de la codorul de canal sunt
compuse pe o purttoare sinusoidal ( semnalul iniial, i care formeaz intrarea n
modulator modific unul din parametrii unui semnal sinusoidal i care se transmite
pe canal).
Canalul fizic mediu prin intermediu cruia se transmite informaia i asupra
cruia acioneaz zgomotele perturbatoare. n cazul nostru vom modela efectul
perturbaiilor prin probabilitatea ca un semnal s fie recepionat eronat de ctre
receptor.
Canalul receptor compus din demodulator, decodor de canal, decodor de surs
realizeaz operaii inverse n raport cu cele din canalul de emisie.

Ce reprezint informaia ?.

Informaia reprezint un mesaj ateptat i
recunoscut de ctre receptor dar incert n faza iniial.
Oricare mesaj recepionat care ofer rezultate
cunoscute nu nltur nici o incertitudine i prin urmare
nu aduce nici o informaie. Prin urmare numai
eliminarea unei incertitudini poate aduce informaii. O
astfel de abordare va conduce la posibilitatea definirii
nu numai a informaiei dar i a cantitii de informaie
care s o poat defini cantitativ.
Dup ce am obinut informaia problema care se
pune este de a o memora sau vehicula.

Cum reprezentm informaia n ideea memorrii sau
vehiculrii ct mai comod
Cel mai eficient i totodat natural mod de a memora sau
vehicula informaia este introducerea unor simboluri i a
unor reguli de concatenare a acestor simboluri. Astfel n
limba romn exist 24 de simboluri i prin concatenarea
acestora putem transmite sau memora oricare mesaj. Un
alt exemplu, mult mai apropiat de preocuprile inginerului,
l reprezint concatenarea simbolurilor 0 i 1 (modalitate
utilizat n dispozitivelor numerice de calcul sau n cazul
transmisiei de date numerice.
Totalitatea mesajelor ce pot fi formate reprezint un
dicionar al cuvintelor de cod. n funcie de modul de
definire, lungimea cuvintelor de cod poate fi diferit de la
un dicionar la un alt dicionar
Care este forma ce mai economic pentru
reprezentarea unui mesaj informaional ?.
Considerm cazul n care patru evenimente
trebuie codate cu ajutorul simbolurilor 0 i 1.
Dintre multitudinea de posibiliti de formare
a unui dicionar n tabelul 1.1 sunt prezentate
dou cazuri.

Eveniment Probabilitatea Cod1 Cod2
A 1/2 00 0
B 1/4 01 10
C 1/8 10 110
D 1/8 11 111
Problema care se pune este de a aprecia n ce msur este
mai eficient sau mai puin eficient reprezentarea printr-un
cod sau cellalt cod. Considerm c probabilitatea de apariie
a celor patru evenimente este diferit . Valorile
probabilitilor de apariie sunt date n tabelul 1.1. Prin
urmare media biilor de cod utilizai n cele dou coduri
prezentate va fi:





Evident, cel de al doilea cod este mai compact (mai economic)
n raport cu primul avnd o medie a cuvintelor de cod mai
mic. Problema minimizrii lungimii medii va fi analizat
ulterior.
Cum poate fi msurat informaia ?
Am specificat anterior c un mesaj care elimin o incertitudine este un
mesaj purttor de informaie. Cu ct incertitudinea eliminat este mai
mare cu att cantitatea de informaie coninut de acest mesaj este mai
mare. Este normal s considerm c apariia a dou evenimente elimin o
incertitudine care reprezint suma incertitudinilor eliminate de apariia
fiecrui eveniment. n cazul a dou evenimente a cror probabilitate difer
foarte puin diferena dintre incertitudinile eliminate de fiecare
eveniment. De exemplu pentru dou evenimente cu probabiliti 0.20001
i 0.19999 este rezonabil s considerm c informaia este aceeai. Vom
arta n cele ce urmeaz c numai funcia logaritmic poate asigura
proprietile anterior remarcate i poate constitui o msur pentru
informaia proprie.
n modul n care am abordat problema cantitatea de informaie este
asociat fiecrui eveniment. Pentru caracterizarea global vom introduce
o funcie care evalueaz informaia medie a unei surse i care este definit
ca funcia entropie.

Cum poate fi msurat informaia ?
n exemplu anterior prezentat am artat c evaluarea unui cod trebuie s se bazeze pe
lungimea medie a cuvintelor de cod . O asemenea evaluare poate permite
dimensionarea optim a memoriei necesare nregistrrii mesajelor obinute de la sursa
primar.
n 1948 Shannon a artat c cele dou abordri ( prin lungimea medie a
cuvintelor de cod sau prin cantitatea medie de informaie coninut de surs ) sunt de
fapt echivalente. Valoarea minim pentru lungimea medie a cuvintelor de cod este
egal cu entropia sursei. Pentru cazul prezentat entropia sursei va fi:


valoare care este identic cu valoarea de minim a lungimii cuvintelor de cod (cazul celui
de al doilea cod introdus).
n cazul n care informaia este transmis pe canale afectate de zgomot (canale
perturbate ) problema se va pune i inerent va fi soluionat n mod diferit. Dac pentru
canale neperturbate ne propunem exclusiv minimizarea lungimii cuvintelor de cod
pentru a asigura o eficien maxim transmisiei, n cazul canalelor perturbate este
necesar s asigurm o recepionare corect a mesajelor transmise. n cazul unui canal
binar care opereaz pe simbolurile 0 i 1 este posibil ca datorit perturbaiilor n
recepie 1 s fie interpretat ca 0 sau 0 ca 1. Dac impunem transmiterea simbolului s
fie repetat de un numr de ori iar interpretarea n recepie s fie fcut printr-o logic
majoritar probabilitatea de recepionare a unui mesaj eronat scade foarte mult. Prin
urmare creterea redundanei codului crete fiabilitatea transmisiei dar diminueaz
considerabil eficiena
Fiind dat un canal perturbat cum putem maximiza eficiena
transmisiei pentru o rat de eroare pe fiecare simbol
informaional ct mai mic