1. Definiți implicația a două evenimente A și B.

(semnificație, simbol)

Implicatia:
• Evenimentul A implică evenimentul B
• Producerea evenimentului A conduce automat la producerea evenimentului B

2. Definiți reuniunea a două evenimente A și B. (semnificație, simbol)

Reuniunea:
Operaţie binară care constă în producerea cel puţin a unuia din cele doua evenimente (A sau B)

3. Definiți intersecția a două evenimente A și B. (semnificație, simbol)

Intersectia:
Operaţie binară care constă în producerea ambelor evenimente A şi B

4. Explicați formula probabilitții totale:

Formula permite calculul probabilităţii fiecărui eveniment al partiţie condiţionat A.

5. Specificaţi şi definiţi unitatea de măsură a informaţiei.

Informaţia este o măsură a incertitudinii în procesul alegerii unui eveniment dintr-un număr de
evenimente posibile, cea mai simplă alegere este alegerea între două evenimente.

Unitatea de informaţie este bit-ul.

6. Care este relația de calcul pentru cantitatea de informație?

Presupunem ca intr-o situatie oarecare se pot produce N evenimente diferite, egal probabile;
probabilitatea unui eveniment este p.
p=1/N.
Cu cat evenimentul este mai previzibil, cantiatea de informatie e mai mare.
Cantitatea de informaţie ce se obţine când se realizează un şir tipic Xn este:

7. Definiți sursa discrete fără memorie și sursa 1iscrete cu memorie.

Sursă discreta fără memorie = o sursă la care probabilitatea de apariţie a unui simbol nu
depinde de simbolurile precedente generate de sursă.

Sursă discreta cu memorie = o sursă la care probabilitatea de apariţie a unui simbol depinde de
simbolul precedent sau de un şir de simboluri anterioare generate de sursa.
8. Definiți entropia unei surse (analitic, unitate de măsură, semnificație).

- Mărimea care caracterizează o sursă de informaţie este ENTROPIA.

- Entropia unei surse multiple = produsul cartezian al mai multor surse simple (nu numai
două), se poate stabili recursiv, pornind de la două surse renunţănd la scrierea indicilor.

- Unitate de masura: bit/symbol

9. În ce condiții este entropia unei surse maximă?

H(X) are valoare maximă pentru p1=p2= … = pn

10. În ce condiții este entropia unei surse minimă?

- Daca pentru evenimentele care pot fi generate de o sursa de informatie se afla evenimentul
sigur => entropia nula.

11. Pentru ce este folosit modelul Markov în teoria surselor de informație? Care sunt parametrii
în modelul Markov?

Sursele de informatie necesita modele perfectionate care sa transforme sursa intr-una cu un

anumit gen de memorie.

Cel mai utilizat model => Modelul MARKOV

12. Câte stări are o sursă Markov de ordin m cu q simboluri?

O sursă Markov cu un alfabet de q simboluri, de ordin m poate avea qm stari distincte cu

qm+1 probabilităţi diferite de tranziţie de la o stare la alta.
13. La ieșirea unei surse Markov de ordin 2 se observă următoarea secvență de simboluri:
0 0 1 0 0 1 1 0 ... (starea iniţială a sistemului este 00). Precizați secvența de stări observate
pentru această secvență de simboluri observate.

14. Explicați semnificația unui element din matricea probabilităților de tranziție asociată unei
surse Markov de ordin m:

În ce interval iau valori i și j dacă sursa de mai sus

are q simboluri?

Element de pe poziţia ij = probabilitatea de a genera simbolul pornind de la starea Sm;i si

ajungand la starea Sm;j .

Suma probabilităţilor pe linie este egală cu 1 = suma probabilităţilor ca plecând din starea i să se
ajungă în una din cele n stări posibile Sm;j

15. Definiți o sursă Markov ergodică (dați un exemplu de sursă neergodică)

O sursa Markov este ergodica daca dupa un nr. finit de pasi exista
probabilitatea de a trece inorice stare cu probabilitati ne-nule. O sursă Markov
ergodică este o sursă care observată timp îndelungat generează o secvenţă
care este tipică. Cele mai multe surse Markov sunt surse ergodice
 16. Explicați proprietatea de staționaritate a surselor Markov. Numiți instrumentul matematic
folosit pentru a caracteriza staționaritatea unei surse Markov.

Proprietatea importantă a surselor Markov este staţionaritatea.

Distribuţia stărilor sistemului după un număr foarte mare de tranziţii este independentă de
starea iniţială = sursa tinde către o stare numită staţionară, independenta de start,

17. Explicați termenii din relația de definiție a entropiei unei surse Markov:

Probabilitatea condiţionată să apară simbolul si este:

Informaţia medie pe simbol este:

H(S) = entropia sursei S

sm= stare curenta
si= simbol curent
Sm+1= suma dubla
smsi = sir de m simboluri
P(smsi) = Probabilitatea ca simbolul si sa fie in sm

18. Elementele din matricea ce este atașată unui canal de comunicare sunt P(bj/ai)=Pij.
A={ai}, i=1,2, …, r reprezintă alfabetul de intrare (simboluri aplicate la intrarea în canal)
B={bj}, j=1,2, …, s reprezintă alfabetul de ieșire (simboluri observate la ieșirea din canal)
Explicați semnificația unui element al matricii atașată canalului (Matricea P).

Unui canal I se ataseaza o matrice care are ca element probabilitati conditionate P(bj|ai).
P(bj|ai) = Pij, unde I=1->r (linii), j=1->s (coloane).

Alfabetul de intrare A = multimea simbolurilor applicate la intrarea canalului.

Alfabetul de iesire B = multimea simbolurilor observate la iesirea canalului.
19. Elementele din matricea ce este atașată unui canal de comunicare sunt P(bj/ai)=Pij.
A={ai}, i=1,2, …, r reprezintă alfabetul de intrare (simboluri aplicate la intrarea în canal)
B={bj}, j=1,2, …, s reprezintă alfabetul de ieșire (simboluri observate la ieșirea din canal)
Scrieți matricea canalului și enunțați proprietățile acesteia (Matricea P).

- Unui canal i se ataşează o matrice care are ca elemente probabilităţile condiţionate P(bj /ai )
din definiţie (r-linii * s-coloane).
P(bj/ai)=Pij => i ia valori de la 1 la r (dimensiunea alfabetului de intrare)
j ia valori de la 1 la s (dimensiunea alfabetului de ieșire)

Proprietati:
1. Fiecare linie corespunde unui simbol de intrare.
2. Fiecare coloană corespunde unui simbol de ieşire.
3. Trimiterea unui simbol ai produce întotdeauna un simbol bj la ieşire
(suma probabilităţilor depe o linie este egală cu unitatea)

20. Ce tip particular de canal este descris de următoarea matrice:

Canal binar fara zgomot.

21. Ce tip particular de canal este descris de următoarea matrice:

Canal binar simetric cu zgomt (1% din biti sunt inversati)

22. Ce reprezintă entropia apriori pentru un canal de comunicație? Explicați elementele din relația
de definiție:

H(A) = entropia apriori a sursei de la intrare (incertitudinea medie la intrarea canalului inainte
de a observa iesirea).
P(a) = probabilitatea apriori ale simbolurilor la intrarea canalului
Relatia reprezintă incertitudinea medie la intrarea canalului înainte de a observa ieşirea.

23. Explicați semnificația următoarelor probabilități conditionate:

P(bj/ai) și P(ai/ bj) unde
A={ai}, i=1,2, …, r reprezintă alfabetul de intrare (simboluri aplicate la intrarea în canal)
B={bj}, j=1,2, …, s reprezintă alfabetul de ieșire (simboluri observate la ieșirea din canal)

P(ai|bj) = probabilitati aposteriori ale simbolurilor la intrarea canalului a.

24. Ce reprezintă entropia aposteriori pentru un canal de comunicație? Explicați elementele din
relația de definiție:

Relatia reprezinta Entropia aposteriori a sursei de la intrare (incertitudinea medie la intrarea

canalului dupa observarea iesirii)

25. Ce reprezintă echivocația intrării la ieșire pentru un canal de comunicație? Explicați

elementele din relația de definiție:

H(A/B) – incertitudinea medie la intrarea canalului după observarea ieşirii (Echivocaţia intrării la
ieşire).

26. Explicați semnificația Transinformației (Informație mutuală) exprimată prin următoarea

definiție:

H(A) = incertitudinea medie la intrarea canalului înainte de observarea ieşirii (Entropia apriori)
H(A/B) = incertitudinea medie la intrarea canalului după observarea ieşirii (Echivocaţia intrării la
ieşire)
H(A)-H(A/B)  exprima efectul canalului (operaţia de transmitere a informaţiei generate la
intrarea canalului).

27. Ce fel de canal este cel care are următoarea matrice asociata:

Canal lipsit de zgomot.

Pentru orice simbol observat la ieşire, simbolul de la intrare este identificat fără echivoc)

28. Ce fel de canal este cel care are următoarea matrice asociată:

Canal determinist

Canalul caracterizat de matricea P:

• La un canal determinist, odată cunoscut simbolul de la intrare, se poate spune
exact care va fi simbolul la ieşire.

Particularitatea matricei P – pe fiecare linie are un singur element nenul şi acela este
29. Explicați semnificația capacității unui canal de comunicație pe baza relației de definiție:

Capacitatea unui canal = maximul informatiei mutuale in raport cu sursa de intrare.

Valoarea maximă a informaţiei mutuale arată cât de bine poate canalul să transmită informaţia
relativ la sursa de intrare.

30. Definiția capacității unui canal de comunicație conform Teoremei Shannon-Hartley este
următoarea:

Explicați termenii care intervin in relația de definiție.

W – fie un canal de banda WHz.

P – fie semnalul de putere P
𝜹𝟐 – fie zgomotul de putere 𝜹𝟐
𝑺
= raport semnal zgomot
𝒁

31. . Definiți un cod nesingular și un cod unic decodabil.

Cod nesingular = un cod alcătuit din cuvinte distincte.

Cod unic decodabil = extensia a n-a a codului este nesingulară pentru orice n finit.

32. Definiți un cod nesingular și un cod bloc.

Cod nesingular = un cod alcătuit din cuvinte distincte.

Cod bloc = cod nesingular cu cuvinte de lungime constantă.

33. Definiți un cod instantaneu

Cod instantaneu = cod unic decodabil pentru care orice cuvânt într-o secvenţă se poate decoda
fără referire la alte simboluri succesive ale canalului.

34. Care este condiția necesară și suficientă ca un cod să fie instantaneu?

Un cod care este unic decodabil dar nu este instantaneu cere memorarea temporară la
recepţie a cuvintelor de cod anterioare şi a cuvântului curent pentru a obţine o decodare
corectă.
35. Completați în reprezentarea următoare categoriile de coduri în pozițiile corespunzătoare
(coduri unic decodabile, coduri instantanee și coduri nesingulare):

36.Ce exprimă inegalitatea lui Kraft?

Inegalitatea lui Kraft = exprima conditia pentru ca un cod instantaneu cu lingimile l1, l2...lm sa existe.

m = simboluri
l = lungime de cod
r = nr de cuvinte de cod

37.Enunțați Teorema lui McMillan.

Conform teoremei lui Mc. Millan, pentru fiecare cod unic decodabil neinstantaneu poate fi
stabilit un cod instantaneu cu aceleaşi lungimi ale cuvintelor.

38.Care este relația de calcul pentru lungimea medie a cuvintelor unui cod?
 39.Care este însușirea unui cod compact pentru codarea simbolurilor unei surse de informație?

Cod-ul este compact dacă lungimea lui medie este mai mică sau cel mult egală (<=) cu lungimea
medie a oricărui alt cod unic decodabil care utilizează acelaşi alfabet pentru codarea
simbolurilor sursei date.

40.Care este limita inferioară a lungimii medii posibile pentru un cod?

41.Definiți eficiența și redundanța unui cod.

42.Ce puteți spune despre o sursă specială?

Prin surse speciale se înţelege acele surse cu probabilităţile pi asociate simbolurilor,

1
log r
cu astfel de valori încât numerele
pi sunt numere întregi.
1
li  log r
Pentru sursele speciale, un cod cu lungimile
pi pe un alfabet cu r simboluri,
satisface condiţiile:

pi  r  li  L  H r S 
43.Teorema lui Shannon de codare pentru canale fără petubații este exprimată prin relația:
Teorema de codare a lui Shannon impune o limită superioară pentru lungimea medie L a codurilor
compacte şi arată cum este posibilă obţinerea unui cod eficient prin extinderi ale schemei de codare

. Indicați semnificația fiecărui termen din relație și explicați semnaificația

relației.

Ln = lungimea medie a extensiei a n a codului acelei surse.

S = sursa de informatie.

Hr(S) = entropia.
R = Viteza de transmitere a codorului
C = capacitatea canalului fără perturbaţii

Ln
lim  H r S   lim R  C
n  n n 

44.Definiți distanța Hamming între două cuvinte de cod și enunțați proprietățile ei

Distanţa Hamming = numărul de poziţii în care cuvintele a şi b diferă. Se notează d(a,b) →

numărul de poziţii în care ai ≠ bi.

45.Definiți distanţă minimă d(k) a unui cod K.

Distanta minima d(k) a unui cod K = cea mai mică distanţă Hamming între două cuvinte ale
codului.

46. Ce puteți spunde despre un cod pentru care distanța minimă d(k) satisface relația: dk   t.
Dar dacă satisface relația? dk   2t

d(k)>t => Un cod detectează toate cuvintele în care t biţi sunt eronaţi dacă distanţa lui minimă
este superioară lui t.
d(k)>2t => Un cod poate corecta t biţi eronaţi (la recepţie) dacă distanţa lui minimă este mai
mare decât 2t
47.Cum se construiește un cod cu paritate constantă? Dar un cod cu repetiție?
Regula după care se formează un cod cu paritate constantă este: se adaugă un bit la codul originar
care să fie suma biţilor de aceeaşi paritate
– Sumă cu paritate pară
– Sumă cu paritate impară
Codurile cu paritate constanta
N=L+1
o Se adauga un bit la codul original (suma biti de aceeasi paritate)
Codurile cu repetitive

o Se definesc si se utilizeaza pt L=1, repeat bitul original de N ori (N nr. Impar)

48.Cum este definit un cod liniar?

Cod binar liniar = cod care are particularitatea ca 2k cuvinte de lungime n satisfac (n-k) ecuaţii
liniare în biţii xi, i=1, 2, ..., n
Orice sistem liniar şi omogen de (n-k) ecuaţii cu n necunoscute binare se asociază unui cod liniar.
Este cunoscut că în anumite condiţii (condiţii de rang maximal pentru matricea sistemului), un sistem
de (n-k) ecuaţii cu n necunoscute, are n-(n-k)=k necunoscute independente. Acest sistem are 2 k
soluţii distincte (în binar)

49.Ce particularitate au codurile liniare sistematice? Care este avantajul pe care îl aduce această
particularitate?

Codurile liniare sistematice = coduri in care partea informationala nealterata este

separata de partea de control.
Cuvantul de cod se stabileste prin adaugarea la cuvantul de codat a (n-k) biti de control.
Biti de control se ataseaza bitilor informationali dupa codare, dupa corectarea
eventualelor erori si recuperarea cuvantului corect la decodare, biti de control se omit.

Codurile cu repetitie / codurile cu paritate constanta = coduri liniare sistematice.

50.Care sunt cele trei matrici cu care se operează la codurile sistematice?

P – matricea coeficienţilor ( (n-k) x k )

G – matricea generatoare ( n x k )
H – matricea de verificare ( (n-k) x n )