Section 1

Decizie s, i Estimare în Prelucrarea Informat, iei

 Section 2

Capitolul I. Semnale aleatoare

 Subsection 1

I.1 Variabile aleatoare

Variabile aleatoare

� Variabilă aleatoare = o variabilă care denumes, te o valoare produsă

printr-un fenomen aleator
� Practic, reprezintă un nume atas, at unei valori arbitrare
� Prescurtat: v.a.

� Notat, ie uzuală: X , Y etc..

� Exemple:
� X = Numărul obt, inut prin aruncarea unui zar
� Vin = Voltajul măsurat într-un punct dintr-un circuit
Realizări ale unei variabile aleatoare

� Realizare a unei v.a. = o valoare particulară posibilă

� Spat, iul realizărilor Ω = mult, imea valorilor posibile ale unei v.a
� mult, imea tuturor realizărilor

� Exemplu: aruncarea unui zar

� V.a. se notează X
� Se poate obt, ine o realizare X = 3
� Dar s-ar fi putut obt, ine orice valoare din spat, iul realizărilor

Ω = {1, 2, 3, 4, 5, 6}
Aruncarea unei monede

� Variabila aleatoare X = “fat, a obt, inută la aruncarea unei monede”

Random Possible Random

Variable Values Events

0
X=
1
(sursa imaginii: https://www.mathsisfun.com/data/random-variables.html)
V.a. discrete s, i continue

� V.a. discretă: dacă Ω este o mult, ime discretă

� Exemplu: Numărul obt, inut prin aruncarea unui zar
� V.a. continuă: dacă Ω este o mult, ime compactă
� Exemplu: Valoarea tensiunii măsurate într-un punct
Unde se întâlnesc variabile aleatoare?

� Variabilele aleatoare modelează semnale de zgomot

� Exemple:
� Se măsoară tensiunea într-un punct dintr-un circuit
� Dacă se măsoară de mai multe ori, se obt, in valori us, or diferite.
� Valoarea este afectată de zgomot
� Valoarea tensiunii este o variabilă aleatoare
Funct, ia masă de probabilitate

� Fie o v.a. discretă A

� Funct, ia masă de probabilitate (FMP) (probability mass function)
= probabilitatea ca A să aibă valoarea egală cu x

wA (x ) = P {A = x }

� pe scurt, se mai numes, te distribut, ia variabilei A

� Exemplu: FMP pentru valoarea unui zar, grafic pe tablă
Calculul probabilităt, ii cu FMP

� Probabilitatea ca A să aibă valoarea v

P {A = v } = wA (v )

� Probabilitatea ca A să fie între valorile a s, i b (inclusiv):

b
�
P {a ≤ A ≤ b} = wA (x )
x =a
Funct, ia de repartit, ie

� Funct, ia de repartit, ie (FR) = probabilitatea ca A să aibă valoarea

mai mică sau egală cu x

FA (x ) = P {A ≤ x }

� Exemplu: FR pentru un zar, grafic la tablă

� Pentru v.a. discrete, FR este “în trepte”
Calculul probabilităt, ii cu FR

� Probabilitatea ca A să aibă valoarea v

P {A = v } = FA (v ) − FA (v − 1)

� Probabilitatea ca A să fie între valorile a s, i b (inclusiv):

P {a ≤ A ≤ b} = FA (b) − FA (a − 1)
Relat, ia între FMP s, i FR

� FR este suma cumulativă (un fel de “integrală discretă”) a FMP

t=x
�
FA (x ) = wA (t)
t=−∞

� Exemplu pentru zar: grafic, la tablă

Funct, ia densitate de probabilitate

� Fie o v.a. continuă A

� Funct, ia densitate de probabilitate (FDP) = probabilitatea ca
valoarea lui A să fie într-o vecinătate � mică în jurul lui x , totul supra �
� Se notează wA (x ), se mai numes, te distribut, ia variabilei A
� Informal: FDP reprezintă probabilitatea ca valoarea lui A să fie în
jurul lui x
Variabile aleatoare discrete s, i continue

(sursa imaginii: “Probability Distributions: Discrete and Continuous”,

Seema Singh, https://towardsdatascience.com/probability-distributions-
discrete-and-continuous-7a94ede66dc0)
Probabilitatea unei valori exacte

� Probabilitatea ca o v.a. continuă A să ia exact o valoare x este zero

� pentru că există o infinitate de valori posibile (v.a. continuă)
� de aceea nu se poate defini o funct, ie masă de probabilitate ca la v.a.
discrete
� De aceea FDP reprezintă probabilitatea de a fi într-o vecinătate a
valorii x , s, i nu exact egal cu x
Calculul probabilităt, ii cu FDP

� Probabilitatea ca A să aibă exact valoarea v este întotdeauna 0

P {A = v } = 0

� Probabilitatea ca A să fie între valorile a s, i b = integrala FDP între a

s, i b:
� b
P {a ≤ A ≤ b} = wA (x )dx
a
Funct, ia de repartit, ie

� Funct, ia de repartit, ie (FR) = probabilitatea ca A să aibă valoarea

mai mică sau egală cu x

FA (x ) = P {A ≤ x }

� Aceeas, i definit, ie ca s, i la v.a. discrete

Calculul probabilităt, ii cu FR

� Probabilitatea ca valoarea lui A să fie între a s, i b:

P {a ≤ A ≤ b} = FA (b) − FA (a)

� Nu contează dacă intervalul este deschis sau închis

� [a, b] sau (a, b), nu contează
� de ce?
Relat, ia între FDP s, i FR

� FR este integrala FDP

� FDP este derivata FR

� x
FA (x ) = wA (x )dx
−∞

dFA (x )
wA (x ) =
dx
FA (x + �) − FA (x − �)
= lim
�→0 2�
P(A ∈ [x − �, x + �])
= lim
�→0 2�
Interpretare grafică

� Probabilitatea ca A să fie între a s, i b este suprafat, a de sub FDP

� adică integrala de la a la b
� Probabilitatea ca A să fie exact egal cu o valoare este zero
� aria de sub un punct este nulă

(sursa: "https://intellipaat.com/blog/tutorial/statistics-and-probability-
tutorial/probability-distributions-of-continuous-variables/*)
V.a. discrete vs continue

Comparat, ie între v.a. discrete s, i continue

� FR FA (x ) are aceeas, i definit, ie, înseamnă acelas, i lucru
� FDP/FMP wA (x ) este derivata FR
� la v.a. continue:
� este o derivată obis, nuită
� reprezintă probabilitatea de a fi “in jurul” valorii x
� la v.a. discrete:
� un fel de “derivată discretă”
� reprezintă probabilitatea de a avea exact valoarea x
Proprietăt, ile v.a

FR:
� FR este mereu pozitivă, FA (x ) ≥ 0
� FR este monoton crescătoare (nu descres, te)
� FR pornes, te din 0 s, i ajunge la valoarea 1

FA (−∞) = 0 FA (∞) = 1

FDP/FMP:
� PDF/PMF sunt mereu pozitive wA (x ) ≥ 0
� Integrala/suma pe întreg domeniul = 1
� ∞
wA (x )dx = 1
−∞

∞
�
wA (x ) = 1
x =−∞
Diferite distribut, ii

� Semnal sinusoidal
Python was not found; run without arguments to install from the
Diferite distribut, ii

� Sinus + zgomot (normal, µ = 0, σ 2 = 1)

Diferite distribut, ii
� Sinus + zgomot (uniform U[−1, 1])
� Ce diferă? Tipul distribut, iei
Diferite distribut, ii
� Imagine originală
Diferite distribut, ii
� Imagine + zgomot (normal, µ = 0, σ 2 = 1)
Diferite distribut, ii
� Imagine + zgomot mai mare (normal, µ = 0, σ 2 = 10)
Diferite distribut, ii
� Imagine + zgomot (uniform, U[−5, 5])
Distribut, ia normală
� Densitatea de probabilitate:

1 (x −µ)2
wA (x ) = √ e − 2σ2
σ 2π
Distribut, ia normală

� Are doi parametri:

� Media µ = “centrul” funct, iei
� Deviat, ia standard σ = “lăt, imea” funct, iei
� σ mic = funct, ie îngustă s, i înaltă
� σ mare = funct, ie largă s, i joasă

� Constanta de la începutul expresiei asigură normalizarea (faptul că

integrala = 1)
� Extrem de des întâlnită în practică
� Orice valoare reală este posibilă (wA (x ) > 0, ∀x ∈ R)
� Se notează cu N (µ, σ 2 )
Distribut, ia normală

� Distribut, ia descres, te pe măsură ce x se îndepărtează de centrul µ

� Datorită termenului −(x − µ)2 de la exponent
� Valorile cele mai probabile sunt în jurul lui µ (x − µ = 0)
� Valorile apropiate de µ sunt mai probabile, valorile mai depărtate de µ
sunt mai put, in probabile
� Distribut, ia exprimă o preferint, ă pentru valori apropiate de µ, cu
probabilitate din ce în ce mai scăzută la valori mai depărtate de µ
Exemple de valori generate cu distribut, ia normală (mu=0,
sigmaˆ2=1)
Exemple de valori generate cu distribut, ia normală (mu=2,
sigmaˆ2=4)
Distribut, ia uniformă
� Densitatea de probabilitate = constantă între două limite

�
1
b−a , x ∈ [a, b]
wA (x ) =
0, elsewhere
Distribut, ia uniformă

� Are doi parametri: limitele a s, i b ale intervalului

� “Înălt, imea” funct, iei este 1
b−a pentru normalizare
� pentru ca integrala (aria) să fie 1

� Sunt posibile doar valori din intervalul [a, b]

� valorile din afara intervalului au probabilitatea 0

� Se notează cu U [a, b]
Alte distribut, ii

� Nenumărate variante, apar în diverse aplicat, ii

Calculul probabilităt, ii pentru distribut, ia normală
�b
� Cum calculăm a dintr-o distribut, ie normală?
� Nu se poate prin formule algebrice, funct, ie ne-elementară

� Se foloses, te the error function:

� z
2 2
erf (z) = √ e −t dt
π 0

� Funct, ia de repartit, ie a unei distribut, ii normale N (µ, σ 2 )

1 x −µ
FA (X ) = (1 + erf ( √ ))
2 σ 2

� Valorile funct, iei erf() sunt tabelate / se calculează numeric

� de ex. pe Google, căutat, i erf (0.5)
� Alte valori folositoare:
� erf (−∞) = −1
� erf (∞) = 1
Exercit, iu

Exercit, iu:
� Fie A o v.a. cu distribut, ia N (3, 2). Calculat, i probabilitatea ca
A ∈ [2, 4]
Suma unei constante cu o v.a.

� Fie o v.a. A
� Ce reprezintă B = 5 + A?
Răspuns:
� B este tot o variabilă aleatoare
� B are acelas, i tip de distribut, ie, dar “translată” cu 5 la dreapta
Exemplu:
� A este o v.a. cu distribut, ie normală wA (x ) = N (µ = 3, σ 2 = 2)
� Care este distribut, ia variabilei B = 5 + A?
� Răspuns: wB (x ) = N (µ = 8, σ 2 = 2)
V.a. ca funct, ii de alte v.a

� O funct, ie aplicată unei v.a. produce o altă v.a.

� Exemple: dacă A este o v.a. distribuită U [0, 10], atunci
� B = 5 + A este o altă v.a., distribuită U [5, 15]
� C = A2 este de asemenea o v.a.
� D = cos(A) este de asemenea o v.a.

� Motivat, ie: dacă A este aleatoare, s, i valorile B, C , D sunt aleatoare

� A, B, C, D nu sunt independente
� O anumită valoare a uneia implică automat s, i valoarea celorlalte
Sisteme de mai multe variabile aleatoare

� Fie un sistem cu două v.a. continue A s, i B

� Care este probabilitatea ca perechea (A, B) să aibă valoarea în jurul
(x , y )?
� Distribut, ia valorilor perechii (A, B) este descrisă de:
� Densitatea de probabilitate comună wAB (x , y )
� Funct, ia de repartit, ie comună FAB (x , y )
Sisteme de mai multe variabile aleatoare

� Funct, ia de repartit, ie comună:

FAB (x , y ) = PAB {A ≤ x ∩ B ≤ y }

� Densitatea de probabilitate comună:

∂ 2 FAB (x , y )
wAB (x , y ) =
∂x ∂y

� FDP comună descrie probabilitatea ca perechea (A, B) să aibă

valoarea într-o vecinătate a (x , y )
� Similar pentru v.a discrete:

wAB (x , y ) = P {A = x ∩ B = y }
Variabile independente

� Două v.a. A s, i B sunt independente dacă valoarea uneia nu

influent, ează în nici un fel valoarea celeilalte
� Pentru v.a. independente, probabilitatea ca A să fie în jurul lui x s, i B
în jurul lui y este produsul celor două probabilităt, i

wAB (x , y ) = wA (x ) · wB (y )

� Valabilă pentru FR / FDP / FMP, v.a. continue sau aleatoare etc.

� Similar pentru mai mult de două v.a.
Variabile independente

Exercit, iu:
� Calculat, i probabilitatea ca trei v.a. X , Y s, i Z i.i.d. N (−1, 1) să fie
toate pozitive
� i.i.d = “independente s, i identic distribuite”
Multiple v.a. normale

� Fie un set de N v.a. normale (A1 , ...AN ), cu medii diferite µi dar

aceeas, i deviat, ie standard σ
� Probabilitatea ca (A1 , ...AN ) să fie în jurul valorii (x1 , ...xN ) este

1 (x1 −µ1 )2 +...+(xN −µN )2

wA1 ,...AN (x1 , ...xN ) = √ e 2σ 2
(σ 2π)N

� Probabilitatea depinde de distant, a Euclideană dintre x = (x1 , ...xN )

s, i µ = (µ1 , ...µN )
Distant, a Euclideană

� Distant, a Euclideană (geometrică) între 2 vectori N-dimensionali

�
d(u, v) = �u − v� = (u1 − v1 )2 + ... + (uN − vN )2

� Unidimensional: �u − v� = |u − v |
�
� 2D: �u − v� = (u1 − v1 )2 + (u2 − v2 )2
�
� 3D: �u − v� = (u1 − v1 )2 + (u2 − v2 )2 + (u3 − v3 )2
� ...
��
� N-dimensional: �u − v� = N
i=1 (ui − vi )2
� ...
��
� Semnale continue: �u − v� = ∞
−∞ (u(t) − v (t))2 dt
Multiple v.a. normale

� Probabilitatea a N v.a. normale, independente, cu acelas, i σ dar

diferite µi depinde de pătratul distant, ei Euclidiene fat, ă de
vectorul medie µ = (µ1 , ...µN )
� Aproape de µ: probabilitate mai mare
� Departe de µ: probabilitate redusă
� Două puncte la aceeas, i distant, ă de µ au aceeas, i probabilitate
Distribut, ia normală 2D
� Distribut, ia a 2 v.a. normale (distribut, ia normală 2D)
Distribut, ia normală 2D - vedere de sus
� Vedere de sus
� Aici, µ = (0, 0)
� Probabilitatea scade pe măsură ce cres, te distant, a fat, ă de centru, în
cercuri concentrice (simetric)
Medii statistice

� V.a. sunt caracterizate prin medii statistice (“momente”)

� Valoarea medie (momentul de ordin 1)
� Pentru v.a. continue:
� ∞
A = E {A} = x · wA (x )dx
−∞

� Pentru v.a. discrete:

∞
�
A = E {A} = x · wA (x )
x =−∞

� (Exemplu: entropia H(X) = valoarea medie a informat, iei)

� Notat, ie uzuală: µ
Ce înseamna valoarea medie

� Ce înseamnă, practic, valoarea medie a unei variabile aleatoare?

� Dacă avem N → ∞ valori aleatoare conform distribut, iei respective,
valoarea medie = media tuturor acestor valori;
� Dacă trebuie să prezicem valoarea unei variabile aleatoare X , s, i plătim
un cost proport, ional cu pătratul erorii pe care o facem, (u − X )2 ,
valoarea medie µ este cea mai bună alegere, întrucât minimizează
costul global:

� ∞
µ = arg min (u − x )2 · w (x )dx
u −∞

� Demonstrat, ie: la tablă: derivare, derivata = 0

Ce înseamna valoarea medie

� Valorile care au probabilitate ridicată “trag” valoarea medie înspre ele

� Pentru distribut, ii cu formă simetrică (de ex. distribut, ia normală),
valoarea medie = valoarea centrală a funct, iei
� Demonstrat, ie: ambele laturi ale funct, iei “trag” valoare medie înspre ele
în mod egal, valoarea medie rămâne la mijloc
� Pentru distribut, ia normală, X = µ
� Pentru distribut, ia uniformă U[a, b], X = a+b
2 (mijlocul intervalului)
Proprietăt, ile valorii medii

� Calculul valorii medii este o operat, ie liniară

� pentru că, la bază, integrala / suma este o operat, ie liniară

� Pentru două variabile aleatoare A s, i B (independente):

� Liniaritate
E {c1 A + c2 B} = c1 E {A} + c2 E {B}

� Sau:
E {cA} = cE {A}, ∀c ∈ R
E {A + B} = E {A} + E {B}

� Fără demonstrat, ie
Valoarea pătratică medie

� Valoarea pătratică medie = valoarea medie a pătratelor valorilor

� Momentul de ordin 2
� Pentru v.a. continue:
� ∞
A2 = E {A2 } = x 2 · wA (x )dx
−∞

� Pentru v.a. discrete:

∞
�
A2 = E {A2 } = x 2 · wA (x )
−∞

� Interpretare: media pătratelor = energia medie a unui semnal

Variant, a

� Variant, a = valoarea pătratică medie a abaterii fat, ă de valoarea medie

:)
� V.a. continue:
� ∞
σ 2 = {A − µ}2 = (x − µ)2 · wA (x )dx
−∞

� V.a. discrete:
∞
�
σ 2 = {A − µ}2 = (x − µ)2 · wA (x )
−∞

� Interpretare: cât de mult variază valorile în jurul mediei

� σ 2 = mare: abateri mari fat, ă de medie
� σ 2 = mic: valori concentrate în jurul mediei
Legătura între cele trei mărimi

� Legătura între medie, valoarea pătratică medie s, i variant, ă:

σ 2 = {A − µ}2
= A2 − 2 · A · µ + µ 2
= A2 − 2µA + µ2
= A2 − µ 2
Suma variabilelor aleatoare

� Suma a două sau mai multe v.a. independente este tot o v.a.
� Distribut, ia ei = convolut, ia distribut, iilor v.a. componente
� Dacă C = A + B, atunci:

wC (x ) = wA (x ) � wB (x )

� Caz particular: dacă A s, i B sunt v.a. normale, cu N (µA , σA2 ) s, i

N (µB , σB2 ), atunci:
� C este tot o v.a. cu distribut, ie normală, N (µC , σC2 ), având:
� media = suma mediilor: µC = µA + µB
� variant, a = suma variant, elor: σC2 = σA2 + σB2
 Subsection 2

II.2 Procese aleatoare

Procese aleatoare

� Un proces aleator = o secvent, ă de variabile aleatoare indexate

(îns, iruite) în timp
� Proces aleator în timp discret f [n] = o secvent, ă de v.a. la momente
de timp discrete
� ex: o secvent, ă de 50 aruncări de zar, cotat, ia zilnică a unor act, iuni la
bursă
� Proces aleator în timp continuu f (t) = o secvent, ă de v.a. la orice
moment de timp
� ex: un semnal tip zgomot de tensiune

� Fiecare es, antion dintr-un proces aleator este o v.a. de sine stătătoare
� ex:. f (t0 ) = valoarea la momentul t0 este o v.a.
Realizări ale proceselor aleatoare

� Realizare a unui p.a. = o secvent, ă particulară de realizări ale v.a.

componente
� ex: un anume semnal de zgomot măsurat cu un osciloscop; am obt, inut
o anume realizare, dar am fi putut obt, ine orice altă realizare
� Notat, ia uzuală: f (k) [n] sau f (k) (t)
� k indică realizarea particulară care se consideră
� t sau n este timpul

� Când considerăm un p.a., considerăm întregul set de realizări posibile

� la fel ca atunci când considerăm o v.a.
Proces aleator = un fenomen 2-D

� Un proces aleator trebuie vizualizat în două dimensiuni:

� f (k) [n] sau f (k) (t) depind de două variabile:
� k = realizarea
� t sau n = timpul
Proces aleator = un fenomen 2-D

� sursa: “Information-Based Inversion and Processing with Applications”

Edited by Tadeusz J. Ulrych, Mauricio D. Sacchi, Volume 36,
Proces aleator = un fenomen 2-D

� sursa: Razdolsky, L. (2014). Random Processes. In Probability-Based

Structural Fire Load (pp. 89-136). Cambridge: Cambridge University
Press
Proces aleator = un fenomen 2-D

� sursa: https://www.quora.com/What-is-the-difference-between-a-
stationary-ergodic-and-a-stationary-non-ergodic-process
Două feluri de valori medii

� Procesele aleatoare au două tipuri de valori medii:

� Valori medii statistice = calculate la un timp t sau n fixat, de-a lungul
tuturor realizărilor posibile
� Valori medii temporale = calculate pentru o realizare k fixată, de-a
lungul timpului
Două feluri de valori medii

� sursa: https://www.quora.com/What-is-the-difference-between-a-
stationary-ergodic-and-a-stationary-non-ergodic-process
Distribut, ii de ordin 1 ale proceselor aleatoare

� Fiecare es, antion f (t1 ) dintr-un proces aleator este o v.a.

� descris de o distribut, ie de ordin 1
� are FR F1 (x ; t1 )
� are FDP / FMP w1 (x ; t1 ) = dF1dx(x ;t1 )

� distribut, ia depinde de momentul t1

� Un es, antion la alt moment t2 este o v.a. diferită, cu funct, ii posibil
diferite
� altă FR F1 (x ; t2 )
� altă FDP / FMP w2 (x ; t2 ) = dF1 (x ;t2 )
dx

� Aceste funct, ii descriu distribut, ia valorilor unui es, antion

� Indicele w1 arată că considerăm o singură v.a. din proces (distribut, ii
de ordin 1-)
� Similar pentru p.a. discrete
Distribut, ii de ordin 2

� O pereche de v.a. f (t1 ) s, i f (t2 ) formează un sistem de 2 v.a.:

� sunt descrise de o distribut, ie de ordin 2
� au FR comună F2 (xi , xj ; t1 , t2 )
∂ 2 F2 (xi ,xj ;t1 ,t2 )
� au FDP / FMP comună w2 (xi , xj ; t1 , t2 ) = ∂xi ∂xj
� distribut, ia depinde de momentele t1 s, i t2

� Aceste funct, ii descriu cum sunt distribuite valorile perechilor

(distribut, ii de ordin 2)
� Similar pentru p.a. discrete
Distribut, ii de ordin n

� Generalizare la un grup de n es, antioane dintr-un p.a.

� Un set de n v.a. f (t1 ), ...f (tn ) dintr-un proces aleator f (t):
� sunt descrise de o distribut, ie de ordin n
� au FR comună Fn (x1 , ...xn ; t1 , ...tn )
∂ 2 Fn (x1 ,...xn ;t1 ,...tn )
� au FDP / FMP comună wn (x1 , ...xn ; t1 , ...tn ) = ∂x1 ...∂xn
� depind de momentele de timp t1 , t2 , . . . tn
� Aceste funct, ii descriu cum sunt distribuite valorile seturilor de n
es, antioane (distribut, ii de ordin n)
� Similar pentru p.a. discrete
Medii statistice

Procesele aleatoare sunt caracterizate de medii statistice s, i temporale

Pentru procese continue:
1. Valoarea medie
� ∞
f (t1 ) = µ(t1 ) = x · w1 (x ; t1 )dx
−∞

2. Valoarea pătratică medie

� ∞
f 2 (t1 ) = x 2 · w1 (x ; t1 )dx
−∞
Medii statistice - variant, a

3. Variant, a
� ∞
σ 2 (t1 ) = {f (t1 ) − µ(t1 )}2 = (x − µ(t1 )2 · w1 (x ; t1 )dx
−∞

� Legătura între aceste trei mărimi:

σ 2 (t1 ) ={f (t1 ) − µ(t1 )}2

=f (t1 )2 − 2f (t1 )µ(t1 ) + µ(t1 )2
=f 2 (t1 ) − µ(t1 )2

� Observat, ii:
� aceste trei valori sunt calculate pentru toate realizările, la momentul t 1
� ele caracterizează doar es, antionul de la momentul t1
� la alt moment de timp t2 , v.a. f (t2 ) este diferită, s, i valorile medii pot
diferi
Medii statistice - autocorelat, ia

Medii statistice care caracterizează o pereche de es, antioane:

4. Funct, ia de autocorelat, ie
� ∞ � ∞
Rff (t1 , t2 ) = f (t1 )f (t2 ) = x1 x2 w2 (x1 , x2 ; t1 , t2 )dx1 dx2
−∞ −∞

5. Funct, ia de corelat, ie (pentru două procese aleatoare diferite f (t) s, i

g(t))
� ∞ � ∞
Rfg (t1 , t2 ) = f (t1 )g(t2 ) = x1 y2 w2 (x1 , y2 ; t1 , t2 )dx1 dy2
−∞ −∞

� Observat, ii:
� aceste funct, ii pot fi diferite pentru perechi de valori luate la momente
diferite (t1 ,t2 )
Procese aleatoare discrete

� �
Pentru procese aleatoare discrete, se înlocuies, te cu , s, i notat, ia f (t)
cu f [t]:
�∞
1. f [t1 ] = µ(t1 ) = x =−∞ x · w1 (x ; t1 )
�∞ 2
2. f 2 [t1 ] = x =−∞ x · w1 (x ; t1 )
�∞
3. σ 2 (t1 ) = {f [t1 ] − µ(t1 )}2 = x =−∞ (x − µ(t1 )2 · w1 (x ; t1 )
�∞ �∞
4. Rff (t1 , t2 ) = f [t1 ]f [t2 ] = x1 =−∞ x2 =−∞ x1 x2 w2 (x1 , x2 ; t1 , t2 )
�∞ �∞
5. Rfg (t1 , t2 ) = f [t1 ]g[t2 ] = x1 =−∞ x2 =−∞ x1 y2 w2 (x1 , y2 ; t1 , t2 )
Medii temporale

� Dacă avem acces doar la o singură realizare f (k) (t) a procesului?

� Calculăm valorile medii pentru o singură realizare f (k)(t) , de-a
lungul timpului
Medii temporale

Medii temporale pentru procese aleatoare continue:

1. Valoarea medie temporală
� T /2
(k) 1
f (k) (t) =µ = lim f (k) (t)dt
T →∞ T T /2

2. Valoarea medie pătratică temporală

� T /2
1
[f (k) (t)]2 = lim [f (k) (t)]2 dt
T →∞ T −T /2
Variant, a temporală

3. Variant, a temporală
� T /2
2 � �2 1
σ = f (k) (t) − µ(k) = lim (f (k) (t) − µ(k) )2 dt
T →∞ T −T /2

� Relat, ia dintre cele trei mărimi:

σ 2 = [f (k) (t)]2 − [µ(k) ]2

� Observat, ie:
� aceste valori nu mai depind de timpul t
Autocorelat, ia temporală

4. Funct, ia de autocoreat, ie temporală

Rff (t1 , t2 ) =f (k) (t1 + t)f (k) (t2 + t)

� T /2
1
= lim f (k) (t1 + t)f (k) (t2 + t)dt
T →∞ T −T /2

5. Funct, ia de corelat, ie temporală (pentru două procese diferite f (t)

s, i g(t))

Rfg (t1 , t2 ) =f (k) (t1 + t)g (k) (t2 + t)

� T /2
1
= lim f (k) (t1 + t)g (k) (t2 + t)dt
T →∞ T −T /2
Procese aleatoare discrete

� �
Pentru procese aleatoare discrete, se înlocuies, te cu , T cu N, s, i se
împarte la 2N + 1 în loc de 2T
1 �N
1. f (k) [t] = µ(k) = limN→∞ 2N+1 t=−N f (k) [t]
1 �N (k) [t])2
2. [f (k) [t]]2 = limN→∞ 2N+1 t=−N (f
� �2 1 �N
3. σ 2 = f (k) [t] − µ[k] = limN→∞ 2N+1 t=−N (f
(k) [t] − µ(k) )2
Procese aleatoare discrete

4. Autocorelat, ia temporală:

Rff (t1 , t2 ) =f (k) [t1 + t]f (k) [t2 + t]

N
1 �
= lim f (k) [t1 + t]f (k) [t2 + t]
N→∞ 2N + 1
t=−N

5. Corelat, ia temporală:

Rfg (t1 , t2 ) =f (k) [t1 + t]g (k) [t2 + t]

N
1 �
= lim f (k) [t1 + t]g (k) [t2 + t]
N→∞ 2N + 1
t=−N
Realizări de lungime finită

� E posibil să avem o realizare de lungime finită (de ex. un vector cu

1000 de es, antioane dintr-o realizare a unui p.a.)
� Cum calculăm mediile temporale?
� tmax �tmax
� Se fac sumele/integralele de la tmin sau tmin în loc de la −∞ la ∞
� Exemplu: calculat, i mediile temporale pentru realizarea de lungime
finită
{1, −1, 2, −2, 3, −3, 4, −4, 5, −5}
Medii statistice s, i temporale

� Mediile statistice sunt, de obicei, cele de dorit

� dar necesită cunoas, terea distribut, iilor w (x ), care în practică sunt rareori
cunoscute
� În practică, de obicei avem acces doar la o singură realizare, obt, inută
printr-o măsurătoare
� deci putem calcula doar mediile temporale pe acea realizare

� Din fericire, în multe cazuri mediile statistice s, i temporale sunt

identice (“ergodicitate”)
Procese aleatoare stat, ionare

� Până acum, am considerat că mediile statistice depind de timp

� pot fi diferite pentru un es, antion de la t1 s, i de la t2

� Proces aleator stat, ionar = dacă mediile statistice rămân aceleas, i la

modificarea originii timpului (întârzierea semnalului)
� Altfel spus: distribut, iile (FDP/FMP) es, antioanelor rămân identice la
modificarea originii timpului

wn (x1 , ...xn ; t1 , ...tn ) = wn (x1 , ...xn ; t1 + τ, ...tn + = tau)

� Practic, pentru a fi stat, ionar trebuie ca toate mediile statistice să

nu mai depindă de timp t
Stat, ionar în sens strict sau larg

� Proces aleator stat, ionar în sens strict:

� relat, ia e valabilă pentru distribut, iile de orice ordin n
� valoarea medie, valoarea pătratică medie, variant, a, autocorelat, ia s, i
toate celelalte statistici de ordin superior nu depind de originea
timpului t
� Proces aleator stat, ionar în sens larg:
� relat, ia e valabilă doar pentru distribut, iile de ordin n = 1 s, i n = 2
(distribut, iile unui singur es, antion, sau a două es, antioane)
� doar valoarea medie, valoarea pătratică medie, variant, a s, i autocorelat, ia
nu depind de originea timpului t, dar statisticile de ordin superior pot
depinde
Procese aleatoare stat, ionare

� Este procesul aleator schit, at mai jos stat, ionar sau nu?

� sursa: SEX, LIES & STATISTICS, Ned Wright,

http://www.astro.ucla.edu/~wright/statistics/
Procese aleatoare stat, ionare

� Răspuns: ne-stat, ionar

� Se observă că variant, a nu este aceeas, i la toate momentele de timp
Consecint, e ale stat, ionarităt, ii

� Pentru distribut, ii ale unui singur es, antion (de ordin n = 1):

w1 (xi ; t1 ) = w1 (xi ; t2 ) = w1 (xi )

� Valoarea medie, valoarea medie pătratică, variant, a unui es, antion sunt
identice la orice moment de timp t

f (t) = constant, ∀t

f 2 (t) = constant, ∀t
σ 2 (t) = constant, ∀t
Consecint, e ale stat, ionarităt, ii

� Pentru distribut, ii ale unor perechi de es, antioane (de ordin n = 2):

w2 (xi , xj ; t1 , t2 ) = w2 (xi , xj ; 0, t2 − t1 ) = w2 (xi , x2 ; t2 − t1 )

� Funct, ia de autocorelat, ie depinde doar de diferent, a de timp

τ = t2 − t1 dintre es, antioane

Rff (t1 , t2 ) = Rff (0, t2 − t1 ) = Rff (τ ) = f (t)f (t + τ )

� Depinde doar de valoarea τ = t2 − t1 = diferent, a de timp dintre cele

două es, antioane
Consecint, e ale stat, ionarităt, ii

Definit, ia funct, iei de autocorelat, ie pentru p.a. stat, ionare:

� Autocorelat, ia statistică: formula rămâne aceeas, i
� Autocorelat, ia temporală:
� pentru p.a. continue
� T /2
1
Rff (τ ) = f (t)f (t + τ ) = lim f (k) (t)f (k) (t + τ )dt
T →∞ T −T /2

� pentru p.a. discrete

N
1 �
Rff (τ ) = f (t)f (t + τ ) = lim f (k) [t]f (k) [t + τ ]
N→∞ 2N + 1
t=−N

� lungime finită: se limitează integralele / sumele la intervalul avut la

� tmax �t
dispozit, ie, tmin sau tmax
min
Consecint, e ale stat, ionarităt, ii

� Pentru funct, ia de corelat, ie, definit, ia este similară cu cea de la

autocorelat, ie de mai sus
� Corelat, ia depinde doar de diferent, a de timp τ = t2 − t1 dintre cele
două es, antioane

Rfg (t1 , t2 ) = Rfg (0, t2 − t1 ) = Rfg (τ ) = f (t)g(t + τ )

Interpretarea autocorelat, iei

� Rff (τ ) = f (t)f (t + τ ) = media produsului a două es, antioane

situate la distant, ă de τ
� ne spune dacă es, antioanele variază la fel sau nu

� Idem pentru corelat, ie, doar că es, antioanele provin din p.a. diferite, f
s, i g
Interpretarea autocorelat, iei

� Exemple:
� Rff (0.5) > 0: două es, antioane decalate cu 0.5 secunde tind să varieze
în aceeas, i direct, ie (ambele pozitive, ambele negative => produsele
sunt majoritar pozitive)
� dacă se cunoas, te una dintre ele, se poate “ghici” ceva despre cealaltă

� Rff (1) < 0: două es, antioane decalate cu 1 secundă tind să varieze în

direct, ii opuse (când unul e pozitiv, celălalt e negativ => produsele sunt
majoritar negative)
� dacă se cunoas, te una dintre ele, se poate “ghici” ceva despre cealaltă

� Rff (2) = 0: două es, antioane decalate cu 2 secunde sunt necorelate

(produsele sunt în medie 0, deci cele două es, antioane au la fel de multe
s, anse de a fi de acelas, i semn sau cu semne contrare)
� dacă se cunoas, te una dintre ele, nu se mai poate “ghici” ceva despre
cealaltă
Procese aleatoare ergodice

� În practică, avem acces la o singură realizare

� Proces aleator ergodic = dacă mediile temporale pe orice realizare
sunt identice cu mediile statistice
� Ergodicitatea înseamnă:
� Se pot calcula toate mediile pe baza unei singure realizări (oricare)
� dar realizarea respectivă trebuie să fie foarte lungă (lungimea → ∞)
pentru valori precise
� Toate realizările sunt similare unele cu altele, dpdv statistic
� o realizare este caracteristică pentru întreg procesul aleator
Procese aleatoare ergodice

� Majoritatea proceselor aleatoare de interes sunt ergodice s, i stat, ionare

� de ex. zgomote de tensiune

� Exemplu de proces aleator ne-ergodic:

� se aruncă un zar, următoarele 50 valori sunt identice cu prima valoare
� o singură realizare nu e caracteristică pentru tot procesul
Procese aleatoare ergodice

� XKCD 221 (link aici: https://xkcd.com/221/)

� Se consideră toate numerele care s-ar fi putut obt, ine în loc de 4
(1,2,3,5 sau 6)
� Care e problema aici?
� proces aleator stat, ionar sau ne-stat, ionar?
� proces aleator ergodic sau ne-ergodic?
 Subsection 3

I.3 Proprietăt, i ale autocorelat, iei

Densitatea spectrală de putere

� Densitatea spectrală de putere (DSP) Sff (ω) reprezintă puterea

unui semnal în funct, ie de frecvent, ă (f sau ω = 2πf )
� Pentru un semnal determinist (ne-aleator), este dată de modului
transf. Fourier la pătrat:

Sff (ω) = |F (ω)|2

� f2
� Puterea în banda de frecvent, ă [f1 , f2 ] este f1 Sff (ω)dω
�∞
� Puterea totală a procesului aleator este P = −∞ Sff (ω)dω
� DSP este o funct, ie măsurabilă practic:
� poate fi determinată experimental
� este importantă în aplicat, ii practice (ingineres, ti)
Densitatea spectrală de putere

� Ce reprezintă DSP pentru un proces aleator?

� nu mai avem un singur semnal, cu o infinitate de realizări posibile
� fiecare realizare are o transformată Fourier proprie, diferită
� DSP fiind diferită pentru fiecare realizare în parte, este, ea însăs, i, un
proces aleator
� DSP a unui proces aleator = media DSP pentru toate realizările
posibile
� Are aceeas, i utilitate s, i semnificat, ie ca în cazul unui semnal
determinist, doar că în medie în raport cu toate realizările posibile
� pentru o realizare particulară, DSP poate varia în jurul DSP medii
Teorema Wiener-Hincin

Teorema Wiener-Hincin:
� Densitatea spectrală de putere = transformata Fourier a funct, iei
de autocorelat, ie
� ∞
Sff (ω) = Rff (τ )e −jωτ dτ
−∞
� ∞
1
Rff (τ ) = Sff (ω)e jωτ dω
2π −∞

� Fără demonstrat, ie
� Leagă două concepte de natură diferită
� Funct, ia de autocorelat, ie: o proprietate statistică
� DSP: o proprietate fizică (t, ine de energia semnalului; importantă în
aplicat, ii practice)
Zgomot alb

� Zgomot alb = un proces aleator cu funct, ia de autocorelat, ie egală

cu un Dirac
Rff (τ ) = δ(τ )

� este proces aleator: orice es, antion este o variabilă aleatoare

� autocorelat, ia este un Dirac: este 0 pentru orice τ �= 0
� oricare două es, antioane diferite (τ �= 0) au corelat, ie zero (necorelate)
� valorile a două es, antioane distincte nu au legătură între ele
Zgomot alb

� Densitatea spectrală de putere = transf. Fourier a unui Dirac =

constantă ∀ω
Sff (ω) = constant, ∀ω

� putere constantă pentru toate frecvent, ele, până la f = ∞

� Zgomotul alb poate avea orice distribut, ie (normală, uniformă etc.)

� termenul “zgomot alb” nu se referă la distribut, ia es, antioanelor, ci la
faptul că valorile es, antioanele sunt necorelate
Zgomot alb de bandă limitată

� În lumea reală, pentru orice semnal puterea scade la 0 la frecvent, e

foarte înalte
�∞
� pentru că puterea totală P = Sff ω nu poate fi infinită
−∞
� se numes, te zgomot alb de bandă limitată

� În acest caz, autocorelat, ia = aproximativ un Dirac, dar nu chiar

infinit de “subt, ire”
� es, antioane foarte apropiate sunt totus, i corelate
� de ex. din cauza unor mici capacităt, i parazite
AWGN

� AWGN = Additive White Gaussian Noise

� Zgomot alb, Gaussian, aditiv
� tipul/modelul de zgomot cel mai frecvent întâlnit în aplicat, ii

� Înseamnă:
� zgomot: este un proces aleator (fiecare es, antion este aleator, fiecare
realizare este diferită)
� gaussian: es, antioanele au distribut, ia normală
� alb: valorile es, antioanelor sunt necorelate între ele
� aditiv: zgomotul se adună peste semnalul original (adică de ex. nu se
multiplică cu acesta)
Examen 2020-2021

� Până aici s-a făcut în 2020-2021. Celelalte slide-uri din acest fis, ier nu
se cer.
Proprietăt, ile funct, iei de autocorelat, ie
1. Este o funct, ie pară
Rff (τ ) = Rff (−τ )

� Demonstrat, ie: Schimbare de variabilă în definit, ie

2. La infinit, tinde la o valoare constantă

2
Rff (∞) = f (t) = const

� Dem.: două es, antioane la un interval ∞ sunt necesar independente

3. Are valoarea maximă în 0

Rff (0) ≥ Rff (τ )

� Dem.: se pornes, te de la (f (t) − f (t + τ ))2 ≥ 0

� Interpretare: es, antioane diferite mai pot varia diferit, dar un es, antion
variază întotdeauna identic cu sine însus, i
Proprietăt, ile funct, iei de autocorelat, ie

4. Valoarea în 0 = puterea procesului aleator

� ∞
1
Rff (0) = Sff (ω)dω
2π −∞

� Dem.: Se pune τ = 0 în transf. Fourier inversă din teorema

Wiener-Hincin

5. Variant, a = diferent, a între valoarea din 0 s, i cea de la ∞

σ 2 = Rff (0) − Rff (∞)

2
� Dem.: Rff (0) = f (t)2 , Rff (∞) = f (t)
Autocorelat, ia unui proces aleator filtrat

� Fie un proces aleator aplicat la intrarea unui sistem

� fie în timp continuu: intrarea x (t), sistemul H(s), ies, irea y (t)
� fie în timp discret: intrarea x [n], sistemul H(z), ies, irea y [n]

� Cum depinde autocorelat, ia ies, irii y de cea a intrării x ?

� Se s, tie că y este convolut, ia lui x cu răspunsul la impuls h
Dezvoltare matematică
� Pentru un proces aleator în timp discret

Ryy (τ ) =y [n]y [n + τ ]
∞
� ∞
�
= h[k1 ]x [n − k1 ] h[k2 ]x [n + τ − k2 ]
k1 =−∞ k2 =−∞
�∞ ∞
�
= h[k1 ]h[k2 ]x [n − k1 ]x [n + τ − k2 ]
k1 =−∞ k2 =−∞
�∞ �∞
= h[k1 ]h[k2 ]Rxx [τ − k1 + k2 ]
k1 =−∞ k2 =−∞

� Din teorema Wiener-Hincin se s, tie că:

∞
�
Sff (ω) = Rff (τ )e −jωτ
τ =−∞
Dezvoltare matematică
� As, adar
∞
� ∞
� ∞
�
Syy (ω) = h[k1 ]h[k2 ]Rxx [τ − k1 + k2 ]e −jωτ
τ =−∞ k1 =−∞ k2 =−∞

� Schimbare de variabilă τ − k1 + k2 = u
� rezultă τ = u + k1 − k2

∞
� ∞
� ∞
�
Syy (ω) = h[k1 ]h[k2 ]Rxx [u]e −jω(u+k1 +k2 )
u=−∞ k1 =−∞ k2 =−∞
�∞ �∞ �∞
= Rxx [u]e −jωu h[k1 ]e −jωk1 h[k2 ]e jωk2
u=−∞ k1 =−∞ k2 =−∞

=Sxx (ω) · H(ω) · H ∗( ω)

=Sxx (ω) · |H(ω)|2
Rezultat

Syy (ω) = Sxx (ω) · |H(ω)|2

� DSP a lui y = DSP a lui x multiplicată cu răspunsul în amplitudine,

la pătrat, al filtrului
� Relat, ia este valabilă s, i pentru procese aleatoare continue
Aplicat, ii ale (auto)corelat, iei

� Căutarea unei anume port, iuni într-un semnal mai mare

� Corelat, ia a două semnale = o măsura a similarităt, ii celor două
semnale
� Funct, ia de corelat, ie măsoară similaritatea unui semnal cu toate
versiunile decalate ale celuilalt
� Exemplu numeric la tablă, semnale de lungime finită

� Corelat, ia poate fi utilizată pentru localizare

� Funct, ia de (auto)corelat, ie are valori mari atunci când cele două
semnale se potrivesc
� Valori mari sunt atunci când valorile pozitive / negative ale semnalelor
se potrivesc
� Valori mici atunci când nu se potrivesc
Semnalul căutat
Semnalul de dimensiuni mari
Rezultatul corelat, iei
Identificare de sistem

� Determinarea răspunsului la impuls al unui sistem necunoscut, liniar s, i

invariant în timp
� Se bazează pe corelat, ia intrării cu ies, irea sistemlui

Figure 1: System identification setup

Identificare de sistem

Rfg (τ ) =f [n]g[n + τ ]
∞
�
=f [n] h[k]f [n + τ − k]
k=−∞
∞
�
= h[k]f [n]f [n + τ − k]
k=−∞
�∞
= h[k]Rff [τ − k]
k=−∞
=h[τ ] � Rff [τ ]

� Dacă intrarea f este zgomot alb cu puterea A, Rff [n] = A · δ[n], s, i

Rfg (τ ) = h[τ ] � Rff [τ ] = A · h[τ ] � δ[τ ] = A · h[τ ]

� Corelat, ia măsurată este proport, ională cu răspunsul la impuls al

sistemului necunoscut