Anexa A.

Modele statistice elementare

1/29

** Colec
iile de
nd un
stocastic).
Coleciile
de date
date msurate
msurate sunt
sunt semnale
semnale av
avnd
un caracter
caracter nedeterminist
nedeterminist ((stocastic).
Modelele
Modelele de
de identificare
identificare construite
construite plecnd
plecnd de
de la
la astfel
astfel de
de date
date au
au natur
natur statistic
statistic..
Pentru a putea caracteriza proprietile modelelor de identificare sunt necesare
cteva concepte elementare de Statistic i de Prelucrare de Semnal (PS).

Densitate de probabilitate
probabilitate

p : D( x ) [0,1]

(distribuie de probabilitate)
Distribuii de probabilitate uzuale:
Gaussian
Student
Gaussian
Student

p ( x ) dx = 1

Laplacian
Laplacian

D( x )

Pearson
Pearson

Probabilitate
def

P ( x S ) = p ( x ) dx
S

probabilitatea ca x s aparin submulimii

S din domeniul de variaie
Apartenena
Apartenena unei
unei variabile
variabile aleatoare
aleatoare la
la domeniul
domeniul
su
su de
de variaie
variaie este
este un
un eveniment
eveniment sigur
sigur..

domeniul de variaie al
variabilei aleatoare x

D ( x ) cel mult numrabil

frecven de apariie

D( x ) finit

h
p
#D ( x )

histogram
frecven de apariie

cardinalul domeniului de variaie

(numrul de valori)
** Frecven
a de
ie este
Frecvena
de apari
apariie
este
adesea
adesea considerat
considerat oo aproximare
aproximare
aa densit
ii de
densitii
de probabilitate
probabilitate..

A.1

2/29

A. Modele statistice elementare

Tipuri
i de
Tipuri de
de densit
densiti
de probabilitate
probabilitate utilizate
utilizate n
n IS
IS
Densitatea simpl de
probabilitate

Densitatea de probabilitate
a aceleiai realizri

def

p (u[ n], n ) = p (u[ n]) [0,1]

def

Densitatea de probabilitate
ncruciat (intrare-ieire)

p ( y[ n], n ) = p ( y[ n]) [0,1] p (u[ m], y[ n], m, n )

Probabilitatea
Probabilitatea ca
ca valoarea
valoarea
intrrii
irii s
intrrii,, respectiv
respectiv ie
ieirii
s
apar
in setului
aparin
setului de
de date
date
msurate
ul
msurate la
la moment
momentul
nnN*.
N*.

def

= p ( u[ m], y[ n]) [0,1]

[m]
Probabilitatea
Probabilitatea ca
ca intrarea
intrarea uu[m]
s
irea yy[n]
[n] n
n
s produc
produc ie
ieirea
datele
datele msurate
msurate,, la
la momentele
momentele
m
N* ii nn
N*.
mN*
N*.

p ( y[ m], y[ n], m, n )
def

= p ( y[ m], y[ n]) [0,1]

[m]
Probabilitatea
Probabilitatea ca
ca valorile
valorile yy[m]
[n] ale
ii yy[n]
irii procesului
ale ie
ieirii
procesului s
s
apar
in aceleia
i realizri
aparin
aceleiai
realizri,, la
la
N* ii nn
N*.
momentele
mN*
N*.
momentele m

** Cunoa
terea preliminar
i de
Cunoaterea
preliminar aa acestor
acestor densit
densiti
de
probabilitate
dac nu
).
probabilitate este
este dificil
dificil ((dac
nu imposibil
imposibil).

TLC

"
" Convenie
Convenie:: distribuiile
distribuiile de
de probabilitate
probabilitate
ale
ale proceselor
proceselor vor
vor fifi implicit
implicit
considerate
considerate de
de tip
tip Gaussian
Gaussian,,
dac
dac nu
nu se
se specific
specific altfel
altfel..

A.2

3/29

A. Modele statistice elementare

def

Medie statistic
(valoarea cea mai ateptat,
sperana matematic)
Speran matematic?

E{ y[ n]} =

p ( y[ n]) y[ n] dy[n]

D ( y [ n ])

n N

Operator
Operator de
de
mediere
mediere statistic
statistic

produsul dintre valoarea densitii de probabilitate

i valoarea corespunztoare a variabilei aleatoare

FFolosind
olosind media
media statistic
statistic aa unui
unui set
set de
de date
date aleatoare
aleatoare (cu
(cu oo anumit
anumit
distribu
ie de
ine oo predic
ie ((de
de regul
distribuie
de probabilitate),
probabilitate), se
se poate
poate ob
obine
predicie
regul
grosier
) aa valorii
-ar aduga
grosier)
valorii care
care ss-ar
aduga datelor
datelor disponibile
disponibile la
la
momentul
ie.
momentul urmtor
urmtor de
de achizi
achiziie.

E
Expected

** TTimpul
impul joac
n defini
ia operatorului
eoarece integrarea
joac un
un rol
rol secundar
secundar n
definiia
operatorului E
E,, ddeoarece
integrarea se
se efectueaz
efectueaz peste
peste
mul
imea valorilor
-a lungul
mulimea
valorilor variabilei
variabilei aleatoare
aleatoare ii nu
nu de
de-a
lungul axei
axei timpului
timpului..
Direcia
Direcia de
de integrare
integrare n
n definiia
definiia
operatorului
operatorului de
de mediere
mediere statistic
statistic

Exerciii
Exerciii

Propriet
i elementare
Proprieti
elementare ale
ale
operatorului
operatorului de
de mediere
mediere statistic
statistic
Invariana variabilelor deterministe
E{a[ n]} = a[ n]
n N
Liniaritate
E{a1[ n] y1 [ n] + a2 [ n] y2 [ n]} =
n N

= a1[ n]E{ y1[ n]} + a2 [ n]E{ y2 [ n]} 0

y[n] p(y[n])
Realizri
Realizri ale
ale
procesului
procesului
E {y[n]}
Variabil
Variabil n
n timp
timp,,
dar
dar determinist
determinist..
n

A.3

4/29

A. Modele statistice elementare

Exemplu
Exemplu
Revenim
Revenim la
la rspunsul
rspunsul indicial
indicial al
al unui
unui sistem
sistem liniar
liniar de
de ordin
ordin II
y

~K

E {y[n]}

Realizri
Realizri ale
ale
procesului
procesului

Parametrii
Parametrii procesului
procesului pot
pot fifi
determinai
determinai cu
cu oo anumit
anumit precizie
precizie
folosind
folosind curba
curba medie
medie statistic
statistic aa
tuturor
tuturor realizrilor
realizrilor acestuia
acestuia..

0 ~T
t
Inconvenientele utilizrii directe a definiiei operatorului de mediere statistic n aplicaii practice:
/ Pentru evaluarea cu precizie a mediei
/ De cele mai multe ori, nu se cunoate
statistice, este necesar o colecie infinit
densitatea de probabilitate a datelor msurate.
de realizri ale procesului.
Ar putea fi estimat prin iniierea unui
mare numr de experimente econometrice
i trasarea histogramelor valorilor
msurate la fiecare moment de timp.

Un mare numr de experimente

econometrice ar putea conduce la valori
suficient de precise ale mediei statistice.

&
complicat

costisitor

A.4

5/29

A. Modele statistice elementare

Cum se poate utiliza operatorul de mediere statistic n cazul n care doar o
singur realizare a procesului este disponibil?
FFolosind
olosind oo ipotez
ipotez celebr
celebr din
din Fizic
Fizic..

Ipoteza
IE) (de
Ipoteza Ergodic
Ergodic ((IE)
(de medie
medie))

Media statistic pe ansamblul realizrilor unui proces se poate evalua

calculnd mediile temporale succesive ale oricrei realizri, n jurul
fiecrui moment de timp.
Precizia evalurii crete odat cu numrul datelor care reprezint
acea realizare.

1 n
E{ y[ n]} y[i ] medie temporal
n i =1

n N

Caz
Cazparticular
particular

numrul de termeni ai sumei

Proces
n medie
Proces staionar
staionar ((n
medie))
def

E{ y[ n]} = y = constant

n N

IE
IE

Teorema
de medie

1 n
E{ y[ n]} = y = lim y[i ] cauzal
n n
i =1

1 n+ N
E{ y[ n]} = y = lim
y[i ] necauzal

N 2 N
i = n N +1

Direcia
Direcia de
de sumare/integrare
sumare/integrare n
n
definiia
definiia mediei
mediei temporale
temporale
n

y[i]

i=1

1
y[i]
n i=1

E {y[n]}
O
O realizare
realizare aa
procesului
procesului
n
** TTimpul
impul joac
ul principal.
joac rol
rolul
principal.
1 n
E{ y[ n]} y[i ]
n i =1
n N
A.5

A.5

6/29

A. Modele statistice elementare

Aadar
Aadar

Folosirea
atistic
Folosirea IE
IE conduce
conduce la
la posibilitatea
posibilitatea de
de aa aproxima
aproxima operatorul
operatorul de
de mediere
mediere ststatistic
n
n aplica
ii practice
te densitatea
aplicaii
practice fr
fr aa cunoa
cunoate
densitatea de
de probabilitate
probabilitate aa datelor
datelor ii fr
fr aa
efectua
efectua mai
mai mult
mult de
de un
un experiment
experiment econometric
econometric..
determinist
nedeterminist
Ct de precis este aceast aproximaie?
Precizia
iei cre
te odat
Precizia aproxima
aproximaiei
crete
odat cu
cu
numrul
ionate.
numrul de
de date
date achizi
achiziionate.

1 n
E{ y} = lim y[i ]
n n
i =1

n N

1 n
E{ y[ n]} y[i ]
n i =1

n N

Totu
i, pentru
ionate, precizia
iei
Totui,
pentru un
un numr
numr constant
constant de
de date
date achizi
achiziionate,
precizia aproxima
aproximaiei
poate
n jurul
poate fifi testat
testat cu
cu ajutorul
ajutorul dispersiei
dispersiei datelor
datelor n
jurul mediei
mediei..
Dispersie
Dispersie

def

[ n] = E{ y 2 [ n]} =
2
y

2
2
2
p
y
[
n
]
y
[
n
]
dy
[ n]
(
)

D ( y 2 [ n ])

Varian
Varian

n N

def

n N
def

[ n] = E{ y [ n]}
2
y

(dispersia datelor
n jurul mediei)

nN

def

y [ n] = E{ y [ n]}
2

n N

(vezi proprietile
operatorului E)

1 n 2
[ n ] y [i ]
n i =1
2
y

IE
IE

n N

Deviaie
Deviaie
standard
standard

E{ y [ n]} = 0

y [ n] = y[ n] E{ y[ n]} (centrate pe medie)

Date
Date
staionarizate
staionarizate

(media ptratelor valorilor)

n N

Alt variant:
1 n 2
[ n]
y [i]
n 1 i =1
2
y

n N \ {1}

proprieti
statistice
superioare

A.6

7/29

A. Modele statistice elementare

Gradul
n jurul
ia standard
Gradul de
de grupare
grupare aa datelor
datelor n
jurul mediei
mediei este
este cuantificat
cuantificat de
de devia
deviaia
standard,, cu
cu ajutorul
ajutorul
tubul
ui de
ie standard
tubului
de devia
deviaie
standard..
y
E {y[n]}+y~[n]
E {y[n]}

Cu
t tubul
ngust,
Cu cct
tubul este
este mai
mai ngust,
cu
t precizia
cu at
att
precizia curbei
curbei medii
medii
este
este mai
mai mare.
mare.
0

Alt
Alt
interpretare
interpretare

E {y[n]}-y~[n]

factor de
proporionalitate care
depinde de interpretarea
pe care o are tubul

Exemplu
Cazul procesului
procesului normal
normal distribuit
distribuit
Exemplu Cazul

Precizia
Precizia de
de predicie
predicie
aa procesului
procesului

Valoarea
Valoarea msurat
msurat la
la momentul
momentul urmtor
urmtor celui
celui curent
curent ((nn))
se
n intervalul
ncredere:
se va
va situa
situa n
intervalul de
de ncredere:

=3

Tubul
Tubul de
de deviaie
deviaie standard
standard este
este definit
definit
n
.
n orice
orice moment
moment de
de intervalul
intervalul 33.
** Mai
Mai mult
mult de
de 95%
95% din
din realizrile
realizrile
procesului
procesului trec
trec prin
prin acest
acest tub.
tub.

E{ y[ n]} y [ n] , E{ y[ n]} + y [ n]
cu
ncredere.
cu oo anumit
anumit probabilitate
probabilitate,, numit
numit nivel
nivel de
de ncredere.

Exemplu
Nivelul de
de ncredere
ncredere pentru
pentru predicia
predicia
Exemplu Nivelul

procesului
procesului normal
normal distribuit
distribuit este
este 0.95
0.95..

** De
ncredere scade
De regul
regul,, nivelul
nivelul de
de ncredere
scade odat
odat
cu
ngustarea intervalului
ncredere.
cu ngustarea
intervalului de
de ncredere.

A.7

8/29

A. Modele statistice elementare

Determinarea gradului de corelare existent ntre valorile unui set de date

este extrem de important pentru aprecierea predictibilitii acestuia.

Dac datele sunt slab corelate ntre ele, predicia valorilor viitoare nu se poate face dect n limitele unei
precizii sczute.
Cum se poate caracteriza corelarea dintre date?
Caracterizarea
Caracterizarea filozofic
filozofic este
este fundamentat
fundamentat de
de urmtorul
urmtorul principiu
principiu axiomatic
axiomatic..

Principiul
ii din
Principiul cauzalit
cauzalitii
din sistemul
sistemul logic
logic uman
uman
Prezentul i trecutul apropiat influeneaz mai mult viitorul imediat
** Sistemul
Sistemul logic
logic
dect o face trecutul ndeprtat.
uman
uman este
este
Viitorul nu poate influena prezentul sau trecutul.
incomplet
!
incomplet!
(Gdel, ~1933) n IS, caracterizarea fenomenului de
Tipuri
??i de
densit
Tipuri de
de densit?
densit??i
de probabilitate
probabilitate utilizate
utilizate n
n IS
IS
n IS, caracterizarea fenomenului de
Densitatea simpl
Densitatea de probabilitate
simpl de
probabilitate
a aceleia
aceleiai realiz
realizri
corelare
corelare dintre
dintre date
date se
se bazeaz
bazeaz pe
pe::

Covarian ((ncruciat)
ncruciat)
def

ru , y [ m, n] = E{u[ m] y[ n]} =
pivoi

Arat
t de
Arat cct
de corelat
corelat
statistic
irea
statistic este
este ie
ieirea
cu
cu intrarea
intrarea,, ambele
ambele
apar
innd aceluia
i
aparinnd
aceluiai
set
set de
de date
date msurate
msurate..

p ( u[ m], y[ n]) u[ m] y[ n] du[ m]dy[ n]

D ( u[ m ]) D ( y [ n ])

m, n N

Densitatea de probabilitate
ncruci
ncruciat
at (intrareintrare-ie
ieire
ire)

Densitatea de probabilitate
ncruciat (intrare-ieire)
Densitatea de probabilitate
a aceleiai realizri

** Defini
ie formulat
Definiie
formulat tot
tot cu
cu ajutorul
ajutorul operatorului
operatorului de
de mediere
mediere statistic
statistic..

A.8

9/29

A. Modele statistice elementare



n
n IS
IS,, caracterizarea
caracterizarea fenomenului
fenomenului de
de
corelare
corelare dintre
dintre date
date se
se bazeaz
bazeaz pe
pe::

Tipuri
??i de
densit
Tipuri de
de densit?
densit??i
de probabilitate
probabilitate utilizate
utilizate n
n IS
IS
Densitatea simpl
simpl de
probabilitate

Arat
t de
e statistic
Arat cct
de corelat
corelate
statistic
sunt
irile apar
innd aceluia
i
sunt ie
ieirile
aparinnd
aceluiai
set
set de
de date
date msurate
msurate..

Auto
-covarian
Auto-covarian
def

ry [ m, n] = E{ y[ m] y[ n]} =
pivoi

p ( y[ m], y[ n]) y[ m] y[ n] dy[ m]dy[ n]

D ( y [ m ]) D ( y [ n ])

m, n N

Densitatea de probabilitate
a aceleia
aceleiai realiz
realizri
Densitatea de probabilitate
ncruci
ncruciat
at (intrareintrare-ie
ieire
ire)

Densitatea de probabilitate
ncruciat (intrare-ieire)
Densitatea de probabilitate
a aceleiai realizri

def

Similar
Similar

ru [ m, n] = E{u[ m]u[ n]} (auto-covariana datelor de intrare)

Nu este prea complicat?

m, n N

Desigur
ncearc evaluarea
nd de
ii.
de la
la defini
definiii.
Desigur,, dac
dac se
se ncearc
evaluarea plec
plecnd
Simplificarea
Simplificarea este
este posibil
posibil tot
tot datorit
datorit unei
unei versiuni
versiuni aa IE
IE..

Ipoteza
)
Ipoteza Ergodic
Ergodic (de
(de covarian
covarian)
Secvena de (auto)-covarian a unui proces nu depinde dect de
diferena pivoilor (adic procesul este staionar n covarian) i
este egal cu (auto-)covariana temporal a oricrei realizri cu un
numr infinit de date msurate.

A.9

10/29

A. Modele statistice elementare

ru , y [ m, n] = ru , y [ m n] = lim

IE
IE

ry [ m, n] = ry [ m n ] = lim

N + min{ m , n}

1
N ,m,n

i =1+ max{m , n}

N + min{ m , n}

N ,m,n

u[i n] y[i m]

y[i n] y[i m]

i =1+ max{m , n}

m, n N

** Se
a
Se poate
poate observa
observa cum
cum se
se calculeaz
calculeaz diferen
diferena
pivo
ilor: prin
pivoilor:
prin scderea
scderea argumentelor
argumentelor
semnalelor
semnalelor implicate
implicate..

ru , y [ k ] = E{u[ n] y[ n k ]} ruN, y [ k ] =
ry [ k ] = E{ y[ n] y[ n k ]} r [ k ] =
N
y

Aproximaii
Aproximaii
similare
similare

N ,k

N + min{0, k }

N ,k

def

m n = k Z

+ -

u[ n] y[ n k ]

n =1+ max{0, k }

pivot

k Z

Numitorul
Numitorul factorului
factorului ce
ce precede
precede
oricare
oricare dintre
dintre sume
sume este
este egal
egal cu
cu
numrul
numrul de
de termeni
termeni ai
ai sumei
sumei..
def

y[ n] y[ n k ]

n =1+ max{0, k }

k Z

N ,m ,n = N + min{m, n} max{m, n}
def

N ,k = N + min{0, k } max{0, k }
Numitorul
ntotdeauna
Numitorul factorului
factorului ce
ce precede
precede sumele
sumele este
este ntotdeauna
egal
N..
egal cu
cu dimensiunea
dimensiunea orizontului
orizontului de
de msur
msur,, N

"
" Convenie
Convenie:: semnalele
semnalele
se
se prelungesc
prelungesc cu
cu
zerouri
zerouri n
n afara
afara
orizontului
orizontului de
de msur
msur..
(zero padding)

N + min{0, k }

m, n N

1
ru , y [ k ]
N
1
ry [ k ]
N

u[ n] y[ n k ]
n =1

k Z

y[ n] y[ n k ]
n =1

k Z

** CCele
ele dou
ii
dou tipuri
tipuri de
de aproxima
aproximaii
sunt
sunt sensibil
sensibil diferite
diferite pentru
pentru
pivo
i deprta
i de
pivoi
deprtai
de origine.
origine.

A.10

11/29

A. Modele statistice elementare

Ct de precise sunt aceste aproximaii?
Precizia
iei cre
te odat
ionate,
Precizia aproxima
aproximaiei
crete
odat cu
cu numrul
numrul de
de date
date achizi
achiziionate,
dar
ndeprtarea pivotului
dar scade
scade odat
odat cu
cu ndeprtarea
pivotului de
de origine
origine
((deoarece
deoarece numrul
n ce
).
numrul de
de termeni
termeni ai
ai sumei
sumei devine
devine din
din ce
ce n
ce mai
mai mic
mic).

r [k ] =
N
u, y

N + min{0, k }

1
N ,k

u[ n] y[ n k ]

n =1+ max{0, k }

k Z

Dou
Dou cazuri
cazuri

eantion ntrziat cu k pai pentru

eantion anticipat cu -k pai pentru

k 0
k <0

** Datele
-a lungul
Datele culiseaz
culiseaz de
de-a
lungul orizontului
orizontului de
de msur
msur..

Exemplu
Exemplu

k 0

u[k+1]

u[N]

u[1]
u[N+k]

Pentru
Pentru aa limita
limita erorile
erorile,,
n
n practic
practic se
se evalueaz
evalueaz
un
un numr
numr de
de valori
valori cel
cel
mult
mult egal
egal cu
cu un
un sfert
sfert
din
din dimensiunea
dimensiunea
orizontului
orizontului de
de msur
msur..

N
k 0,
4

u[2]

k+1

y[1]

N+k

y [N-k ]
y [N]

Exerciiu
Exerciiu

k <0

N-k

1
N

u[ n] y[ n k ] 0

n = k +1

n -k

culisare

A.11

12/29

A. Modele statistice elementare

IE
IE

Propriet
i elementare
-)covarian
Proprieti
elementare ale
ale secvenei
secvenei de
de (auto
(auto-)covarian

Exerciii
Exerciii

Simetrie
Covarian ncruciat

Auto-covarian

ru , y [ k ] = ry ,u [ k ]

ry [ k ] = ry [ k ]

k Z

k Z

se schimb cu
Aceste
i se
Aceste propriet
proprieti
se demonstreaz
demonstreaz cu
cu
ajutorul
nd seriile
ajutorul IE
IE,, complet
completnd
seriile de
de date
date
cu
nd sumele
cu zerouri
zerouri ii extinz
extinznd
sumele la
la infinit
infinit..

** Este
Este suficient
suficient evaluarea
evaluarea
pentru
i nenegativi
pentru pivo
pivoi
nenegativi..
N
1
r [k ] =
y[ n] y[ n k ]
N k n = k +1
N
y

k N

Mrginirea auto-covarianei

ry [ k ] ry [0] = 2y (valoarea maxim a auto-covarianei este egal cu dispersia datelor)

k Z

Auto
-corelaie
Auto-corelaie
auto-covariana normalizat

Similar
Similar

Corelaie
((ncruciat)
ncruciat)
covariana (ncruciat)
normalizat

def

y [k ] =

ry [ k ]
ry [0]

def

u , y [ k ] =

ry [ k ]

2
y

y [k ] 1

k Z

k Z

ru , y [ k ]
ru [0] ry [0]

ru , y [ k ]
u y

k Z

A.12

13/29

A. Modele statistice elementare

IE
IE

Propriet
i elementare
-)covarian ((continuare)
continuare)
Proprieti
elementare ale
ale secvenei
secvenei de
de (auto
(auto-)covarian

Exerciii
Exerciii

Periodicitatea auto-covarianei
y[ n] = y[ n P ]
n Z

ry [ k ] = ry [ k P ] (cu acceai perioad ca a datelor)

k Z

impulsul unitar discret

(simbolul lui Kronecker)
Proces
O
O singur
singur valoare
valoare nenul
nenul,,
ry [ k ] = E{ y[ n] y[ n k ]} = 2y 0 [ k ]
n
n origine
origine,, egal
egal cu
cu dispersia
dispersia
ne(auto
-)corelat
ne(auto-)corelat
k Z
ry
** Acest
Acest tip
tip de
de proces
proces este
este complet
complet impredictibil
impredictibil
y2= ry[0]
((viitorul
viitorul nu
).
nu depinde
depinde nici
nici de
de prezent
prezent,, nici
nici de
de trecut
trecut).
perioada datelor

k
0
Proces
p ( y[ m], y[ n]) = p ( y[ m]) p ( y[ n]) m, n N
(statistic)
independent PProbabilitatea
robabilitatea de
ie simultan
irii pe
i realizare
de apari
apariie
simultan aa dou
dou valori
valori ale
ale ie
ieirii
pe aceea
aceeai
realizare este
este

egal
ilor de
ie independent
egal cu
cu produsul
produsul probabilit
probabilitilor
de apari
apariie
independent aa valorilor
valorilor pe
pe acea
acea realizare
realizare..

Propozi
ia 11
Propoziia

Demonstra
ie
Demonstraie

Exerciiu
Exerciiu

Un
Un proces
proces independent
independent de
de medie
medie nul
nul este
este ii necorelat
necorelat..
Propozi
ia 22
Propoziia

Demonstra
ie
Demonstraie

Complicat
Complicat !!

Ce legtur
exist ntre ele?
Dou
Dou rezultate
rezultate remarcabile
remarcabile
relev
relev aceast
aceast legtur
legtur..

Un
nd distribu
ie Gaussian
Un proces
proces necorelat
necorelat av
avnd
distribuie
Gaussian este
este ii independent.
independent.

A.13

14/29

A. Modele statistice elementare

Datele achiziionate sunt n realitate semnale care transport o anumit informaie

referitoare la comportamentul procesului care le-a produs.

Entitate
Entitate ce
ce transport
transport informaie
informaie cu
cu privire
privire la
la starea
starea sau
sau comportarea
comportarea unui
unui sistem
sistem,,
Semnal
att
att n
n timp
timp ct
ct i
i n
n frecven
frecven..
Timp i frecven?
Nu sunt concepte independente?

Domeniul
Timp ii domeniul
Frecven
Domeniul Timp
domeniul Frecven
sunt
sunt duale
duale..
Exist mai multe manifestri ale
dualitii dintre ele.
Exemplu
Exemplu
Semnalul
Semnalul ii spectrul
spectrul
Principiul
Principiul de
de incertitudine
incertitudine
su
su nu
nu pot
pot avea
avea
GABOR
-HEISENBERG
GABOR-HEISENBERG
simultan
simultan suporturi
suporturi
(
compacte
(Ambele
Ambele pot
pot avea
avea,, ns
ns,,
compacte // finite.
finite.
suporturi
suporturi infinite.
infinite.

Aparent, DA. n esen, NU.

(t t0 )2
1
exp
2
2
2

def

O
Gaussian g (t ) =
O Gaussian
33

Semnal
Semnal Gausian
Gausian

00.7
.7

== 0.15
0.15

22.5
.5

00.5
.5

g(t)
g(t)

g(t)
g(t)

MARE
MARE

11.5
.5
11

00.3
.3

mic
mic

00.1
.1
00

55

1100

00
-5
-5

1155

Timp
Timp
Spectrul
Spectrul semnalului
semnalului G
Gausian
ausian

00.0
.066

00.0
.066

|G(ej)|)|
|G(e

00.0
.088

00.0
.044

mic
mic

00.0
.022

-2
-2

00

22

Pulsatie
Pulsatie normalizat
normalizataa

00

55

1100

Rezoluie
Timp
Rezoluie n
n Timp
1155

Timp
Timp
Spectrul
semnalului
Spectrul semnalului G
Gausian
ausian

00.0
.088

|G(j )|)|
|G(
j

00.4
.4

00.2
.2

00.5
.5

00
-4
-4

== 0.60
0.60

00.6
.6

22

00
-5
-5

Semnal
Semnal Gausian
Gausian

00.0
.044

MARE
MARE

00.0
.022

44

Produsul
Produsul rezoluiilor
rezoluiilor
oo constant
.
constant.

00
-4
-4

-2
-2

00

22

Pulsatie
Pulsatie normalizat
normalizataa

44

Rezoluie
Frecven
Rezoluie n
n Frecven

Informaie
Informaie temporal
temporal
episodic
episodic
((energie
energie concentrat
concentrat pe
pe oo
durat
).
durat scurt
scurt).
Informaie
Informaie frecvenial
frecvenial
persistent
persistent
((energie
energie disipat
disipat pe
pe oo
band
).
band larg
larg).

A.14

15/29

A. Modele statistice elementare

Informaia transportat de semnal poate fi mai uor de interpretat ntr-un domeniu dect n altul.
Compresia semnalului poate fi mai uor de realizat ntr-un domeniu dect n altul.
Exemplu
Exemplu

A sin 0t
Un
Un FTJ
FTJ ideal
ideal h(t ) =
t
h
Complicat
Complicat
Timp
Timp
A 0

Cum poate fi transferat informaia ntre

domeniile Timp i Frecven?

def

Interpretare
Interpretare

Cu
Cu ajutorul
ajutorul transformatelor
transformatelor..

Simpl
Simpl

Transformat

mic
mic

Frecven
Frecven

h
A

Rat
Rat de
de compresie
compresie

MARE
MARE
0

Operator Fourier

Operator
Operator inversabil
inversabil care
care
transform
n
transform un
un semnal
semnal temporal
temporal n
unul
ial.
unul frecven
frecvenial.

|H |

Exist mai multe clase de transformate.

Una dintre cele mai diverse este clasa
Transformatelor Fourier (TF).

Timp

0
-1/3 +1/3

t0 -3

t0

t0 +3

PS

Frecven

-1

A.15

16/29

A. Modele statistice elementare

Defini
ii ale
OF) direct
) ii invers
Definiii
ale Operatorului
Operatorului Fourier
Fourier ((OF)
direct (de
(de analiz
analiz)
invers (de
(de sintez
sintez))
Semnale
Semnale discrete
discrete

Semnale
Semnale continue
continue

minus

minus
Analiz
Analiz

Analiz
Analiz
def

def +

F ( f )( j ) = F ( j ) =

f (t )e

j t

dt
R

F ( x ) ( e j ) = X ( e j ) = x[ n]e j n
def

def

nZ

plus
Sintez
Sintez

Sintez
Sintez

f (t ) = F

R
plus

1
+ j t
( F )(t ) =
(
)e
F
j

2
t R

x[ n] = F

1
j
+ j n
(
)
X
d
( X )[ n] =
e
e

2
n Z

De
, semnalul
Deregul
regul,
semnalulfrecvenial
frecvenialreturnat
returnatde
deOF
OFeste
esteoofuncie
funciecu
cuvalori
valoricomplexe
complexe..
j F ( )
F
(
j

)
=
Re
F
(
j

)
+
j
Im
F
(
j

)
=
F
(
j

)
e
[
]
[
]
Semnale
continue
Semnale continue

Spectru
Spectru
Semnale
Semnale discrete
discrete

Faz
Faz

X (e j ) = Re X (e j ) + j Im X (e j ) = X (e j ) e j X ( )

A.16

17/29

A. Modele statistice elementare

Caracterizarea
n frecven
aa sistemelor
Caracterizarea n
frecven
sistemelor liniare
liniare continue
continue
def +

def

L ( f )( s ) = F ( s ) =

f (t )e

st

Transformata Laplace (TL)


dt instrumentul de caracterizare a transferului intrare-ieire

pentru sisteme liniare continue

Caracterizare n
funcie original
domeniul complex
(continual cauzal)
oarecare
X
Y XH
H
0
f (t ) = 0, t < 0

Convergen
C

Ac ( f )
Re( s )

<0 0

f ( t ) e t , t > t0

indicele descreterii
relative normalizate
restricia TL la axa imaginar
(dac aparine zonei de convergen)

TL a
intrrii

Ac (h )
TL a
funcie de
ieirii
transfer

** Negativ
Negativ..

pulsaie R

F (s) s= j =

f (t )e j t dt

def

def +

F ( f )( j ) = F ( j ) =

f (t )e j t dt
R

H (s) =

Y (s)
= L ( h )( s )
X (s)

** Sistem
Sistem cauzal
cauzal ii stabil
stabil..

Y ( j )
H ( j ) =
=
X ( j )

h(t )e
0

jt

dt
R

Rspuns
Rspuns n
n frecven
frecven
TF
TF aa secvenei
secvenei pondere
pondere

A.17

18/29

A. Modele statistice elementare

Caracterizarea
n frecven
aa sistemelor
Caracterizarea n
frecven
sistemelor liniare
liniare discrete
discrete [[z{{{
z{{{]]
Sistem liniar
u

def

y[ n] = ( u h )[ n] = ( h u )[ n] = h[ k ] u[ n k ] = h[ k ]e j( n k )
k Z (convoluie)
k Z
n Z
y[ n] = e jn

semnal de
intrare

semnal de
funcie de
ieire
sistem

jn

*h

secven pondere
armonic de pulsaie
normalizat R
convoluie

y?[ n] = e

h[k ]e
k Z

j n

def

jk

n Z

H (e ) = h[ k ]e

H (e )

j k

def

= F ( h )(e j )

k Z

Este rspunsul n frecven

corect definit?

Rspuns n frecven
TF
TF aa secvenei
secvenei pondere
pondere

DA, n cazul sistemelor stabile.

n acest caz, operaia de convoluie este de asemenea corect definit.

Exerciii
Exerciii
Deducei expresia rspunsului n frecven al unui sistem liniar continuu, respectiv discret, apelnd
la un raionament similar celui utilizat pentru sistemele liniare discrete, respectiv continue.
Convoluie continu:
def
def

n
Transformata Z (TZ): Z ( x )( z ) = X ( z ) = x[ n] z
def +
nZ
(u * h )(t ) = u( )h(t ) d
(convergent pe o coroan circular)

t R
A.18

19/29

A. Modele statistice elementare

Caracterizarea
n frecven
aa sistemelor
Caracterizarea n
frecven
sistemelor liniare
liniare discrete
discrete [[zz{{
zz{{]]

q 1
def

H ( q ) = h[ k ]q
1

e j

k Z

def

Func
ie de
Funcie
de sistem
sistem
j

R
spuns n
n frecven

Rspuns
frecven

decibeli

Proprieti elementare
Funcie analitic (indefinit derivabil).

Spectru
Spectru
linie/raz spectral

H [rad]
+

Faz

Faz

Periodicitate: H (e j ) = H (e j ( + 2 ) )

real

H (e j ) = Re2 H (e j ) + Im 2 H (e j )

|H |
De ce decibeli?

2
pulsaii dominante

anti-simetric pentru

** Pentru
iei grafice
Pentru echilibrarea
echilibrarea rezolu
rezoluiei
grafice..
|H |dB

real

2
0

[ a ]dB = 20 lg a

dB

simetric pentru

def

H (e ) = h[ k ]e jk

k Z

H (e )

++ Semnal
ial continual
Semnal frecven
frecvenial
continual..

dB

Im H (e j )

H () = atan2
Re H (e j )

A.19

20/29

A. Modele statistice elementare

Caracterizarea
n frecven
aa sistemelor
Caracterizarea n
frecven
sistemelor liniare
liniare discrete
discrete [[zzz{
zzz{]]
Problema
iei
Problemaconvolu
convoluiei

Soluiile
Soluiile acestei
acestei probleme
probleme se
se numesc
numesc
Teoreme
Teoreme de
de convoluie
convoluie

Sistem liniar
u

semnal de
intrare

)
) Teorema
Teorema direct
direct

(
( Teorema
Teorema invers
invers
O
O pereche
pereche de
de Teoreme
Teoreme de
de convoluie
convoluie
provine
provine de
de la
la Transformata
Transformata ZZ

semnal de
funcie de
ieire
sistem

*h

y uh

secven pondere

Teorema
Teorema direct
direct

Z ( u h ) Z ( u )Z ( h ) Z ( y )

F (u h ) F ( y ) ?

Y ( z ) = H ( z )U ( z )

Transformata
Transformata ZZ induce
induce
Teoremele
Teoremele de
de convoluie
convoluie
ii pentru
pentru TF
TF
)
) direct
direct

F ( u h ) F ( u )F ( h )
+

Z ( xy )( z ) = V ( z ) =

1
j
j ( )
F ( uh )(e ) =
U
e
H
e
(
)
invers
(
) d (( invers

2
j

funcie de transfer

Teorema
Teorema invers
invers

z d
1

X
(
)
Y

A
2j v

** Mai
in importante
Mai pu
puin
importante n
n IS
IS..
convoluie periodic

A.20

A. Modele statistice elementare

21/29

Caracterizarea
n frecven
aa sistemelor
Caracterizarea n
frecven
sistemelor liniare
liniare discrete
discrete [[zzzz
zzzz]]
u

|U|

0
|H|

Pulsaie

|Y|

Pulsaie

Pulsaie

+
0

Interpretare

Interpretare spectral
spectral

Pulsaie

** n
n dB,
dB, spectrele
spectrele se
se adun
adun..
0
Pulsaie

Pulsaie

A.21

A. Modele statistice elementare

22/29

Dei n matematic exist extensii ale definiiei TF la mulimi de semnale stocastice,

acestea sunt dificil de utilizat n practic i motenesc caracterul nedeterminist.

Principalul obiectiv al modelrii statistice const n caracterizarea entitilor nedeterministe
cu ajutorul unor concepte avnd natur determinist.
E{ y[ n]} ry [ k ] ru , y [ k ]
Caracterizarea n frecven a proceselor stocastice se obine folosind
reprezentarea n frecven a secvenelor de (auto-)covarian
Mrimi
Mrimi deterministe
deterministe
(mrimi deterministe) n locul setului de date msurate (nedeterministe).

Densitate spectral
ncruciat
ncruciat (de
(de putere
putere))

def

u , y ( ) = F ( ru , y )(e j ) = ru , y [ k ]e jk

k Z

TF
ncruciat)
TF aa secvenei
secvenei de
de covarian
covarian ((ncruciat)

Densitate spectral
(de putere
pur)
putere)) ((pur)

def

y ( ) = F ( ry )(e j ) = ry [ k ]e jk
k Z

TF
-covarian
TF aa secvenei
secvenei de
de auto
auto-covarian

Secvenele de (auto-)covarian pot fi recuperate cu ajutorul OF inveri:

+

1
ru , y [ k ] = F 1 ( u , y )[ k ] =
u , y ( )e+ jk d

k Z

ry [ k ] = F

1
+ j k

d
( y )[ k ] =
(
)e
y

k Z

A.22

23/29

A. Modele statistice elementare

Ambele tipuri de densitate spectral motenesc o serie de proprieti de la OF, dintre care
continuitatea (indefinit derivabilitatea) i 2-periodicitatea sunt evidente.

Propriet
i fundamentale
ilor spectrale
z{{{{]]
Proprieti
fundamentale ale
ale densit
densitilor
spectrale [[z{{{{

Simetrie

Densitatea spectral ncruciat are n general

valori complexe i verific urmtoarea relaie:

u , y ( ) = y ,u () C

Densitatea spectral pur are

numai valori reale i este simetric:

Exerciii
Exerciii

y ( ) = y ( ) R

se schimb cu
Transferul densitii spectrale prin sisteme liniare (discrete)
Aceast proprietate rezult n urma ncercrii de a rezolva problema convoluiei pentru
sisteme liniare discrete afectate de perturbaii nedeterministe att la intrare ct i la ieire.
Sistem liniar
Problema
iei
Problemaconvolu
convoluiei

vu

semnal de
intrare

u
Determinist
Determinist

vy

semnal de
funcie de
ieire
sistem

*h
secven pondere

y uh

y ,u f ( u ,F ( h ) ) ?

y g ( u ,F ( h ) ) ?
(timp)

Rspunsul
Rspunsul n
n frecven
frecven
al
al sistemului
sistemului

F ( y ) F ( h )F ( u )

(frecven)

A.23

24/29

A. Modele statistice elementare

Propriet
i fundamentale
ilor spectrale
Proprieti
fundamentale ale
ale densit
densitilor
spectrale [[zz{{{
zz{{{]]

Transferul densitii spectrale prin sisteme liniare (discrete) (continuare)

Dac secvena pondere a sistemului are valori reale, atunci:

Exerciiu
Exerciiu

y ,u ( ) = H (e j )u ( )

Demonstra
ie
Demonstraie

y ( ) = H (e ) u ( )

Cum poate fi exprimat convoluia

y h u

Astfel, va fi mai nti dedus o relaie

ntre secvenele de auto-covarian

n termeni de corelaie statistic ?
ale intrrii i ieirii sistemului.
Pentru aceasta, se pleac de la
Folosind
ile operatorului
Folosind propriet
proprietile
operatorului
definiia secvenei de auto-covarian
de
mediere
statistic
.
de mediere statistic.
a ieirii.
y h u
sumele sunt
def

absolut
ry [ k ] = E{ y[ n] y[ n k ]} = E h[ m]u[ n m] h[ p ]u[ n k p] =
convergente
mZ
pZ

= E h[ m]h[ p]u[ n m]u[ n p k ] = h[ m]h[ p]E {u[ n m]u[ n p k ]} =

mZ pZ
mZ pZ

= h[ m]h[ p]ru [ k + p m] , k Z .
mZ pZ

operatorul E este liniar

A.24

25/29

A. Modele statistice elementare

Propriet
i fundamentale
ilor spectrale
Proprieti
fundamentale ale
ale densit
densitilor
spectrale [[zzz{{
zzz{{]]

Transferul densitii spectrale prin sisteme liniare (discrete) (continuare)

j

Demonstra
ie ((continuare)
continuare)
Demonstraie

Aadar
Aadar

y ( ) = H (e ) u ( )

ry [ k ] = h[ m]h[ p] ru [ k + p m]

y h u

mZ pZ

nedeterminist

determinist

Se aplic acum definiia densitii spectrale a ieirii.

def

y ( ) = ry [ k ]e jk = h[ m]h[ p]ru [ k + p m]e jk =

k Z

k Z mZ pZ

** Un
ie
Un fel
fel de
de convolu
convoluie
bidimensional
bidimensional..

k Z

sumele sunt
absolut
convergente

= h[ m]h[ p ] ru [ k + p m]e jk = h[ m]h[ p] ru [ n]e jn e+ jp e jm =

mZ pZ
mZ pZ
k Z
nZ

k =n p+m
n
u ()
k Z
n Z

= h[ m]e jm h[ p]e + jp u ( ) = H (e j ) u ( ) , R .
mZ
pZ

H (e j )

H (e j ) = H (e j ) Exerciiu
Exerciiu

secvena pondere are valori reale

A.25

26/29

A. Modele statistice elementare

Propriet
i fundamentale
ilor spectrale
Proprieti
fundamentale ale
ale densit
densitilor
spectrale [[zzzz{
zzzz{]]

Transferul densitii spectrale prin sisteme liniare (discrete) (continuare)

Interpretarea spectral a celor dou proprieti este similar celei din cazul determinist.
j

y ,u ( ) = H (e )u ( )

y ( ) = H (e ) u ( )

|u|

Spectru
Spectru

|H|

|y,u|

Faz

Faz

Spectru
Spectru

|H|2

yu

** n
n**dB,
spectrele
se
adun.
. ?.
adun
dB,
n dB,
spectrele
adun?
adun
spectrele
sese
adun.
n
dB,
spectrele
se
adun?.
0

** *n
n* dB,
spectrele
?..
dB,
n dB,
spectrele
se
adun.
adun
adun
spectrele
se
adun?.
n
dB,
spectrelese
seadun?
adun.

** Prin
ii spectrale
Prin transferul
transferul densit
densitii
spectrale pure,
pure,
se
ia de
se pierde
pierde informa
informaia
de faz
faz..

A.26

27/29

A. Modele statistice elementare

Propriet
i fundamentale
ilor spectrale
Proprieti
fundamentale ale
ale densit
densitilor
spectrale [[zzzzz
zzzzz]]

Pozitiv (semi-)definirea densitii spectrale pure

y ( ) 0

Demonstra
ie
Demonstraie

proprietate justific denumirea de densitate spectral.

Aceast
def
2
Distribuia
Distribuia energiei
energiei semnalului
semnalului stocastic
stocastic
E ( y ) = y[ n]
peste
peste axa
axa frecvenei
frecvenei
nZ

Raionament de tip reducere la absurd.

Se presupune, prin absurd, c densitatea spectral pur nu este neaprat nenegativ.
Atunci exist cel puin o pulsaie 0 [ , +] pentru care y (0 ) < 0 .
Densitatea spectral este
o funcie continu.

Densitatea spectral ia valori negative

pe o ntreag vecintate a lui 0 :

y () < 0, [0 , 0 + ]

( > 0)

n consecin, se poate construi un filtru ideal, de tip trece-band (FTB), care s

izoleze banda de pulsaii [ 0 , 0 + ] din coninutul n frecven al semnalului y.

Filtru (trece-band)
Dispersia semnalului de ieire este:

0-

yf

0+

1
( y f )[0] =
y f ( ) d =

Transferul densitii
spectrale prin sisteme liniare

1 , pentru [0 , 0 + ]
H (e ) =
0 , pentru [0 , 0 + ]
j

= ry f [0] = F

0 +

2
yf

<0

1
1
j 2
(e
) y ( ) d =
H
y ( ) d .

2
2 0
<0

** Absurd.
Absurd.

|H|

2
yf

A.27

28/29

A. Modele statistice elementare

Zgomot
Zgomot alb
alb

Proces
Proces stocastic
stocastic total
total necorelat
necorelat,, impredictibil
impredictibil..

Utilizat pentru a construi modele stocastice ale perturbaiilor care afecteaz

partea util a datelor msurate din alte procese i care nu pot fi msurate.
Modele deterministe sunt arareori potrivite pentru a caracteriza sau estima
valorile unei perturbaii stocastice.

0.1
0.1

0.05
0.05

00

-0.05
-0.05

00

50
50

100
100

150
150

200
200

250
250

300
300

350
350

Exemplu
Exemplu

N
u exist
ie
Nu
exist nici
nici oo corela
corelaie
ntre
ntre evenimente
evenimente
(arun
cri ale
).
(aruncri
ale monedei
monedei).

Propoziia 11
Propoziia

-0.1
-0.1

Un
Un proces
proces stocastic
stocastic frecvent
frecvent utilizat
utilizat n
n Statistic
Statistic:: aruncarea
aruncarea monedei
monedei
De fiecare dat cnd se efectueaz un experiment 1
de aruncare a monedei, se obine un set de date
+1
de ieire diferit, adic o realizare a procesului.
Fiecare realizare este independent de celelalte,
avnd totodat media nul.
{ y[ n]}nN {1, +1}

PProcesul
rocesul poate
s de
de
poate fifi descri
descris
de oo secven
secven
de variabile
variabile aleatoare
aleatoare
necorelate
necorelate,, identic
identic distribuite
distribuite,, de
de medie
medie nul
nul ii dispersie
dispersie unitar
unitar..
=1
E{ y[ n]} = 0
Ecua
ii care
Ecuaii
care descriu
descriu
statistica
statistica zgomotului
zgomotului
def
2 , pentru k = 0
2
alb
n domeniul
alb n
domeniul
ry [ k ] = E{ y[ n] y[ n k ]} = 0 [ k ] =
timpului
0 , pentru k 0
timpului..
n
n domeniul
domeniul
frecven
ei.
frecvenei.

y () = 2

** Toate
ele sunt
n spectrul
Toate frecven
frecvenele
sunt prezente
prezente n
spectrul
zgomotului
i putere
zgomotului alb,
alb, cu
cu aceea
aceeai
putere..

A.28

29/29

A. Modele statistice elementare

0.1
0.1

0.05
0.05

De ce alb?

00

-0.05
-0.05

PPrin
rin analogie
de
analogie cu
cu oo experien
experien
de Fizic
Fizic elementar
elementar..

-0.1
-0.1

00

50
50

100
100

150
150

200
200

250
250

300
300

350
350

Un disc este mprit n 7 sectoare egale, fiecare fiind colorat cu

R
V
O
I
G
A V

Alb

** Analog,
Analog, spectrul
spectrul zgomotului
zgomotului alb
alb
con
ine toate
ele
conine
toate frecven
frecvenele
posibile
i putere
posibile,, cu
cu aceea
aceeai
putere..
V
I

O
G

Roz

A V

una dintre culorile fundamentale ale spectrului luminos.

Culorile sunt ordonate n ordinea descresctoare a lungimii de und
caracteristice din spectrul vizibil.
Rotirea discului cu o anumit vitez conduce la o singur culoare, cea
alb , datorit recombinrii culorilor fundamentale egal cantitativ
prezente pe disc.
Dac unuia dintre sectoarele discului i se modific aria, atunci
culoarea discului rotit nu mai rmne alb, fiind dominat de culoarea
fundamental corespunztoare ariei mai mare.

22

Caracteristicile
Caracteristicile zgomotului
zgomotului alb
alb

Period:
Period: NN == 500
500

1.5
1.5
11
0.5
0.5
00
-0.5
-0.5

Zgomot ccolorat
olorat

re

-1
-1
-1.5
-1.5
-2
-2
00

500
500

1000
1000

1500
1500

2000
2000

Proces
Proces stocastic
stocastic corelat
corelat,, cu
cu un
un anumit
anumit
grad
grad de
de predictibilitate
predictibilitate,, obinut
obinut adesea
adesea
prin
prin filtrarea
filtrarea zgomotului
zgomotului alb.
alb.
** Spectrul
Spectrul zgomotului
zgomotului colorat
colorat este
este
neuniform
n eviden

neuniform ii pune
pune n
eviden
frecven
ele ((culorile)
culorile) dominante
frecvenele
dominante..

2500
2500

2=re[0]

Timp
Timp

za ( e ,

1
2

** Variance:
Variance: 0.697359
0.697359

Frecven
Frecven

zgomotelor albe de
) Clasa
medie i dispersie .
2

+ 3 e[n
[n ]

Distribu
ie
Distribuie
Gaussian
Gaussian

A.29