Metode de identificare şi validare

Metoda
Metoda Celor
Celor Mai
Mai Mici
Mici Pătrate Extins
Pătrate ă ((MCMMPE)
Extinsă MCMMPE)
• Discuţia care urmează vizează identificarea modelelor de regresie liniară
avînd vectorul regresorilor nemăsurabil.
• Astfel de modele se regăsesc atît în clasa ARMAX, cît şi (mai ales) în clasa RSISO.
Exemplu
Exemplu
ARMAX[na,nb,nc
ARMAX[na,nb,nc]]
 T def
 [ n]    y[ n  1]  y[ n  2]   y[ n  na ] u[ n  1] u[ n  2]  u[ n  nb] ...
 3 componente, ... e[ n  1] e[ n  2]  e[ n  nc ]
 ca şi vectorul parametrilor
 T def  Ultima
Ultima component
componentă ă
θ   a1 a2  ana b1 b2  bnb c1 c2  cnc 
nu
nu este
este m ăsurabilă.  n  
măsurabilă.
• Strategia generală de identificare cu ajutorul MCMMPE constă în două etape:
 Estimarea zgomotului care intervine în componenta nemăsurabilă cu ajutorul unui
model avînd vectorul regresorilor complet măsurabil (dar mai puţin precis).
 Determinarea parametrilor originali ai modelului cu ajutorul vectorului regresorilor
avînd componenta nemăsurabilă estimată în etapa precedentă.
• În ambele etape este folosită o metodă de identificare din clasa MCMMP-MVI,
de unde atributul “Extinsă”.
• În cazul modelului general ARMAX:
 Zgomotul alb este estimat cu ajutorul unui model de tip ARX suficient de complex.
 Se aplică din nou MCMMP, fie direct (folosind vectorul estimat al regresorilor),
fie indirect (prin determinarea pseudo-soluţiei unui sistem incompatibil). 83
 Metode de identificare şi validare
Metoda Celor Mai Mici Pătrate Extinsă
Extinsă

Cazul
Cazul modelelor
modelelor ARMAX
ARMAX zgomot (eventual) colorat

P ((
**)) A ( q 1 ) y[ n]  B ( q 1 )u[ n]  C  ( q 1 )v[ n] y[ n]  φT [ n]θ  v[ n]
 n    n  
polinoame cu parametri adevăraţi,
avînd gradele na, na, respectiv nc n  na  nb  nc DN  {( u[ n], y[ n ])}n1, N
date măsurate
 Vectorul
Vectorul regresorilor
regresorilor fiind
fiind nem ăsurabil, se
nemăsurabil, se apeleaz
apeleazăă la
la
strategia
strategia îîn
n dou ă etape
două etape care
care fundamenteaz
fundamentează ă MCMMPE
MCMMPE..
 Estimarea zgomotului de proces (alb sau colorat) cu ajutorul θˆ N  argmin V (θ )  ?
unui model de tip ARX suficient de complex. θ n

Cum se poate aproxima modelul general ARMAX cu unul de tip ARX?

Prin
Prin îîmpărţirea
mpărţirea infinit ă trunchiat
infinită ă aa ecua
trunchiată ţiei de
ecuaţiei de proces
proces
la
la polinomul
polinomul componentei
componentei MA MA..
A ( q 1 ) n
   k q   k q  k  A  ( q 1 )
 k indici structurali suficient de mari
min{n, n}  max{na , nb, nc}
 1
C ( q ) k 0 k 0

B  ( q 1 ) n
  ( q 1 )
   k
q     k
q  B
C  ( q 1 ) k  0 y[ n]  φ T [ n]θ   v[ n]  n  
k k
k 0
~ ~**   1   1
P ((
 )) A ( q ) y[ n]  B ( q )u[ n]  v[ n]  n   
84
 Metode de identificare şi validare
Metoda Celor Mai Mici Pătrate Extinsă
Extinsă
~ ~**
Aşadar
Aşadar  )) y[ n]  φ T [ n]θ   v[ n]
P ((
(proces ARX aproximant)  n  

  T def
 [ n]    y[ n  1]  y[ n  2]   y[ n  n] u[ n  1] u[ n  2]  u[ n  n]
 T def

θ   a1 a 2  a n
 b1 b2  bnb 
 n  
1
1 N
 1 N

MCMMP
MCMMP sau
sau MVI
MVI θ N    
ψ [ n ] [ T
n ]    
ψ [ n ] y[ n ] 
N n 1  N n 1 
 [ n]  vectorul regresorilor
notaţie unificatoare:
• Modelul aproximant permite estimarea ζ[ n]  vectorul instrumentelor
zgomotului perturbator al procesului original:

v[ n]  y[ n]  φ T [ n]θ N  A N ( q 1 ) y[ n]  B N ( q 1 )u[ n]    n, θ N 
def
eroare de predicţie
cu un pas
def
(diferenţa dintre datele
ˆ [ n]    y[ n  1]  y[ n  2]   y[ n  na ]
T
... utile măsurate şi cele
prognozate folosind
... u[ n  1] u[ n  2]  u[ n  nb] ...
modelul de identificare)
...   n  1, θ N    n  2, θ N     n  nc, θ N   ,  n   .

 Vectorul
Vectorul estimat
estimat al
al regresorilor
regresorilor.. 85
 Metode de identificare şi validare
Metoda Celor Mai Mici Pătrate Extinsă
Extinsă
 Estimarea directă a parametrilor modelului ARMAX folosind
vectorul aproximativ al regresorilor (din etapa precedentă).
1
1 N
 1 N

θˆ N    ˆ [ n ]ˆ [ n]  
T
 ˆ [n] y[ n]  (parametri estimaţi)
N n 1  N n 1 
MCMMPE
MCMMPE

V  θˆ N    y[ n ]  ˆ T [ n]θˆ N 
N 2
(1/precizie)
n 1

 N ˆ 2N 
 Dac
Dacăă perturba ţia este
perturbaţia este un
un zgomot
zgomot alb
alb cu
cu dispersie
dispersie necunoscut ă.
necunoscută.
 N {N , N  na  nb  nc}
’ Estimarea indirectă a parametrilor modelului ARMAX folosind
parametrii modelului ARX aproximant (din etapa precedentă).
A( q 1 )  C ( q 1 ) A ( q 1 ) Polinoamele
A ( q 1 ) n
 
C  ( q 1 ) k 0
  k
k q  
k 0
k q  k  A  ( q 1 ) Polinoamele necunoscute
necunoscute A A,, B
B şşii C
C
sugereaz
sugereazăă ar
ar trebui
trebui ssă
ă rezulte
rezulte prin
prin
B( q 1 )  C ( q 1 ) B ( q 1 )
B ( q 1 ) n
  k q  k   k q  k  B  ( q 1 )
 1
C (q ) k 0 k 0 identificarea
identificarea coeficien ţilor.
coeficienţilor.
 Sistemul este însă incompatibil (are mai multe ecuaţii decît necunoscute).
 min{n, n}  max{na, nb, nc}
Ce se poate face?
 TΦ
   T ρ (parametri
1

Se
  ρ
Φθ
θˆ  Φ Φ estimaţi)
Se caut ă oo pseudo -soluţie,
  (1/precizie)
V  θˆ   ρ T Qρ
caută pseudo-soluţie,
folosind
folosind tot
tot MCMMP
MCMMP..  monic
monicăă  n n 2 nc

 ( n n 2 nc )( na  nb  nc )  Teorema

Teorema 11 86
 Metode de identificare şi validare
Metoda Celor Mai Mici Pătrate Extinsă
Extinsă

Cît de precisă este această metodă?

Precizia
Precizia este
este limitat ă din
limitată din cauza
cauza aa 44 surse
surse de
de eroare
eroare::
 Trunchierea modelului ARX aproximant.
 Estimarea parametrilor modelului ARX aproximant.
 Estimarea valorilor perturbaţiei (adică a vectorului regresorilor modelului ARMAX).
 Estimarea parametrilor modelului ARMAX.

Consistenţa estimaţiilor?

Condi ţile de
Condiţile de consisten
consistenţăţă sunt
sunt similare
similare celor
celor din
din
Propozi ţia 44 ((pentru
Propoziţia pentru modelul
modelul ARX
ARX):):
a. modelul ARX aproximant este ideal, adică operează cu polinoame infinite
(filtre de tip IIR);
b. semnalul de intrare este necorelat cu perturbaţia
( E u[ n ]v[ m]  0 ,  n, m  );
c. semnalul de intrare are un ordin de persistenţă suficient de mare,
astfel încît matricea E{φ[ n]φ [ n]} să fie inversabilă.
T

ÎÎn
n aplica ţiile practice,
aplicaţiile practice, MCMMPE
MCMMPE este este utilizat
utilizatăă atunci
atunci ccînd
înd nu
nu se
se
impune
impune oo precizie
precizie de
de estimare
estimare superioar
superioară ă sau
sau ca
ca metod
metodăă auxiliar ă
auxiliară
capabil ă ssă
capabilă ă furnizeze
furnizeze ini ţializări pentru
iniţializări pentru alte
alte metode
metode mai
mai precise.
precise. 87
 Metode de identificare şi validare
Metoda
Metoda Minimizării Erorii
Minimizării Erorii de
de Predicţie ((MMEP)
Predicţie MMEP)
• Aceasta este una dintre cele mai generale metode de identificare fundamentală.
• Ca şi MCMMPE, ea se adresează modelelor din clasele ARMAX şi RSISO care au
vectorul regresorilor nemăsurabil, dar este mult mai precisă (şi mai complexă).
• Strategia generală de identificare cu ajutorul MMEP constă (tot) în două etape:
 Iniţializarea algoritmului iterativ de la etapa următoare (eventual folosind MCMMPE).
 Determinarea iterativă a parametrilor originali ai modelului cu ajutorul unei metode
bazate pe TO (de exemplu: MGN sau, mai general, MNR).
• În acest curs, vor fi utilizate metodele: MCMMPE şi MGN. Dac ă MGN
Dacă MGN este
este îînlocuită
nlocuită de
de MNR
MNR
Minimizarea Erorii de Predicţie? Metoda
Metoda de
de Regresie
Regresie
Pseudo-Liniară ((MRPL)
Pseudo-Liniară MRPL)
Numele
Numele provine
provine dede la
la criteriul
criteriul de
de optimizare
optimizare,, care
care este
este exprimat
exprimat
def
1 N

prin
prin dispersia
dispersia erorii
erorii dintre
dintre model
model şşii proces
proces pe
pe orizontul
orizontul de
de măsură.
măsură.
V N ( θ ) 
N
  [ n, θ ]
n 1
2

 θ   n
Aşadar
Aşadar Minimizarea
Minimizarea criteriului
criteriului ppătratic
ătratic revine
revine
la
la minimizarea
minimizarea dispersiei
dispersiei erorii
erorii de
de Eroare
Eroare de
de predicţie
predicţie   n, θ   y[ n]  φT [ n ]θ
predic ţie pe
predicţie pe orizontul
orizontul de
de m ăsură.
măsură. (cu
(cu un
un pas)
pas)  n  
valoare prognozată
Şi totuşi… de unde provine numele  ÎÎn
n cazul
(predictată) folosind cazul modelelor
modelelor
de “eroare de predicţie”? de
modelul de identificare de regresie
regresie liniar ă.
liniară.
Pentru
Pentru aa genera
genera prin
prin simulare
simulare valoarea
valoarea curent ă
curentă
aa ie şirii procesului  A
A se
se vedea
vedea cum
cum arat
aratăă
ieşirii procesului,, sunt
sunt utilizate
utilizate numai
numai date
date
m ăsurate la
măsurate la momente
momente anterioare
anterioare celui
celui curent
curent..
vectorul
vectorul regresorilor
regresorilor.. 88
 Metode de identificare şi validare
Metoda Minimiză
Minimizării Erorii de Predicţie
Algoritmul
Algoritmul generic
generic al
al Minimizării Erorii
Minimizării Erorii de
de Predicţie
Predicţie
DN  {( u[ n], y[ n ])}n1, N (date intrare-ieşire măsurate)
Date
Date de
de intrare
intrare   f [ n, θ] (expresia erorii de predicţie, cel puţin derivabile)
  0 (prag de precizie)
θˆ N ,0   n

 evaluat cu ajutorul MCMMPE
Ini ţializare
Iniţializare 0    ales fie arbitrar, fie cu ajutorul unui algoritm specific
k 0  indicele iterativ iniţial

Bucl
Buclăă iterativ ă
iterativă  Se
Se utilizeaz ă itera
utilizează ţia specific
iteraţia specificăă

 Se
Se reactualizeaz ă aproxima
reactualizează ţia optimului
aproximaţia optimului din
din cadrul
cadrul MGN
MGN..
1
N T N 
θˆ N ,k 1  θˆ N ,k   k   [ n, θ N ,k ] [ n, θ N ,k ]    [ n, θˆ N ,k ][ n, θˆ N ,k ]
ˆ ˆ
 n 1   n 1 

k  k 1 R N1, k rN ,k
rNT ,k 1 R N1, k rN ,k

 Se
Se reactualizeaz ă pasul
reactualizează variabil  k 1   k 
pasul variabil
rNT ,k R N1,k R N ,k 1 R N1, k rN ,k

NU 1 DA θˆ N ,k 1  aproximaţia de precizie 
k  R N ,k rN ,k   Date
Date de
de ie şire
ieşire
k  1  numărul de
iteraţii efectuate 89
 Metode de identificare şi validare
Metoda Minimiză
Minimizării Erorii de Predicţie

MMEP
MMEP aplicat
aplicatăă modelului
modelului general
general de
de tip
tip ARMAX
ARMAX

 P ((
**)) A ( q 1 ) y[ n]  B ( q 1 )u[ n]  C  ( q 1 )v[ n] y[ n]  φT [ n]θ  v[ n]
 n    n  

M (()
) A( q 1 ) y[ n]  B( q 1 )u[ n]  C ( q 1 )[ n, θ] y[ n]  φT [ n]θ  [ n, θ]
eroarea de predicţie cu un pas  n    n  
Algoritmul
Algoritmul generic
generic al
al Minimiză
Minimizării Erorii
Minimizării Erorii de
de Predicţ
Predicţie
Predicţie
DN  {(u[ n ], y[ n ])}n1, N (date intrare-ieşire m?surate)
intrare-ieş surate)
 Date
Date de
de intrare
intrare   f [ n, θ ] (expresia erorii de predicţ
  0 (prag de precizie)
predicţie, puţin derivabile)
ie, cel puţ derivabile)

def N precizie)

  [ n, θˆ N ,k ] [ n, θˆ N ,k ]

T
θˆ N ,0   n
Problema
Problema este
este de determina R N , k
de aa determina 
 evaluat cu ajutorul MCMMPE
ţializare
Iniţ
Ini
Iniţializare 0   ales fie arbitrar,
arbitrar, fie cu ajutorul unui algoritm specific
k 0
valorile
valorile erorii
erorii de
de predic ţie şşii
iniţial
 indicele iterativ iniţ
n 1
predicţie Bucl?
Bucl? iterativ?
Bucl? iterativ ?
iterativ?  Se
Se utilizeaz?
utilizeaz? iteraţ
utilizeaz? itera ţia specific?
iteraţia specific?
specific?

ale
ale gradientului
gradientului acesteia
acesteia pentru

 Se
Se reactualizeaz?
reactualizeaz ţia optimului
? aproximaţ
aproxima din
din cadrul
cadrul MGN.
MGN..
MGN
def N reactualizeaz? aproximaţia optimului
pentru
   ˆ ][ n, θˆ ] 1

r θ
N T N 
θˆ N ,k 1  θˆ N , k   k   [ n, θˆ N , k ] [ n, θˆ N , k ]    [ n, θˆ N ,k ][ n, θˆ N , k ]

itera ţia curent ă.

[ n ,  n 1   n 1 
iteraţia curentă. N , k
n 1
N ,k N ,k
k  k 1 R N1,k rN ,k
rNT , k 1 R N1, k rN , k

 Se
Se reactualizeaz?
reactualizeaz ? pasul
reactualizeaz? variabil  k 1   k 
pasul variabil
rNT ,k R N1,k R N , k 1 R N1, k rN , k

NU DA aproximaţia de precizie 
θˆ N ,k 1  aproximaţ
k  R N1, k rN , k  
Ar
Ar putea
putea fifi utilizat ă ecuaţia
Date
Date de
de ieş
ie şire
ieşire
utilizată ecuaţia  k  1  num?
num?rul de
iteraţii efectuate
iteraţ

modelului
modelului de de identificare
identificare,, cu
cu [ n, θˆ N ,k ]  y[ n]  aˆ1,Nk y[ n  1]    aˆ na , k y[ n  na ] 
N

parametrii
parametrii curent
curent estimaţi
estimaţi..
 bˆ1,Nk u[ n  1]    bˆnbN ,k u[ n  nb] 
Aˆ N ,k ( q 1 ) y[ n]  Bˆ N ,k ( q 1 )u[ n]  Cˆ N ,k ( q 1 )  n, θˆ N ,k 
 cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc , θˆ N ,k 
 n  
 n  
 Ini ţializare
Iniţializare
cauzal
cauzalăă
[ n, θˆ N ,k ]  u[ n]  y[ n]  0
n  0
 Ecua ţie recurent
Ecuaţie
determinarea
ă pentru
recurentă
determinarea erorii
pentru
erorii de
de predic ţie.
predicţie. 90
 Metode de identificare şi validare
Metoda Minimiză
Minimizării Erorii de Predicţie

MMEP
MMEP aplicat
aplicatăă modelului
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)

Dar gradientul? Nimic

Nimic nu
nu îîmpiedică
mpiedică derivarea
derivarea ecua ţiei care
ecuaţiei care
produce
produce rela ţia recursiv
relaţia ă aa erorii
recursivă erorii de
de predic ţie.
predicţie.

1
CN , k ( q )

  n, θˆ N ,k   y[ n  i ]
 Aˆ N ,k ( q 1 ) y[ n]  Bˆ N ,k ( q 1 )u[ n]  Cˆ N ,k ( q 1 )  n, θˆ N ,k  
ai  n  
 i 1, na

  
  n, θˆ N ,k   y[ n  i ]  cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc, θˆ N ,k 
ai ai ai
 i 1, na

C N , k ( q 1 )   n, θˆ N ,k   u[ n  j ]  Ecua ţii recurente
b j Ecuaţii recurente pentru
pentru determinarea
determinarea
 j 1, nb componentelor
componentelor gradientului
gradientului..
 n  
  
  n, θˆ N ,k   u[ n  j ]  cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc, θˆ N ,k 
b j b j b j
 j 1, nb

C N , k ( q 1 )
cl
[ n, θˆ N ,k ]  [ n  l , θˆ N ,k ]
 l 1, nc  Ini ţializare
Iniţializare
cauzal
cauzalăă
[ n, θˆ N ,k ]  [ n, θˆ N ,k ]  u[ n]  y[ n]  0
n  0
 l 1, nc
  
  n, θˆ N ,k     n  l , θˆ N ,k   cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc , θˆ N ,k 
cl cl cl 91
 Metode de identificare şi validare
Metoda Minimiză
Minimizării Erorii de Predicţie

MMEP
MMEP aplicat
aplicatăă modelului
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)
Exemplu
Exemplu Primele
Primele 33 iteraţii
iteraţii ale
ale relaţiilor
relaţiilor recursive
recursive la
la pasul
pasul curent
curent de
de aproximare
aproximare k 
  
 1, θˆ N ,k   y[1]  1, θˆ N ,k   0  1, θˆ N ,k   0  1, θˆ N ,k   0 n 1
ai b j cl

  2, θˆ N ,k   y[2]  aˆ1,Nk y[1]  bˆ1,Nk u[1]  cˆ1,Nk  1, θˆ N ,k    

  2, θˆ N ,k   y[2  i ]  cˆ1,Nk  1, θˆ N ,k   y[2  i ]
ai ai
 y[2]   aˆ1,Nk  cˆ1,Nk  y[1]  bˆ1,Nk u[1]
 
    2, θˆ N ,k     2  l , θˆ N ,k   cˆ1,Nk  1, θˆ N ,k  
  2, θˆ N ,k   u[2  j ]  cˆ1,Nk  1, θˆ N ,k   u[2  j ] cl cl
b j b j
   2  l , θˆ N ,k  n2

 3, θˆ N ,k   y[3]  aˆ1,Nk y[2]  aˆ 2,N k y[1]  bˆ1,Nk u[2]  bˆ2,Nk u[1]   
 3, θˆ N ,k   y[3  i ]  cˆ1,Nk   2, θˆ N ,k  
ai ai n3
 cˆ1,Nk   2, θˆ N ,k   cˆ2,N k  1, θˆ N ,k 

 cˆ2,N k  1, θˆ N ,k   y[3  i ]  cˆ1,Nk y[2  i ]
   ai
 3, θˆ N ,k   u[3  j ]  cˆ1,Nk   2, θˆ N ,k   cˆ2,N k  1, θˆ N ,k  
b j b j b j
 u[3  j ]  cˆ1,Nk u[2  j ] 1/precizie
1/precizie

 
N
   1
cl
 3, θˆ N ,k    3  l , θˆ N ,k   cˆ1,Nk
cl
  2, θˆ N ,k   cˆ2,N k
cl
 1, θˆ N ,k   V θˆ N ,k 
N
n 1
2
 n, θˆ N ,k 
 
  3  l , θˆ N ,k   cˆ1,Nk   2  l , θˆ N ,k   N ˆ 2N , k v  za (0,  2 ) 92
 Metode de identificare şi validare
Metoda Minimiză
Minimizării Erorii de Predicţie

MMEP
MMEP aplicat
aplicatăă modelului
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)
Cît de precisă este această metodă?

Precizia
Precizia este
este ridicat ă, dar
ridicată, dar afectat
afectatăă de
de 22 surse
surse importante
importante de
de eroare
eroare::
 Iniţializările parametrilor şi ale relaţiilor recursive prin intermediul cărora
se estimează eroarea de predicţie şi gradientul.
 Aproximarea matricii Hessiene operată în cadrul MGN.
Consistenţa estimaţiilor?
Teorema
Teorema 55 ((Consistenţa
Consistenţa estima ţiei oferite
estimaţiei oferite de
de MMEP
MMEP pentru
pentru modelele
modelele ARMAX)
ARMAX)
Se consideră că modelul ARMAX[na,nb,nc] verifică următoarele ipoteze:
  
a. modelul este parsimonios: ( A , B , C )  1 (polinoamele adevărate sunt coprime);
b. intrarea u este un semnal de stimul cu ordin de persistenţă suficient de mare astfel
încît matricea E{φ[ n]φT [ n]} să fie inversabilă;
c. perturbaţia v aparţine clasei za(0,2) (adică este un zgomot alb de medie nulă şi
dispersie necunoscută 2), nefiind corelată cu semnalul de stimul:
E{u[ n]v[ m]}  0 ,  n, m   .
Atunci estimaţiile oferite de MMEP sunt convergente şi consistente.
lim lim θˆ N ,k  θ  Metoda
Metoda func ţionează corect
funcţionează corect şşii îîn
n cazul
cazul
N  k 
Mai precis: zgomotelor
zgomotelor colorate
colorate,, dac
dacăă se
se consider
consideră ă un
un model
model
lim lim  N ,k   93
ˆ 2 2
N  k 
separat
separat pentru
pentru acestea
acestea (de
(de exemplu
exemplu ARMA ARMA). ).
 Metode de identificare şi validare
Metode
Metode bazate
bazate pe
pe Teoria
Teoria Estimaţiei
Estimaţiei
 Formularea
Formularea problemei
problemei de
de identificare
identificare din
din perspectiva
perspectiva Teoriei
Teoriei Estima ţiei
Estimaţiei
def
P ((
**)) y [n] P(θ )  E{(θ  θ )(θ  θ )T }   nn
u [n] Y matricea de auto-covarianţă
U P(()
)
a erorii de estimare
yM [n,]
M (()
)
θˆ N  argmin P(θ )
Minimizare
θS   n
 ÎÎn
n sensul
sensul pozitiv
pozitiv (semi -)definirii.
(semi-)definirii.
 Matricea de auto-covarianţă a erorii de estimare este dificil, dacă nu imposibil de evaluat.
 Chiar dacă ar putea fi evaluată (vezi Teorema fundamentală a MCMMP),
ea depinde de paramerii adevăraţi (necunoscuţi). 1
 
 
def N
P θˆ N   2   φ[ n]φT [ n ] 
Şi atunci?...  n 1 
Problema
Problema se
se poate
poate relaxa
relaxa prin
prin îînlocuirea
nlocuirea matricii
matricii de
de auto -covarianţă cu
auto-covarianţă cu alte
alte criterii
criterii,,
corelate
corelate (direct
(direct sau
sau indirect)
indirect) cu
cu aceasta
aceasta..

θˆ ( D )  Estimaţie evaluată plecînd de la setul de date măsurate.

D  {(u[ n], y[ n])}n1,N
date măsurate θˆ ()  Estimator.
 Concept mprumutat şşii metodelor
Concept îîmprumutat metodelor
din
din afara
afara domeniului
domeniului TETE.. 94
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda lui
lui Bayes
Bayes ((MB)
MB)
• Aceasta este una dintre tehnicile cele mai cunoscute de predicţie a valorilor unei variabile aleatoare,
folosind diferite distribuţii de probabilitate asociate acesteia şi istoria valorilor sale.
• În cadrul IS, variabila aleatoare ce trebuie predictată este vectorul parametrilor necunoscuţi.
• Densităţi de probabilitate asociate:
p θ  Densitatea de probabilitate a apariţiei vectorului 
(necondiţionată de setul de date măsurate).
p D  Densitatea de probabilitate a obţinerii setului de date D
(necondiţionată de vectorul parametrilor).
p  θ, D   Densitatea de probabilitate a apariţiei vectorului  şi obţinerii setului de date D
în acelaşi experiment de identificare.
p  θ | D   Densitatea de probabilitate a apariţiei vectorului , condiţionată de setul de date D
(adică estimat plecînd de la setul de date măsurate).
p  D | θ   Densitatea de probabilitate a obţinerii setului de date D, condiţionată de vectorul 
(adică prin simularea folosind modelul de identificare cu vectorul parametrilor).

Problema
Problema lui
Bayes
Bayes
lui θˆ ( D )  argmax p  θ | D 
θS   n
 Se
Se caut
cautăă acel
acel vector
vector de
de parametri
parametri care
care are
are probabilitatea
probabilitatea
maxim
maximă ă de
de aa fifi estimat
estimat plec înd de
plecînd de la
la setul
setul de
de date
date m ăsurate.
măsurate. 95
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
• Se poate arăta (deşi dificil) că, în anumite condiţii, maximizarea probabilităţii din cadrul problemei
lui Bayes conduce la minimizarea matricii de auto-covarian ţă a erorii de estimare.
Cum poate fi rezolvată problema lui Bayes?

Folosind
Folosind oo proprietate
proprietate elementar
elementarăă de
de Teoria
Teoria Probabilit ăţilor.
Probabilităţilor.
p  θ, D   p  D | θ  p  θ   p  θ | D  p  D 
p  D | θ p θ
θˆ ( D )  argmax p  θ | D   argmax  argmax p  D | θ  p  θ 
θS   n θS   n p D θS   n

Noua
Noua problem
problemă ă se
se poate
poate rezolva
rezolva  Probabilitatea
Probabilitatea de
de aa ob ţine setul
obţine setul măsurat de
măsurat de date
date nu
nu
practic
practic dup ă oo strategie
după strategie recursiv ă.
recursivă. depinde
depinde de
de parametrii
parametrii care
care urmeaz
urmeazăă aa fifi estima ţi.
estimaţi.
• Dacă ambele densităţi de probabilitate din produsul ce trebuie maximizat sunt cunoscute,
se poate utiliza o tehnică de optimizare (de exemplu, de tipul MNR).
 Cunoaşterea acestora este însă dificilă, dacă nu imposibilă.
 Este totuşi posibilă cunoaşterea densităţilor de probabilitate: p  D | θ  & p  D 

Proprietatea
Proprietatea de
de Teoria
Teoria Probabilit ăţilor poate
Probabilităţilor poate fifi utilizat
utilizatăă şşii
pentru
pentru aa estima recursiv pp((),
estima recursiv ), plec înd de
plecînd de de
de la
la oo ini ţializare.
iniţializare. 96
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
Algoritmul
Algoritmul lui
lui Bayes
Bayes
D  {(u[ n], y[ n ])}n1, N (date intrare-ieşire măsurate)
Date
Date de
de intrare
intrare p  D , p  D | θ
(expresile densităţilor de probabilitate)
  0 (prag de precizie)
p0  θ   uniformă, dacă nu se poate stabili altfel p0  θ   const.
 Ini ţializare
Iniţializare θ̂0  ales arbitrar în domeniul de variaţie
k  0  indicele iterativ iniţial
Bucl
Buclăă iterativ ă
iterativă

 Se
Se reactualizeaz ă densitatea
reactualizează densitatea de
de probabilitate
probabilitate aa parametrilor
parametrilor necunoscu ţi:
necunoscuţi:
V ectorul parametrilor
Vectorul parametrilor trebuie
trebuie ssă
ă fie
fie din
din ce
ce îîn
n
def p  D | θ  pk  θ 
k  k 1 pk 1  θ   pk 1  θ | D   ce
ce mai
mai bine
bine adaptat
adaptat la
la datele
datele achizi ţionate.
achiziţionate.
p D

 Se
Se evalueaz
evalueazăă punctul
punctul de maxim: θˆ k 1  argmax
de maxim: pk 1  θ | D   Eventual,
Eventual, folosind
folosind oo
θS   n
tehnic ă de
tehnică de optimizare
optimizare..
NU DA θˆ k 1  aproximaţia de precizie 
θˆ k 1  θˆ k   Date
Date de
de ie şire
ieşire
 numărul de
k 1 iteraţii efectuate 97
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
def p  D | θ  pk  θ  Pe
Pe m ăsură ce
măsură ce procesul
procesul iterativ
iterativ avanseaz
avansează, ă,
 pk 1  θ   pk 1  θ | D   corela ţia dintre
corelaţia dintre parametrii
parametrii estima ţi şşii datele
estimaţi datele
p D m ăsurate trebuie
 k   măsurate trebuie ssă
ă devin
devinăă tot
tot mai
mai puternic
puternică.ă.

 ÎÎn
n acela şi timp
acelaşi timp,, densitatea
densitatea de
de A pariţia necondi
Apariţia ţionată aa parametrilor
necondiţionată parametrilor este
este tot
tot
probabilitate
probabilitate sese grupeaz
grupeazăă tot
tot mai
mai mai
mai pu ţin probabil
puţin ă, ei
probabilă, ei fiind
fiind din
din ce
ce îîn
n ce
ce mai
mai
mult
mult îîn
n jurul
jurul unei
unei valori
valori maxime
maxime.. puternic
puternic condi ţionaţi de
condiţionaţi de datele
datele m ăsurate.
măsurate.

p θ | D  pk 1  θ | D 
pk  θ | D  • Densitatea de probabilitate a datelor achiziţionate
nu depinde de valorile parametrilor necunoscuţi,
p2  θ | D  astfel că relaţia recursivă se poate simplifica:
p1  θ | D  def
p0  θ  pk 1  θ   pk 1  θ | D   p  D | θ  pk  θ 
 k  

0  • Se poate arăta că acest proces iterativ este convergent

^1 ^2 ^
^ k ^ k+1 către soluţia problemei lui Bayes.

 Algoritmul lui Bayes necesită cunoaşterea prealabilă cel puţin a densităţii de probabilitate a
setului de date D, condiţionate de vectorul , lucru care s-ar putea dovedi dificil.
 Viteza de convergenţă a algoritmului este în general scăzută, dacă se pleacă de la o
iniţializare uniformă.
 Cu toate acestea, algoritmul lui Bayes este unul dintre puţinii
algoritmi implementabili din cadrul TE. 98
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei
Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((MVM)
MVM)
• Metodă înrudită cu MB, care propune rezolvarea problemei de identificare în formă completă, fără
a apela la un algoritm recursiv, pentru anumite tipuri de modele de identificare.
Ipotez ă simplificatoare
Ipoteză simplificatoare
Indiferent de procesele furnizoare de date avînd structură fixată şi domeniu de
stabilitate comun, vectorul parametrilor adevăraţi poate lua orice valoare din
acest domeniu, cu aceeaşi probabilitate.

p  θ   const.  Vectorul parametrilor necunoscuţi  este echiprobabil

pe domeniul de stabilitate.

Problema
Problema
verosimilit ăţii
verosimilităţii
θˆ ( D )  argmax p  D | θ  Verosimilitate
Verosimilitate
θS   n
 D atele m
Datele ăsurate nu
măsurate nu pot
pot fifi ob ţinute prin
obţinute prin simulare
simulare dec ît dac
decît dacăă
Cum poate fi rezolvată vectorul
vectorul parametrilor
parametrilor modelului
modelului de de identificare
identificare este
este cel
cel mai
mai
problema verosimilităţii plauzibil
plauzibil sau
sau verosimil
verosimil,, adic
adicăă produce
produce oo frecven ţă maxim
frecvenţă maximă ă
maxime? de
de ob ţinere aa setului
obţinere setului de
de date
date m ăsurate.
măsurate.
ÎÎn
n form
formă ă complet
completă, ă, dac ă
dacă Vectorii
Vectorii parametrilor
parametrilor care
care nu
nu verific
verificăă aceast
aceastăă proprietate
proprietate
se
se folosesc
folosesc modele
modele de de sunt
sunt declara ţi mai
declaraţi mai pu ţin verosimili
puţin verosimili sau
sau chiar
chiar neverosimili
neverosimili..
regresie
regresie liniar ă.
liniară.
99
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((continuare)
continuare)
Exemplu
Exemplu Media
Media şişi varianţa
varianţa –– estimaţii
estimaţii de
de verosimilitate
verosimilitate maxim
maximăă
 Aceea şi dispersie
Aceeaşi dispersie necunoscut ă.
necunoscută.

P ((
**)) 
y[ n]    v[ n] zgomot alb normal distribuit v  za 0, 

  
2
 N  0,    
2

 n  
Se
Se măsoară valorile
măsoară valorile unui
unui
parametru
parametru îîn
n mod
mod direct
direct.. def  2 
1 v [ n ]
p  v[ n]   exp   
ˆ ( D )  argmax p  D | ,  2   ? 2 
 2   2

  
D  { y[ n]}n1, N
ˆ 2 ( D )  argmax p  D | ,  2   ? zgomotul afectează  n  


 2  direct datele măsurate

p  y[ n] 
def
1
  y[ n ]   2 
exp   
y  za   ,  2y   N   ,   
2

2 
   
2

 2   Exerciţiu
Exerciţiu
n  

 2y        
2 2

y[ n]      n, ,  2 
M (()
)  n     y[ n ]   2 
p  y[ n] | ,  
def
1
exp   
  n,  ,      v[ n]
2
  
2
2  2  2

 n  
(modelul de identificare corespunzător)  Verosimilitatea
Verosimilitatea fiec şantion.
ărui eeşantion.
fiecărui 100
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((continuare)
continuare)
Exemplu
Exemplu Media
Media şişi varianţa
varianţa –– estimaţii
estimaţii de
de verosimilitate
verosimilitate maxim
maximăă ((continuare)
continuare)
   y[ n ]   2 
p  y[ n] | ,    p  D | ,    p  y[1],, y[ N ] | ,     p  y[ n] | ,  
def N
1
2
exp    2 2 2

2  2  2
  n  
n 1

n  
(orice proces neautocorelat şi
Gaussian este independent )
  y[ n ]   2   1 
p  D | ,  
N N
1 1
 exp    exp   2   y[n]   
2 2

  
   2
N 2 N
2 n 1  2  2 n 1 

Pentru
Pentru aa rezolva
rezolva problema
problema verosimilit ăţii, trebuie
verosimilităţii, trebuie determinat
determinat   ,  2     
Aşadar
Aşadar punctul ţii Gaussiene
punctul dede maxim
maxim alal unei
unei func
funcţii Gaussiene generalizate
generalizate..
Punctul
Punctul de
de maxim
maxim este
este oo  Indefinit
Indefinit derivabil
derivabilăă îîn
n raport
raport cu
cu
rrădăcină
ădăcină aa gradientului
gradientului.. oricare
oricare dintre
dintre cei
cei 22 parametri
parametri.. F ( ,  2 )
 Evaluarea gradientului este complicată.
Forma
Forma funcţiei
cu
cu cele
funcţiei sugereaz
cele ale
sugerează
ale logaritmului
ă ccă
ă extremele
extremele ei
logaritmului natural
natural aplicat
ei coincid
coincid
aplicat acesteia
acesteia..
 ˆ , ˆ  ( D ) 
2

 , 2 


argmax ln  p  D | ,  2   
def N
N N 1
F ( ,  )   ln(2)  ln  2  2       Mai simpu de derivat.
2 2
y[ n ]
2 2 2 n 1   ,  2       101
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((continuare)
continuare)
Exemplu
Exemplu Media
Media şişi varianţa
varianţa –– estimaţii
estimaţii de
de verosimilitate
verosimilitate maxim
maximăă ((continuare)
continuare)
def N
N N 1
 F ( ,  )   ln(2)  ln  2  2   y[ n]   
2 2

2 2 2
  ,  2      
n 1

 1 N


F (,  2 )  2

  y[n]     0
n 1
ˆ ( D ) 
1 N

 y[ n] (parametru)
N n 1
 N 1 N
       y[ n]    0
 
2 2 N
ˆ 2 ( D )  1

2
F ( , )
 2 2 2 2 4 n 1
y[ n]  ˆ ( D )
N n 1
 Solu ţia este
Soluţia este unic ă.
unică. Medie
Medie + (1/precizie)
În
În concluzie
concluzie Varianţă
Varianţă 1 N
vˆ[ n]  y[ n]  ˆ ( D )  y[ n]   y[ n]
Media şşii varian
Media ţa sunt
varianţa sunt cele
cele mai
mai  Estima ţiile sunt
Estimaţiile sunt N n 1
verosimile
verosimile ((plauzibile)
plauzibile) estima ţii.
estimaţii. consistente
consistente,, datorit ă IE
datorită IE.. (zgomot perturbator)
• Nu întîmplător prima caracterizare statistică a numeroase lim 1 N y[ n]  E{ y[ n]}  E   v[ n]  
procese nedeterministe, chiar dacă este grosieră, constă în N 
N n 1

evaluarea mediilor şi varianţelor acestora.
• Exemplu: media generală a unui student, calculată după 3 ani de studii, are şanse mici să v  za 0,  
  2
 
varieze semnificativ după 4 ani de studii, dacă notele sale sunt grupate în jurul acesteia şi
şanse mari să varieze sensibil în finalul celor 4 ani, dacă notele sale sunt larg dispersate în
jurul acesteia. 102
 Metode de identificare şi validare
Metode bazate pe Teoria Estimaţiei

Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((continuare)
continuare)
Dar în cazul modelelor de regresie liniară?

Se
Se poate
poate demonstra
demonstra un
un rezultat
rezultat remarcabil
remarcabil..

Teorema
Teorema 66 (MVI
(MVI şşii MCMMP)
MCMMP)
În contextul modelelor de regresie liniară, următoarele două ipoteze se consideră
verificate:
a. matricea R (sau RN) nu este neapărat deterministă, dar este (strict) pozitiv definită
(adică inversabilă) pentru toate dimensiunile orizontului de măsură suficient de

   
mari;
   
2  2
b. perturbaţia v aparţine clasei za 0,    N 0, 
(adică este un zgomot alb de medie nulă şi dispersie necunoscută , cu distribuţ
distribu ie
Gaussiană centrată în zero, de varianţ
varian ă egală tot cu dispersia necunoscută).
Atunci estimaţiile vectorului parametrilor adevăraţi şi dispersiei zgomotului alb obţinute
aplicînd MCMMP sunt de verosimilitate maximă.
Demonstra ţie
Demonstraţie Exerciţiu
Exerciţiu
• Chiar dacă proprietatea de consistenţă este dificil de verificat în contextul Teoremei 6 (matricea
regresorilor nu mai este strict deterministă), cel puţin rămîne proprietatea de verosimilitate maximă.
 Probabilitatea de a obţine setul de date măsurate prin simularea cu un model
identificat folosind MCMMP este maximă. 103
 Metode de identificare şi validare
Identificarea
Identificarea şşii predicţia proceselor
predicţia proceselor auto -regresive
auto-regresive
Contextul
Contextul de
de lucru
lucru  Dispersie
Dispersie necunoscut ă.
necunoscută.

P ((
**)) A ( q 1 ) y[ n]  e[ n] y[ n]  φT [ n]θ  e[ n] e  za  0,  2 
 n    n  
 Model
Model de
de tip
tip AR
AR..
1
A( q ) y[ n]  [ n, θ] y[ n]  φ [ n]θ  [ n, θ]
T
M (()
)  n    n  
  n,    e[ n]


 n    T def
 [ n]    y[ n  1]   y[ n  na ]
Vectorul
Vectorul regresorilor
regresorilor nu
nu este determinist,,  T def
este determinist
dar
dar este
este măsurabil.
măsurabil. θ   a1  ana 
• Modelul autoregresiv (AR) conduce la una dintre cele mai atractive şi simple abordări pentru
identificarea surselor de perturbaţii.
• În pofida preciziei sale limitate, modelul AR este adesea preferat în aplicaţii, în special pentru
metoda extrem de rapidă şi eficientă de estimare a parametrilor săi.
• Modelul concurent al acestuia în aplicaţii este ARMA, care, deşi necesită utilizarea MCMMPE
sau MMEP pentru estimarea parametrilor săi, este tot mai des utilizat, datorită creşterii sensibile
a performanţelor tehnicii de calcul automat.
N
θˆ  argmin V (θ )  argmin   y[ n]  φT [ n]θ   ?
2

θ na θ na n 1
D  { y[ n]}n1,N
ˆ 2  V  θˆ 
1
date măsurate N  N {N  na , N } 104
 Metode de identificare şi validare
Identificarea şi predicţia proceselor autoregresive

Performanţele
Performanţele MCMMP
MCMMP în
în cazul
cazul modelului
modelului AR
AR Exerciţiu
Exerciţiu
 T def θˆ  R 1r • Estimaţiile oferite de MCMMP sunt
 [ n]    y[ n  1]   y[ n  na ]
  T def ˆ 
2 1 consistente, chiar dacă vectorul
V  θˆ  regresorilor nu este perfect determinist.
θ   a1  ana  N
 N {N  na , N }
def N  N  def N
 N 
R   φ[ n]φ [ n]    y[ n  i ] y[ n  j ]
T
r   φ[ n] y[ n]     y[ n] y[ n  i ]
n 1  n  max{i , j}1  i , j1,na n 1  n i 1  i1,na
 Simetric ă, dar
Simetrică, dar nu
nu neap ărat de
neapărat de tip
tip Toeplitz
Toeplitz Pentru
Pentru inversare
inversare,, se
se folose şte
foloseşte
((elementele
elementele de
de pepe diagonala
diagonala principal
principală ă sunt
sunt diferite ).
diferite). Algoritmul
Algoritmul ((clasic
clasic al)
al) lui
lui Gauss
Gauss..
Înmulţiri
Înmulţiri Adun ări
Adunări
Efortul
Efortul de
de calcul
calcul
 na( na  1)(3N  2na  1)   na( na  1)(3 N  2na  4) 
Construcţia matricii R
Construcţia matricii R  6   6 
 

Construcţia vectorului rr
Construcţia vectorului  N  na    N  na  1 
 na (3na 2  3na  2)   3na( na  1)2 
Inversarea matricii R
Inversarea matricii R    
 2   2 
Estimarea parametrilor (( R
Estimarea parametrilor 1r )
R--1r)  na 2 

 na( na  1)
 na 7na 2  3na ( N  2)  3N  5   na 7na 2  3na ( N  6)  3N  1 
Total O MCMMP
Total ~      
 6  

6 

105
 Metode de identificare şi validare
Identificarea şi predicţia proceselor autoregresive
 Efortul de calcul al MCMMP cu modelul AR este susţinut, deoarece aît numărul datelor
măsurate cît şi numărul de parametri au valori mari (pentru a asigura o precizie suficientă).
Reducerea
Reducerea efortului
efortului de
de calcul
calcul prin
prin metode
metode alternative
alternative de
de identificare
identificare..
Obiectiv
Metoda Yule-Walker-Wiener Algoritmul Levinson-Durbin

Metoda
Metoda Yule-Walker-Wiener ((MYWW)
Yule-Walker-Wiener MYWW)
EEstimarea
stimarea parametrilor
parametrilor necunoscu
necunoscuţi ţi şşii aa
Ideea
Ideea lui
lui G.U.
G.U. Yule
Yule && G.
G. Walker
Walker dispersiei
dispersiei zgomotului
zgomotului alb
alb se
se poate
poate realiza
realiza apel înd
apelînd
((anii’30)
anii’30)
la
la secven ţa de
secvenţa de auto -covarian ţă aa ie
auto-covarianţă şirii.
ieşirii.
• Se aplică două operaţii succesive asupra ecuaţiei procesului:
E y[ n  k ]  A ( q 1 ) y[ n]  e[ n] 
k  n  
 
ry [ k ]  a1 ry [ k  1]    ana

ry [ k  na ]  re, y [ k ] ?
k 
ecuaţie autoregresivă deterministă ÎÎmpărţire
mpărţire infinit ă.
infinită.
y[ n]  e[ n]   m e[ n  m] y[ n] 
1
e[ n] A ( q 1 ) y[ n]  e[ n]
 1
m 1
 n   A (q )  n  
 n  
def
re, y [ k ]  E{e[ n] y[ n  k ]}   2 0 [ k ]   2  m 0 [ k  m]   2 0 [ k ]
m 1 k  106
 Metode de identificare şi validare
Identificarea şi predicţia proceselor autoregresive

Metoda
Metoda Yule-Walker-Wiener ((continuare)
Yule-Walker-Wiener continuare)
def

 re, y [ k ]  E{e[ n] y[ n  k ]}   2 0 [ k ]   2  m 0 [ k  m]   2 0 [ k ]

m 1 k 
Ecuaţiile
Ecuaţiile Yule -Walker-Wiener
Yule-Walker-Wiener  Ie şirea nu
Ieşirea nu este
este corelat
corelatăă cu
cu valori
valori
viitoare
viitoare ale
ale zgomotului
zgomotului..
ry [ k ]  a1 ry [ k  1]    ana

ry [ k  na ]   2 0 [ k ]
k 
(similare ecuaţiilor Wiener-Hopf)
 Sistemul este inoperant, deoarece are un număr infinit de ecuaţii şi apelează la
secvenţa ideală de auto-covarian ţă a ieşirii.
Ce se poate face?

Se
Se renun ţă la
renunţă la sistemul
sistemul ideal
ideal (care
(care ar
ar conduce
conduce la
la determinarea
determinarea exact ă aa parametrilor
exactă parametrilor adev ăraţi)
adevăraţi)
şşii se
se îînlocuieşte
nlocuieşte cu
cu un
un sistem
sistem practic
practic,, compatibil
compatibil..

ry [0]  a1 ry [1]    ana


ry [ na ]   2  0  a1 ry [1]    ana

ry [ na ]   2   ry [0] r

ry [1]  a1 ry [0]    ana

ry [ na  1]  0   ry [0] ry [1]  ry [ na  1]   a1   ry [1] 
    
ry [2]  a1 ry [1]    ana   ry [1] ry [0]  ry [ na  2]  a2  r [2]
  y 

ry [ na  2]  0
      
   
      
ry [ na ]  a r [ na  1]    ana
 
ry [0]  0   ry [ na  1] ry [ na  2]  r [0]  a 
  na   y
r [ na ] 
1 y  y

 ((na+1)
na+1) ecua ţii.
ecuaţii. Sistemul
Sistemul Yule -Walker-Wiener
Yule-Walker-Wiener R 107
 Metode de identificare şi validare
Identificarea şi predicţia proceselor autoregresive
Metoda
Metoda Yule-Walker-Wiener ((continuare)
Yule-Walker-Wiener continuare) θ*  R 1r
r Soluţia teoretică
 a1 ry [1]    ana  2  ry [0]  rT R 1r

ry [ na ]   2   ry [0]

  ry [0] ry [1]  ry [ na  1]   a1   ry [1] 

 
  ry [1]

ry [0]
  
 ry [ na  2]  a2 
  
 

 ry [2] 
  


  
  ry [ na  1] ry [ na  2] 
 
     θˆ N  R N1rN
 ry [0]   ana   ry [ na ] Soluţia practică
R ˆ 2N  ryN [0]  rNT R N1rN
 ryN [0] ryN [1]  ryN [ na  1]   ryN [1]  Vectorul
    Vectorul estimat
estimat alal parametrilor
parametrilor
def 
N
ry [1] N
ry [0]  ry [ na  2]
N
def  ry [2] 
N este
este de
de regul
regulă ă bine
bine definit
definit,, dar
dar
RN    rN     estima ţia dispersiei
estimaţia dispersiei zgomotului
zgomotului
  Simetric
Simetricăă şşii de
de tipToeplitz
tip Toeplitz..     alb
    alb poate
poate fifi negativ ă, din
negativă, din cauza
cauza
 r N [ na  1] r N [ na  2]  erorilor
erorilor numerice
numerice..
y y ry [0] 
N  r N [ na ]
y 
Înmulţiri
Înmulţiri Adun ări
Adunări  Efortul
Efortul de
de
Efortul
Efortul de
de calcul
calcul calcul
calcul aa sc ăzut.
scăzut.
 na(2 N  na  1)   na(2 N  na  1) 
Construcţia matricii R
Construcţia matricii RNN     Exemplu
2  2  Exemplu
Construcţia vectorului rrNN
Construcţia vectorului  N  na   N  na  1  N  1000 na  10
O MCMMP ~ 56075  
 na 2 (3na  1)   na( na  1)(3na  1) 
Inversarea matricii R
Inversarea matricii RNN      55865
 2  2 
O MYWW ~ 11505  
Estimarea parametrilor (( R
Estimarea parametrilor 1r )
RNN--1rNN )  na 2 

 na( na  1)
 11340 
 na(3na 2  2 N  1)   na(3na 2  3na  2 N  2) 
Total O MYWW
Total ~
 2
 
  2

 108