83 83

Metode Metode de de identificare identificare i i validare validare

Metoda Celor Mai Mici Ptrate Extins (MCMMPE)
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate Extins Extins ( (MCMMPE MCMMPE) )

Discu Discu ia ia care care urmeaz urmeaz vizeaz vizeaz identificarea identificarea modelelor modelelor de de regresie regresie liniar liniar
av av nd nd vectorul vectorul regresorilor regresorilor nem nem surabil surabil. .

Astfel Astfel de de modele modele se se reg reg sesc sesc at at t t n n clasa clasa ARMAX ARMAX, , c c t t i i ( (mai mai ales) ales) n n clasa clasa RSISO RSISO. .

Strategia Strategia general general de de identificare identificare cu cu ajutorul ajutorul MCMMPE MCMMPE const const n n dou dou etape etape: :
Exemplu
Exemplu Exemplu
|
1 2 1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ] ...
... [ 1] [ 2] [ ]
def
T
def
T
na nb nc
n y n y n y n na u n u n u n nb
e n e n e n nc
a a a b b b c c c

( =

ARMAX[na,nb,nc]
ARMAX[na,nb,nc ARMAX[na,nb,nc] ]
n
-
e
3 3 componente componente, ,
ca ca i i vectorul vectorul parametrilor parametrilor
Ultima component
nu este msurabil.
Ultima Ultima component component
nu nu este este m m surabil surabil . .
C CEstimarea Estimarea zgomotului zgomotului care care intervine intervine n n componenta componenta nem nem surabil surabil cu cu ajutorul ajutorul unui unui
model model av av nd nd vectorul vectorul regresorilor regresorilor complet complet m m surabil surabil ( (dar dar mai mai pu pu in in precis precis). ).
C CDeterminarea Determinarea parametrilor parametrilor originali originali ai ai modelului modelului cu cu ajutorul ajutorul vectorului vectorului regresorilor regresorilor
av av nd nd componenta componenta nem nem surabil surabil estimat estimat n n etapa etapa precedent precedent . .

n n ambele ambele etape etape este este folosit folosit o o metod metod de de identificare identificare din din clasa clasa MCMMP MCMMP- -MVI MVI, ,
de de unde unde atributul atributul Extins Extins . .

n n cazul cazul modelului modelului general general ARMAX ARMAX: :

C CZgomotul Zgomotul alb alb este este estimat estimat cu cu ajutorul ajutorul unui unui model de tip model de tip ARX ARX suficient suficient de complex. de complex.
C CSe Se aplic aplic din din nou nou MCMMP MCMMP, fie , fie direct direct ( (folosind folosind vectorul vectorul estimat estimat al al regresorilor regresorilor), ),
fie fie indirect indirect ( (prin prin determinarea determinarea pseudo pseudo- -solu solu iei iei unui unui sistem sistem incompatibil incompatibil). ).

argmin ( ) ?
n
N
u
e
= =

V
84 84
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate Extins Extins
Metode Metode de de identificare identificare i i validare validare
Cazul modelelor ARMAX
Cazul Cazul modelelor modelelor ARMAX ARMAX
P(
*
) P P( (
* *
) )
1 1 1
( ) [ ] ( ) [ ] ( ) [ ] A q y n B q u n C q v n
- - -
= +
n
-
e
[ ] [ ] [ ]
T
y n n v n
-
= +
n
-
e
polinoame polinoame cu cu parametri parametri adev adev ra ra i i, ,
av av nd nd gradele gradele na na, , na na, , respectiv respectiv nc nc n na nb nc u = + + 1,
{( [ ], [ ])}
N
n N
u n y n
e
= D
date date m m surate surate
zgomot zgomot (eventual) (eventual) colorat colorat
C CEstimarea Estimarea zgomotului zgomotului de de proces proces (alb (alb sau sau colorat colorat) cu ) cu ajutorul ajutorul
unui unui model de tip model de tip ARX ARX suficient suficient de complex. de complex.
- Vectorul regresorilor fiind nemsurabil, se apeleaz la
strategia n dou etape care fundamenteaz MCMMPE.
- - Vectorul Vectorul regresorilor regresorilor fiind fiind nem nem surabil surabil, se , se apeleaz apeleaz la la
strategia strategia n n dou dou etape etape care care fundamenteaz fundamenteaz MCMMPE MCMMPE. .
Cum se Cum se poate poate aproxima aproxima modelul modelul general ARMAX cu general ARMAX cu unul unul de tip ARX? de tip ARX?
Prin mprirea infinit trunchiat a ecuaiei de proces
la polinomul componentei MA.
Prin Prin mp mp r r irea irea infinit infinit trunchiat trunchiat a a ecua ecua iei iei de de proces proces
la la polinomul polinomul componentei componentei MA MA. .
1
1
1
0 0
( )
( )
( )
n
k k
k k
k k
A q
q q A q
C q
- o
- - -
-
> =
= o ~ o =


1
1
1
0 0
( )
( )
( )
n
k k
k k
k k
B q
q q B q
C q
- |
- - -
-
> =
= | ~ | =


indici indici structurali structurali suficient suficient de de mari mari
min{ , } max{ , , } n n na nb nc o |
1 1
( ) [ ] ( ) [ ] [ ] A q y n B q u n v n
- -
= +

n
-
e
[ ] [ ] [ ]
T
y n n v n
-
= +

n
-
e
P(
*
) P P( (
* *
) )
~ ~
~ ~
|
[ ] [ 1] [ 2] [ ] ...
... [ 1] [ 2] [ ] ...
... 1, 2, , , .
def
T
N N N
n y n y n y n na
u n u n u n nb
n n n nc n
-
=

(
( ( ( c c c e

85 85
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate Extins Extins
Metode Metode de de identificare identificare i i validare validare
Aadar
Aadar Aadar [ ] [ ] [ ]
T
y n n v n
-
= +

n
-
e
P(
*
) P P( (
* *
) )
~ ~
~ ~
( (proces proces ARX ARX aproximant aproximant) )
1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ]
def
T
def
T
n nb
n y n y n y n n u n u n u n n
a a a b b b
o

= o | (

(
=

n
-
e
MCMMP sau MVI
MCMMP MCMMP sau sau MVI MVI
1
1 1
1 1
[ ] [ ] [ ] [ ]
N N
T
N
n n
n n n y n
N N

= =
| | | |
=
| |
\ . \ .

nota nota ie ie unificatoare unificatoare: :
[ ] n

vectorul vectorul regresorilor regresorilor
[ ] n

vectorul vectorul instrumentelor instrumentelor

Modelul Modelul aproximant aproximant permite permite estimarea estimarea

zgomotului zgomotului perturbator perturbator al al procesului procesului original original: :
1 1
[ ] [ ] [ ] ( ) [ ] ( ) [ ] ,
def
T
N N N N
v n y n n A q y n B q u n n

( ~ = = c



eroare eroare de de predic predic ie ie
cu un pas cu un pas
( (diferen diferen a a dintre dintre datele datele
utile utile m m surate surate i i cele cele
prognozate prognozate folosind folosind
modelul modelul de de identificare identificare) )
- Vectorul estimat al regresorilor.
- - Vectorul Vectorul estimat estimat al al regresorilor regresorilor. .
86 86
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate Extins Extins
Metode Metode de de identificare identificare i i validare validare
C CEstimarea Estimarea direct direct a a parametrilor parametrilor modelului modelului ARMAX ARMAX folosind folosind
vectorul vectorul aproximativ aproximativ al al regresorilor regresorilor (din (din etapa etapa precedent precedent ). ).
MCMMPE
MCMMPE MCMMPE
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T
N
n n
n n n y n
N N

= =
| | | |
=
| |
\ . \ .


( )
( )
2
1

[ ] [ ]
N
T
N N
n
y n n
=
=

V
2

N N

( (parametri parametri estima estima i i) )
(1/precizie) (1/precizie)
Dac perturbaia este un zgomot alb cu dispersie necunoscut.
Dac Dac perturba perturba ia ia este este un un zgomot zgomot alb cu alb cu dispersie dispersie necunoscut necunoscut . .
{ , }
N
N N na nb nc e
C C Estimarea Estimarea indirect indirect a a parametrilor parametrilor modelului modelului ARMAX ARMAX folosind folosind
parametrii parametrii modelului modelului ARX ARX aproximant aproximant (din (din etapa etapa precedent precedent ). ).
1
1
1
0 0
( )
( )
( )
n
k k
k k
k k
A q
q q A q
C q
- o
- - -
-
> =
= o ~ o =


1
1
1
0 0
( )
( )
( )
n
k k
k k
k k
B q
q q B q
C q
- |
- - -
-
> =
= | ~ | =


sugereaz
sugereaz sugereaz
1 1 1
( ) ( ) ( ) A q C q A q

=

1 1 1
( ) ( ) ( ) B q C q B q

=

Polinoamele necunoscute A, B i C
ar trebui s rezulte prin
identificarea coeficienilor.
Polinoamele Polinoamele necunoscute necunoscute A A, , B B i i C C
ar ar trebui trebui s s rezulte rezulte prin prin
identificarea identificarea coeficien coeficien ilor ilor. .
Sistemul Sistemul este este ns ns incompatibil incompatibil (are (are mai mai multe multe ecua ecua ii ii dec dec t t necunoscute necunoscute). ).
min{ , } max{ , , } n n na nb nc o |

Ce Ce se se poate poate face? face?
Se caut o pseudo-soluie,
folosind tot MCMMP.
Se Se caut caut o pseudo o pseudo- -solu solu ie ie, ,
folosind folosind tot tot MCMMP MCMMP. .
=

( 2 ) ( ) n n nc na nb nc o+ |+ + +
e
2 n n nc o+ |+
e
- monic
- - monic monic
( )
1

T T

=


( )

T
= Q V
( (parametri parametri
estima estima i i) )
(1/precizie) (1/precizie)
- Teorema 1
- - Teorema Teorema 1 1
87 87
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate Extins Extins
Metode Metode de de identificare identificare i i validare validare
Ct Ct de de precis precis este este aceast aceast metod metod ? ?
Precizia este limitat din cauza a 4 surse de eroare:
Precizia Precizia este este limitat limitat din din cauza cauza a a 4 4 surse surse de de eroare eroare: :
T Trunchierea modelului runchierea modelului ARX ARX aproximant aproximant. .
E Estimarea parametrilor modelului stimarea parametrilor modelului ARX ARX aproximant aproximant. .
E Estimarea valorilor perturba stimarea valorilor perturba iei (ad iei (adic ic a vectorului regresorilor modelului a vectorului regresorilor modelului ARMAX ARMAX) ). .
E Estimarea parametrilor modelului stimarea parametrilor modelului ARMA ARMAX X. .
Consistena Consistena estimaiilor estimaiilor? ?
Condiile de consisten sunt similare celor din
Propoziia 4 (pentru modelul ARX):
Condi Condi ile ile de de consisten consisten sunt sunt similare similare celor celor din din
Propozi Propozi ia ia 4 4 ( (pentru pentru modelul modelul ARX ARX): ):
a. a. modelu modelul l ARX ARX aproximant aproximant este ideal, adic este ideal, adic opereaz opereaz cu polinoame infinite cu polinoame infinite
(filtre de tip IIR) (filtre de tip IIR); ;
b. b. semnalul de intrare este necorelat cu perturba semnalul de intrare este necorelat cu perturba ia ia
c. semnalul de intrare are un ordin de persisten suficient de mare,
astfel nct matricea
); );
{ } [ ] [ ] 0 E u n v m =
( ( , ,
, n m e
s fie inversabil. { [ ] [ ]}
T
E n n
n aplicaiile practice, MCMMPE este utilizat atunci cnd nu se
impune o precizie de estimare superioar sau ca metod auxiliar
capabil s furnizeze iniializri pentru alte metode mai precise.
n n aplica aplica iile iile practice, practice, MCMMPE MCMMPE este este utilizat utilizat atunci atunci c c nd nd nu nu se se
impune impune o o precizie precizie de de estimare estimare superioar superioar sau sau ca ca metod metod auxiliar auxiliar
capabil capabil s s furnizeze furnizeze ini ini ializ ializ ri ri pentru pentru alte alte metode metode mai mai precise. precise.
Metoda de Regresie
Pseudo-Liniar (MRPL)
Metoda Metoda de de Regresie Regresie
Pseudo Pseudo- -Liniar Liniar ( (MRPL MRPL) )
Pentru a genera prin simulare valoarea curent
a ieirii procesului, sunt utilizate numai date
msurate la momente anterioare celui curent.
Pentru Pentru a genera a genera prin prin simulare simulare valoarea valoarea curent curent
a a ie ie irii irii procesului procesului, , sunt sunt utilizate utilizate numai numai date date
m m surate surate la la momente momente anterioare anterioare celui celui curent curent. .
- n cazul modelelor
de regresie liniar.
- - n n cazul cazul modelelor modelelor
de de regresie regresie liniar liniar . .
Eroare de predicie
(cu un pas)
Eroare Eroare de de predicie predicie
(cu un pas) (cu un pas)
88 88
Metode Metode de de identificare identificare i i validare validare
Metoda Minimizrii Erorii de Predicie (MMEP)
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predic Predic ie ie ( (MMEP MMEP) )

Aceasta Aceasta este este una una dintre dintre cele cele mai mai generale generale metode metode de de identificare identificare fundamental fundamental . .

Ca Ca i i MCMMPE, MCMMPE, ea se ea se adreseaz adreseaz modelelor modelelor din din clasele clasele ARMAX ARMAX i i RSISO RSISO care au care au
vectorul vectorul regresorilor regresorilor nem nem surabil surabil, , dar dar este este mult mult mai mai precis precis ( ( i i mai mai complex complex ). ).

Strategia Strategia general general de de identificare identificare cu cu ajutorul ajutorul MMEP MMEP const const (tot) (tot) n n dou dou etape etape: :
C CIni Ini ializarea ializarea algoritmului algoritmului iterativ iterativ de la de la etapa etapa urm urm toare toare (eventual (eventual folosind folosind MCMMPE MCMMPE). ).
C CDeterminarea Determinarea iterativ iterativ a a parametrilor parametrilor originali originali ai ai modelului modelului cu cu ajutorul ajutorul unei unei metode metode
bazate bazate pe pe TO TO (de (de exemplu exemplu: : MGN MGN sau sau, , mai mai general, general, MNR MNR). ).

n n acest acest curs, curs, vor vor fi fi utilizate utilizate metodele metodele: : MCMMPE MCMMPE i i MGN MGN. .
Minimizarea Minimizarea Erorii Erorii de de Predicie Predicie? ?
Numele provine de la criteriul de optimizare, care este exprimat
prin dispersia erorii dintre model i proces pe orizontul de msur.
Numele Numele provine provine de la de la criteriul criteriul de de optimizare optimizare, care , care este este exprimat exprimat
prin prin dispersia dispersia erorii erorii dintre dintre model model i i proces proces pe pe orizontul orizontul de de m m sur sur . .
2
1
1
( ) [ , ]
N
def
N
n
n
N
=
= c

V
nu
e
| |
, [ ] [ ]
T
n y n n c =
n
-
e
Minimizarea criteriului ptratic revine
la minimizarea dispersiei erorii de
predicie pe orizontul de msur.
Minimizarea Minimizarea criteriului criteriului p p tratic tratic revine revine
la la minimizarea minimizarea dispersiei dispersiei erorii erorii de de
predic predic ie ie pe pe orizontul orizontul de de m m sur sur . .
Aadar
Aadar Aadar
i i totui totui de de unde unde provine provine numele numele
de de eroare eroare de de predicie predicie? ?
- A se vedea cum arat
vectorul regresorilor.
- - A se A se vedea vedea cum cum arat arat
vectorul vectorul regresorilor regresorilor. .
valoare valoare prognozat prognozat
( (predictat predictat ) ) folosind folosind
modelul modelul de de identificare identificare
Dac MGN este nlocuit de MNR
Dac Dac MGN MGN este este nlocuit nlocuit de de MNR MNR
89 89
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predicie Predicie
Metode Metode de de identificare identificare i i validare validare
Algoritmul generic al Minimizrii Erorii de Predicie
Algoritmul Algoritmul generic al generic al Minimiz Minimiz rii rii Erorii Erorii de de Predic Predic ie ie
Iniializare
Ini Ini ializare ializare
,0

n
N
u
e
Date de intrare
Date de Date de intrare intrare
e
e
evaluat evaluat cu cu ajutorul ajutorul MCMMPE MCMMPE
[ , ] f n c = ( (expresia expresia erorii erorii de de predic predic ie ie, , cel cel pu pu in in derivabile derivabile) )
0 q> ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz aproximaia optimului
C C Se Se reactualizeaz reactualizeaz aproxima aproxima ia ia optimului optimului
1
, 1 , , , , ,
1 1

[ , ] [ , ] [ , ] [ , ]
N N
T
N k N k k N k N k N k N k
n n
n n n n

+
= =
( (
(
= o Vc Vc c Vc
( (




Date de ieire
Date de Date de ie ie ire ire
, 1

N k +

1 k +
aproxima aproxima ia ia de de precizie precizie
num num rul rul de de
itera itera ii ii efectuate efectuate
C Se reactualizeaz pasul variabil
C C Se Se reactualizeaz reactualizeaz pasul pasul variabil variabil
1
, 1 , ,
1
1 1
, , , 1 , ,
T
N k N k N k
k k
T
N k N k N k N k N k

+
+

+
o = o +
r R r
r R R R r
1,
{( [ ], [ ])}
N
n N
u n y n
e
= D
(date (date intrare intrare- -ie ie ire ire m m surate surate) )
ales fie ales fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
0
-
o e
0 k =
1
, N k

R
, N k
r
- Se utilizeaz iteraia specific
din cadrul MGN.
- - Se Se utilizeaz utilizeaz itera itera ia ia specific specific
din din cadrul cadrul MGN MGN. .
1
, , k N k N k

o < q R r
1 k k +
DA DA NU NU
, , ,
1

[ , ] [ , ]
N
def
T
N k N k N k
n
n n
=
(
= Vc Vc

R
M() M M( ( ) )
1 1 1
( ) [ ] ( ) [ ] ( ) [ , ] A q y n B q u n C q n

= + c
n
-
e
90 90
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predicie Predicie
Metode Metode de de identificare identificare i i validare validare
MMEP aplicat modelului general de tip ARMAX
MMEP MMEP aplicat aplicat modelului modelului general de tip general de tip ARMAX ARMAX
P(
*
) P P( (
* *
) )
1 1 1
( ) [ ] ( ) [ ] ( ) [ ] A q y n B q u n C q v n
- - -
= +
n
-
e
[ ] [ ] [ ]
T
y n n v n
-
= +
n
-
e

Algoritmul generic al Minimizrii Erorii de Predicie Algoritmul Algoritmul generic al generic al Minimiz Minimiz rii rii Erorii Erorii de de Predic Predic ie ie

Iniializare Ini Ini ializare ializare
,0
n
N
u
e
Date de intrare Date de Date de intrare intrare
e e
evaluat evaluat cu cu ajutorul ajutorul MCMMPE MCMMPE
[ , ] f n c = ( (expresia expresia erorii erorii de de predic predic ie ie, , cel cel pu pu in in derivabile derivabile) )
0 q> ( (prag prag de de precizie precizie) )
Bucl? iterativ? Bucl Bucl? ? iterativ iterativ? ?
indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz? aproximaia optimului C C Se Se reactualizeaz reactualizeaz? ? aproxima aproxima ia ia optimului optimului
1
, 1 , , , , ,
1 1

[ , ] [ , ] [ , ] [ , ]
N N T
N k N k k N k N k N k N k
n n
n n n n

+
= =
( (
( = o Vc Vc c Vc
( (



Date de ieire Date de Date de ie ie ire ire
, 1

N k +

1 k +
aproxima aproxima ia ia de de precizie precizie
num num? ?rul rul de de
itera itera ii ii efectuate efectuate
C Se reactualizeaz? pasul variabil C C Se Se reactualizeaz reactualizeaz? ? pasul pasul variabil variabil
1
, 1 , ,
1 1 1
, , , 1 , ,
T
N k N k N k
k k T
N k N k N k N k N k

+
+
+
o = o +
r R r
r R R R r
1,
{( [ ], [ ])}
N n N
u n y n
e
= D (date (date intrare intrare- -ie ie ire ire m m? ?surate surate) )
ales fie ales fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
0
-
o e
0 k =
1
, N k

R
, N k
r
- Se utilizeaz? iteraia specific?
din cadrul MGN.
- - Se Se utilizeaz utilizeaz? ? itera itera ia ia specific specific? ?
din din cadrul cadrul MGN MGN. .
1
, , k N k N k

o < q R r
1 k k +
DA DA NU NU

[ ] [ ] [ , ]
T
y n n n = + c
n
-
e
eroarea eroarea de de predic predic ie ie cu un pas cu un pas
, , ,
1

[ , ] [ , ]
N
def
N k N k N k
n
n n
=
= c Vc

r
Problema este de a determina
valorile erorii de predicie i
ale gradientului acesteia pentru
iteraia curent.
Problema Problema este este de a de a determina determina
valorile valorile erorii erorii de de predic predic ie ie i i
ale ale gradientului gradientului acesteia acesteia pentru pentru
itera itera ia ia curent curent . .
Ar putea fi utilizat ecuaia
modelului de identificare, cu
parametrii curent estimai.
Ar Ar putea putea fi fi utilizat utilizat ecuaia ecuaia
modelului modelului de de identificare identificare, cu , cu
parametrii parametrii curent curent estimai estimai. .
, 1, ,
1, ,
1, , , ,

[ , ] [ ] [ 1] [ ]

[ 1] [ ]

1, ,
N N
N k k na k
N N
k nb k
N N
k N k nc k N k
n y n a y n a y n na
b u n b u n nb
c n c n nc
c = + + +

( (
c c

n
-
e
1 1 1
, , , ,

( ) [ ] ( ) [ ] ( ) ,
N k N k N k N k
A q y n B q u n C q n

(
= + c

n
-
e
- Ecuaie recurent pentru
determinarea erorii de predicie.
- - Ecua Ecua ie ie recurent recurent pentru pentru
determinarea determinarea erorii erorii de de predic predic ie ie. .
Iniializare
cauzal
Ini Ini ializare ializare
cauzal cauzal
,

[ , ] [ ] [ ] 0
N k
n u n y n c = = =
e
e
0 n s
91 91
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predicie Predicie
Metode Metode de de identificare identificare i i validare validare
MMEP aplicat modelului general de tip ARMAX (continuare)
MMEP MMEP aplicat aplicat modelului modelului general de tip general de tip ARMAX ARMAX ( (continuare continuare) )

1 1 1
, , , ,

( ) [ ] ( ) [ ] ( ) ,
N k N k N k N k
A q y n B q u n C q n

(
= + c

n
-
e
Dar Dar gradientul gradientul? ?
Nimic nu mpiedic derivarea ecuaiei care
produce relaia recursiv a erorii de predicie.
Nimic Nimic nu nu mpiedic mpiedic derivarea derivarea ecua ecua iei iei care care
produce produce rela rela ia ia recursiv recursiv a a erorii erorii de de predic predic ie ie. .
1
, ,

( ) , [ ]
N k N k
i
C q n y n i
a

c
(
c =

c

1, i na e
1
, ,

( ) , [ ]
N k N k
j
C q n u n j
b

c
(
c =

c

1, j nb e
1
, , ,

( ) [ , ] [ , ]
N k N k N k
l
C q n n l
c

c
c = c
c

1, l nc e
, , 1, , , ,

, , 1, ,
N N
N k N k k N k nc k N k
l l l
n n l c n c n nc
c c c
c c c
( ( ( (
c = c c c

c c c

1, l nc e
V
, 1, , , ,

, [ ] 1, ,
N N
N k k N k nc k N k
i i i
n y n i c n c n nc
a a a
c c c
( ( (
c = c c

c c c

1, i na e
, 1, , , ,

, [ ] 1, ,
N N
N k k N k nc k N k
j j j
n u n j c n c n nc
b b b
c c c
( ( (
c = c c

c c c

1, j nb e
- Ecuaii recurente pentru determinarea
componentelor gradientului.
- - Ecua Ecua ii ii recurente recurente pentru pentru determinarea determinarea
componentelor componentelor gradientului gradientului. .
n
-
e
Iniializare
cauzal
Ini Ini ializare ializare
cauzal cauzal
, ,

[ , ] [ , ] [ ] [ ] 0
N k N k
n n u n y n Vc = c = = =
e
e
0 n s
92 92
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predicie Predicie
Metode Metode de de identificare identificare i i validare validare
MMEP aplicat modelului general de tip ARMAX (continuare)
MMEP MMEP aplicat aplicat modelului modelului general de tip general de tip ARMAX ARMAX ( (continuare continuare) )
Exemplu
Exemplu Exemplu
Primele 3 iteraii ale relaiilor recursive la pasul curent de aproximare
Primele Primele 3 3 iteraii iteraii ale ale relaiilor relaiilor recursive la recursive la pasul pasul curent curent de de aproximare aproximare
,

1, [1]
N k
y
(
c =

( )
, 1, 1, 1, ,
1, 1, 1,

2, [2] [1] [1] 1,

[2] [1] [1]

N N N
N k k k k N k
N N N
k k k
y a y b u c
y a c y b u
( (
c = + c =

= +

, 1, 2, 1, 2,
1, , 2, ,

3, [3] [2] [1] [2] [1]

2, 1,
N N N N
N k k k k k
N N
k N k k N k
y a y a y b u b u
c c
(
c = + +

( (
c c

1, 0
N k
i
a
c
(
c =

c

, 1, ,

2, [2 ] 1, [2 ]
N
N k k N k
i i
y i c y i
a a
c c
( (
c = c =

c c

, 1, ,
2, , 1,

3, [3 ] 2,

1, [3 ] [2 ]
N
N k k N k
i i
N N
k N k k
i
y i c
a a
c y i c y i
a
c c
( (
c = c

c c
c
(
c =

c

1, 0
N k
j
b
c
(
c =

c

, 1, ,

2, [2 ] 1, [2 ]
N
N k k N k
j j
u j c u j
b b
c c
( (
c = c =

c c

, 1, , 2, ,
1,

3, [3 ] 2, 1,
[3 ] [2 ]
N N
N k k N k k N k
j j j
N
k
u j c c
b b b
u j c u j
c c c
( ( (
c = c c =

c c c
= +

,

1, 0
N k
l
c
c
(
c =

c

, , 1, ,
,

2, 2 , 1,

2 ,
N
N k N k k N k
l l
N k
l c
c c
l
c c
( ( (
c = c c =

c c
(
= c

, , 1, , 2, ,
, 1, ,

3, 3 , 2, 1,

3 , 2 ,
N N
N k N k k N k k N k
l l l
N
N k k N k
l c c
c c c
l c l
c c c
( ( ( (
c = c c c =

c c c
( (
= c + c



1 n =
2 n =
k e
3 n =
( )
2
, ,
1
1

,
N
N k N k
n
n
N
=
(
= c

V
1/precizie
1/precizie 1/precizie
2
,

N N k

2
(0, ) v e za
93 93
Metoda Metoda Minimiz Minimiz rii rii Erorii Erorii de de Predicie Predicie
Metode Metode de de identificare identificare i i validare validare
MMEP aplicat modelului general de tip ARMAX (continuare)
MMEP MMEP aplicat aplicat modelului modelului general de tip general de tip ARMAX ARMAX ( (continuare continuare) )
Ct Ct de de precis precis este este aceast aceast metod metod ? ?
Precizia este ridicat, dar afectat de 2 surse importante de eroare:
Precizia Precizia este este ridicat ridicat , , dar dar afectat afectat de de 2 2 surse surse importante importante de de eroare eroare: :
Ini Ini ializ ializ rile rile parametrilor parametrilor i i ale ale rela rela iilor iilor recursive recursive prin prin intermediul intermediul c c rora rora
se se estimeaz estimeaz eroarea eroarea de de predic predic ie ie i i gradientul gradientul. .
Aproximarea Aproximarea matricii matricii Hessiene Hessiene operat operat n n cadrul cadrul MGN MGN. .
Consistena Consistena estimaiilor estimaiilor? ?
Teorema 5 (Consistena estimaiei oferite de MMEP pentru modelele ARMAX)
Teorema Teorema 5 5 ( (Consisten Consisten a a estima estima iei iei oferite oferite de MMEP de MMEP pentru pentru modelele modelele ARMAX) ARMAX)
Se Se consider consider c c modelul modelul ARMAX[na,nb,nc ARMAX[na,nb,nc] ] verific verific u urm rm toarele ipoteze: toarele ipoteze:
a. a. modelul modelul este este parsimonios parsimonios: :
c. c. perturba perturba ia ia v v aparine clasei za(0,
2
) (adic este un zgomot alb de medie nul i
dispersie necunoscut
2
), nefiind corelat corelat cu cu semnalul semnalul de de stimul stimul: :
b. b. intrarea intrarea u u este un semnal este un semnal de de stimul stimul cu ordin de persisten cu ordin de persisten suficient de mare astfel suficient de mare astfel
nc nc t t matricea matricea
Atunci estima Atunci estima iile oferite de MMEP sunt convergente iile oferite de MMEP sunt convergente i consistente. i consistente.
( (polinoamele polinoamele adev adev rate rate sunt sunt coprime coprime) ); ; ( , , ) 1 A B C
- - -
=
. . { [ ] [ ]} 0 E u n v m =
, , , n m
-
e
,

limlim
N k
N k
-

=
s fie inversabil; { [ ] [ ]}
T
E n n
Mai precis: Mai precis:
2 2
,

limlim
N k
N k
=
- Metoda funcioneaz corect i n cazul
zgomotelor colorate, dac se consider un model
separat pentru acestea (de exemplu ARMA).
- - Metoda Metoda func func ioneaz ioneaz corect corect i i n n cazul cazul
zgomotelor zgomotelor colorate colorate, , dac dac se se consider consider un model un model
separat separat pentru pentru acestea acestea (de (de exemplu exemplu ARMA ARMA). ).
94 94
Metode Metode de de identificare identificare i i validare validare
Metode bazate pe Teoria Estimaiei
Metode Metode bazate bazate pe pe Teoria Teoria Estima Estima iei iei
u u [ [n n] ]
P(
*
) P P( (
* *
) )
M() M M( ( ) )
y y [ [n n] ]
y y
M M
[ [n n, , ] ]
U U
Y Y
P() P P( ( ) )
Minimizare Minimizare
u u [ [n n] ]
P(
*
) P P( (
* *
) )
M() M M( ( ) )
y y [ [n n] ]
y y
M M
[ [n n, , ] ]
U U
Y Y
P() P P( ( ) )
Minimizare Minimizare
Formularea problemei de identificare din perspectiva Teoriei Estimaiei
Formularea Formularea problemei problemei de de identificare identificare din din perspectiva perspectiva Teoriei Teoriei Estima Estima iei iei

argmin ( )
n
N
u
e _
=

P
S
Matricea Matricea de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare este este dificil dificil, , dac dac nu nu imposibil imposibil de de evaluat evaluat. .
( ) {( )( ) }
def
T n n
E
- - u u
= e P
matricea matricea de auto de auto- -covarian covarian
a a erorii erorii de de estimare estimare
- n sensul pozitiv (semi-)definirii.
- - n n sensul sensul pozitiv pozitiv (semi (semi- -) )definirii definirii. .
Chiar Chiar dac dac ar ar putea putea fi fi evaluat evaluat ( (vezi vezi Teorema Teorema fundamental fundamental a MCMMP a MCMMP), ),
ea ea depinde depinde de de paramerii paramerii adev adev rai rai ( (necunoscui necunoscui) ). .
( )
1
2
1

[ ] [ ]
N
def
T
N
n
n n

=
| |
=
|
\ .

P
Problema se poate relaxa prin nlocuirea matricii de auto-covarian cu alte criterii,
corelate (direct sau indirect) cu aceasta.
Problema Problema se se poate poate relaxa relaxa prin prin nlocuirea nlocuirea matricii matricii de auto de auto- -covarian covarian cu cu alte alte criterii criterii, ,
corelate corelate (direct (direct sau sau indirect) cu indirect) cu aceasta aceasta. .
1,
{( [ ], [ ])}
n N
u n y n
e
= D
date date m m surate surate

( ) D
Estima Estima ie ie evaluat evaluat plec plec nd nd de la de la setul setul de date de date m m surate surate. .

( ) - Estimator. Estimator.
- Concept mprumutat i metodelor
din afara domeniului TE.
- - Concept Concept mprumutat mprumutat i metodelor i metodelor
din afara domeniului din afara domeniului TE TE. .
i i atunci atunci?... ?...
95 95
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda lui Bayes (MB)
Metoda Metoda lui lui Bayes Bayes ( (MB MB) )

Aceasta Aceasta este este una una dintre dintre tehnicile cele mai cunoscute de tehnicile cele mai cunoscute de predic predic ie a valorilor unei variabile aleatoare ie a valorilor unei variabile aleatoare, ,
folosind diferite distribu folosind diferite distribu ii de probabilitate asociate acesteia ii de probabilitate asociate acesteia i istoria valorilor sale i istoria valorilor sale. .

n n cadrul cadrul IS IS, , variabila variabila aleatoare aleatoare ce ce trebuie trebuie predictat predictat este este vectorul vectorul parametrilor parametrilor necunoscu necunoscu i i. .
( ) p
D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului
(necondi (necondi ionat ionat de de setul setul de date de date m m surate surate) ). .

Densit Densit i i de de probabilitate probabilitate asociate asociate: :

( ) | D p

D Densitatea de probabilitate a ob ensitatea de probabilitate a ob inerii setului de date inerii setului de date D D, condi , condi ionat ionat de vectorul de vectorul
(adi (adic c prin simularea folosind modelul de identificare cu vectorul para prin simularea folosind modelul de identificare cu vectorul parametrilor) metrilor). .
( ) | D p

D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului , condi , condi ionat ionat de setul de date de setul de date D D
(adi (adic c estimat plec estimat plec nd de la setul de date nd de la setul de date m m surate surate) ). .
( ) , D p
D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului i ob i ob inerii setului de date inerii setului de date D D
n acela n acela i experiment de identificare. i experiment de identificare.
( ) D p
D Densitatea de probabilitate a ob ensitatea de probabilitate a ob inerii setului de date inerii setului de date D D
(necondi (necondi ionat ionat de vectorul parametrilor) de vectorul parametrilor). .
Problema lui
Bayes
Problema Problema lui lui
Bayes Bayes
( )

( ) argmax |
nu
e _
=

S
D D p
- Se caut acel vector de parametri care are probabilitatea
maxim de a fi estimat plecnd de la setul de date msurate.
- - Se Se caut caut acel acel vector de vector de parametri parametri care are care are probabilitatea probabilitatea
maxim maxim de a de a fi fi estimat estimat plec plec nd nd de la de la setul setul de date de date m m surate surate. .
( )
( ) ( )
( )
( ) ( )
|

( ) argmax | argmax argmax |

n n n u u u
e _ e _ e _
= = =



S S S
D
D D D
D
p p
p p
p
p
96 96
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda lui Bayes (continuare)
Metoda Metoda lui lui Bayes Bayes ( (continuare continuare) )

Se Se poate poate ar ar ta ta ( (de de i i dificil dificil) ) c c , , n n anumite anumite condi condi ii ii, , maximizarea maximizarea probabilit probabilit ii ii din din cadrul cadrul problemei problemei
lui lui Bayes Bayes conduce la conduce la minimizarea minimizarea matricii matricii de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare. .
Cum Cum poate poate fi fi rezolvat rezolvat problema problema lui lui Bayes Bayes? ?
Folosind o proprietate elementar de Teoria Probabilitilor.
Folosind Folosind o o proprietate proprietate elementar elementar de de Teoria Teoria Probabilit Probabilit ilor ilor. .
( ) ( ) ( ) ( ) ( )
, | | = = D D D D p p p p p
- Probabilitatea de a obine setul msurat de date nu
depinde de parametrii care urmeaz a fi estimai.
- - Probabilitatea Probabilitatea de a de a ob ob ine ine setul setul m m surat surat de date de date nu nu
depinde depinde de de parametrii parametrii care care urmeaz urmeaz a a fi fi estima estima i i. .
Noua problem se poate rezolva
practic dup o strategie recursiv.
Noua Noua problem problem se se poate poate rezolva rezolva
practic practic dup dup o o strategie strategie recursiv recursiv . .

Dac Dac ambele ambele densit densit i i de de probabilitate probabilitate din din produsul produsul ce ce trebuie trebuie maximizat maximizat sunt sunt cunoscute cunoscute, ,
se se poate poate utiliza utiliza o o tehnic tehnic de de optimizare optimizare (de (de exemplu exemplu, de , de tipul tipul MNR MNR). ).
Cunoaterea Cunoaterea acestora acestora este este ns ns dificil dificil , , dac dac nu nu imposibil imposibil . .
Este Este totui totui posibil posibil cunoaterea cunoaterea densit densit ilor ilor de de probabilitate probabilitate: : ( ) | D p ( ) D p & &
Proprietatea de Teoria Probabilitilor poate fi utilizat i
pentru a estima recursiv p(), plecnd de de la o iniializare.
Proprietatea Proprietatea de de Teoria Teoria Probabilit Probabilit ilor ilor poate poate fi fi utilizat utilizat i i
pentru pentru a a estima estima recursiv recursiv p p( ( ) ), , plec plec nd nd de de la o de de la o ini ini ializare ializare. .
97 97
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda lui Bayes (continuare)
Metoda Metoda lui lui Bayes Bayes ( (continuare continuare) )
Algoritmul lui Bayes
Algoritmul Algoritmul lui lui Bayes Bayes
Iniializare
Ini Ini ializare ializare
( )
0
p
Date de intrare
Date de Date de intrare intrare
e
e
uniform uniform , , dac dac nu nu se se poate poate stabili stabili altfel altfel
( ) D p
( (expresile expresile densit densit ilor ilor de de probabilitate probabilitate) )
0 q> ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
C Se reactualizeaz densitatea de probabilitate a parametrilor necunoscui:
C C Se Se reactualizeaz reactualizeaz densitatea densitatea de de probabilitate probabilitate a a parametrilor parametrilor necunoscu necunoscu i i: :
( ) ( )
( ) ( )
( )
1 1
|
|
def
k
k k + +
= =


D
D
D
p p
p p
p
Date de ieire
Date de Date de ie ie ire ire
1

k +

1 k +
aproxima aproxima ia ia de de precizie precizie
num num rul rul de de
itera itera ii ii efectuate efectuate
C Se evalueaz punctul de maxim:
C C Se Se evalueaz evalueaz punctul punctul de maxim: de maxim: ( )
1 1

argmax |
n
k k
u
+ +
e _
=

S
D p
1,
{( [ ], [ ])}
n N
u n y n
e
= D
(date (date intrare intrare- -ie ie ire ire m m surate surate) )
1

k k +
< q
1 k k +
DA DA NU NU
( ) | D p , ,
( )
0
p const.
- Eventual, folosind o
tehnic de optimizare.
- - Eventual, Eventual, folosind folosind o o
tehnic tehnic de de optimizare optimizare. .
0

ales ales arbitrar arbitrar n n domeniul domeniul de de varia varia ie ie

indicele indicele iterativ iterativ ini ini ial ial
0 k =
Vectorul parametrilor trebuie s fie din ce n
ce mai bine adaptat la datele achiziionate.
V Vectorul ectorul parametrilor parametrilor trebuie s trebuie s fie din ce fie din ce n n
ce mai bine adaptat la datele achizi ce mai bine adaptat la datele achizi ionate. ionate.
98 98
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda lui Bayes (continuare)
Metoda Metoda lui lui Bayes Bayes ( (continuare continuare) )

( ) ( )
( ) ( )
( )
1 1
|
|
def
k
k k + +
= =


D
D
D
p p
p p
p
k
-
e
Pe msur ce procesul iterativ avanseaz,
corelaia dintre parametrii estimai i datele
msurate trebuie s devin tot mai puternic.
Pe m Pe m sur sur ce procesul iterativ avanseaz ce procesul iterativ avanseaz , ,
corela corela ia dintre parametrii estima ia dintre parametrii estima i i i datele i datele
m m surate surate trebuie s trebuie s devin devin tot mai puternic tot mai puternic . .
Apariia necondiionat a parametrilor este tot
mai puin probabil, ei fiind din ce n ce mai
puternic condiionai de datele msurate.
A Apari pari ia necondi ia necondi ionat ionat a parametrilor este tot a parametrilor este tot
mai pu mai pu in probabil in probabil , ei fiind din ce , ei fiind din ce n ce n ce mai mai
puternic condi puternic condi iona iona i de datele m i de datele m surate surate. .
- n acelai timp, densitatea de
probabilitate se grupeaz tot mai
mult n jurul unei valori maxime.
- - n n acela acela i i timp timp, , densitatea de densitatea de
probabilitate se grupeaz probabilitate se grupeaz tot mai tot mai
mult mult n jurul unei valori maxime n jurul unei valori maxime. .
0 0

1 1
^ ^

2 2
^ ^

k k
^ ^

k k+1 +1
^ ^
( ) | D p
( )
0
p
( )
1
| D p
( )
2
| D p
( ) |
k
D p
( )
1
|
k +
D p
( ) ( ) ( ) ( )
1 1
| |
def
k k k + +
= = D D p p p p

D Densitatea de probabilitate a datelor achizi ensitatea de probabilitate a datelor achizi ionate ionate
nu depinde de valorile parametrilor necunoscu nu depinde de valorile parametrilor necunoscu i i, ,
astfel astfel c c rela rela ia ia recursiv recursiv se se poate poate simplifica simplifica: :
k
-
e

Se poate ar Se poate ar ta c ta c acest acest proces iterativ este proces iterativ este convergent convergent
c c tre tre solu solu ia problemei ia problemei lui lui Bayes Bayes. .
Algoritmul Algoritmul lui lui Bayes Bayes necesit necesit cunoaterea cunoaterea prealabil prealabil cel cel puin puin a a d densit ensit ii ii de probabilitate a de probabilitate a
setului de date setului de date D D, condi , condi ionat ionate e de vectorul de vectorul , , lucru lucru care care s s- -ar ar putea putea dovedi dovedi dificil dificil. .
Viteza Viteza de de convergen convergen a a algoritmului algoritmului este este n n general general sc sc zut zut , , dac dac se se pleac pleac de la o de la o
iniializare iniializare uniform uniform . .
Cu Cu toate toate acestea acestea, , algoritmul algoritmul lui lui Bayes Bayes este este unul unul dintre dintre puinii puinii
algoritmi algoritmi implementabili implementabili din din cadrul cadrul TE TE. .
( )
p const.
99 99
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda Verosimilitii Maxime (MVM)
Metoda Metoda Verosimilit Verosimilit ii ii Maxime Maxime ( (MVM MVM) )

Metod Metod nrudit nrudit cu cu MB MB, care , care propune propune rezolvarea rezolvarea problemei problemei de de identificare identificare n n form form complet complet , , f f r r
a a apela apela la un la un algoritm algoritm recursiv recursiv, , pentru pentru anumite anumite tipuri tipuri de de modele modele de de identificare identificare. .
- Datele msurate nu pot fi obinute prin simulare dect dac
vectorul parametrilor modelului de identificare este cel mai
plauzibil sau verosimil, adic produce o frecven maxim
de obinere a setului de date msurate.
- - D Datele m atele m surate nu pot fi ob surate nu pot fi ob inute prin simulare dec inute prin simulare dec t dac t dac
vectorul parametrilor modelului de identificare este vectorul parametrilor modelului de identificare este cel mai cel mai
plauzibil plauzibil sau sau verosimil verosimil, , adic adic produce produce o o frecven frecven maxim maxim
de ob de ob inere a setului de date inere a setului de date m m surate surate. .
I Indiferent de procesele furnizoare de date avnd structur fixat ndiferent de procesele furnizoare de date avnd structur fixat i domeniu de i domeniu de
stabilitate comun, vectorul parametrilor adev stabilitate comun, vectorul parametrilor adev rai poate lua orice valoare din rai poate lua orice valoare din
acest domeniu acest domeniu, , cu cu aceeai aceeai probabilitate probabilitate. .
Ipotez simplificatoare
Ipotez Ipotez simplificatoare simplificatoare
+ +Vectorul Vectorul parametrilor parametrilor necunoscu necunoscu i i este este echiprobabil echiprobabil
pe pe domeniul domeniul de de stabilitate stabilitate. .
Problema
verosimilitii
Problema Problema
verosimilit verosimilit ii ii
( )

( ) argmax |
nu
e _
=

S
D D p

Verosimilitate
Verosimilitate Verosimilitate
Vectorii parametrilor care nu verific aceast proprietate
sunt declarai mai puin verosimili sau chiar neverosimili.
Vectorii Vectorii parametrilor parametrilor care care nu nu verific verific aceast aceast proprietate proprietate
sunt sunt declara declara i i mai mai pu pu in in verosimili verosimili sau sau chiar chiar neverosimili neverosimili. .
Cum Cum poate poate fi fi rezolvat rezolvat
problema problema verosimilit verosimilit ii ii
maxime maxime? ?
n form complet, dac
se folosesc modele de
regresie liniar.
n n form form complet complet , , dac dac
se se folosesc folosesc modele modele de de
regresie regresie liniar liniar . .
( )
( )
2
2
2
[ ]
1
[ ]| , exp
2
2
def
y n
y n
(
u
u = (

t
(

p
n
-
e
( )
( )
( )
2
2
[ ]
1
[ ] exp
2
2
def
y n
y n
-
-
-
(
u
(
=
(
t


p
Exerciiu
Exerciiu Exerciiu
( ) ( )
2 2
2
y
- -
o = u +
100 100
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda Verosimilitii Maxime (continuare)
Metoda Metoda Verosimilit Verosimilit ii ii Maxime Maxime ( (continuare continuare) )
Exemplu
Exemplu Exemplu
Media i variana estimaii de verosimilitate maxim
Media Media i i variana variana estimaii estimaii de de verosimilitate verosimilitate maxim maxim
P(
*
) P P( (
* *
) )
[ ] [ ] y n v n
-
= u +
n
-
e
Se msoar valorile unui
parametru n mod direct.
Se Se m m soar soar valorile valorile unui unui
parametru parametru n n mod direct mod direct. .
zgomot zgomot alb alb normal normal distribuit distribuit
( )
( )
( )
( )
2 2
0, 0, v
- -
e za N
- Aceeai dispersie necunoscut.
- - Aceea Aceea i i dispersie dispersie necunoscut necunoscut . .
( )
( )
2
2
1 [ ]
[ ] exp
2
2
def
v n
v n
-
-
(
(
=
(
t


p
n
-
e
( )
2

( ) argmax | , ?
ue
u = u = D D p

1,
{ [ ]}
n N
y n
e
= D
( )
2
2 2

( ) argmax | , ?
-
+
e
= u = D D p

zgomotul zgomotul afecteaz afecteaz

direct direct datele datele m m surate surate
n
-
e
( ) ( )
( )
2
2
, ,
y
y
- - -
e u o u za N
M() M M( ( ) )
| |
2
[ ] , , y n n = u + c u
( )
2
, , [ ] n v n
- -
(
c u =

n
-
e
( (modelul modelul de de identificare identificare corespunz corespunz tor tor) ) - Verosimilitatea fiecrui eantion.
- - Verosimilitatea Verosimilitatea fiec fiec rui rui e e antion antion. .
2
( , ) F u
( )
( )
( )
( )
( )
2
2
2
2 2
1 1
[ ]
1 1 1
| , exp exp [ ]
2 2
2 2
N N
N N
n n
y n
y n
= =
(
u
(
u = = u (
(

(
t t

[
D p
101 101
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda Verosimilitii Maxime (continuare)
Metoda Metoda Verosimilit Verosimilit ii ii Maxime Maxime ( (continuare continuare) )
Exemplu
Exemplu Exemplu
Media i variana estimaii de verosimilitate maxim (continuare)
Media Media i i variana variana estimaii estimaii de de verosimilitate verosimilitate maxim maxim ( (continuare continuare) )
Aadar
Aadar Aadar
Pentru a rezolva problema verosimilitii, trebuie determinat
punctul de maxim al unei funcii Gaussiene generalizate.
Pentru Pentru a a rezolva rezolva problema problema verosimilit verosimilit ii ii, , trebuie trebuie determinat determinat
punctul punctul de maxim al de maxim al unei unei func func ii ii Gaussiene Gaussiene generalizate generalizate. .
( )
( )
2
2
2
[ ]
1
[ ]| , exp
2
2
def
y n
y n
(
u
u = (

t
(

p
n
-
e
( ) ( ) ( )
2 2 2
1
| , [1], , [ ]| , [ ]| ,
N
n
y y N y n
=
u = u = u
[
D p p p
n
-
e
( (orice proces neautocorelat orice proces neautocorelat i i
Gaussian este independent Gaussian este independent ) )

( )
2
,
-
+
u e
- Indefinit derivabil n raport cu
oricare dintre cei 2 parametri.
- - Indefinit Indefinit derivabil derivabil n n raport raport cu cu
oricare oricare dintre dintre cei cei 2 2 parametri parametri. .
Evaluarea Evaluarea gradientului gradientului este este complicat complicat . .
Punctul de maxim este o
rdcin a gradientului.
Punctul Punctul de maxim de maxim este este o o
r r d d cin cin a a gradientului gradientului. .
Forma funciei sugereaz c extremele ei coincid
cu cele ale logaritmului natural aplicat acesteia.
Forma Forma funciei funciei sugereaz sugereaz c c extremele extremele ei ei coincid coincid
cu cu cele cele ale ale logaritmului logaritmului natural natural aplicat aplicat acesteia acesteia. .
( )
( )
( )
{ }
2
2 2
,

, ( ) argmax ln | ,
-
+
u e
(
u = u

D D p

( )
2
2 2
2
1
1
( , ) ln(2 ) ln [ ]
2 2 2
N
def
n
N N
F y n
=
u = t u

( )
2
,
-
+
u e
Mai Mai simpu simpu de de derivat derivat. .
102 102
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda Verosimilitii Maxime (continuare)
Metoda Metoda Verosimilit Verosimilit ii ii Maxime Maxime ( (continuare continuare) )
Exemplu
Exemplu Exemplu
Media i variana estimaii de verosimilitate maxim (continuare)
Media Media i i variana variana estimaii estimaii de de verosimilitate verosimilitate maxim maxim ( (continuare continuare) )
( )
2
2 2
2
1
1
( , ) ln(2 ) ln [ ]
2 2 2
N
def
n
N N
F y n
=
u = t u

( )
2
,
-
+
u e
( )
2
2
1
1
( , ) [ ] 0
N
n
F y n
=
c
u = u =
cu

( )
2
2
2 2 4
1
1
( , ) [ ] 0
2 2
N
n
N
F y n
=
c
u = + u =
c

1
1

( ) [ ]
N
n
y n
N
=
u =

D
( )
2
2
1
1

( ) [ ] ( )
N
n
y n
N
=
= u

D D
( (parametru parametru) )
(1/ (1/precizie precizie) )
+
+
1
1

[ ] [ ] ( ) [ ] [ ]
N
n
v n y n y n y n
N
=
= u =

D
( (zgomot zgomot perturbator perturbator) )
- Soluia este unic.
- - Solu Solu ia ia este este unic unic . .
Medie
Medie Medie
Varian
Varian Varian
n concluzie
n n concluzie concluzie
Media i variana sunt cele mai
verosimile (plauzibile) estimaii.
Media Media i i varian varian a a sunt sunt cele cele mai mai
verosimile verosimile ( (plauzibile plauzibile) ) estima estima ii ii. .
- Estimaiile sunt
consistente, datorit IE.
- - Estima Estima iile iile sunt sunt
consistente consistente, , datorit datorit IE IE. .
{ }
1
1
lim [ ] { [ ]} [ ]
N
N
n
y n E y n E v n
N
- -

=
= = u + = u

( )
( )
2
0, v
-
e za

Nu Nu nt nt mpl mpl tor tor prima caracterizare statistic prima caracterizare statistic a numeroase a numeroase
procese nedeterministe, chiar dac procese nedeterministe, chiar dac este grosier este grosier , const , const n n
evaluarea mediilor evaluarea mediilor i varian i varian elor acestora elor acestora. .

E Exemplu xemplu: : media general media general a unui student, calculat a unui student, calculat dup dup 3 ani de studii, are anse m 3 ani de studii, are anse mici ici s s
varieze varieze semnificativ semnificativ dup dup 4 a 4 ani de studii, dac ni de studii, dac notele sale sunt grupate n jurul acesteia i notele sale sunt grupate n jurul acesteia i
anse mari s varieze sensibil n finalul celor 4 ani, dac note anse mari s varieze sensibil n finalul celor 4 ani, dac notele sale sunt le sale sunt larg larg dispersate n dispersate n
jurul acesteia. jurul acesteia.
103 103
Metode Metode bazate bazate pe pe Teoria Teoria Estimaiei Estimaiei
Metode Metode de de identificare identificare i i validare validare
Metoda Verosimilitii Maxime (continuare)
Metoda Metoda Verosimilit Verosimilit ii ii Maxime Maxime ( (continuare continuare) )
Dar Dar n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar ? ?
Se poate demonstra un rezultat remarcabil.
Se Se poate poate demonstra demonstra un un rezultat rezultat remarcabil remarcabil. .
Teorema 6 (MVI i MCMMP)
Teorema Teorema 6 6 (MVI (MVI i i MCMMP) MCMMP)
n n contextul contextul modelelor modelelor de de regresie regresie liniar liniar , , urm urm toarele toarele dou dou ipoteze ipoteze se se consider consider
verificate verificate: :
a. a. matricea matricea R R (sau (sau R R
N N
) n ) nu este neap u este neap rat determinist rat determinist , dar este ( , dar este (strict) pozit strict) pozitiv definit iv definit
(adi (adic c inversabil inversabil ) p ) pentru toate dimensiunile orizontului de m entru toate dimensiunile orizontului de m sur sur suficient de suficient de
mari; mari;
b. b. perturba perturba ia ia v v aparine clasei
Atunci estima Atunci estima i iile ile vectorului parametrilor adev vectorului parametrilor adev ra ra i i i i dispersiei dispersiei zgomotului zgomotului alb alb ob ob inut inute e
aplic aplic nd MCMMP nd MCMMP sunt de verosimilitate maxim sunt de verosimilitate maxim . .
( )
( )
( )
( )
2 2
0, 0,
- -
za N
(adi (adic c este un zgomot alb de medie nul este un zgomot alb de medie nul i dispersie necunoscut i dispersie necunoscut , cu distribu , cu distribuie ie
Gaussian Gaussian centrat centrat n zero, de varian n zero, de varian egal egal tot cu tot cu dispersia dispersia necunoscut necunoscut ). ).
Demonstraie
Demonstra Demonstra ie ie
Exerciiu
Exerciiu Exerciiu

Chiar dac Chiar dac proprietatea de consisten proprietatea de consisten este este dificil dificil de verificat de verificat n context n contextul ul Teoremei Teoremei 6 6 ( (matricea matricea
regresorilor regresorilor nu nu mai mai este este strict strict determinist determinist ) ), , cel pu cel pu in r in r m m ne proprietatea de verosimilitate maxim ne proprietatea de verosimilitate maxim . .
P Probabilitatea de a ob robabilitatea de a ob ine setul de date m ine setul de date m surate prin simularea cu un model surate prin simularea cu un model
identificat folosind identificat folosind MCMMP MCMMP este maxim este maxim . .

104 104
Metode Metode de de identificare identificare i i validare validare
Identificarea i predicia proceselor auto-regresive
Identificarea Identificarea i i predic predic ia ia proceselor proceselor auto auto- -regresive regresive
Contextul de lucru
Contextul Contextul de de lucru lucru
M() M M( ( ) )
1
( ) [ ] [ , ] A q y n n

= c
n
-
e
P(
*
) P P( (
* *
) )
1
( ) [ ] [ ] A q y n e n
-
=
n
-
e
[ ] [ ] [ ]
T
y n n e n
-
= +
n
-
e
[ ] [ ] [ , ]
T
y n n n = + c
n
-
e
| | , [ ] n e n
-
c u =
n
-
e
- Model de tip AR.
- - Model de tip Model de tip AR AR. .

Modelul autoregresiv ( Modelul autoregresiv (AR AR) conduce la una dintre cele mai atractive ) conduce la una dintre cele mai atractive i simple abord i simple abord ri pentru ri pentru
identificarea surselor de perturba identificarea surselor de perturba ii ii. .

n pofida preciziei sale limitate, modelul n pofida preciziei sale limitate, modelul AR AR este adesea preferat este adesea preferat n aplica n aplica ii, ii, n special pentru n special pentru
metoda extrem de rapid metoda extrem de rapid i eficient i eficient de estimare a parametrilor s de estimare a parametrilor s i i. .

Modelul concurent al acestuia Modelul concurent al acestuia n aplica n aplica ii este ii este ARMA ARMA, care, de , care, de i necesit i necesit utilizarea utilizarea MCMMPE MCMMPE
sau sau MMEP MMEP pentru estimarea parametrilor s pentru estimarea parametrilor s i, este tot mai des utilizat, datorit i, este tot mai des utilizat, datorit cre cre terii sensibile terii sensibile
a performan a performan elor tehnicii de calcul automat. elor tehnicii de calcul automat.
| |
| |
1
[ ] [ 1] [ ]
def
T
def
T
na
n y n y n na
a a

Vectorul regresorilor nu este determinist,

dar este msurabil.
Vectorul Vectorul regresorilor regresorilor nu nu este este determinist determinist, ,
dar dar este este m m surabil surabil. .
( )
2
0, ee za
- Dispersie necunoscut.
- - Dispersie Dispersie necunoscut necunoscut . .
( )
2
1

argmin ( ) argmin [ ] [ ] ?
na na
N
T
n
y n n
e e
=
= = =

V
1,
{ [ ]}
n N
y n
e
= D
( )
2
1

N
=

V
date date m m surate surate
{ , }
N
N na N e
105 105
Identificarea Identificarea i i predicia predicia proceselor proceselor autoregresive autoregresive
Metode Metode de de identificare identificare i i validare validare
Performanele MCMMP n cazul modelului AR
Performanele Performanele MCMMP MCMMP n n cazul cazul modelului modelului AR AR

| |
| |
1
[ ] [ 1] [ ]
def
T
def
T
na
n y n y n na
a a

1 max{, } 1
, 1,
[ ] [ ] [ ] [ ]
N N
def
T
n n i j
i j na
n n y n i y n j
= = +
e
(
= =
(


R
1 1
1,
[ ] [ ] [ ] [ ]
N N
def
n n i
i na
n y n y n y n i
= = +
e
(
= =
(


r
Exerciiu
Exerciiu Exerciiu

Estima Estima iile iile oferite oferite de de MCMMP MCMMP sunt sunt
consistente consistente, , chiar chiar dac dac vectorul vectorul
regresorilor regresorilor nu nu este este perfect determinist. perfect determinist.
1

= R r
( )
2
1

N
=

V
{ , }
N
N na N e
Simetric, dar nu neaprat de tip Toeplitz
(elementele de pe diagonala principal sunt diferite).
Simetric Simetric , , dar dar nu nu neap neap rat rat de tip de tip Toeplitz Toeplitz
( (elementele elementele de de pe pe diagonala diagonala principal principal sunt sunt diferite diferite). ).
Pentru inversare, se folosete
Algoritmul (clasic al) lui Gauss.
Pentru Pentru inversare inversare, se , se folose folose te te
Algoritmul Algoritmul ( (clasic clasic al) al) lui lui Gauss Gauss. .
Efortul de calcul
Efortul Efortul de de calcul calcul
Adunri
Adun Adun ri ri
nmuliri
nmuliri nmuliri
Construcia matricii R
Construcia Construcia matricii matricii R R
Construcia vectorului r
Construcia Construcia vectorului vectorului r r
Inversarea matricii R
Inversarea Inversarea matricii matricii R R
Estimarea parametrilor ( R
-1
r )
Estimarea Estimarea parametrilor parametrilor ( ( R R
- -1 1
r r ) )
( 1)(3 2 1)
6
na na N na

+
(
(

| | N na

2
(3 3 2)
2
na na na

( +
(

2
na

(

( 1)(3 2 4)
6
na na N na
+
+
(
(

| | 1 N na
+

2
3 ( 1)
2
na na
+
(
(

| | ( 1) na na
+

Total
Total Total
2 2
7 3 ( 2) 3 5 7 3 ( 6) 3 1
~
6 6
MCMMP
na na na N N na na na N N
+
( ( ( ( + + + + +

( ( +
( (

O
2 2 2
, 0 0 0
1
[ ] { [ ] [ ]} [ ] [ ] [ ]
def
e y m
m
r k E e n y n k k k m k
-
>
= = o + o o + = o

1 ,
[ ] [ 1] [ ] [ ]
y y na y e y
r k a r k a r k na r k
- -
+ + + =
Metoda Metoda Yule Yule- -Walker Walker- -Wiener Wiener Algoritmul Algoritmul Levinson Levinson- -Durbin Durbin
106 106
Identificarea Identificarea i i predicia predicia proceselor proceselor autoregresive autoregresive
Metode Metode de de identificare identificare i i validare validare
Efortul Efortul de de calcul calcul al al MCMMP MCMMP cu cu modelul modelul AR AR este este susinut susinut, , deoarece deoarece at at num num rul rul datelor datelor
m m surate surate ct ct i i num num rul rul de de parametri parametri au au valori valori mari mari ( (pentru pentru a a asigura asigura o o precizie precizie suficient suficient ). ).
Obiectiv Obiectiv
Reducerea efortului de calcul prin metode alternative de identificare.
Reducerea Reducerea efortului efortului de de calcul calcul prin prin metode metode alternative de alternative de identificare identificare. .
Metoda Yule-Walker-Wiener (MYWW)
Metoda Metoda Yule Yule- -Walker Walker- -Wiener ( Wiener (MYWW MYWW) )
Ideea lui G.U. Yule & G. Walker
(anii30)
Ideea Ideea lui lui G.U. Yule G.U. Yule & & G. Walker G. Walker
( (anii30 anii30) )
Estimarea parametrilor necunoscui i a
dispersiei zgomotului alb se poate realiza apelnd
la secvena de auto-covarian a ieirii.
E Estimarea parametrilor necunoscu stimarea parametrilor necunoscu i i i a i a
dispersiei zgomotului alb se poate realiza apel dispersiei zgomotului alb se poate realiza apel nd nd
la la secven secven a de auto a de auto- -covarian covarian a ie a ie irii irii. .

1
( ) [ ] [ ] A q y n e n
-
=
n
-
e
E
[ ] y n k
C C C C

Se Se aplic aplic dou dou opera opera ii ii succesive succesive asupra asupra ecua ecua iei iei procesului procesului: :
k e
k e
?
ecua ecua ie ie autoregresiv autoregresiv determinist determinist
mprire infinit.
mp mp r r ire ire infinit infinit . .
1
( ) [ ] [ ] A q y n e n
-
=
n
-
e
1
1
[ ] [ ]
( )
y n e n
A q
-
=
n
-
e
1
[ ] [ ] [ ]
m
m
y n e n e n m
-
>
= + o

n
-
e
k e
Ecuaiile Yule-Walker-Wiener
Ecuaiile Ecuaiile Yule Yule- -Walker Walker- -Wiener Wiener
2 2 2
, 0 0 0
1
[ ] { [ ] [ ]} [ ] [ ] [ ]
def
e y m
m
r k E e n y n k k k m k
-
>
= = o + o o + = o

107 107
Identificarea Identificarea i i predicia predicia proceselor proceselor autoregresive autoregresive
Metode Metode de de identificare identificare i i validare validare

( (similare similare ecua ecua iilor iilor Wiener Wiener- -Hopf Hopf) )
Metoda Yule-Walker-Wiener (continuare)
Metoda Metoda Yule Yule- -Walker Walker- -Wiener Wiener ( (continuare continuare) )
- Ieirea nu este corelat cu valori
viitoare ale zgomotului.
- - Ie Ie irea irea nu nu este este corelat corelat cu cu valori valori
viitoare viitoare ale ale zgomotului zgomotului. .
k e
2
1 0
[ ] [ 1] [ ] [ ]
y y na y
r k a r k a r k na k
- -
+ + + = o
k e
S Sistemul este istemul este inoperant inoperant, deoarece are un , deoarece are un num num r infinit de ecua r infinit de ecua ii ii i apeleaz i apeleaz la la
secven secven a ideal a ideal de auto de auto- -covarian covarian a ie a ie irii irii. .
Ce Ce se se poate poate face? face?
Se renun la sistemul ideal (care ar conduce la determinarea exact a parametrilor adevrai)
i se nlocuiete cu un sistem practic, compatibil.
Se Se renun renun la la sistemul sistemul ideal ideal (care (care ar ar conduce la conduce la determinarea determinarea exact exact a a parametrilor parametrilor adev adev ra ra i i) )
i i se se nlocuie nlocuie te te cu un cu un sistem sistem practic practic, , compatibil compatibil. .
2
1
[0] [1] [ ] 0
y y na y
r a r a r na
- -
+ + + =
1
[1] [0] [ 1] 0
y y na y
r a r a r na
- -
+ + + =
1
[2] [1] [ 2] 0
y y na y
r a r a r na
- -
+ + + =
1
[ ] [ 1] [0] 0
y y na y
r na a r na a r
- -
+ + + =
- (na+1) ecuaii.
- - ( (na na+1) +1) ecua ecua ii ii. .

2
1
1
2
[1] [ ] [0]
[0] [1] [ 1] [1]
[1] [0] [ 2] [2]
[ 1] [ 2] [0] [ ]
y na y y
y y y y
y y y y
y y y y na
a r a r na r
r r r na r a
r r r na r a
r na r na r r na a
- -
-
-
-
+ + =

( ( (

( ( (

( ( (
=

( ( (

( ( (

( ( (

R
r
Sistemul Yule-Walker-Wiener
Sistemul Sistemul Yule Yule- -Walker Walker- -Wiener Wiener
Solu Solu ia ia practic practic
Solu Solu ia ia teoretic teoretic
Identificarea Identificarea i i predicia predicia proceselor proceselor autoregresive autoregresive
Metode Metode de de identificare identificare i i validare validare

Metoda Yule-Walker-Wiener (continuare)
Metoda Metoda Yule Yule- -Walker Walker- -Wiener Wiener ( (continuare continuare) )
* 1
= R r
2 1
[0]
T
y
r

= r R r
1

N N N

= R r
2 1

[0]
N T
N y N N N
r

= r R r
[0] [1] [ 1]
[1] [0] [ 2]
[ 1] [ 2] [0]
N N N
y y y
N N N
def
y y y
N
N N N
y y y
r r r na
r r r na
r na r na r
(
(
(

(
=
(
(
(


R

[1]
[2]
[ ]
N
y
N
def
y
N
N
y
r
r
r na
(
(
(
(
=
(
(
(

r

2
1
1
2
[1] [ ] [0]
[0] [1] [ 1] [1]
[1] [0] [ 2] [2]
[ 1] [ 2] [0] [ ]
y na y y
y y y y
y y y y
y y y y na
a r a r na r
r r r na r a
r r r na r a
r na r na r r na a
- -
-
-
-
+ + =

( ( (
( ( (

( ( (
=

( ( (

( ( (

( ( (

R
r
Simetric i de tip Toeplitz.
Simetric Simetric i i de tip de tip Toeplitz Toeplitz. .
Vectorul estimat al parametrilor
este de regul bine definit, dar
estimaia dispersiei zgomotului
alb poate fi negativ, din cauza
erorilor numerice.
Vectorul Vectorul estimat estimat al al parametrilor parametrilor
este este de de regul regul bine bine definit definit, , dar dar
estima estima ia ia dispersiei dispersiei zgomotului zgomotului
alb alb poate poate fi fi negativ negativ , , din din cauza cauza
erorilor erorilor numerice numerice. .
Efortul de calcul
Efortul Efortul de de calcul calcul
Adunri
Adun Adun ri ri
nmuliri
nmuliri nmuliri
Construcia matricii R
N
Construcia Construcia matricii matricii R R
N N
Construcia vectorului r
N
Construcia Construcia vectorului vectorului r r
N N
Inversarea matricii R
N
Inversarea Inversarea matricii matricii R R
N N
Estimarea parametrilor ( R
N
-1
r
N
)
Estimarea Estimarea parametrilor parametrilor ( ( R R
N N
- -1 1
r r
N N
) )
(2 1)
2
na N na

+
(
(

| | N na

2
(3 1)
2
na na

(
(

2
na

(

(2 1)
2
na N na
+

(
(

| | 1 N na
+

( 1)(3 1)
2
na na na
+

(
(

| | ( 1) na na
+

Total
Total Total
2 2
(3 2 1) (3 3 2 2)
~
2 2
MYWW
na na N na na na N
+
( ( + + +
+
( (

O
108 108
Efortul de
calcul a sczut.
Efortul Efortul de de
calcul calcul a a sc sc zut zut. .
Exemplu
Exemplu Exemplu
1000 N = 10 na =
| |
| |
~56075
55865
MCMMP

+
+
+
O
| |
| |
~11505
11340
MYWW

+
+
+
O