Sunteți pe pagina 1din 25

Dar poate fi estimat, fapt care

complic metoda de identificare


i reduce precizia modelului.
Dar Dar poate poate fi fi estimat estimat , , fapt fapt care care
complic complic metoda metoda de de identificare identificare
i i reduce reduce precizia precizia modelului modelului. .
|
1 2 1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ] ...
... [ 1] [ 2] [ ]
def
T
def
T
na nb nc
n y n y n y n na u n u n u n nb
e n e n e n nc
a a a b b b c c c

( =

Forma de regresie liniar a modelelor parametrice


Forma de Forma de regresie regresie liniar liniar a a modelelor modelelor parametrice parametrice
[ ] [ ] [ ]
T
y n n e n = +
n
-
e
Vectorul regresorilor
Vectorul Vectorul regresorilor regresorilor
Format din date msurate i, eventual, estimate.
F Format ormat din date m din date m surate surate i, eventual, estimate i, eventual, estimate. .
Ieirea depinde liniar de vectorul
parametrilor necunoscui.
Ie Ie irea irea depinde depinde liniar liniar de de vectorul vectorul
parametrilor parametrilor necunoscu necunoscu i i. .
ARMAX[na,nb,nc]
ARMAX[na,nb,nc ARMAX[na,nb,nc] ]
n
-
e
3 3 componente componente, ,
ca ca i i vectorul vectorul parametrilor parametrilor
Ultima component
nu este msurabil.
Ultima Ultima component component
nu nu este este m m surabil surabil . .
Exerciiu
Exerciiu Exerciiu

S S se se indice indice toate toate modelele modelele din din clasa clasa ARMAX ARMAX
pentru pentru care care vectorul vectorul regresorilor regresorilor con con ine ine
numai numai componente componente m m surabile surabile. .
37 37
Metode Metode de de identificare identificare i i validare validare
Metoda Celor Mai Mici Ptrate (MCMMP)
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate ( (MCMMP MCMMP) )
38 38

MCMMP MCMMP se bazeaz se bazeaz pe pe Teoria regresiei liniare Teoria regresiei liniare ini ini iat iat de de Carl Gauss Carl Gauss. .

Beneficiind de un telescop destul de performant pentru acea epoc Beneficiind de un telescop destul de performant pentru acea epoc , Carl Gauss a observat , Carl Gauss a observat i i
notat timp de c notat timp de c iva ani pozi iva ani pozi iile mai multor planete fa iile mai multor planete fa de Pam de Pam nt, calcul nt, calcul nd apoi coordonatele nd apoi coordonatele
acestor pozi acestor pozi ii fa ii fa de Soare. de Soare.
Soare Soare
Planet Planet
(Saturn) (Saturn)
Carl Gauss Carl Gauss
(1777 (1777- -1855) 1855)
Pozi Pozi ie ie
observat observat
y[n] y[n]
Pozi Pozi ie ie
estimat estimat
y y
KC KC
[n [n, ,u u] ]
Eroare Eroare
c c[n, [n,u u] ]
Nicolaus Nicolaus Copernicus Copernicus
(1473 (1473- -1543) 1543)
Johannes Johannes Kepler Kepler
(1571 (1571- -1630) 1630)
n pofida modelului de
sistem solar propus
intuitiv de Nicolaus
Copernicus i a Teoriei
lui Johannes Kepler
poziiile obinute nu se
situau pe o elips.
n pofida modelului de n pofida modelului de
sistem solar propus sistem solar propus
intuitiv de intuitiv de Nicolaus Nicolaus
Copernicus Copernicus i a Teoriei i a Teoriei
lui lui Johannes Kepler Johannes Kepler
pozi pozi iile iile ob ob inute inute nu nu se se
situau situau pe pe o o elips elips . .
parametrii parametrii elipsei elipsei ( (semiaxele semiaxele sale) sale)
Adic elipsa ai crei parametri
minimizeaz un criteriu ptratic.
Adic Adic elipsa elipsa ai ai c c rei rei parametri parametri
minimizeaz minimizeaz un un criteriu criteriu p p tratic tratic. .
Se ncearc determinarea
elipsei care trece cel mai bine
printre toate poziiile observate.
Se Se ncearc ncearc determinarea determinarea
elipsei elipsei care care trece trece cel cel mai mai bine bine
printre printre toate toate poziiile poziiile observate observate. .
39 39
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare

V Verificarea erificarea legilor lui Kepler legilor lui Kepler- -Copernicus Copernicus impune ca impune ca toate pozi toate pozi iile observate ale planetei iile observate ale planetei
( ( n num n num r de r de N N) ) s s se situeze pe o anumit se situeze pe o anumit elips elips . .
[ ] [ , ]
KC
y n y n =
1, n N e
Sistem Sistem de de ecua ecua ii ii din care din care ar ar trebui trebui
s s rezulte rezulte parametrii parametrii elipsei elipsei. .
Sistemul este de regul incompatibil,
deoarece numrul de ecuaii este sensibil
mai mare dect numrul de parametri iar
poziiile rezultate din observaii i
calcule sunt afectate de erori.
Sistemul Sistemul este este de de regul regul incompatibil incompatibil, ,
deoarece deoarece num num rul rul de de ecua ecua ii ii este este sensibil sensibil
mai mai mare mare dec dec t t num num rul rul de de parametri parametri iar iar
pozi pozi iile iile rezultate rezultate din din observa observa ii ii i i
calcule calcule sunt sunt afectate afectate de de erori erori. .
Ce Ce se se poate poate face? face?
( )
2
2
1 1
( ) [ , ] [ ] [ , ]
N N
def
KC
n n
n y n y n
= =
= c =

V
( (eroarea eroarea p p tratic tratic total total ) )

argmin ( )
nu
e
=

V
De aici rezult numele metodei.
De De aici aici rezult rezult numele numele metodei metodei. .

Pentru rezolvarea Pentru rezolvarea problemei problemei p p tratice tratice de de optimizare optimizare, se poate apela la , se poate apela la gradient gradient ( (dac dac func func ia ia
criteriu este derivabil criteriu este derivabil i gradientul ei se exprim i gradientul ei se exprim printr printr- -o rela o rela ie explicit ie explicit sau cel pu sau cel pu in implicit in implicit ) )
sau sau la alte mijloace la alte mijloace ( (dac dac , dintr , dintr- -un motiv sau altul, un motiv sau altul, aceasta aceasta nu permite evaluarea gradientului). nu permite evaluarea gradientului).

Aceast Aceast t tehnic ehnic ( (propus propus de Gauss de Gauss) ) se poate extinde se poate extinde i pentru g i pentru g sirea altor modele optimale sirea altor modele optimale n n
raport cu criteriul p raport cu criteriul p tratic, plec tratic, plec nd de la un set de date m nd de la un set de date m surate. surate.
40 40
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Exemplu
Exemplu Exemplu
Evaluarea dreptei de regresie liniar prin metoda gradientului
Evaluarea Evaluarea dreptei dreptei de de regresie regresie liniar liniar prin prin metoda metoda gradientului gradientului
y y
n n
0 0
an+b an+b
n n
y y
n n
1,
{( , )}
N n
n N
n y
e
= C
N N
y y
N N
1 1
y y
1 1
Cum pot Cum pot fi fi determinai determinai cei cei 2 2
parametri parametri ai ai dreptei dreptei? ?
Prin minimizarea erorii
ptratice totale.
Prin Prin minimizarea minimizarea erorii erorii
p p tratice tratice totale totale. .
Eroare Eroare de de
pozi pozi ie ie
c c[n, [n,a,b a,b] ]
2
2
,
1
2
,
1

argmin ( ) argmin [ , , ]
argmin ( )
N
a b
n
N
n
a b
n
n a b
y an b
-
-
e e e
=
e e
=

= = c =
`
)

=
`
)




V
paraboloid paraboloid de de rota rota ie ie
Soluia problemei de optimizare se
gsete anulnd valorile gradientului.
Soluia Soluia problemei problemei de de optimizare optimizare se se
g g sete sete anulnd anulnd valorile valorile gradientului gradientului. .
( , ) 0
( , ) 0
( , ) 0
a b
a
a b
a b
b
c

c
V =

c

c
V
V
V
1
1
2 ( ) 0
2 ( ) 0
N
n
n
N
n
n
n y an b
y an b
=
=

2
1 1
1 1
6
2 ( 1)
( 1)
2

(2 1) 3
( 1)
N N
n n
n n
N N
n n
n n
a ny N y
N N
b N y ny
N N
= =
= =

(
= +

= +
(



Metoda Metoda matricial matricial
41 41
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Soluia general a MCMMP n cazul modelelor de regresie liniar
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ , ] [ ]
def
T
y n n =
M

1,
{( [ ], [ ])}
N
n N
n y n
e
= D
[ , ] [ ]
def
T
y n n =
M

n
-
e
model model
date date ( )
( )
2
2
2
1 1 1
( ) [ , ] [ ] [ , ] [ ] [ ]
N N N
def def
T
n n n
n y n y n y n n
= = =
= c = =


M
V
nu
e
Criteriul ptratic
Criteriul Criteriul p p tratic tratic
Tot un paraboloid de rotaie,
dar generalizat.
Tot un Tot un paraboloid paraboloid de de rota rota ie ie, ,
dar dar generalizat generalizat. .
[ [1] [2] [ ]]
def
T N
y y y N = e Y Vectorul Vectorul global al global al datelor datelor de de ie ie ire ire m m surate surate. .
n
-
e
Metoda Metoda matricial matricial
Metoda Metoda gradientului gradientului Metoda Metoda p p tratelor tratelor perfecte perfecte
Exerciiu
Exerciiu Exerciiu
Exerciiu
Exerciiu Exerciiu
Metode de minimizare
Metode Metode de de minimizare minimizare
| |
1 2
[1]
[2]
[ ]
T
T
def
N n
n
T
N
u
u
(
(
(
= = e
(
(
(


.

| | |

Matricea Matricea regresorilor regresorilor. .


De regul, o
matrice monic.
De De regul regul , o , o
matrice matrice monic monic . .
( ) n N = u < rank
linii linii
coloane coloane
coloane coloane liniar liniar independente independente
| | ( ) [1, ] [2, ] [ , ]
def
T
N
N = c c c e Vectorul Vectorul erorilor erorilor de de m m sur sur fa fa de model. de model.
Minim unic.
Minim Minim unic unic. .
42 42
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Soluia general a MCMMP n cazul modelelor de regresie liniar (continuare)
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar ( (continuare continuare) )
Metoda matricial
Metoda Metoda matricial matricial
De De ce ce matricea matricea regresorilor regresorilor este este de de regul regul monic monic ? ?
Mulimea matricilor neinversabile
este mai parsimonioas.
Mul Mul imea imea matricilor matricilor neinversabile neinversabile
este este mai mai parsimonioas parsimonioas . .
Test
Test Test

Completa Completa i i la la nt nt mplare mplare o o matrice matrice de de ordin ordin 3. 3.
Este Este aceast aceast matrice matrice inversabil inversabil ? ?
Ce Ce anse anse sunt sunt ca ea ca ea s s nu nu fie fie inversabil inversabil ? ?

Paradoxal Paradoxal, , tocmai tocmai perturba perturba iile iile stocastice stocastice care care afecteaz afecteaz datele datele m m surate surate aduc aduc matricea matricea regresorilor regresorilor
n n stare de stare de rang maxim rang maxim. .
[ , ] [ ]
def
T
y n n =
M

1, n N e
def
N
= e Y
M
Ecua Ecua ia ia global global a a modelului modelului de de regresie regresie liniar liniar . .
Ecuaii matriciale
Ecua Ecua ii ii matriciale matriciale
[ , ] [ ] [ ]
def
T
n y n n c =
1, n N e
( )
def
N
= e Y Eroarea Eroarea global global de model. de model.
2
1
( ) [ , ]
N
def
n
n
=
= c

V
Criteriul Criteriul
p p tratic tratic. .
2 2
( ) ( ) ( ) ( ) ( ) ( ) )
def
T T
= = = = Y Y Y V
Teorema 1 (Soluia general a MCMMP)
Teorema Teorema 1 1 ( (Solu Solu ia ia general general a MCMMP) a MCMMP)
Solu Solu ia ia problemei problemei p p tratice tratice de de optimizare optimizare este este exprimat exprimat de de urm urm toarele toarele ecua ecua ii ii: :
; ;
( )
1

def
T T

= Y
. .
( )
1

( )
T T T T

= Y Y Y Y V
estima estima ie ie MCMMP MCMMP precizie precizie
Dei valoarea optim a criteriului
ptratic se exprim printr-o diferen, ea
este nenegativ (cum era de ateptat).
De De i i valoarea valoarea optim optim a a criteriului criteriului
p p tratic tratic se se exprim exprim printr printr- -o o diferen diferen , ea , ea
este este nenegativ nenegativ (cum era de (cum era de a a teptat teptat). ).
Operator de deparazitare
Operator de Operator de deparazitare deparazitare
( )
1

T T

= Y
43 43
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Soluia general a MCMMP n cazul modelelor de regresie liniar (continuare)
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar ( (continuare continuare) )
Metoda matricial
Metoda Metoda matricial matricial
( )
1

def
T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V
Aadar
Aadar Aadar
Pseudo-inversa Moore-Penrose
Pseudo Pseudo- -inversa inversa Moore Moore- -Penrose Penrose

Practic Practic, , orice orice sistem sistem liniar liniar incompatibil incompatibil: :
= Y
cu cu matricea matricea u u monic monic admite admite o o
unic unic pseudo pseudo- -solu solu ie ie: :
= Y
T

( )
T T
= Y
Inversabil.
Inversabil Inversabil . .
( )
1

( )
T T T
N

(
=

Y I Y V
N N
e Q
Proprieti elementare ale operatorului de deparazitare
Propriet Propriet i i elementare elementare ale ale operatorului operatorului de de deparazitare deparazitare

Simetrie Simetrie
( )
1
T T T
N

= = Q I Q

Ortogonalitate Ortogonalitate fa fa de de matricea matricea regresorilor regresorilor
( ) ( )
1
T T T

= = = Q 0 Q

Operatorul Operatorul este este i i proiector proiector
( ) ( ) ( )( )
( )
1 1 1
2
1
2
.
T T T T T T
N
T T
N

= + =
= =
Q I
I Q

Pozitiv Pozitiv (semi (semi- -definire definire) )
2
0
T
= = > Q Q Q Q

( ) 0
T
= > Y QY V
44 44
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Soluia general a MCMMP n cazul modelelor de regresie liniar (continuare)
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar ( (continuare continuare) )
Demonstraie geometric a Teoremei 1
Demonstra Demonstra ie ie geometric geometric a a Teoremei Teoremei 1 1
< <u u> >

< <u u> >
Y Y

n nu u

N N
Y Y
^ ^
c c ^ ^
Problema Problema optimiz optimiz rii rii folosind folosind criteriul criteriul p p tratic tratic
se se reformuleaz reformuleaz n n termeni termeni geometrici geometrici. .

Spaiul Euclidian
al datelor
Spa Spa iul iul Euclidian Euclidian
al al datelor datelor
hiperplanul hiperplanul modelului modelului de de regresie regresie
( (generat generat de de coloanele coloanele matricii matricii regresorilor regresorilor) )
h
i
p
e
r
p
l
a
n
u
l
h
i
p
e
r
p
l
a
n
u
l
p
a
r
a
z
i
t
p
a
r
a
z
i
t
( (
i
m
a
g
i
n
e
a
i
m
a
g
i
n
e
a
o
p
e
r
a
t
o
r
u
l
u
i
o
p
e
r
a
t
o
r
u
l
u
i
d
e

d
e

d
e
p
a
r
a
z
i
t
a
r
e
d
e
p
a
r
a
z
i
t
a
r
e
) )
Este practic imposibil ca vectorul
global al datelor s fie generat numai
de coloanele matricii regresorilor.
Este Este practic practic imposibil imposibil ca ca vectorul vectorul
global al global al datelor datelor s s fie fie generat generat numai numai
de de coloanele coloanele matricii matricii regresorilor regresorilor. .
Se caut vectorul din hiperplanul modelului de regresie
care este cel mai apropiat de vectorul datelor.
Se Se caut caut vectorul vectorul din din hiperplanul hiperplanul modelului modelului de de regresie regresie
care care este este cel cel mai mai apropiat apropiat de de vectorul vectorul datelor datelor. .
Adic proiecia acestuia pe
hiperplanul modelului de regresie.
Adic Adic proiec proiec ia ia acestuia acestuia pe pe
hiperplanul hiperplanul modelului modelului de de regresie regresie. .
Aadar
Aadar Aadar
Problema revine la determinarea proieciei
vectorului datelor pe hiperplanul modelului de
regresie, adic la minimizarea normei erorii
dintre vectorul de date i al proieciei sale.
Problema Problema revine revine la la determinarea determinarea proiec proiec iei iei
vectorului vectorului datelor datelor pe pe hiperplanul hiperplanul modelului modelului de de
regresie regresie, , adic adic la la minimizarea minimizarea normei normei erorii erorii
dintre dintre vectorul vectorul de date de date i i al al proiec proiec iei iei sale. sale.
Eroarea minim dintre cei doi vectori este un element al
hiperplanului parazit, ortogonal pe hiperplanul modelului de regresie.
Eroarea Eroarea minim minim dintre dintre cei cei doi doi vectori vectori este este un element al un element al
hiperplanului hiperplanului parazit parazit, , ortogonal ortogonal pe pe hiperplanul hiperplanul modelului modelului de de regresie regresie. .
2
2

T T T T T
= = = = Y Q QY Y Q Y Y QY

= = Y Y QY
( (datorit datorit
propriet propriet ilor ilor
operatorului operatorului Q Q) )
Metoda matricial
Metoda Metoda matricial matricial
vectorul vectorul global global
al al datelor datelor
45 45
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Soluia general a MCMMP n cazul modelelor de regresie liniar (continuare)
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar ( (continuare continuare) )
Demonstraie (Teorema 1)
Demonstra Demonstra ie ie ( (Teorema Teorema 1) 1)
Urmeaz Urmeaz determinarea determinarea proieciei proieciei vectorului vectorului datelor datelor. .

Metoda matricial
Metoda Metoda matricial matricial
Acesta Acesta este este un element al un element al hiperplanului hiperplanului modelului modelului de de regresie regresie: :

1 1 2 2

n n u u
= = u + u + + u Y | | |
( (combinaie combinaie liniar liniar a a coloanelor coloanelor
matricii matricii de de regresie regresie liniar liniar ) )
coeficien coeficien i i necunoscu necunoscu i i
Pentru a determina coeficien Pentru a determina coeficien ii ii necunoscu necunoscu i i, este suficient , este suficient exprima exprimarea rea condi condi i iei ei de de
ortogonalitate pe hiperplanul ortogonalitate pe hiperplanul modelului modelului de de regresie regresie, , adic adic pe pe fiecare fiecare vector care vector care l l
genereaz genereaz : :

0
T
i
= |

( ) 0
T
i
= Y Y | , 1, i n e u
1 1 2 2

T T T T
i i n i n i u u
u + u + + u = Y | | | | | | | , 1, . i n e u
Matricial Matricial, , sistemul sistemul rezultat rezultat se se exprim exprim astfel astfel: :

1
1 1 1 2 1 1
2 1 2 2 2 2
2
1 2

T T T T
n
T T T T
n
T T T T
n n n n n
n
u
u
u u u u u
u
(
u ( (
(
( (
u (
( (
=
(
( (
(
( (
(
( (
u

Y
Y
Y

. . . .
.

| | | | | | |
| | | | | | |
| | | | | | |



1 1 1
2 2
2
1 2

T T
T T
n
T T
n n
n
T T
u
u u
u
(
u ( (
(
( (
u (
( (
( =
(
( (
(
( (
(
( (
u


Y

. . _
.
| |
| |
| | |
| |

( )
1

T T

= Y
Aceste interpretri de natur geometric sunt valabile n condiiile n
care modelele matematice pot fi exprimate n forma de regresie liniar.
A Aceste interpret ceste interpret ri de natur ri de natur geometric geometric sunt valabile sunt valabile n condi n condi iile iile n n
care modelele matematice pot fi exprimate care modelele matematice pot fi exprimate n forma de regresie liniar n forma de regresie liniar . .
Prin gruparea convenabil a factorilor, astfel
nct s se opereze cu vectori i matrici avnd
dimensiunea vectorului parametrilor.
Prin Prin gruparea gruparea convenabil convenabil a a factorilor factorilor, , astfel astfel
nc nc t t s s se se opereze opereze cu cu vectori vectori i i matrici matrici av av nd nd
dimensiunea dimensiunea vectorului vectorului parametrilor parametrilor. .
46 46
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (modele de regresie liniar)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (modele modele de de regresie regresie liniar liniar ) )
Contextul de lucru
Contextul Contextul de de lucru lucru
P(u
*
) P P( (u u
* *
) )
M(u) M M( (u u) )
[ ] [ ] [ ]
T
y n n v n
-
= + [ ] [ ] [ , ]
T
y n n n = + c
n
-
e n
-
e
perturba perturba ie ie stocastic stocastic
( (zgomot zgomot de de m m sur sur ) )
eroarea eroarea dintre dintre
proces proces i i model model
Modelul este conform cu procesul
Modelul Modelul este este conform conform cu cu procesul procesul [ , ] [ ] n v n
-
c =
n
-
e
Modelul perfect difer de proces
numai prin zgomotul de msur.
Modelul Modelul perfect perfect difer difer de de proces proces
numai numai prin prin zgomotul zgomotul de de m m sur sur . .
Problema const n minimizarea erorii ptratice globale dintre proces i model pe durata orizontului de
msur, pentru determinarea unei estimaii a vectorului parametrilor necunoscui din date experimentale.
Problema Problema const const n n minimizarea minimizarea erorii erorii p p tratice tratice globale globale dintre dintre proces proces i i model model pe pe durata durata orizontului orizontului de de
m m sur sur , , pentru pentru determinarea determinarea unei unei estima estima ii ii a a vectorului vectorului parametrilor parametrilor necunoscu necunoscu i i din date din date experimentale experimentale. .
1,
{( [ ], [ ])}
N
n N
n y n
e
= D
( )
2
2
1 1

argmin ( ) argmin [ , ] argmin [ ] [ ]


n n n
N N
T
n n
n y n n
u u u
e e e
= =

= = c =
` `
) )




V
Teorema 1
Teorema Teorema 1 1
( )
1

T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V
Relaii care pot fi neimplementabile dac
dimensiunea orizontului de msur este prea mare.
Rela Rela ii ii care pot care pot fi fi neimplementabile neimplementabile dac dac
dimensiunea dimensiunea orizontului orizontului de de m m sur sur este este prea prea mare. mare.
Cum pot Cum pot fi fi totui totui implementate implementate aceste aceste relaii relaii? ?
n N u <

2 2
,
1
[ ]
N
def
T
N y
n
N y n
=
o = =

Y Y
47 47
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Formulele de implementare ale MCMMP
Formulele Formulele de de implementare implementare ale ale MCMMP MCMMP
Matricea i vectorul de
covarian a datelor
Matricea Matricea i i vectorul vectorul de de
covarian covarian a a datelor datelor
| |
1
[1]
[2]
[1] [2] [ ] [ ] [ ]
[ ]
T
T
N
def
T T n n
n
T
N n n
N
u u
=
(
(
(
= = = e
(
(
(

R
.

( )
1

T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V

| |
1
[1]
[2]
[1] [2] [ ] [ ] [ ]
[ ]
N
def
T n
n
y
y
N n y n
y N
u
=
(
(
(
= = = e
(
(
(

r Y
.

produsul produsul exterior exterior
{ }
1
1 1
[ ] [ ] [ ] [ ]
N
def
T T T
N
n
n n E n n
N N
=
= = ~

R
1
1
1 1

[ ] [ ] [ ] [ ]
N N
T
n n
n n n y n

= =
| | | |
= =
| |
\ . \ .

R r
1
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T
N N N
n n
n n n y n
N N

= =
| | | |
= =
| |
\ . \ .

R r
{ }
1
1 1
[ ] [ ] [ ] [ ]
N
def
T
N
n
n y n E n y n
N N
=
= = ~

r Y
( )
2 1
,

T
N N y N N N
N

= o r R r V
dispersie dispersie estimat estimat
[ ] n
E
( ) ( )
1
{ [ ] [ ]} { [ ] [ ]} { [ ] [ ]}
T
E n n E n y n E n v n

-
=
[ ] [ ] [ ]
T
y n n v n
-
= +
48 48
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Teorema 2 (Teorema fundamental a MCMMP)
Teorema Teorema 2 2 ( (Teorema Teorema fundamental fundamental a MCMMP) a MCMMP)
Urm Urm toarele 3 ipote toarele 3 ipoteze se consider ze se consider verificate: verificate:
a. a. matricea matricea u u este perfect determinist este perfect determinist ; ;
b. b. matricea matricea R R (sau (sau R R
N N
) e ) este strict pozitiv definit ste strict pozitiv definit (adi (adic c inversabil inversabil ) p ) pentru toate entru toate
dimensiunile orizontului de m dimensiunile orizontului de m sur sur suficient de mari; suficient de mari;
c. perturbaia v aparine clasei za(0,
2
) (adic este un zgomot alb de medie nul i
dispersie necunoscut
2
).
MCMMP MCMMP ofer ofer 3 3 estima estima ii ii remarcabile remarcabile: :
( )
1

T T
N

= Y
[ ] [ ] [ ]
def
T
N
v n y n n =
( )
2
2 2
1 1
1 1

[ ] [ ] [ ]
N
N N
def
T
N
n n N N
v n y n n

= =
= =



n
-
e
vectorul vectorul
parametrilor parametrilor
zgomotul zgomotul
perturbator perturbator
dispersia dispersia zgomotului zgomotului perturbator perturbator
{ , }
N
N n N e u
Acestea Acestea verific verific urm urm toarele toarele propriet propriet i i: :
1. 1. Estima Estima ia vectorului parametrilor adev ia vectorului parametrilor adev ra ra i este i este nedeviat nedeviat . .
2. Matricea de auto-covarian a erorii de estimare pentru vectorul parametrilor
adevrai este egal cu:
( )
1
2 1 2

( )
T
N

= = P R
3. 3. Estima Estima ia vectorului parametrilor adev ia vectorului parametrilor adev ra ra i este i este consistent consistent . .
49 49
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Teorema 2 (Teorema fundamental a MCMMP continuare)
Teorema Teorema 2 2 ( (Teorema Teorema fundamental fundamental a MCMMP a MCMMP continuare continuare) )
4. 4. Fie Fie I I clasa estima clasa estima iilor nedeviate ale lui iilor nedeviate ale lui u u* * care se pot exprima ca transform care se pot exprima ca transform ri liniare ri liniare
deterministe ale vectorului de date de ie deterministe ale vectorului de date de ie ire m ire m surate surate Y Y. Atunci, estima . Atunci, estima ia vectorului ia vectorului
parametrilor adev parametrilor adev ra ra i apar i apar ine lui ine lui I I i, i, n plus, face parte dintre cele mai eficiente n plus, face parte dintre cele mai eficiente
estima estima ii din aceast ii din aceast clas clas . .
5. 5. Ambele Ambele e estima stima ii ii a ale dispersiei zgomotului alb sunt consistente le dispersiei zgomotului alb sunt consistente
(deci (deci i asimptotic nedeviate). i asimptotic nedeviate).
6. 6. Pentru Pentru
N N
= = N N, e , estima stima ia ia dispersiei dispersiei zgomotului zgomotului alb alb este deviat este deviat , dar , dar, , pentru pentru
N N
= = N N- -n nu u, ,
ea ea este nedeviat este nedeviat . .
Demonstraie
Demonstra Demonstra ie ie
nainte nainte de a de a demonstra demonstra concluziile concluziile teoremei teoremei, , sunt sunt necesare necesare cteva cteva calcule calcule preliminare preliminare. .

V Va fi dedus a fi dedus relaia care exist ntre vectorul parametrilor adevrai relaia care exist ntre vectorul parametrilor adevrai i i
cel al parametrilor estimai cel al parametrilor estimai. .

P(u
*
) P P( (u u
* *
) )
[ ] [ ] [ ]
T
y n n v n
-
= +
[ [1] [2] [ ]]
def
T N
v v v N = e V Vectorul Vectorul global al global al perturba perturba iilor iilor. .
1, n N e
-
= + Y V
( )
1

T T
N

= Y
( )
( )
1
1

( )
T T
N
T T

-
= + =
= +
V
V
50 50
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
Operatorul Operatorul de de deparazitare deparazitare fiind fiind ortogonal ortogonal pe pe cel cel reprezentat reprezentat de de matricea matricea regresorilor regresorilor, ,
estimaia estimaia perturbaiei perturbaiei se se poate poate obine obine prin prin proiecia proiecia perturbaiei perturbaiei necunoscute necunoscute pe pe
hiperplanul hiperplanul parazit parazit. .

n n continuare continuare, , va va fi fi exprimat exprimat estima estimaia vectorul ia vectorului ui perturbaiei perturbaiei, , n n vederea vederea determin determin rii rii
unei unei expresii expresii adecvate adecvate i i pentru pentru dispersia dispersia estimat estimat a a zgomotului zgomotului alb. alb.

Vectorul Vectorul global global estimat estimat al al perturba perturba iilor iilor. .
( )
1

T T

= = = V Y Y Y QY

[ [1] [2] [ ]]
def
T N
v v v N = e V
Vectorul perturbaiei se poate estima proiectnd
vectorul datelor de ieire pe hiperplanul parazit.
Vectorul Vectorul perturba perturba iei iei se se poate poate estima estima proiect proiect nd nd
vectorul vectorul datelor datelor de de ie ie ire ire pe pe hiperplanul hiperplanul parazit parazit. .

( )
-
= = + = V QY Q V QV
-
= + Y V
Rezult Rezult imediat imediat c c : :

2 2
1 1 1 1

N
T T T T T
N N N N

= = = =

V V V Q QV V Q V V QV
( (datorit datorit
propriet propriet ilor ilor
operatorului operatorului Q Q) )
Acum Acum, se pot , se pot demonstra demonstra concluziile concluziile teoremei teoremei. .

1. 1. N Nedevi edevierea erea estima estima iilor iilor parametrilor parametrilor necunoscu necunoscu i i

{ }
N
E
( )
1
{ }
T T
E

-
= + V
.
-
=
( )
1

T T
N

-
= + V
( )
{ }
1
T T
E

-
= + V
a.
a. a.
c.
c. c.
51 51
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
2. 2. Matricea Matricea de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare
{ }

( ) ( )( )
def
T
N N N
E
- -
= P
( ) { } ( )
1 1
T T T T
E

= VV
( )
2
1
.
T

=
( )
1

T T
N

-
= + V
( ) ( )
{ }
1 1
T T T T
E

= VV
a.
a. a.
c.
c. c.
=
( ) ( )( )
2
1 1
T T T

=
2
N
I
3. 3. Consisten Consisten a a estima estima iilor iilor parametrilor parametrilor necunoscu necunoscu i i

lim
N
N

.
-
=
( )
1

T T
N

-
= + V
a.&b.
a.&b. a.&b.
c.
c. c.
1
{ [ ] [ ]}
T
E n v n

-
= +
1
1 1
1 1
lim [ ] [ ] [ ] [ ]
N N
T
N
n n
n n n v n
N N

= =

| | | |
= + `
| |
\ . \ .
)


a.
a. a.
=
1
[ ] { [ ]}
T
n E v n

-
= +
Consistena este cea mai important
proprietate statistic.
Consisten Consisten a a este este cea cea mai mai important important
proprietate proprietate statistic statistic . .
Demonstraia s-a bazat pe faptul c limita irului
matricilor R
N
continu s fie inversabil cel puin
pentru o realizare infinit a procesului furnizor de date.
Demonstra Demonstra ia s ia s- -a bazat pe faptul c a bazat pe faptul c limita limita irului irului
matricilor matricilor R R
N N
continu continu s s fie inversabil fie inversabil cel pu cel pu in in
pentru o realizare infinit pentru o realizare infinit a procesului furnizor de date. a procesului furnizor de date.
media aritmetic media aritmetic
ideal ideal a produselor a produselor
[ ] [ ]
T
n n
52 52
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
4. 4. Eficien Eficien a a estima estima iilor iilor parametrilor parametrilor necunoscu necunoscu i i
= e AY

{ }
( ) ( { }) E E
- -
+ = + A V A V

nu
= A I

{ } E
-
=

c.
c. c.
- -
= = A

Pentru Pentru simplitate simplitate, , indicele indicele N N va va fi fi omis omis din din
notaia notaia vectorului vectorului parametrilor parametrilor necunoscui necunoscui. .

( )
1

T T

= Y

n N u
e A

= AY
Fie Fie

o alt o alt estimaie nedeviat estimaie nedeviat


din clasa din clasa I I, eventual diferit , eventual diferit de de cea cea
oferit oferit de de MCMMP MCMMP. .
Nedeviere
Nedeviere Nedeviere
a.
a. a.

Conform definiiei, estimaia Conform definiiei, estimaia este cel puin tot att de eficient ca estimaia este cel puin tot att de eficient ca estimaia dac dac : :


( ) ( ) ( ) ( ) . s > 0 P P P P

Pentru Pentru a a demonstra demonstra aceast aceast inegalitate inegalitate, se , se pleac pleac de la de la operatorul operatorul liniar liniar

,
def
= A A

care care verific verific proprietatea proprietatea remarcabil remarcabil de a de a fi fi ortogonal ortogonal pe pe operatorul operatorul reprezentat reprezentat
de de matricea matricea regresorilor regresorilor (ca (ca i i operatorul operatorul Q Q): ):

.
n n u u
= = = A A I I 0

Cu Cu ajutorul ajutorul operatorului operatorului A A, se , se poate poate determina determina o o rela rela ie ie ntre ntre cele cele dou dou estima estima ii ii: :

( ) = = + AY A Y

= + Y

( )
-
= + + V

. = + V
-
= + Y V
e
Estimaia oferit de MCMMP face parte din
clasa de estimaii definit n enunul teoremei.
Estima Estima ia ia oferit oferit de de MCMMP MCMMP face face parte parte din din
clasa clasa de de estima estima ii ii definit definit n n enun enun ul ul teoremei teoremei. .
a.
a. a.
53 53
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
4. 4. Eficien Eficien a a estima estima iilor iilor parametrilor parametrilor necunoscu necunoscu i i ( (continuare continuare) )
Aadar
Aadar Aadar

- -
= + V

( ) ( )( )
{ }
def
T
E
- -
= P

{ }

( )( )
T
E
- -
= + + V V

( ) = P
=
{ }
T T
E + VV
{ }

( )
T T
E
-
+ V
{ }

( )
T
E
-
+ V
Termenii Termenii ncruciai ncruciai ( (transpui transpui unul unul altuia altuia) se ) se anuleaz anuleaz : :

{ }

( )
T T
E
-
V
( )
1

T T

-
= + V
( )
{ }
1
T T T T
E

= VV
( )
1
{ }
T T T T
E

= VV
a.
a. a.
=
c.
c. c.
( )
1
2 T T T

=
. = 0
0
Rezult Rezult atunci atunci c c : :

{ }

( ) ( )
T T
E = + VV P P
2

( )
T
+ = P
c.
c. c. & & A A determinist determinist
2

( ) ( )
T
= > 0 P P

O demonstraie alternativ a eficienei


utilizeaz un raionament bazat pe un
rezultat din Teoria Matricilor.
O O demonstra demonstra ie ie alternativ alternativ a a eficien eficien ei ei
utilizeaz utilizeaz un un ra ra ionament ionament bazat bazat pe pe un un
rezultat rezultat din din Teoria Teoria Matricilor Matricilor. .
54 54
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
5. 5. Consisten Consisten a a estima estima iilor iilor dispersiei dispersiei zgomotului zgomotului alb alb
2
1

N
T
N

V QV

Proprietatea rezult dup cteva calcule
elementare, innd cont de ipotezele teoremei.
Proprietatea Proprietatea rezult rezult dup dup c c teva teva calcule calcule
elementare elementare, , in in nd nd cont de cont de ipotezele ipotezele teoremei teoremei. .
Exerciiu
Exerciiu Exerciiu
6. 6. Propriet Propriet i i de de nedeviere nedeviere ale ale estima estima iilor iilor dispersiei dispersiei zgomotului zgomotului alb alb
Deviat Deviat
( )
2
2
1
1

[ ] [ ]
N
def
T
N N
n
y n n
N
=
=

Nedeviat Nedeviat
( )
2
2
1
1

[ ] [ ]
N
def
T
N n N
n
y n n
N n
u
=
=
u


Ambele aseriuni vor fi demonstrate simultan, folosind Ambele aseriuni vor fi demonstrate simultan, folosind
operatorul numit operatorul numit urm urm a unei matrici a unei matrici ( (trace trace). ).

1
( )
n
def
ii
i
a
=
=

A Tr
suma suma elementelor elementelor
de de pe pe diagonal diagonal
Proprieti elementare ale operatorului Tr
Propriet Propriet i i elementare elementare ale ale operatorului operatorului Tr Tr

Liniaritate Liniaritate
( ) ( ) ( ) o +| = o +| A B A B Tr Tr Tr
Invarian Invarian la la comutarea comutarea matricilor matricilor
n
-
e
Proprietate care se verific
indiferent dac produsul celor dou
matrici este sau nu comutativ.
P Proprietate roprietate care care se verific se verific
indiferent dac indiferent dac produsul celor dou produsul celor dou
matrici este sau nu comutativ matrici este sau nu comutativ. .

2
1

N
T
N

V QV
E
{ } { }
2
1

N
T
N
E E

V QV
e
{ }
1
( )
T
N
E =

V QV Tr
{ }
1
( )
T
N
E =

QVV Tr
( ) ( ) = AB BA Tr Tr
55 55
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Teorema fundamental a MCMMP (continuare)
Teorema Teorema fundamental fundamental a a MCMMP MCMMP ( (continuare continuare) )
Demonstraie (Teorema 2)
Demonstra Demonstra ie ie ( (Teorema Teorema 2) 2)
6. 6. Propriet Propriet i i de de nedeviere nedeviere ale ale estima estima iilor iilor dispersiei dispersiei zgomotului zgomotului alb ( alb (continuare continuare) )
Aadar
Aadar Aadar { } { }
2
1

( )
N
T
N
E E

QVV Tr
{ }
{ } ( )
2
1

N
N
T
E E

=

Q VV Tr
a.
a. a.
2
( )
N
=

Q Tr
c.
c. c.
( )
2
1
T T
N
N

(
=
(

I Tr
( )
{ }
2
1
T T
N
N

(
=
(

Tr
=
( )
{ }
2
1
T T
N
N

(
=
(

Tr =
( )
2
n
N
N
u

= (

I Tr
2
N
N n u
=

Egalitatea obinut demonstreaz proprietatea de deviere/nedevie Egalitatea obinut demonstreaz proprietatea de deviere/nedeviere a estimaii re a estimaiilor lor
dispersiei zgomotului alb i justific alegerea constantei dispersiei zgomotului alb i justific alegerea constantei
N N
. .

Dac ipoteza b. din enunul Teoremei


este necesar pentru buna definire a
estimaiei parametrilor necunoscui,
ipotezele a. i c. sunt destul de restrictive.
Dac Dac ipoteza ipoteza b. b. din enun din enun ul Teoremei ul Teoremei
este necesar este necesar pentru buna definire a pentru buna definire a
estima estima iei parametrilor necunoscu iei parametrilor necunoscu i, i,
ipotezele ipotezele a. a. i i c. c. sunt destul de restrictive. sunt destul de restrictive.
Ipotezele teoremei au fost alese
cu grij, astfel nct att
consistena ct i nedevierea
estimaiilor s fie verificate.
I Ipotezele teoremei au fost alese potezele teoremei au fost alese
cu grij cu grij , astfel , astfel nc nc t at t at t t
consisten consisten a a c c t t i i nedevierea nedevierea
estima estima iilor s iilor s fie verificate. fie verificate.
MCMMP induce o tehnic de
extragere a datelor utile din datele msurate,
cu ajutorul proieciilor ortogonale, adic
neredundante.
MCMMP MCMMP induce o induce o tehnic tehnic de de
extragere extragere a datelor utile din datele m a datelor utile din datele m surate surate, ,
cu ajutorul proiec cu ajutorul proiec iilor ortogonale iilor ortogonale, , adic adic
neredundante neredundante. .
56 56
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Sumarul relaiilor matriciale din contextul MCMMP
Sumarul Sumarul relaiilor relaiilor matriciale matriciale din din contextul contextul MCMMP MCMMP
Contextul de lucru
Contextul Contextul de de lucru lucru
P(u
*
) P P( (u u
* *
) )
M(u) M M( (u u) )
-
= + Y V
( ) = + Y
{ } E = V 0
2
{ }
T
N
E = VV I
( )
-
= V
Criteriul ptratic
Criteriul Criteriul p p tratic tratic
2 2
( ) ( )
def
= = Y V
Estimaiile oferite de MCMMP
Estima Estima iile iile oferite oferite de MCMMP de MCMMP
( ) ( )
1 1

T T T T
N

-
= = + Y V

N
= = = V Y QY QV
2
1 1

N
T T
N N

= =

V V V QV
( )
2

N
T T T
N N
= = = = Y QY V QV V V V
< <u u> >

< <u u> >
Y Y

n nu u

N N
Y Y
^ ^
Y Y
^ ^
c c ^ ^c c ^ ^
Zgomotul estimat se obine prin
proiectarea datelor de ieire
msurate pe hiperplanul parazit.
Z Zgomotul estimat se ob gomotul estimat se ob ine prin ine prin
proiectarea datelor de ie proiectarea datelor de ie ire ire
m m surate pe hiperplanu surate pe hiperplanul l parazit parazit. .
Extracia datelor utile din date
afectate de zgomot nu este ns
perfect, calitatea ei depinznd
de matricea regresorilor.
Extrac Extrac ia datelor utile din date ia datelor utile din date
afectate de zgomot afectate de zgomot nu este nu este ns ns
perfect perfect , calitatea ei depinz , calitatea ei depinz nd nd
de matricea regresorilor de matricea regresorilor. .
( )
SNR SNR

( ) > Y
57 57
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Nerespectarea condiiilor Teoremei fundamentale
Nerespectarea Nerespectarea condiiilor condiiilor Teoremei Teoremei fundamentale fundamentale
Condiia a. (determinismul matricii regresorilor) este adesea nlocuit
prin condiia ca perturbaia i vectorul regresorilor s nu fie corelate.
Condi Condi ia ia a. a. ( (determinismul determinismul matricii matricii regresorilor regresorilor) ) este este adesea adesea nlocuit nlocuit
prin prin condi condi ia ia ca ca perturba perturba ia ia i i vectorul vectorul regresorilor regresorilor s s nu nu fie fie corelate corelate. .
Cum pot Cum pot fi fi relaxate relaxate condiiile condiiile restrictive din restrictive din cadrul cadrul Teoremei Teoremei
fundamentale fundamentale f f r r a a afecta afecta consistena consistena estimaiilor estimaiilor? ?
{ } [ ] [ ] 0 E n v m =
, n m
-
e

Se Se poate poate ar ar ta ta ( (de de i i este este mai mai complicat complicat), ), c c noua noua condi condi ie ie
nu nu conduce la conduce la pierderea pierderea consisten consisten ei ei. .

Condi Condi ia ia este este sugerat sugerat de de expresia expresia ideal ideal aparametrilor aparametrilor adev adev ra ra i i. .

{ }
( )
{ }
( )
1
1
1 1
1 1
[ ] [ ] [ ] [ ] lim [ ] [ ] lim [ ] [ ]
N N
T T
N N
n n
E n n E n y n n n n y n
N N

-

= =
(
(
| | | |
= = (
( | |
(
\ . \ .



( ) ( )
1
{ [ ] [ ]} { [ ] [ ]} { [ ] [ ]}
T
E n n E n y n E n v n

-
=

N
~

Mai Mai mult mult, , datorit datorit timpului timpului mort mort intrinsec intrinsec al al procesului procesului, , n n anumite anumite cazuri cazuri este este posibil posibil
verificarea verificarea condi condi iei iei de de necorelare necorelare chiar chiar i i n n cazul cazul identific identific rii rii n n bucl bucl nchis nchis . .
Condiia b. (inversabilitatea matricii de covarian) este indispensabil
pentru buna definire a estimaiei vectorului parametrilor necunoscui.
Condi Condi ia ia b. b. ( (inversabilitatea inversabilitatea matricii matricii de de covarian covarian ) ) este este indispensabil indispensabil
pentru pentru buna buna definire definire a a estima estima iei iei vectorului vectorului parametrilor parametrilor necunoscu necunoscu i i. .

1
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T
N N N
n n
n n n y n
N N

= =
| | | |
= =
| |
\ . \ .

R r
Dealtfel, aceasta nu este
o condiie restrictiv.
Dealtfel Dealtfel, , aceasta aceasta nu nu este este
o o condi condi ie ie restrictiv restrictiv . .
Centrarea datelor pe medie
Centrarea Centrarea datelor datelor pe pe medie medie
Estimatorul Markov
Estimatorul Estimatorul Markov Markov
Cazul Cazul zgomotelor zgomotelor colorate colorate, ,
de de medie medie nul nul
Cazul Cazul zgmotelor zgmotelor albe albe
de de medie medie nenul nenul
58 58
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Nerespectarea condiiilor Teoremei fundamentale (continuare)
Nerespectarea Nerespectarea condiiilor condiiilor Teoremei Teoremei fundamentale fundamentale ( (continuare continuare) )
Condiia c. (perturbaia este un zgomot alb) se verific rareori n practic.
Condi Condi ia ia c. c. ( (perturba perturba ia ia este este un un zgomot zgomot alb alb) se ) se verific verific rareori rareori n n practic practic . .
Pentru relaxarea ei, exist dou abordri.
Pentru Pentru relaxarea relaxarea ei ei, , exist exist dou dou abord abord ri ri. .
Erori sistematice de msur Erori Erori sistematice sistematice de de m m sur sur
Cazul zgomotelor colorate, de medie nul. Estimatorul Markov.
Cazul Cazul zgomotelor zgomotelor colorate colorate, de , de medie medie nul nul . . Estimatorul Estimatorul Markov. Markov.
Cazuri frecvent
ntlnite n aplicaii.
Cazuri Cazuri frecvent frecvent
nt nt lnite lnite n n aplica aplica ii ii. .
{ }
T
E = > VV 0
m matric atrice e de auto de auto- -covarian covarian nu neap nu neap rat rat
diagonal diagonal , d , dar ar simetric simetric i strict pozitiv definit i strict pozitiv definit
Deoarece media zgomotului continu s fie nul,
att nedevierea ct i consistena estimaiilor
oferite de MCMMP se conserv.
Deoarece Deoarece media zgomotului continu media zgomotului continu s s fie nul fie nul , ,
at at t t nedevierea nedevierea c c t t i i consisten consisten a a estima estima i iilor ilor
oferite de oferite de MCMMP MCMMP se conserv se conserv . .
Se Se pierde pierde eficien eficien a a estima estima iei iei. .
( ) ( )
1 1

( )
T T T

= P
Exerciiu
Exerciiu Exerciiu
Estimatorul CMMP se poate nlocui cu estimatorul Markov, care se
construiete plecnd de la descompunerea Cholesky a matricii A.
Estimatorul Estimatorul CMMP CMMP se se poate poate nlocui nlocui cu cu estimatorul estimatorul Markov Markov, care se , care se
construie construie te te plec plec nd nd de la de la descompunerea descompunerea Cholesky Cholesky a a matricii matricii A A. .
Cum se Cum se poate poate remedia remedia acest acest efect efect? ?
T
= > C C 0
-
= + Y V
T
C
Y

Transformare Transformare echivalent echivalent a a ecua ecua iei iei procesului procesului
T T T -
= + C Y C C V
-
= + Y V

59 59
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Nerespectarea condiiilor Teoremei fundamentale (continuare)
Nerespectarea Nerespectarea condiiilor condiiilor Teoremei Teoremei fundamentale fundamentale ( (continuare continuare) )
Cazul zgomotelor colorate, de medie nul. Estimatorul Markov. (continuare )
Cazul Cazul zgomotelor zgomotelor colorate colorate, de , de medie medie nul nul . . Estimatorul Estimatorul Markov. Markov. ( (continuare continuare ) )
1
{ } { }
T T T
E E

= VV C VV C

Este Este alb alb noul noul zgomot zgomot? ?
-
= + Y V

Aadar
Aadar Aadar
T
C Y
T
C
T
C V
DA DA
1
{ }
T T
E

= C VV C
1 T
= C C
1 T T
= C C CC
N
= I
Estimaia Markov
Estimaia Estimaia Markov Markov
( ) ( )
1 1
1 1 T T T T


= = Y Y

Cea mai eficient din clasa I.
Cea Cea mai mai eficient eficient din din clasa clasa I I. .
( )
1
1
( )
T

= P

Exerciiu
Exerciiu Exerciiu

( ) ( ) s P P

Markov Markov CMMP CMMP


( )
1
1 T T T

(
>
(

0
i are chiar
dispersie unitar.
i i are are chiar chiar
dispersie dispersie unitar unitar . .
Este Este acest acest estimator estimator implementabil implementabil? ?
Matricea Matricea de auto de auto- -covarian covarian a a zgomotului zgomotului colorat colorat nu nu este este cunoscut cunoscut . .
Chiar Chiar dac dac matricea matricea de auto de auto- -covarian covarian a a zgomotului zgomotului colorat colorat ar ar fi fi estimat estimat n n prealabil prealabil, ,
dimensiunea dimensiunea acesteia acesteia este este egal egal cu a cu a orizontului orizontului de de m m sur sur , , astfel astfel c c inversarea inversarea este este o o
opera opera ie ie consumatoare consumatoare de de timp timp. .
n cazul zgomotelor colorate de medie nul, se utilizeaz tot MCMMP,
chiar dac nu este cea mai eficient.
n n cazul cazul zgomotelor zgomotelor colorate colorate de de medie medie nul nul , se , se utilizeaz utilizeaz tot tot MCMMP MCMMP, ,
chiar chiar dac dac nu nu este este cea cea mai mai eficient eficient . .
n general, nu, din dou motive:
n n general, general, nu nu, din , din dou dou motive: motive:
[ ] [ ] [ ]
T
y n n v n
-
= +
Centrarea Centrarea datelor datelor pe pe medie medie
( (sta sta ionarizarea ionarizarea datelor datelor) )
60 60
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Nerespectarea condiiilor Teoremei fundamentale (continuare)
Nerespectarea Nerespectarea condiiilor condiiilor Teoremei Teoremei fundamentale fundamentale ( (continuare continuare) )
Cazul zgomotelor albe, de medie nenul. Centrarea datelor pe medie.
Cazul Cazul zgomotelor zgomotelor albe, de albe, de medie medie nenul nenul . . Centrarea Centrarea datelor datelor pe pe medie medie. .
{ [ ]} 0 E v n v = =
eroare eroare sistematic sistematic de de m m sur sur
( (necunoscut necunoscut ) )
Exerciiu
Exerciiu Exerciiu Consisten Consisten a a i i nedevierea nedevierea estima estima iei iei se se pierd pierd. .
Cum se Cum se poate poate remedia remedia acest acest efect efect? ?
Centrarea Centrarea datelor datelor pe pe medie medie
( (sta sta ionarizarea ionarizarea datelor datelor) )
n acest curs n n acest acest curs curs
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate cu cu
Parametri Parametri Extin Extin i i ( (MCMMPPE MCMMPPE) )
Exist dou strategii.
Exist Exist dou dou strategii strategii. .
Exerciiu
Exerciiu Exerciiu

Se Se pleac pleac de la de la observa observa ia ia c c zgomotul zgomotul sta sta ionarizat ionarizat are are medie medie nul nul . .
( )( ) { }
2
2
0
{ [ ] [ ]} [ ] [ ] [ ] E v n v m E v n v v m v n m v = = o
{ [ ]}
def
v v E v n v v =
{ } [ ] 0 E v n v v = =

De De notat notat c c zgomotul zgomotul sta sta ionarizat ionarizat nu nu mai mai este este alb alb, , ci ci c co ol lo or ra at t. .
Exerciiu
Exerciiu Exerciiu
, n m
-
e

Conform Conform cazului cazului anterior, anterior, zgomotele zgomotele colorate colorate nu nu produc produc
pierderea pierderea consisten consisten ei ei, , dac dac au media au media nul nul . .
Transformare Transformare echivalent echivalent a a ecua ecua iei iei procesului procesului
[ ] [ ] [ ]
T
y n n v v n
-
= + +
n
-
e
n
-
e
parametru parametru necunoscut necunoscut
suplimentar suplimentar
Se poate folosi fie Estimatorul Markov,
fie Estimatorul CMMP.
Se Se poate poate folosi folosi fie fie Estimatorul Estimatorul Markov Markov, ,
fie fie Estimatorul Estimatorul CMMP CMMP. .
Zgomotul noii ecuaii de proces are medie nul,
dar este colorat.
Zgomotul Zgomotul noii noii ecua ecua ii ii de de proces proces are are medie medie nul nul , ,
dar dar este este c co ol lo or ra at t. .
[ ] [ ] [ ]
T
y n n v n
-
= +
n
-
e
T
y v
-
= +
61 61
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Nerespectarea condiiilor Teoremei fundamentale (continuare)
Nerespectarea Nerespectarea condiiilor condiiilor Teoremei Teoremei fundamentale fundamentale ( (continuare continuare) )
Cazul zgomotelor albe, de medie nenul. Centrarea datelor pe medie. (continuare)
Cazul Cazul zgomotelor zgomotelor albe, de albe, de medie medie nenul nenul . . Centrarea Centrarea datelor datelor pe pe medie medie. . ( (continuare continuare) )
Aadar
Aadar Aadar
[ ] [ ] [ ]
T
y n n v v n
-
= + +
n
-
e

Se Se poate poate aplica aplica operatorul operatorul de de mediere mediere statistic statistic : : { [ ]} { [ ]} { [ ]}
T
E y n E n E v n
-
= +
y
T

v
Medii ale datelor msurate.
Medii Medii ale ale datelor datelor m m surate surate. .

Ecua Ecua ia ia mediilor mediilor se se scade scade din din cea cea a a procesului procesului: :
( )
[ ] [ ] [ ]
T
T
y n y n v n
-
= +
[ ] y n
[ ]
T
n
Date staionarizate
(centrate pe medie).
Date Date sta sta ionarizate ionarizate
( (centrate centrate pe pe medie medie). ).
1
1 1
[ ] [ ] [ ] [ ]
N N
T
N
n n
n n n y n

= =
| | | |
=
| |
\ . \ .


( )
2
2
1
1
[ ] [ ]
N
N
T
N
n N
y n n

=
=






T
N
N N N
v y =

medii medii
temporale temporale
estimate estimate
Eroarea Eroarea
sistematic sistematic
estimat estimat . .
Exerciiu
Exerciiu Exerciiu

S S se se dezvolte dezvolte MCMMPPE MCMMPPE plec plec nd nd de la de la exprimarea exprimarea ecua ecua iei iei
procesului procesului cu cu ajutorul ajutorul vectorului vectorului extins extins de de parametri parametri. .
def
e
v
-
-
(
=
(

Se Se poate poate ar ar ta ta c c estima estima iile iile oferite oferite


de de MCMMPPE MCMMPPE sunt sunt acelea acelea i i ca ca n n
cazul cazul sta sta ionariz ionariz rii rii datelor datelor. .
ecua ecua ia ia mediilor mediilor