1,

1 1
, 1,
1,
1,
1 1
, 1,
1,
1 1
[ ] [ ] [ ] [ ]
1 1
[ ] [ ] [ ] [ ]
N N
i na
n n
i j na
j nb
N
N N
i nb
n n
i j nb
j na
y n i y n j y n i u n j
N N
u n i y n j u n i u n j
N N
e
= =
e
e
e
= =
e
e
(
( (

(
( (

(
(
=
(
( (

(
( (

(



R
62 62
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MCMMP pentru modelele ARX
Analiza Analiza estimaiei estimaiei oferite oferite de de MCMMP MCMMP pentru pentru modelele modelele ARX ARX
Cele mai folosite n Automatic.
Cele Cele mai mai folosite folosite n n Automatic Automatic . .
P(
*
) P P( (
* *
) )
1 1
( ) [ ] ( ) [ ] [ ] A q y n B q u n v n
- -
= +
n
-
e
[ ] [ ] [ ]
T
y n n v n
-
= +
n
-
e
polinoame polinoame cu cu parametri parametri adev adev ra ra i i, ,
av av nd nd gradele gradele na na, , respectiv respectiv nb nb
n na nb u = +
1,
{( [ ], [ ])}
N
n N
u n y n
e
= D
date date m m surate surate
| |
| |
1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ]
def
T
def
T
na nb
n y n y n y n na u n u n u n nb
a a a b b b

vectorul vectorul parametrilor parametrilor necunoscu necunoscu i i

- - vectorul vectorul regresorilor regresorilor
- Aceti vectori au cte dou componente.
- - Ace Ace ti ti vectori vectori au au c c te te dou dou componente componente. .
[ ]
N
y
r i j
,
[ ]
N
u y
r i j
,
[ ]
N
y u
r i j [ ]
N
u
r i j
1
1,
1
1,
1
[ ] [ ]
1
[ ] [ ]
N
n
i na
N
N
n
j nb
y n i y n
N
u n j y n
N
=
e
=
e
(
(

(
(

(
(
=
(
(
(
(
(

r [ ]
N
y
r i
,
[ ]
N
y u
r j

n n cadrul cadrul matricii matricii R R

N N
, , indicele indicele i i parcurge parcurge liniile liniile, , iar iar indicele indicele j j parcurge parcurge coloanele coloanele. .
- Matricea nu este neaprat simetric.
- - Matricea Matricea nu nu este este neap neap rat rat simetric simetric . .

Pentru Pentru a a evalua evalua elementele elementele matricii matricii i i ale ale vectorului vectorului se se apeleaz apeleaz la la
conven conven ia ia prelungirii prelungirii cu cu zeroruri zeroruri a a secven secven elor elor de date de date m m surate surate. .
1, ,
, 1,
1,
1, ,
, 1,
1,
[ ] [ ]
lim { [ ] [ ]}
[ ] [ ]
i na y u y
i j na
j nb
T
N
N
i nb y u u
i j nb
j na
r i j r i j
E n n
r i j r i j
e
e
e

e
e
e
(
( (

(
(
= =
(
( (

(

R
63 63
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MCMMP pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MCMMP MCMMP pentru pentru modelele modelele ARX ARX ( (continuare continuare) )
1
1, ,
, 1,
1, 1,
1
1, , ,
, 1, 1,
1,
[ ] [ ]
[ ]

[ ] [ ] [ ]
N N
N
i na y u y
i j na
y
j nb i na
N N N
N N N
i nb y u u y u
i j nb j nb
j na
r i j r i j
r i
r i j r i j r j

e
e
e e

e
e e
e
(
( (
(
(
(

(
(
= =
(
(
( ( (
(

(


R r
( ) ( )
2
2
2 1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T T
N N N N
n n N N
y n n y n n

= =
= =


R r
+ +Dac Dac perturba perturba ia ia este este un un zgomot zgomot alb alb de de
medie medie nul nul i i dispersie dispersie necunoascut necunoascut . .
Vectorul Vectorul regresorilor regresorilor nu nu este este perfect determinist. perfect determinist.
Nu poate fi aplicat Teorema fundamental a
MCMMP pentru a testa consistena estimaiilor.
Nu Nu poate poate fi fi aplicat aplicat Teorema Teorema fundamental fundamental a a
MCMMP MCMMP pentru pentru a a testa testa consisten consisten a a estima estima iilor iilor. .
Cum Cum poate poate fi fi testat testat consistena consistena n n cazul cazul acestui acestui model? model?
Prin relaxarea condiiei a. din ipoteza Teoremei 2.
Prin Prin relaxarea relaxarea condi condi iei iei a. a. din din ipoteza ipoteza Teoremei Teoremei 2 2. .
Mai Mai mult mult, , estima estima ia ia vectorului vectorului parametrilor parametrilor
necunoscu necunoscu i i este este deviat deviat . .
1,
,
1,
[ ]
lim { [ ] [ ]}
[ ]
y
i na
N
N
y u
j nb
r i
E n y n
r j
e

e
(
(

(
= =
(
(

(

r
IE
IE IE
{ } [ ] [ ] 0 E n v n =
( ) ( )
1

lim { [ ] [ ]} { [ ] [ ]}
T
N
N
E n n E n v n

= +
64 64
Metoda Metoda Celor Celor Mai Mai Mici Mici P P trate trate
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MCMMP pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MCMMP MCMMP pentru pentru modelele modelele ARX ARX ( (continuare continuare) )

( ) ( )
1
{ [ ] [ ]} { [ ] [ ]} { [ ] [ ]}
T
E n n E n y n E n v n

-
=
lim
N
N
R lim
N
N
r
O condiie suficient de consisten
O O condi condi ie ie suficient suficient de de consisten consisten
{ } [ ] [ ] 0 E v n y n i =
{ } [ ] [ ] 0 E v n u n j =
1, i na e
1, j nb e
Pentru modelul ARX, urm Pentru modelul ARX, urm toarele 3 ipote toarele 3 ipoteze se consider ze se consider verificate: verificate:

Mai Mai precis precis, se , se poate poate demonstra demonstra rezultatul rezultatul de de mai mai jos jos. .
a. a. semnalul de intrare are ordin de persisten semnalul de intrare are ordin de persisten suficient de mare, astfel suficient de mare, astfel nc nc t matricea t matricea R R
N N

s s fie inversabil fie inversabil pentru toate dimensiunile orizontului de m pentru toate dimensiunile orizontului de m sur sur suficient de mari; suficient de mari;
c. c. semnalul de intrare (coman semnalul de intrare (comand d sau referin sau referin ) este necorelat cu perturba ) este necorelat cu perturba ia ia
b. perturbaia v aparine clasei za(0,
2
) (cu dispersia necunoscut
2
);
). ).
{ } [ ] [ ] 0 E u n v m =
( ( , ,
, n m e
Atunci estimaiile oferite de Atunci estimaiile oferite de MCMMP MCMMP sunt consistente. sunt consistente.

Se Se observ observ c c numai numai una una dintre dintre cele cele dou dou condi condi ii ii suficiente suficiente
de de consisten consisten este este precizat precizat n n cadrul cadrul propozi propozi iei iei. .
- Ieirea de la momente anterioare
este necorelat cu zgomotul de la
momentul curent datorit timpului
mort intrinsec al procesului.
- - Ie Ie irea irea de la de la momente momente anterioare anterioare
este este necorelat necorelat cu cu zgomotul zgomotul de la de la
momentul momentul curent curent datorit datorit timpului timpului
mort mort intrinsec intrinsec al al procesului procesului. .

I Intrarea ar trebui generat ntrarea ar trebui generat artificial artificial, departe de sursa de , departe de sursa de
perturba perturba ii care afecteaz ii care afecteaz ie ie irea procesului, irea procesului, cu ordin de cu ordin de
persisten persisten c c t mai mare t mai mare. .
Propoziia 4
Propozi Propozi ia ia 4 4
65 65
Metode Metode de de identificare identificare i i validare validare
Metoda Variabilelor Instrumentale (MVI)
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale ( (MVI MVI) )

Condi Condi ia ia ca ca perturba perturba ia ia s s fie un fie un zgomot zgomot alb alb r r m m ne ne restrictiv restrictiv . .

Dac Dac nu nu se se dore dore te te impunerea impunerea veunei veunei condi condi ii ii asupra asupra perturba perturba iilor iilor, , atunci atunci se se opereaz opereaz o o
modificare modificare asupra asupra estima estima iilor iilor oferite oferite de de MCMMP MCMMP. .
1
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
def
T
N N N
n n
n n n y n
N N

= =
| | | |
= =
| |
\ . \ .

R r
Aceasta este o definiie.
Aceasta Aceasta este este o o defini defini ie ie. .

Nu Nu s s- -a a utilizat utilizat nici nici un un ra ra ionament ionament

pentru pentru deducerea deducerea ei ei. .
Estimaia oferit de
Metoda Variabilelor Instrumentale (MVI)
Estimaia Estimaia oferit oferit de de
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale ( (MVI MVI) )
vectorul variabilelor instrumentale
vectorul vectorul variabilelor variabilelor instrumentale instrumentale [ ]
n
n
u
e
- Ales liber de ctre utilizator, astfel
nct definiia s fie corect.
- - Ales Ales liber liber de de c c tre tre utilizator utilizator, , astfel astfel
nc nc t t defini defini ia ia s s fie fie corect corect . .

Defini Defini ia ia este este corect corect numai numai dac dac
matricea matricea R R
N N
este este inversabil inversabil . .
Dar Dar consistena consistena? ? Aceast proprietate trebuie studiat n manier riguroas.
Aceast Aceast proprietate proprietate trebuie trebuie studiat studiat n n manier manier riguroas riguroas . .
Se pot deduce mai nti condiiile generale de consisten.
Se pot deduce Se pot deduce mai mai nt nt i i condi condi iile iile generale generale de de consisten consisten . .
[ ] n
E
{ }
( )
{ } { } ( )
1
[ ] [ ] [ ] [ ] [ ] [ ]
T
E n n E n y n E n v n

-
=
[ ] [ ] [ ]
T
y n n v n
-
= +
( ) ( )
1

lim {[ ] [ ]} {[ ] [ ]}
T
N
N
E n n E n v n

=
IE
IE IE
( )
det {[ ] [ ]} 0
T
E n n =
{[ ] [ ]} 0 E n v n =
n
-
e
condi condi iile iile generale generale de de consisten consisten
- Instrumentele trebuie s fie
necorelate cu perturbaiile.
- - Instrumentele Instrumentele trebuie trebuie s s fie fie
necorelate necorelate cu cu perturba perturba iile iile. .
(total) (total) filtrat filtrat
nefiltrat nefiltrat
66 66
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MVI pentru modelele ARX
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX
Cum se Cum se poate poate construi construi vectorul vectorul variabilelor variabilelor
instrumentale instrumentale n n cazul cazul modelelor modelelor ARX ARX? ?
Pentru a realiza necorelarea cu perturbaiile, se ncearc utilizarea
doar a intrrii (nu i a ieirii).
Pentru Pentru a a realiza realiza necorelarea necorelarea cu cu perturba perturba iile iile, se , se ncearc ncearc utilizarea utilizarea
doar doar a a intr intr rii rii ( (nu nu i i a a ie ie irii irii). ).
P(
*
) P P( (
* *
) )
1 1
( ) [ ] ( ) [ ] [ ] A q y n B q u n v n
- -
= +
n
-
e
[ ] [ ] [ ]
T
y n n v n
-
= +
| |
| |
1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ]
def
T
def
T
na nb
n y n y n y n na u n u n u n nb
a a a b b b

n
-
e
par par ial ial filtrat filtrat
3 tipuri de vectori
ai instrumentelor
3 3 tipuri tipuri de de vectori vectori
ai ai instrumentelor instrumentelor
n na nb u = +
| |
[ ] [ 1] [ 2] [ ]
def
T
n u n u n u n na nb =
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ] ;
def
T
f f f
n u n u n u n na u n u n u n nb ( =


- Pe poziia componentei AR.
- - Pe Pe pozi pozi ia ia componentei componentei AR AR. .
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ] ;
def
T
f f f
n u n u n u n na u n u n u n nb ( =


- Pe poziia componentei X.
- - Pe Pe pozi pozi ia ia componentei componentei X X. .
[ ] [ 1] [ 2] [ ]
def
T
f f f
n u n u n u n na nb ( =


Semnalul
filtrat
Semnalul Semnalul
filtrat filtrat
1
1
( )
[ ] [ ]
( )
def
f
D q
u n u n
C q

=
n
-
e
polinoame polinoame Exemple
Exemple Exemple
1
( ) 1 C q

=
1
( )
nd
D q q

=
1
1

( )
[ ] [ ]

( )
def
f
B q
u n u n nk
A q

= +
estimate cu estimate cu
MCMMP MCMMP
n
-
e
;
;
67 67
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MVI pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX ( (continuare continuare) )
1,
1 1
, 1,
1,
1,
1 1
, 1,
1,
1 1
[ ] [ ] [ ] [ ]
1 1
[ ] [ ] [ ] [ ]
N N
i na
n n
i j na
def
j nb
N
N N
i nb
n n
i j nb
j na
u n i y n j u n i u n j
N N
u n na i y n j u n na i u n j
N N
e
= =
e
e
e
= =
e
e
(
( (

( ( (

(
(
=
(
( (

(
( (

(



R
,
[ ]
N
y u
r i j [ ]
N
u
r i j
,
[ ]
N
y u
r na i j + [ ]
N
u
r na i j +
1
1,
1
1,
1
[ ] [ ]
1
[ ] [ ]
N
n
i na
def
N
N
n
j nb
u n i y n
N
u n na j y n
N
=
e
=
e
( (

( (

(
(
=
(
(
(
(
(

r
,
[ ]
N
y u
r i
,
[ ]
N
y u
r na j +
| |
[ ] [ 1] [ 2] [ ]
def
T
n u n u n u n na nb = ( (nefiltrat nefiltrat) )
1
1, ,
, 1,
1,
,
1,
1
1, , ,
, 1, 1,
1,
[ ] [ ]
[ ]

[ ] [ ] [ ]
N N
i na y u u
N
i j na
j nb
y u
i na
N N N
N N N
i nb y u u y u
i j nb j nb
j na
r i j r i j
r i
r na i j r na i j r na j

e
e
e
e

e
e e
e
(
( (

(
(
(

(
(
= =
(
(
( ( ( + + +

(
(

R r
( ) ( )
2
2
2 1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T T
N N N N
n n N N
y n n y n n

= =
= =


R r
+ +Dac Dac perturba perturba ia ia este este un un zgomot zgomot alb alb de de
medie medie nul nul i i dispersie dispersie necunoascut necunoascut . .
Condiiile
generale de
consisten
Condi Condi iile iile
generale generale de de
consisten consisten
( )
det {[ ] [ ]} 0
T
E n n =
{[ ] [ ]} 0 E n v n =
n
-
e

Datorit Datorit formei formei vectorului vectorului instrumentelor instrumentelor, a , a doua doua
condi condi ie ie este este automat automat verificat verificat dac dac intrarea intrarea
este este produs produs departe departe de de sursa sursa perturba perturba iilor iilor. .
- Nu este necesar ca zgomotul s fie alb.
- - Nu Nu este este necesar necesar ca ca zgomotul zgomotul s s fie alb. fie alb.
{[ ] [ ]} 0 E n v n =
68 68
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MVI pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX ( (continuare continuare) )
Este Este bine bine defnit defnit estimaia estimaia oferit oferit de de MVI MVI? ?
Pentru anumite semnale de intrare, da.
Pentru Pentru anumite anumite semnale semnale de de intrare intrare, , da da. .
Teorema 3 (Teorema fundamental a MVI pentru modelele ARX)
Teorema Teorema 3 3 ( (Teorema Teorema fundamental fundamental a a MVI MVI pentru pentru modelele modelele ARX ARX) )
Pentru Pentru modelul modelul ARX[na,nb ARX[na,nb], u ], urm rm toarele 3 ipote toarele 3 ipoteze se consider ze se consider verificate: verificate:
a. a. modelul modelul este este parsimonios parsimonios: :
c. c. perturba perturba ia ia v v nu nu este este corelat corelat cu cu semnalul semnalul de de stimul stimul: :
b. semnalul de stimul u aparine clasei
Dac Dac se alege un vector al instrumentelor de tip nefiltrat, atunci es se alege un vector al instrumentelor de tip nefiltrat, atunci estima tima ia oferit ia oferit de MVI de MVI
pentru vectorul parametrilor adev pentru vectorul parametrilor adev ra ra i ai modelului este bine definit i ai modelului este bine definit i consistent i consistent . .
( (polinoamele polinoamele adev adev rate rate sunt sunt coprime coprime) ) ; ;
( , ) 1 A B
- -
=
(adic este un zgomot alb de medie nul i dispersie cunoscut).
2
(0, )
u
za
. . { [ ] [ ]} 0 E u n v m =
, ,
, n m
-
e

Acest Acest rezultat rezultat arat arat c c modelele modelele de tip de tip ARX ARX pot pot fi fi identificate identificate cu cu succes succes i i n n cazul cazul c c nd nd
perturba perturba iile iile nu nu pot pot fi fi caracterizate caracterizate statistic statistic. .

Condi Condi ia ia de de neautocorelare neautocorelare a a perturba perturba iilor iilor se se transfer transfer acum acum intr intr rii rii, care , care poate poate fi fi controlat controlat . .

n n practic practic , , intrarea intrarea de tip de tip zgomot zgomot alb alb nu nu poate poate fi fi generat generat , , dar dar semnalele semnalele care care
o o aproximeaz aproximeaz ( (SPAB SPAB, , SPA SPA) ) sunt sunt frecvent frecvent utilizate utilizate n n conjunc conjunc ie ie cu cu MVI MVI, ,
f f r r a a pierde pierde buna buna definire definire a a estima estima iei iei aferente aferente. .
69 69
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MVI pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX ( (continuare continuare) )
Ct Ct de de eficient eficient este este estimaia estimaia oferit oferit de de MVI MVI? ?
Pentru testarea eficienei, este necesar evaluarea
matricii de auto-covarian a erorii de estimare.
Pentru Pentru testarea testarea eficien eficien ei ei, , este este necesar necesar evaluarea evaluarea
matricii matricii de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare. .
Teorema 4 (Eficiena estimaiei oferite de MVI pentru modelele ARX)
Teorema Teorema 4 4 ( (Eficien Eficien a a estima estima iei iei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX) )
Se Se consider consider c c modelul modelul ARX[na,nb ARX[na,nb] ] verific verific u urm rm toarele ipoteze: toarele ipoteze:
a. a. modelul modelul este este parsimonios parsimonios: :
c. c. perturba perturba ia ia v v aparine clasei za(0,
2
) (adic este un zgomot alb de medie nul i
dispersie necunoscut
2
), nefiind corelat corelat cu cu semnalul semnalul de de stimul stimul: :
b. b. intrarea intrarea u u este un semnal este un semnal de de stimul stimul cu ordin de persisten cu ordin de persisten suficient de mare (cel pu suficient de mare (cel pu in in
na+nb) astfel na+nb) astfel nc nc t estima t estima iile oferite de MVI cu vectori ai instrumentelor iile oferite de MVI cu vectori ai instrumentelor construi construi i i
folosind numai acest semnal s folosind numai acest semnal s fie corect definite; fie corect definite;
Atunci cea mai eficient Atunci cea mai eficient estima estima ie (c ie (corect definit orect definit ) o ) oferit ferit de MVI se ob de MVI se ob ine pentru ine pentru
urm urm torul vector al instrumentelor torul vector al instrumentelor, , par par ial filtrat: ial filtrat:
( (polinoamele polinoamele adev adev rate rate sunt sunt coprime coprime) ); ; ( , ) 1 A B
- -
=
. . { [ ] [ ]} 0 E u n v m =
, , , n m
-
e
d. d. perturba perturba ia ia v v este independent este independent statistic de semnalul de stimul. statistic de semnalul de stimul.
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ]
def
T
f f f
n u n u n u n na u n u n u n nb ( =


, ,
unde unde: :
1
1
( )
[ ] [ ]
( )
def
f
B q
u n u n
A q
-
-
= . .
n
-
e
Aceasta se realizeaz n demonstraia
rezultatului care urmeaz.
Aceasta Aceasta se se realizeaz realizeaz n n demonstra demonstra ia ia
rezultatului rezultatului care care urmeaz urmeaz . .
- Cele dou polinoame se pot estima i folosind MVI
cu un vector al instrumentelor nefiltrat.
- - Cele Cele dou dou polinoame polinoame se pot se pot estima estima i i folosind folosind MVI MVI
cu un vector al cu un vector al instrumentelor instrumentelor nefiltrat nefiltrat. .
70 70
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
Metode Metode de de identificare identificare i i validare validare
Analiza estimaiei oferite de MVI pentru modelele ARX (continuare)
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX ( (continuare continuare) )

n n cadrul cadrul Teoremei Teoremei 4 4, , se se revine la ipoteza perturba revine la ipoteza perturba iilor de tip iilor de tip zgomot alb zgomot alb, de aceea valoarea sa este , de aceea valoarea sa este
destul de limitat destul de limitat . .
Teorema 4
Teorema Teorema 4 4
O estimaie cu eficien satisfctoare se obine
folosind un filtru determinat prin MCMMP.
O O estima estima ie ie cu cu eficien eficien satisf satisf c c toare toare se se ob ob ine ine
folosind folosind un un filtru filtru determinat determinat prin prin MCMMP MCMMP. .
1
1

( )
[ ] [ ]

( )
def
f
B q
u n u n
A q

=
n
-
e

Cu Cu toate toate acestea acestea, , dac dac se se verific verific ipotezele ipotezele Teoremei Teoremei 4 4, se , se poate poate ar ar ta ta c c estima estima iile iile oferite oferite de de
MCMMP MCMMP i i MVI MVI sunt sunt la la fel fel de de eficiente eficiente. .

n n cazul cazul zgomotelor zgomotelor c co ol lo or ra at te e: :

E Estimaiile oferite de stimaiile oferite de MCMMP MCMMP sunt mai lent convergente (mai puin eficiente) sunt mai lent convergente (mai puin eficiente)
dect cele oferite de dect cele oferite de MVI MVI. .
E Estimaiile oferite de stimaiile oferite de M MVI VI pot s pot s nu fie consistente c nu fie consistente c tre valorile adev tre valorile adev rate ale parametrilor rate ale parametrilor. .
- Deoarece Estimatorul Markov este neimplementabil.
- - Deoarece Deoarece Estimatorul Estimatorul Markov Markov este este neimplementabil neimplementabil. .
- Deoarece procesul nu poate fi stimulat cu un zgomot alb.
- - Deoarece Deoarece procesul procesul nu nu poate poate fi fi stimulat stimulat cu un cu un zgomot zgomot alb. alb.

n n aplica aplica iile iile unde unde este este necesar necesar identificarea identificarea unui unui model de tip model de tip ARX ARX: :
Att Att e estimaiile oferite de stimaiile oferite de MCMMP MCMMP ct ct i i cele oferite de cele oferite de MVI MVI sunt sunt implementabile implementabile. .
Asigurarea condi Asigurarea condi iilor de consisten iilor de consisten nu este u nu este u or de realizat or de realizat, , deoarece deoarece se se bazeaz bazeaz pe pe
neautocorelarea neautocorelarea fie a fie a perturba perturba iilor iilor, fie a , fie a intr intr rilor rilor. .

n general, n general, MCMMP MCMMP este utilizat este utilizat c c nd procesul nu poate fi stimulat cu un nd procesul nu poate fi stimulat cu un SPA(B) SPA(B), ,
altfel se recurge la altfel se recurge la MVI MVI. .
71 71
Metode Metode de de identificare identificare i i validare validare
Metode bazate pe optimizarea parametrilor
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor

Modelele din clasa Modelele din clasa ARMAX ARMAX pot fi identificate pot fi identificate i cu ajutorul altor metode dec i cu ajutorul altor metode dec t t MCMMP MCMMP i i MVI MVI. .

C Cu c u c t modelul este mai complex, cu at t modelul este mai complex, cu at t metoda utilizat t metoda utilizat este mai laborioas este mai laborioas . .
1 k k k +
= +
Proceduri recursive cu ajutorul crora un punct de optim (maxim sau minim) al unei funcii
criteriu este aproximat printr-un proces iterativ exprimat de o ecuaie cu reactualizare aditiv.
Proceduri Proceduri recursive cu recursive cu ajutorul ajutorul c c rora rora un punct de optim (maxim sau minim) al unei func un punct de optim (maxim sau minim) al unei func ii ii
criteriu este aproximat printr criteriu este aproximat printr- -un un proces iterativ proces iterativ exprimat de exprimat de o o ecua ecua ie ie cu cu reactualizare reactualizare aditiv aditiv . .

O parte dintre metodele utilizate O parte dintre metodele utilizate n acest scop se bazeaz n acest scop se bazeaz at at t pe t pe revizuirea/adaptarea revizuirea/adaptarea MCMMP MCMMP, ,
c c t t i pe i pe algoritmi care folosesc T algoritmi care folosesc Tehnici ehnici de de O Optimizare ptimizare. .
k e
corec corec ie ie ( (aditiv aditiv ) )
valori valori succesive succesive
ale ale aproxima aproxima iei iei
(vector (vector sau sau scalar) scalar)
Cum Cum poate poate fi fi cuantificat cuantificat precizia precizia aproximaiei aproximaiei? ?
Folosind norma Euclidian.
Folosind Folosind norma norma Euclidian Euclidian . .
- Se pleac de la o
iniializare.
- - Se Se pleac pleac de la o de la o
ini ini ializare ializare. .
Test ideal Test ideal
de stop de stop
Test Test practic practic
de stop de stop
0

Aproximaia urmtoare este mai precis

dect aproximaia curent dac:
Aproxima Aproxima ia ia urm urm toare toare este este mai mai precis precis
dec dec t t aproxima aproxima ia ia curent curent dac dac : :
1 k k
- -
+
<
punct punct de de optim optim
k
-
< c
prag prag minimal de minimal de precizie precizie
Neimplementabil.
Neimplementabil Neimplementabil. .
- Pentru a stopa procesul iterativ,
trebuie utilizat o inegalitate n
care punctul de optim s nu
apar explicit.
- - Pentru Pentru a a stopa stopa procesul procesul iterativ iterativ, ,
trebuie trebuie utilizat utilizat o o inegalitate inegalitate n n
care care punctul punctul de de optim optim s s nu nu
apar apar explicit explicit. .
Necunoscut !
Necunoscut Necunoscut ! !
1 k k k +
= < c
Exemplu
Exemplu Exemplu
4
10

c =
1 k +
u
k
u & &
coincid coincid p p n n la la a a patra patra
zecimal zecimal inclusiv inclusiv
( (scalari scalari) )
Matricea
Hessian
Matricea Matricea
Hessian Hessian
Gradientul
Gradientul Gradientul
72 72
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (MNR)
Metoda Metoda Newton Newton- -Raphson Raphson ( (MNR MNR) )
Obiectiv Obiectiv
Determinarea expresiei generale a coreciei n funcie de criteriul de optimizare.
Determinarea Determinarea expresiei expresiei generale generale a a corec corec iei iei n n func func ie ie de de criteriul criteriul de de optimizare optimizare. .
V
Metod aplicabil n cazul funciilor criteriu derivabile de cel puin 2 ori.
Metod Metod aplicabil aplicabil n n cazul cazul func func iilor iilor criteriu criteriu derivabile derivabile de de cel cel pu pu in in 2 2 ori ori. .
V 1 2
( ) ( ) ( ) ( )
T
def
n
n
u
u
(
c c c
V = e
(
cu cu cu


V V V
V
- Vector coloan.
- - Vector Vector coloan coloan . .
func func ie ie care care trebuie trebuie
s s fie fie derivabil derivabil
2
, 1,
( ) ( )( ) ( )
def
n n
i j
i j n
u u
e u
(
c
^ = V V = e
(
cu cu
(


V
V V
func func ie ie care care trebuie trebuie
s s fie fie continu continu
- Matrice simetric.
- - Matrice Matrice simetric simetric . .
Jacobianul Jacobianul
gradientului gradientului V V

0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
Principiul metodei
Principiul Principiul metodei metodei
Exemplu
Exemplu Exemplu

n jurul punctului de n jurul punctului de optim optim, , prima derivat prima derivat ( (sau sau norma norma sa sa) ) este este
aproximativ nul aproximativ nul , iar , iar derivata a doua derivata a doua este este strict pozitiv strict pozitiv/ /negativ negativ definit definit . .

S Se construie e construie te te parabola (paraboloidul) parabola (paraboloidul) care trece prin punctul care trece prin punctul curent curent
( (
k k
, ,V V( (
k k
)) )) i are i are aceea aceea i tangent i tangent i derivat i derivat secund secund ca func ca func ia ia criteriu criteriu. .

Punctul Punctul de minim/maxim al de minim/maxim al parabolei parabolei este este

k k+1 +1
. .
k
+
1
1
( ) ( )
k k k k

+
= V (

^ V V
( ) ( ) ( ) ( )
k k k k
V V (

= + ^ = 0 V V V
73 73
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )
Aadar
Aadar Aadar Trebuie construit paraboloidul care verific 3 proprieti de coinciden cu funcia criteriu
n punctul curent.
Trebuie Trebuie construit construit paraboloidul paraboloidul care care verific verific 3 3 propriet propriet i i de de coinciden coinciden cu cu func func ia ia criteriu criteriu
n n punctul punctul curent curent. .
k
V
( ) ( )
k k k
V = V V V ( ) ( )
k k k
^ = ^ V V
( (derivata derivata 0) 0) ( (derivata derivata 1) 1) ( (derivata derivata 2) 2)
Cum Cum poate poate fi fi construit construit? ?
Dezvoltare n serie Taylor pn la ordinul 2
Dezvoltare Dezvoltare n n serie serie Taylor Taylor pn pn la la ordinul ordinul 2 2
Ar trebui exploatat
proprietatea funciei criteriu
de a fi de 2 ori derivabil.
Ar Ar trebui trebui exploatat exploatat
proprietatea proprietatea func func iei iei criteriu criteriu
de a de a fi fi de 2 de 2 ori ori derivabil derivabil . .
( ) ( )
k k k
= V V
Exerciiu
Exerciiu Exerciiu
Paraboloidul
Taylor
Paraboloidul Paraboloidul
Taylor Taylor
1
2
( ) ( ) ( ) ( ) ( ) ( ) ( )
T
T
k k k k k k k
( (

= + V + ^ V V V V
nu
e

Ar Ar ta ta i i c c paraboloidul paraboloidul Taylor Taylor verific verific cele cele 3 3 propriet propriet i i de de coinciden coinciden . .
Pentru a determina punctul de optim al paraboloidului Taylor, se va anula gradientul acestuia.
Pentru Pentru a a determina determina punctul punctul de de optim optim al al paraboloidului paraboloidului Taylor, Taylor, se se va va anula anula gradientul gradientul acestuia acestuia. .

Reguli de
derivare
Reguli Reguli de de
derivare derivare
- Matricea Hessian este
simetric i inversabil
n vecintatea optimului.
- - Matricea Matricea Hessian Hessian este este
simetric simetric i i inversabil inversabil
n n vecin vecin tatea tatea optimului optimului. .
k e
( )
T
V = r r
( )
( )
T T
V = + R R R
74 74
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )
Termenul corector are semn opus gradientului,
doarece matricea Hessian este strict
pozitiv/negativ definit.
Termenul Termenul corector corector are are semn semn opus opus gradientului gradientului, ,
doarece doarece matricea matricea Hessian Hessian este este strict strict
pozitiv/negativ pozitiv/negativ definit definit . .

1
( ) ( )
def
k k k

= V (

^ V V
k e
- - minus minus
Ce Ce semnificaie semnificaie are are acest acest rezultat rezultat? ?
Exemplu
Exemplu Exemplu
S Semnul primei derivate emnul primei derivate oblig oblig aproxima aproxima ia curent ia curent
s s se deplaseze c se deplaseze c tre optimul criteriului tre optimul criteriului. .
A Aproxima proxima ia curent ia curent fiind inferioar fiind inferioar optimului, iar optimului, iar
derivata fiind negativ derivata fiind negativ , corec , corec ia ia se adaug se adaug
aproxima aproxima iei pentru a se apropia mai mult de optim. iei pentru a se apropia mai mult de optim.
V V
0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
V V
0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
Dac Dac este ad este ad ugat ugat o cantitate prea o cantitate prea
mare mare, se ajunge , se ajunge n zona de n zona de derivat derivat
pozitiv pozitiv i urm i urm torul factor de torul factor de
corec corec ie ie se va sc se va sc dea dea din aproxima din aproxima ia ia
curent curent , superioar , superioar optimului. optimului.
- Convergena la punctul de optim poate fi realizat fie printr-un
ir monoton de aproximaii, fie prin intermediul unuia oscilant.
- - C Convergen onvergen a la punctul de optim poate fi realizat a la punctul de optim poate fi realizat fie printr fie printr- -un un
ir monoton de aproxima ir monoton de aproxima ii, fie prin intermediul unuia oscilant. ii, fie prin intermediul unuia oscilant.
Testul Testul
de stop de stop
1
( ) ( )
k k k

= V < c (

^ V V
- n vecintatea optimului, norma gradientului este aproximativ nul.
- - n n vecin vecin tatea tatea optimului optimului, , norma norma gradientului gradientului este este aproximativ aproximativ nul nul . .

Eficien Eficien a se m a se m soar soar prin prin

num num rul de itera rul de itera ii necesar ii necesar
verific verific rii testului de stop rii testului de stop. .
75 75
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )
Algoritmul Newton-Raphson cu pas constant
Algoritmul Algoritmul Newton Newton- -Raphson Raphson cu pas constant cu pas constant
Iniializare
Ini Ini ializare ializare
0
nu
e
Date de intrare
Date de Date de intrare intrare
e
e
ales fie ales fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
:
nu
V
( (func func ie ie criteriu criteriu, de 2 , de 2 ori ori derivabil derivabil ) )
0 c > ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
Ct timp
C C t t timp timp
1
( ) ( )
k k

V > c (

^ V V
0
( ) V V gradientul gradientul ini ini ial ial
( )
k
^ V matricea matricea Hessian Hessian ini ini ial ial
0 k = indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz aproximaia optimului
C C Se Se reactualizeaz reactualizeaz aproxima aproxima ia ia optimului optimului
1
1
( ) ( )
k k k k

+
= V (

^ V V
C Se reactualizeaz gradientul i matricea Hessian
C C Se Se reactualizeaz reactualizeaz gradientul gradientul i i matricea matricea Hessian Hessian
1
( ) ( )
k k +
V V V V
1
( ) ( )
k k +
^ ^ V V
C Se trece la pasul urmtor
C C Se Se trece trece la la pasul pasul urm urm tor tor 1 k k +
Date de ieire
Date de Date de ie ie ire ire
k

k
aproxima aproxima ia ia de de precizie precizie
num num rul rul de de itera itera ii ii pentru pentru atingerea atingerea preciziei preciziei dorite dorite
- Algoritmul este sensibil la iniializare, n sensul c, n general,
va converge ctre optimul cel mai apropiat de aceasta.
- - Algoritmul Algoritmul este este sensibil sensibil la la ini ini ializare ializare, , n n sensul sensul c c , , n n general, general,
va va converge converge c c tre tre optimul optimul cel cel mai mai apropiat apropiat de de aceasta aceasta. .
Pas constant? Pas constant?
Concept definit
n continuare.
Concept Concept definit definit
n n continuare continuare. .
76 76
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )
Utilizarea Utilizarea MNR MNR (cu pas constant) (cu pas constant) este este deficitar deficitar n n urm urm toarele toarele cazuri cazuri principale principale: :
F Func unc ia criteriu are o ia criteriu are o regularitate regularitate slab slab n vecin n vecin tatea optimului vizat tatea optimului vizat
(adi (adic c prezint prezint oscila oscila ii mari ii mari n acea vecin n acea vecin tate). tate).
F Func unc ia criteriu ia criteriu este este afectat afectat de de zgomote zgomote importante importante n vecin n vecin tatea optimului vizat tatea optimului vizat. .
Optimul Optimul vizat vizat al f al func unc i iei ei criteriu criteriu este este situat situat pe pe un un platou platou. .

De De regul regul , , n n primele primele 2 2 cazuri cazuri, se , se renun renun la la MNR MNR i i se se adopt adopt o o strategie strategie evolu evolu ionist ionist . .

n n ultimul ultimul caz caz, , MNR MNR conduce la un conduce la un num num r r imens imens de de itera itera ii ii, din , din cauza cauza faptului faptului c c , , pe pe platou platou, ,
at at t t norma norma gradientului gradientului c c t t i i spectrul spectrul matricii matricii Hessiene Hessiene sunt sunt aproximativ aproximativ nule nule. .

1
1
( ) ( )
k k k k

+
= V (

^ V V
k e
- Corecia este imprecis determinat, n special din cauza problemelor
de natur numeric induse de inversarea matricii Hessiene.
- - Corec Corec ia ia este este imprecis imprecis determinat determinat , , n n special din special din cauza cauza problemelor problemelor
de de natur natur numeric numeric induse induse de de inversarea inversarea matricii matricii Hessiene Hessiene. .
Ce Ce se se poate poate face? face?
Termenul corector poate fi ajustat adaptiv cu un scalar, astfel nct viteza
de convergen s creasc prin efectuarea unui salt peste platou.
Termenul Termenul corector corector poate poate fi fi ajustat ajustat adaptiv adaptiv cu un scalar cu un scalar, , astfel astfel nc nc t t viteza viteza
de de convergen convergen s s creasc creasc prin prin efectuarea efectuarea unui unui salt salt peste peste platou platou. .
1
pas constant pas constant
1
1
( ) ( )
k k k k k

+
= o V (

^ V V
k e
pas pas variabil variabil
Cum Cum poate poate fi fi reactualizat reactualizat
pasul pasul variabil variabil? ?
Prin utilizarea MNR cu pas constant pentru optimizarea
unei funcii criteriu scalare adaptive.
Prin Prin utilizarea utilizarea MNR MNR cu pas constant cu pas constant pentru pentru optimizarea optimizarea
unei unei func func ii ii criteriu criteriu scalare scalare adaptive adaptive. .
( )
1
( ) ( ) ( )
def
k k k k

o = o V (

^ F V V V
oe
77 77
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )
Algoritmul Newton-Raphson cu pas variabil
Algoritmul Algoritmul Newton Newton- -Raphson Raphson cu pas cu pas variabil variabil
Iniializare
Ini Ini ializare ializare
0
nu
e
Date de intrare
Date de Date de intrare intrare
e
e
alese alese fie fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
:
nu
V
( (func func ie ie criteriu criteriu, de 2 , de 2 ori ori derivabil derivabil ) )
0 c > ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
Ct timp
C C t t timp timp
1
( ) ( )
k k k

o V > c (

^ V V
0
( ) V V
gradientul gradientul ini ini ial ial
( )
k
^ V matricea matricea Hessian Hessian ini ini ial ial
0 k = indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz aproximaia optimului
C C Se Se reactualizeaz reactualizeaz aproxima aproxima ia ia optimului optimului
1
1
( ) ( )
k k k k k

+
= o V (

^ V V
C Se reactualizeaz gradientul i matricea Hessian
C C Se Se reactualizeaz reactualizeaz gradientul gradientul i i matricea matricea Hessian Hessian
1
( ) ( )
k k +
V V V V
1
( ) ( )
k k +
^ ^ V V
C Se trece la pasul urmtor
C C Se Se trece trece la la pasul pasul urm urm tor tor 1 k k +
Date de ieire
Date de Date de ie ie ire ire
k

k
aproxima aproxima ia ia de de precizie precizie
num num rul rul de de itera itera ii ii pentru pentru atingerea atingerea preciziei preciziei dorite dorite
Exerciiu
Exerciiu Exerciiu

Justifica Justifica i i acest acest algoritm algoritm n n

manier manier riguroas riguroas . .
0
-
o e , ,
C Se reactualizeaz pasul variabil
C C Se Se reactualizeaz reactualizeaz pasul pasul variabil variabil
( ) ( )
( ) ( )
1
1
1
1 1
1
( )
( ) ( ) ( )
T
k k k
k k T
k k k k k

+
+

+
( V V (

o = o +
( V V ( ( (

^
^ ^ ^


V V
V V
V
V V V
- Se vor utiliza regulile cunoscute de derivare
pentru reactualizarea pasului variabil.
- - Se Se vor vor utiliza utiliza regulile regulile cunoscute cunoscute de de derivare derivare
pentru pentru reactualizarea reactualizarea pasului pasului variabil variabil. .
Metoda gradientului (M)
Metoda Metoda gradientului gradientului ( (M M ) )
78 78
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Newton-Raphson (continuare)
Metoda Metoda Newton Newton- -Raphson Raphson ( (continuare continuare) )

MNR MNR poate fi utilizat poate fi utilizat i pentru a i pentru a rezolva un rezolva unele ele ecua ecua ii transcendente ii transcendente sau sau n n
aproximarea unor numere transcendente aproximarea unor numere transcendente cum ar fi cum ar fi , e, , e, ln ln 2 , etc. 2 , etc.
Exemplu
Exemplu Exemplu sin( ) 1 x =
2
x
t
=

Aproximarea Aproximarea num num rului rului /2 se /2 se poate poate realiza realiza plec plec nd nd
de la de la func func ia ia criteriu criteriu a a c c rei rei prim prim derivat derivat este este: : ( ) sin( ) 1 f x x ' =

Este Este evident evident c c anularea anularea derivatei derivatei conduce la conduce la optimizarea optimizarea func func iei iei: : ( ) cos( ) f x x x C = +
Exerciiu
Exerciiu Exerciiu

Folosind Folosind exemplul exemplul anterior, anterior, determina determina i i num num rul rul cu 7 cu 7 zecimale zecimale exacte exacte. .

Pentru Pentru a a diminua diminua complexitatea complexitatea metodei metodei, , se se poate poate renun renun a a la a la a doua doua derivat derivat . .
V V

0 0

* *
V V

k k

k+1 k+1

V V ( (
k k
) )
Exemplu
Exemplu Exemplu

De De aceast aceast dat dat , , aproxima aproxima ia ia urm urm toare toare se se determin determin prin prin
intersectarea intersectarea tangentei tangentei ( (hiperplanului hiperplanului tangent) tangent) care care trece trece prin prin
punctul punctul curent curent ( (
k k
, ,V V( (
k k
)) )) cu cu axa axa orizontal orizontal ( (hiperplanul hiperplanul principal) principal). .
Exerciiu
Exerciiu Exerciiu
1
( )
k k k +
= V V
1
( )
k k k k +
= o V V
( ) ( )
1 1
T
k k k k + +
( o = o + V V

V V
M M cu pas constant cu pas constant
M M cu pas cu pas variabil variabil
M M este este utilizat utilizat atunci atunci c c nd nd derivata derivata a a doua doua fie fie nu nu exist exist , ,
fie fie nu nu se se poate poate evalua evalua. .

Viteza Viteza de de convergen convergen a a M M este este ns ns modest modest chiar chiar i i n n cazul cazul pasului pasului variabil variabil. .
k e
k e
| |
1
( ) 2 [ , ] [ , ]
N
T
n
n n
=
^ ~ Vc Vc

V
1
( ) 2 [ , ] [ , ]
N
n
n n
=
V = c Vc

V
| |
1 1
( ) 2 [ , ] [ , ] 2 [ , ] [ , ]
N N
T
n n
n n n n
= =
^ = Vc Vc + c ^c

V
79 79
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Gauss-Newton (MGN)
Metoda Metoda Gauss Gauss- -Newton Newton ( (MGN MGN) )
Metod aplicabil n cazul funciilor criteriu de tip ptratic
(cum sunt i cele din IS).
Metod Metod aplicabil aplicabil n n cazul cazul func func iilor iilor criteriu criteriu de tip de tip p p tratic tratic
(cum (cum sunt sunt i i cele cele din din IS IS). ).
2
1
( ) [ , ]
N
n
n
=
= c

V
reziduu reziduu

Dac Dac func func ia ia criteriu criteriu este este de 2 de 2 ori ori derivabil derivabil , , MNR MNR poate fi adaptat poate fi adaptat
astfel astfel nc nc t t s s se evite evaluarea matricii Hessiene se evite evaluarea matricii Hessiene. .
Liniarizarea Liniarizarea reziduurilor reziduurilor Aproximarea Aproximarea matricii matricii Hessiene Hessiene
Exerciiu
Exerciiu Exerciiu
Aproximarea Aproximarea matricii matricii Hessiene Hessiene
Exist 2 abordri
Exist Exist 2 2 abord abord ri ri
2
1
( ) [ , ]
N
n
n
=
= c

V
termen termen principal principal termen termen parazit parazit

Dac Dac se se efectu efectueaz eaz un num un num r suficient de r suficient de mare de mare de itera itera ii ii, , reziduurile depondereaz reziduurile depondereaz puternic puternic
matricea Hessian matricea Hessian a acestora a acestora n n termenul termenul parazit parazit. .
- n vecintatea optimului,
reziduul are valori neglijabile.
- - n n vecin vecin tatea tatea optimului optimului, ,
reziduul reziduul are are valori valori neglijabile neglijabile. .
nu
e
nu
e
nu
e
| |
1
( ) 2 [ , ] [ , ]
N
T
n
n n
=
^ ~ Vc Vc

V
80 80
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Metoda Gauss-Newton (continuare)
Metoda Metoda Gauss Gauss- -Newton Newton ( (continuare continuare) )
1
1
( ) ( )
k k k k k

+
= o V (

^ V V
k e
MNR
MNR MNR
nu
e
1
( ) 2 [ , ] [ , ]
N
n
n n
=
V = c Vc

V
nu
e
2
1
( ) [ , ]
N
n
n
=
= c

V
| |
1
1
1 1
[ , ] [ , ] [ , ] [ , ]
N N
T
k k k k k k k
n n
n n n n

+
= =
( (
= o Vc Vc c Vc
( (



k e
- Dei matricea Hessian a criteriului ptratic nu a fost nlturat din expresia
iterativ principal, n calculul acesteia nu intervine dect gradientul reziduurilor.
- - De De i i matricea matricea Hessian Hessian a a criteriului criteriului p p tratic tratic nu nu a a fost fost nl nl turat turat din din expresia expresia
iterativ iterativ principal principal , , n n calculul calculul acesteia acesteia nu nu intervine intervine dec dec t t gradientul gradientul reziduurilor reziduurilor. .

A A doua doua abordare abordare se se bazeaz bazeaz pe pe liniarizarea liniarizarea reziduurilor reziduurilor, , adic adic pe pe aproximarea aproximarea reziduurilor reziduurilor
prin prin dezvoltarea dezvoltarea acestora acestora n n serie serie Taylor de Taylor de ordin ordin I I. .
Exerciiu
Exerciiu Exerciiu
| |
[ , ] [ , ] [ , ] ( )
T
k k k
n n n c ~ c + Vc
nu
e 1, n N e

S S se se arate arate c c ecua ecua ia ia iterativ iterativ a a MGN MGN ob ob inut inut
din din MNR MNR prin prin liniarizarea liniarizarea reziduurilor reziduurilor, ,
coinci coincide cu de cu cea cea din din abordarea abordarea anterioar anterioar . .
81 81
Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
Metode Metode de de identificare identificare i i validare validare
Caracteristici ale tehnicilor de optimizare n IS
Caracteristici Caracteristici ale ale tehnicilor tehnicilor de de optimizare optimizare n n IS IS

Majoritatea cov Majoritatea cov r r itoare a metodelor de optimizare itoare a metodelor de optimizare nu pot garanta c nu pot garanta c optimul aproximat este cel global optimul aproximat este cel global, ,
ci, eventual ci, eventual cel mai apropiat de ini cel mai apropiat de ini ializarea procesului iterativ ializarea procesului iterativ. .

M Metode etodele de le de optimizare optimizare func func ioneaz ioneaz numai numai pe pentru ntru func func ii iile le criteriu c criteriu c rora rora li se poat li se poate e evalua evalua
gradientul (prima der gradientul (prima derivat ivat ) ) i, eventual, matricea Hessian i, eventual, matricea Hessian (derivata a doua) (derivata a doua). .
- n multe aplicaii, aceast exigen este imposibil de satisfcut.
- - n n multe multe aplica aplica ii ii, , aceast aceast exigen exigen este este imposibil imposibil de de satisf satisf cut cut. .

Pentru Pentru a a asigura asigura eficien eficien a a algoritmilor algoritmilor baza baza i i pe pe TO TO, e , este de dorit ca ste de dorit ca func func iile criteriu s iile criteriu s fie c fie c t mai t mai
netede, cu oscila netede, cu oscila ii pu ii pu ine ine n jurul optimului vizat n jurul optimului vizat i f i f r r paliere paliere. .
Tehnicile de optimizare ca MNR sau MGN sunt utilizate n IS mai mult ca
instrumente auxiliare integrate n alte metode mai precise.
T Tehnicile de optimizare c ehnicile de optimizare ca a MNR MNR sau sau MGN MGN sunt utilizate sunt utilizate n n IS IS mai mult ca mai mult ca
instrumente auxiliare integrate instrumente auxiliare integrate n alte metode mai precise n alte metode mai precise. .
- Din cauza perturbaiilor care corup datele msurate, funciile criteriu
din cadrul IS sunt n general extrem de neregulate.
- - Din Din cauza cauza perturba perturba iilor iilor care care corup corup datele datele m m surate surate, , func func iile iile criteriu criteriu
din din cadrul cadrul IS IS sunt sunt n n general general extrem extrem de de neregulate neregulate. .

P Parametrii arametrii care care pot fi identifica pot fi identifica i i cu cu ajutorul ajutorul tehnicilor tehnicilor de de optimizare optimizare au, de au, de regul regul , , precizii precizii diferite diferite. .
V V

1 1
0 0

2,k 2,k

2,k+1 2,k+1

2 2

1 1
* *

2 2
* *

1,k 1,k

1,k+1 1,k+1

1, 1,k k

2
,
k
2
,
k
Exemplu
Exemplu Exemplu 2 nu =

A Aproxima proxima ia de ordin ia de ordin k k+1 +1 se ob se ob ine din aproxima ine din aproxima ia ia
de ordin de ordin k k prin contribu prin contribu ia a dou ia a dou componente de componente de
corec corec ie diferite: ie diferite: una una mai mare mai mare i i alta alta mai mic mai mic . .

P Parametrul arametrul
1 1
este este mai pu mai pu in sensibil in sensibil ( (identificabil identificabil) )
dec dec t parametrul t parametrul
2 2
. .
suprafe suprafe e e de de
izo izo- -nivel nivel

Un Un nou nou test de stop test de stop poate poate asigura asigura precizia precizia minim minim a a
fiec fiec rei rei componente componente ( (cu cu sc sc derea derea vitezei vitezei de de convergen convergen ): ):
, 1 ,
1,
max
i k i k
i n
n
+
e u
c
u u <
u