1/22

153
153
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
O.O Metoda Variabilelor Instrumentale (MVI)
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale ( (MVI MVI) )

Condi Condi ia ia ca ca perturba perturba ia ia s s fie un fie un zgomot zgomot alb alb rm rm ne ne restrictiv restrictiv. .

Dac Dac nu nu se se dore dore te te impunerea impunerea veunei veunei condi condi ii ii asupra asupra perturba perturba iilor iilor, , atunci atunci se se opereaz opereaz o o
modificare modificare asupra asupra estima estima iilor iilor oferite oferite de de MCMMP MCMMP. .
1
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
def
T
N N N
n n
n n n y n
N N

= =

= =



R r
Aceasta este o definiie.
Aceasta Aceasta este este o o defini defini ie ie. .

Nu Nu s s- -a a utilizat utilizat nici nici un un ra ra ionament ionament

pentru pentru deducerea deducerea ei ei. .
Estimaia oferit de
Metoda Variabilelor Instrumentale (MVI)
Estimaia Estimaia oferit oferit de de
Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale ( (MVI MVI) )
vectorul variabilelor instrumentale
vectorul vectorul variabilelor variabilelor instrumentale instrumentale [ ]
n
n

R
- Ales liber de ctre utilizator, astfel
nct definiia s fie corect.
- - Ales Ales liber liber de de ctre ctre utilizator utilizator, , astfel astfel
nc nc t t defini defini ia ia s s fie fie corect corect. .

Defini Defini ia ia este este corect corect numai numai dac dac
matricea matricea R R
N N
este este inversabil inversabil. .
Dar Dar consistena consistena? ? Aceast proprietate trebuie studiat n manier riguroas.
Aceast Aceast proprietate proprietate trebuie trebuie studiat studiat n n manier manier riguroas riguroas. .
Se pot deduce mai nti condiiile generale de consisten.
Se pot deduce Se pot deduce mai mai nt nt i i condi condi iile iile generale generale de de consisten consisten . .
[ ] n
E
{ }
( )
{ } { }
( )
1
[ ] [ ] [ ] [ ] [ ] [ ]
T
E n n E n y n E n v n

=
[ ] [ ] [ ]
T
y n n v n

= +
( )
( )
1

lim {[ ] [ ]} {[ ] [ ]}
T
N
N
E n n E n v n

=
IE
IE IE
( )
det {[ ] [ ]} 0
T
E n n
{[ ] [ ]} 0 E n v n =
n

N
condi condi iile iile generale generale de de consisten consisten
- Instrumentele trebuie s fie
necorelate cu perturbaiile.
- - Instrumentele Instrumentele trebuie trebuie s s fie fie
necorelate necorelate cu cu perturba perturba iile iile. .
2/22
(total) (total) filtrat filtrat
nefiltrat nefiltrat
154
154
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Analiza estimaiei oferite de MVI pentru modelele ARX
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX
Pentru a realiza necorelarea cu perturbaiile, se ncearc utilizarea
doar a intrrii (nu i a ieirii).
Pentru Pentru a a realiza realiza necorelarea necorelarea cu cu perturba perturba iile iile, se , se ncearc ncearc utilizarea utilizarea
doar doar a a intrrii intrrii ( (nu nu i i a a ie ie irii irii). ).
P(
*
) P P ( (
* *
) )
1 1
( ) [ ] ( ) [ ] [ ] A q y n B q u n v n

= +
n

N
[ ] [ ] [ ]
T
y n n v n

= +
[ ]
[ ]
1 2 1 2
[ ] [ 1] [ 2] [ ] [ 1] [ 2] [ ]
def
T
def
T
na nb
n y n y n y n na u n u n u n nb
a a a b b b

n

N
par par ial ial filtrat filtrat
3 tipuri de vectori
ai instrumentelor
3 3 tipuri tipuri de de vectori vectori
ai ai instrumentelor instrumentelor
n na nb = +
[ ]
[ ] [ 1] [ 2] [ ]
def
T
n u n u n u n na nb =
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ] ;
def
T
f f f
n u n u n u n na u n u n u n nb =


- Pe poziia componentei AR.
- - Pe Pe pozi pozi ia ia componentei componentei AR AR. .
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ] ;
def
T
f f f
n u n u n u n na u n u n u n nb =


- Pe poziia componentei X.
- - Pe Pe pozi pozi ia ia componentei componentei X X. .
[ ] [ 1] [ 2] [ ]
def
T
f f f
n u n u n u n na nb =


Semnalul
filtrat
Semnalul Semnalul
filtrat filtrat
1
1
( )
[ ] [ ]
( )
def
f
D q
u n u n
C q

=
n

N
polinoame polinoame Exemple
Exemple Exemple
1
( ) 1 C q

=
1
( )
nd
D q q

=
1
1

( )
[ ] [ ]

( )
def
f
B q
u n u n nk
A q

= +
estimate cu estimate cu
MCMMP MCMMP
n

N
;
;
[]
[ [ ] ]
Cum se Cum se poate poate construi construi vectorul vectorul variabilelor variabilelor
instrumentale instrumentale n n cazul cazul modelelor modelelor ARX ARX? ?
3/22
155
155
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Analiza estimaiei oferite de MVI pentru modelele ARX []
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX [ [ ] ]
1,
1 1
, 1,
1,
1,
1 1
, 1,
1,
1 1
[ ] [ ] [ ] [ ]
1 1
[ ] [ ] [ ] [ ]
N N
i na
n n
i j na
def
j nb
N
N N
i nb
n n
i j nb
j na
u n i y n j u n i u n j
N N
u n na i y n j u n na i u n j
N N

= =

= =

=










R
,
[ ]
N
y u
r i j [ ]
N
u
r i j
,
[ ]
N
y u
r na i j + [ ]
N
u
r na i j +
1
1,
1
1,
1
[ ] [ ]
1
[ ] [ ]
N
n
i na
def
N
N
n
j nb
u n i y n
N
u n na j y n
N
=

=

r
,
[ ]
N
y u
r i
,
[ ]
N
y u
r na j +
[ ]
[ ] [ 1] [ 2] [ ]
def
T
n u n u n u n na nb = ( (nefiltrat nefiltrat) )
1
1, ,
, 1,
1,
,
1,
1
1, , ,
, 1, 1,
1,
[ ] [ ]
[ ]

[ ] [ ] [ ]
N N
i na y u u
N
i j na
j nb
y u
i na
N N N
N N N
i nb y u u y u
i j nb j nb
j na
r i j r i j
r i
r na i j r na i j r na j

= =


+ + +





R r
( ) ( )
2
2
2 1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T T
N N N N
n n
N N
y n n y n n

= =
= =


R r
+ +Dac Dac perturba perturba ia ia este este un un zgomot zgomot alb alb de de
medie medie nul nul i i dispersie dispersie necunoascut necunoascut. .
Condiiile
generale de
consisten
Condi Condi iile iile
generale generale de de
consisten consisten
( )
det {[ ] [ ]} 0
T
E n n
{[ ] [ ]} 0 E n v n =
n

N

Datorit Datorit formei formei vectorului vectorului instrumentelor instrumentelor, a , a doua doua
condi condi ie ie este este automat automat verificat verificat dac dac intrarea intrarea
este este produs produs departe departe de de sursa sursa perturba perturba iilor iilor. .
- Nu este necesar ca zgomotul s fie alb.
- - Nu Nu este este necesar necesar ca ca zgomotul zgomotul s s fie alb. fie alb.
{[ ] [ ]} 0 E n v n =
4/22
156
156
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Este Este bine bine defnit defnit estimaia estimaia oferit oferit de de MVI MVI? ?
Pentru anumite semnale de intrare, da.
Pentru Pentru anumite anumite semnale semnale de de intrare intrare, , da da. .
Teorema 3 (Teorema fundamental a MVI pentru modelele ARX)
Teorema Teorema 3 3 ( (Teorema Teorema fundamental fundamental a a MVI MVI pentru pentru modelele modelele ARX ARX) )
Pentru Pentru modelul modelul ARX[na,nb ARX[na,nb], u ], urmtoarele rmtoarele 3 i 3 ipoteze se consider verificate poteze se consider verificate: :
a. a. modelul modelul este este parsimonios parsimonios: :
c. c. perturba perturba ia ia v v nu nu este este corelat corelat cu cu semnalul semnalul de de stimul stimul: :
b. semnalul de stimul u aparine clasei
Dac se alege un vector al instrumentelor de tip nefiltrat Dac se alege un vector al instrumentelor de tip nefiltrat, atunci estima , atunci estima ia oferit de MVI ia oferit de MVI
pentru vectorul parametrilor adevra pentru vectorul parametrilor adevra i ai modelului este bine definit i ai modelului este bine definit i consistent i consistent. .
( (polinoamele polinoamele adevrate adevrate sunt sunt coprime coprime) ) ; ;
( , ) 1 A B

=
(adic este un zgomot alb de medie nul i dispersie cunoscut).
2
(0, )
u
za
. . { [ ] [ ]} 0 E u n v m =
, ,
, n m

N

Acest Acest rezultat rezultat arat arat c c modelele modelele de tip de tip ARX ARX pot pot fi fi identificate identificate cu cu succes succes i i n n cazul cazul c c nd nd
perturba perturba iile iile nu nu pot pot fi fi caracterizate caracterizate statistic statistic. .

Condi Condi ia ia de de neautocorelare neautocorelare a a perturba perturba iilor iilor se se transfer transfer acum acum intrrii intrrii, care , care poate poate fi fi controlat controlat. .

n n practic practic, , intrarea intrarea de tip de tip zgomot zgomot alb alb nu nu poate poate fi fi generat generat, , dar dar semnalele semnalele care care
o o aproximeaz aproximeaz ( (SPAB SPAB, , SPA SPA) ) sunt sunt frecvent frecvent utilizate utilizate n n conjunc conjunc ie ie cu cu MVI MVI, ,
fr fr a a pierde pierde buna buna definire definire a a estima estima iei iei aferente aferente. .
Analiza estimaiei oferite de MVI pentru modelele ARX []
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX [ [ ] ]
5/22
157
157
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Ct Ct de de eficient eficient este este estimaia estimaia oferit oferit de de MVI MVI? ?
Pentru testarea eficienei, este necesar evaluarea
matricii de auto-covarian a erorii de estimare.
Pentru Pentru testarea testarea eficien eficien ei ei, , este este necesar necesar evaluarea evaluarea
matricii matricii de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare. .
Teorema 4 (Eficiena estimaiei oferite de MVI pentru modelele ARX)
Teorema Teorema 4 4 ( (Eficien Eficien a a estima estima iei iei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX) )
Se Se consider consider c c modelul modelul ARX[na,nb ARX[na,nb] ] verific verific u urmtoarele ipoteze rmtoarele ipoteze: :
a. a. modelul modelul este este parsimonios parsimonios: :
c. c. perturba perturba ia ia v v aparine clasei za(0,
2
) (adic este un zgomot alb de medie nul i
dispersie necunoscut
2
), nefiind corelat corelat cu cu semnalul semnalul de de stimul stimul: :
b. b. intrarea intrarea u u este un semnal este un semnal de de stimul stimul cu ordin de persisten cu ordin de persisten suficient de mare suficient de mare (cel pu (cel pu in in
na+nb) astfel na+nb) astfel nc nc t estima t estima iile oferite de MVI cu vectori ai instrumentelor iile oferite de MVI cu vectori ai instrumentelor construi construi i i
folosind numai acest semnal s fie corect definite folosind numai acest semnal s fie corect definite; ;
Atunci cea mai eficient estima Atunci cea mai eficient estima ie (c ie (corect definit orect definit) o ) oferit de MVI se ob ferit de MVI se ob ine pentru ine pentru
urmtorul vector al instrumentelor urmtorul vector al instrumentelor, , par par ial filtrat: ial filtrat:
( (polinoamele polinoamele adevrate adevrate sunt sunt coprime coprime) ); ;
( , ) 1 A B

=
. . { [ ] [ ]} 0 E u n v m =
, , , n m

N
d. d. perturba perturba ia ia v v este independent statistic de semnalul de stimul este independent statistic de semnalul de stimul. .
[ ] [ 1] [ 2] [ ] | [ 1] [ 2] [ ]
def
T
f f f
n u n u n u n na u n u n u n nb =


, ,
unde unde: :
1
1
( )
[ ] [ ]
( )
def
f
B q
u n u n
A q


= . .
n

N
Aceasta se realizeaz n demonstraia
rezultatului care urmeaz.
Aceasta Aceasta se se realizeaz realizeaz n n demonstra demonstra ia ia
rezultatului rezultatului care care urmeaz urmeaz. .
Analiza estimaiei oferite de MVI pentru modelele ARX []
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX [ [ ] ]
6/22
- Cele dou polinoame se pot estima i folosind MVI
cu un vector al instrumentelor nefiltrat.
- - Cele Cele dou dou polinoame polinoame se pot se pot estima estima i i folosind folosind MVI MVI
cu un vector al cu un vector al instrumentelor instrumentelor nefiltrat nefiltrat. .
158
158
O O. .O O Metoda Metoda Variabilelor Variabilelor Instrumentale Instrumentale
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare

n n cadrul cadrul Teoremei Teoremei 4 4, , se se revine la ipoteza perturba revine la ipoteza perturba iilor de tip iilor de tip zgomot alb zgomot alb, d , de aceea valoarea sa este e aceea valoarea sa este
destul de limitat destul de limitat. .
Teorema 4
Teorema Teorema 4 4
O estimaie cu eficien satisfctoare se obine
folosind un filtru determinat prin MCMMP.
O O estima estima ie ie cu cu eficien eficien satisfctoare satisfctoare se se ob ob ine ine
folosind folosind un un filtru filtru determinat determinat prin prin MCMMP MCMMP. .
1
1

( )
[ ] [ ]

( )
def
f
B q
u n u n
A q

=
n

N

Cu Cu toate toate acestea acestea, , dac dac se se verific verific ipotezele ipotezele Teoremei Teoremei 4 4, se , se poate poate arta arta c c estima estima iile iile oferite oferite de de
MCMMP MCMMP i i MVI MVI sunt sunt la la fel fel de de eficiente eficiente. .

n n cazul cazul zgomotelor zgomotelor c co ol lo or ra at te e: :

E Estimaiile oferite de stimaiile oferite de MCMMP MCMMP sunt mai lent convergente (mai puin eficiente) sunt mai lent convergente (mai puin eficiente)
dect cele oferite de dect cele oferite de MVI MVI. .
E Estimaiile oferite de stimaiile oferite de M MVI VI pot s nu fie consistente ctre valorile adevrate ale parametri pot s nu fie consistente ctre valorile adevrate ale parametrilor lor. .
- Deoarece Estimatorul Markov este neimplementabil.
- - Deoarece Deoarece Estimatorul Estimatorul Markov Markov este este neimplementabil neimplementabil. .
- Deoarece procesul nu poate fi stimulat cu un zgomot alb.
- - Deoarece Deoarece procesul procesul nu nu poate poate fi fi stimulat stimulat cu un cu un zgomot zgomot alb. alb.

n n aplica aplica iile iile unde unde este este necesar necesar identificarea identificarea unui unui model de tip model de tip ARX ARX: :
Att Att e estimaiile oferite de stimaiile oferite de MCMMP MCMMP ct ct i i cele oferite de cele oferite de MVI MVI sunt sunt implementabile implementabile. .
Asigurarea condi Asigurarea condi iilor de consisten iilor de consisten nu este u nu este u or de realizat or de realizat, , deoarece deoarece se se bazeaz bazeaz pe pe
neautocorelarea neautocorelarea fie a fie a perturba perturba iilor iilor, fie a , fie a intrrilor intrrilor. .

n general, n general, MCMMP MCMMP este utilizat este utilizat c c nd procesul nu poate fi stimulat cu un nd procesul nu poate fi stimulat cu un SPA(B) SPA(B), ,
altfel se recurge la altfel se recurge la MVI MVI. .
Analiza estimaiei oferite de MVI pentru modelele ARX []
Analiza Analiza estimaiei estimaiei oferite oferite de de MVI MVI pentru pentru modelele modelele ARX ARX [ [ ] ]
7/22
159
159
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
O.O Metode bazate pe optimizarea parametrilor
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor

Modelele din clasa Modelele din clasa ARMAX ARMAX pot fi identificate pot fi identificate i cu ajutorul altor metode dec i cu ajutorul altor metode dec t t MCMMP MCMMP i i MVI MVI. .

C Cu c u c t modelul este mai complex, cu at t modelul este mai complex, cu at t metoda utilizat este mai laborioas t metoda utilizat este mai laborioas. .
1 k k k +
= +
Proceduri recursive cu ajutorul crora un punct de optim (maxim sau minim) al unei funcii
criteriu este aproximat printr-un proces iterativ exprimat de o ecuaie cu reactualizare aditiv.
Proceduri Proceduri recursive cu recursive cu ajutorul ajutorul crora crora un punct de optim (maxim sau minim) al unei func un punct de optim (maxim sau minim) al unei func ii ii
criteriu este aproximat printr criteriu este aproximat printr- -un un proces iterativ proces iterativ exprimat de exprimat de o o ecua ecua ie ie cu cu reactualizare reactualizare aditiv aditiv. .

O parte dintre metodele utilizate O parte dintre metodele utilizate n acest scop se bazeaz at n acest scop se bazeaz at t pe t pe revizuirea/adaptarea revizuirea/adaptarea MCMMP MCMMP, ,
c c t t i pe i pe algoritmi care folosesc T algoritmi care folosesc Tehnici ehnici de de O Optimizare ptimizare. .
k N
corec corec ie ie ( (aditiv aditiv) )
valori valori succesive succesive
ale ale aproxima aproxima iei iei
(vector (vector sau sau scalar) scalar)
Cum Cum poate poate fi fi cuantificat cuantificat precizia precizia aproximaiei aproximaiei? ?
Folosind norma Euclidian.
Folosind Folosind norma norma Euclidian Euclidian. .
- Se pleac de la o
iniializare.
- - Se Se pleac pleac de la o de la o
ini ini ializare ializare. .
Test ideal Test ideal
de stop de stop
Test Test practic practic
de stop de stop
0

Aproximaia urmtoare este mai precis

dect aproximaia curent dac:
Aproxima Aproxima ia ia urmtoare urmtoare este este mai mai precis precis
dec dec t t aproxima aproxima ia ia curent curent dac dac: :
1 k k

+
<
punct punct de de optim optim
k

<
prag prag minimal de minimal de precizie precizie
Neimplementabil.
Neimplementabil Neimplementabil. .
- Pentru a stopa procesul iterativ,
trebuie utilizat o inegalitate n
care punctul de optim s nu
apar explicit.
- - Pentru Pentru a a stopa stopa procesul procesul iterativ iterativ, ,
trebuie trebuie utilizat utilizat o o inegalitate inegalitate n n
care care punctul punctul de de optim optim s s nu nu
apar apar explicit explicit. .
Necunoscut !
Necunoscut Necunoscut ! !
1 k k k +
= <
Exemplu
Exemplu Exemplu
4
10

=
1 k +

& &
coincid coincid p p n n la la a a patra patra
zecimal zecimal inclusiv inclusiv
( (scalari scalari) )
8/22
Matricea
Hessian
Matricea Matricea
Hessian Hessian
Gradientul
Gradientul Gradientul
160
160
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda Newton-Raphson (MNR) []
Metoda Metoda Newton Newton- -Raphson Raphson ( (MNR MNR) [ ) [ ] ]
Obiectiv Obiectiv
Determinarea expresiei generale a coreciei n funcie de criteriul de optimizare.
Determinarea Determinarea expresiei expresiei generale generale a a corec corec iei iei n n func func ie ie de de criteriul criteriul de de optimizare optimizare. .
V
Metod aplicabil n cazul funciilor criteriu derivabile de cel puin 2 ori.
Metod Metod aplicabil aplicabil n n cazul cazul func func iilor iilor criteriu criteriu derivabile derivabile de de cel cel pu pu in in 2 2 ori ori. .
V
1 2
( ) ( ) ( ) ( )
T
def
n
n

=



R
V V V
V
- Vector coloan.
- - Vector Vector coloan coloan. .
func func ie ie care care trebuie trebuie
s s fie fie derivabil derivabil
2
, 1,
( ) ( )( ) ( )
def
n n
i j
i j n

= =




R
V
V V
func func ie ie care care trebuie trebuie
s s fie fie continu continu
- Matrice simetric.
- - Matrice Matrice simetric simetric. .
Jacobianul Jacobianul
gradientului gradientului V V

0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
Principiul metodei
Principiul Principiul metodei metodei
Exemplu
Exemplu Exemplu

n jurul punctului de n jurul punctului de optim optim, , prima derivat prima derivat ( (sau sau norma norma sa sa) ) este este
aproximativ nul aproximativ nul , iar , iar derivata a doua derivata a doua este este strict pozitiv strict pozitiv/ /negativ negativ definit definit. .

S Se construie e construie te te parabola (paraboloidul) parabola (paraboloidul) care trece prin punctul care trece prin punctul curent curent
( (
k k
, ,V V( (
k k
)) )) i are i are aceea aceea i tangent i tangent i derivat secund ca func i derivat secund ca func ia ia criteriu criteriu. .

Punctul Punctul de minim/maxim al de minim/maxim al parabolei parabolei este este

k k+1 +1
. .
9/22
k
+
1
1
( ) ( )
k k k k

+
=

V V
( ) ( ) ( ) ( )
k k k k


= + = 0 V V V
161
161
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
Aadar
Aadar Aadar
Trebuie construit paraboloidul care verific 3 proprieti de coinciden cu funcia criteriu
n punctul curent.
Trebuie Trebuie construit construit paraboloidul paraboloidul care care verific verific 3 3 propriet propriet i i de de coinciden coinciden cu cu func func ia ia criteriu criteriu
n n punctul punctul curent curent. .
k
V
( ) ( )
k k k
= V V ( ) ( )
k k k
= V V
( (derivata derivata 0) 0) ( (derivata derivata 1) 1) ( (derivata derivata 2) 2)
Cum Cum poate poate fi fi construit construit? ?
Dezvoltare n serie Taylor pn la ordinul 2
Dezvoltare Dezvoltare n n serie serie Taylor Taylor pn pn la la ordinul ordinul 2 2
Ar trebui exploatat
proprietatea funciei criteriu
de a fi de 2 ori derivabil.
Ar Ar trebui trebui exploatat exploatat
proprietatea proprietatea func func iei iei criteriu criteriu
de a de a fi fi de 2 de 2 ori ori derivabil derivabil. .
( ) ( )
k k k
= V V
Exerciiu
Exerciiu Exerciiu
Paraboloidul
Taylor
Paraboloidul Paraboloidul
Taylor Taylor
1
2
( ) ( ) ( ) ( ) ( ) ( ) ( )
T
T
k k k k k k k


= + + V V V V
n
R

Arta Arta i i c c paraboloidul paraboloidul Taylor Taylor verific verific cele cele 3 3 propriet propriet i i de de coinciden coinciden . .
Pentru a determina punctul de optim al paraboloidului Taylor, se va anula gradientul acestuia.
Pentru Pentru a a determina determina punctul punctul de de optim optim al al paraboloidului paraboloidului Taylor, Taylor, se se va va anula anula gradientul gradientul acestuia acestuia. .

Reguli de
derivare
Reguli Reguli de de
derivare derivare
- Matricea Hessian este
simetric i inversabil
n vecintatea optimului.
- - Matricea Matricea Hessian Hessian este este
simetric simetric i i inversabil inversabil
n n vecintatea vecintatea optimului optimului. .
k N
( )
T
= r r
( )
( )
T T
= + R R R
10/22
162
162
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Termenul corector are semn opus gradientului,
doarece matricea Hessian este strict
pozitiv/negativ definit.
Termenul Termenul corector corector are are semn semn opus opus gradientului gradientului, ,
doarece doarece matricea matricea Hessian Hessian este este strict strict
pozitiv/negativ pozitiv/negativ definit definit. .

1
( ) ( )
def
k k k

=

V V
k N
- - minus minus
Ce Ce semnificaie semnificaie are are acest acest rezultat rezultat? ?
Exemplu
Exemplu Exemplu
S Semnul primei derivate emnul primei derivate oblig oblig aproxima aproxima ia curent ia curent
s se deplaseze ctre optimul criteriului s se deplaseze ctre optimul criteriului. .
A Aproxima proxima ia curent fiind inferioar optimului ia curent fiind inferioar optimului, iar , iar
derivata fiind negativ derivata fiind negativ, corec , corec ia ia se adaug se adaug
aproxima aproxima iei pentru a se apropia mai mult de optim. iei pentru a se apropia mai mult de optim.
V V
0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
V V
0 0

* *
V V

k k

k+1 k+1
V V

V V ( (
k k
) )
Dac este adugat Dac este adugat o cantitate prea o cantitate prea
mare mare, se ajunge , se ajunge n zona de n zona de derivat derivat
pozitiv pozitiv i urmtorul factor de i urmtorul factor de
corec corec ie ie se va scdea se va scdea din aproxima din aproxima ia ia
curent curent, s , superioar optimului uperioar optimului. .
- Convergena la punctul de optim poate fi realizat fie printr-un
ir monoton de aproximaii, fie prin intermediul unuia oscilant.
- - C Convergen onvergen a la punctul de optim poate fi realizat fie printr a la punctul de optim poate fi realizat fie printr- -un un
ir monoton de aproxima ir monoton de aproxima ii, fie prin intermediul unuia oscilant. ii, fie prin intermediul unuia oscilant.
Testul Testul
de stop de stop
1
( ) ( )
k k k

= <

V V
- n vecintatea optimului, norma gradientului este aproximativ nul.
- - n n vecintatea vecintatea optimului optimului, , norma norma gradientului gradientului este este aproximativ aproximativ nul nul. .

Eficien Eficien a se msoar prin a se msoar prin

numrul de itera numrul de itera ii necesar ii necesar
verificrii testului de stop verificrii testului de stop. .
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
11/22
163
163
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Algoritmul Newton-Raphson cu pas constant
Algoritmul Algoritmul Newton Newton- -Raphson Raphson cu pas constant cu pas constant
Iniializare
Ini Ini ializare ializare
0
n
R
Date de intrare
Date de Date de intrare intrare
ales fie ales fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
:
n
R R V
( (func func ie ie criteriu criteriu, de 2 , de 2 ori ori derivabil derivabil) )
0 > ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
Ct timp
C C t t timp timp
1
( ) ( )
k k

V V
0
( ) V gradientul gradientul ini ini ial ial
0
( ) V
matricea matricea Hessian Hessian ini ini ial ial
0 k = indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz aproximaia optimului
C C Se Se reactualizeaz reactualizeaz aproxima aproxima ia ia optimului optimului
1
1
( ) ( )
k k k k

+
=

V V
C Se reactualizeaz gradientul i matricea Hessian
C C Se Se reactualizeaz reactualizeaz gradientul gradientul i i matricea matricea Hessian Hessian
1
( ) ( )
k k +
V V
1
( ) ( )
k k +
V V
C Se trece la pasul urmtor
C C Se Se trece trece la la pasul pasul urmtor urmtor 1 k k +
Date de ieire
Date de Date de ie ie ire ire
k

k
aproxima aproxima ia ia de de precizie precizie
numrul numrul de de itera itera ii ii pentru pentru atingerea atingerea preciziei preciziei dorite dorite
- Algoritmul este sensibil la iniializare, n sensul c, n general,
va converge ctre optimul cel mai apropiat de aceasta.
- - Algoritmul Algoritmul este este sensibil sensibil la la ini ini ializare ializare, , n n sensul sensul c c, , n n general, general,
va va converge converge ctre ctre optimul optimul cel cel mai mai apropiat apropiat de de aceasta aceasta. .
Pas constant? Pas constant?
Concept definit
n continuare.
Concept Concept definit definit
n n continuare continuare. .
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
12/22
164
164
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Utilizarea Utilizarea MNR MNR (cu pas constant) (cu pas constant) este este deficitar deficitar n n urmtoarele urmtoarele cazuri cazuri principale principale: :
F Func unc ia criteriu are o ia criteriu are o regularitate regularitate slab slab n vecintatea optimului vizat n vecintatea optimului vizat
(adi (adic prezint c prezint oscila oscila ii mari ii mari n acea vecintate n acea vecintate). ).
F Func unc ia criteriu ia criteriu este este afectat afectat de de zgomote zgomote importante importante n vecintatea optimului vizat n vecintatea optimului vizat. .
Optimul Optimul vizat vizat al f al func unc i iei ei criteriu criteriu este este situat situat pe pe un un platou platou. .

De De regul regul, , n n primele primele 2 2 cazuri cazuri, se , se renun renun la la MNR MNR i i se se adopt adopt o o strategie strategie evolu evolu ionist ionist. .

n n ultimul ultimul caz caz, , MNR MNR conduce la un conduce la un numr numr imens imens de de itera itera ii ii, din , din cauza cauza faptului faptului c c, , pe pe platou platou, ,
at at t t norma norma gradientului gradientului c c t t i i spectrul spectrul matricii matricii Hessiene Hessiene sunt sunt aproximativ aproximativ nule nule. .

1
1
( ) ( )
k k k k

+
=

V V
k N
- Corecia este imprecis determinat, n special din cauza problemelor
de natur numeric induse de inversarea matricii Hessiene.
- - Corec Corec ia ia este este imprecis imprecis determinat determinat, , n n special din special din cauza cauza problemelor problemelor
de de natur natur numeric numeric induse induse de de inversarea inversarea matricii matricii Hessiene Hessiene. .
Ce Ce se se poate poate face? face?
Termenul corector poate fi ajustat adaptiv cu un scalar, astfel nct viteza
de convergen s creasc prin efectuarea unui salt peste platou.
Termenul Termenul corector corector poate poate fi fi ajustat ajustat adaptiv adaptiv cu un scalar cu un scalar, , astfel astfel nc nc t t viteza viteza
de de convergen convergen s s creasc creasc prin prin efectuarea efectuarea unui unui salt salt peste peste platou platou. .
1
pas constant pas constant
1
1
( ) ( )
k k k k k

+
=

V V
k N
pas pas variabil variabil
Cum Cum poate poate fi fi reactualizat reactualizat
pasul pasul variabil variabil? ?
Prin utilizarea MNR cu pas constant pentru optimizarea
unei funcii criteriu scalare adaptive.
Prin Prin utilizarea utilizarea MNR MNR cu pas constant cu pas constant pentru pentru optimizarea optimizarea
unei unei func func ii ii criteriu criteriu scalare scalare adaptive adaptive. .
( )
1
( ) ( ) ( )
def
k k k k

=

F V V V
R
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
13/22
165
165
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Algoritmul Newton-Raphson cu pas variabil
Algoritmul Algoritmul Newton Newton- -Raphson Raphson cu pas cu pas variabil variabil
Iniializare
Ini Ini ializare ializare
0
n
R
Date de intrare
Date de Date de intrare intrare
alese alese fie fie arbitrar arbitrar, fie cu , fie cu ajutorul ajutorul unui unui algoritm algoritm specific specific
:
n
R R V
( (func func ie ie criteriu criteriu, de 2 , de 2 ori ori derivabil derivabil) )
0 > ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
Ct timp
C C t t timp timp
1
( ) ( )
k k k

V V
0
( ) V
gradientul gradientul ini ini ial ial
0
( ) V
matricea matricea Hessian Hessian ini ini ial ial
0 k = indicele indicele iterativ iterativ ini ini ial ial
C Se reactualizeaz aproximaia optimului
C C Se Se reactualizeaz reactualizeaz aproxima aproxima ia ia optimului optimului
1
1
( ) ( )
k k k k k

+
=

V V
C Se reactualizeaz gradientul i matricea Hessian
C C Se Se reactualizeaz reactualizeaz gradientul gradientul i i matricea matricea Hessian Hessian
1
( ) ( )
k k +
V V
1
( ) ( )
k k +
V V
C Se trece la pasul urmtor
C C Se Se trece trece la la pasul pasul urmtor urmtor 1 k k +
Date de ieire
Date de Date de ie ie ire ire
k

k
aproxima aproxima ia ia de de precizie precizie
numrul numrul de de itera itera ii ii pentru pentru atingerea atingerea preciziei preciziei dorite dorite
Exerciiu
Exerciiu Exerciiu

Justifica Justifica i i acest acest algoritm algoritm n n

manier manier riguroas riguroas. .
0

R , ,
C Se reactualizeaz pasul variabil
C C Se Se reactualizeaz reactualizeaz pasul pasul variabil variabil
( ) ( )
( ) ( )
1
1
1
1 1
1
( )
( ) ( ) ( )
T
k k k
k k
T
k k k k k

+
+

+


= +

V V
V V
V
V V V
- Se vor utiliza regulile cunoscute de derivare
pentru reactualizarea pasului variabil.
- - Se Se vor vor utiliza utiliza regulile regulile cunoscute cunoscute de de derivare derivare
pentru pentru reactualizarea reactualizarea pasului pasului variabil variabil. .
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
14/22
Metoda gradientului (M)
Metoda Metoda gradientului gradientului ( (M M ) )
166
166
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare

MNR MNR poate fi utilizat poate fi utilizat i pentru a i pentru a rezolva un rezolva unele ele ecua ecua ii transcendente ii transcendente sau sau n n
aproximarea unor numere transcendente aproximarea unor numere transcendente cum ar fi cum ar fi , e, , e, ln ln 2 , etc. 2 , etc.
Exemplu
Exemplu Exemplu
sin( ) 1 x =
2
x

=

Aproximarea Aproximarea numrului numrului /2 se /2 se poate poate realiza realiza plec plec nd nd
de la de la func func ia ia criteriu criteriu a a crei crei prim prim derivat derivat este este: :
( ) sin( ) 1 f x x

Este Este evident evident c c anularea anularea derivatei derivatei conduce la conduce la optimizarea optimizarea func func iei iei: : ( ) cos( ) f x x x C = +
Exerciiu
Exerciiu Exerciiu

Folosind Folosind exemplul exemplul anterior, anterior, determina determina i i numrul numrul cu 7 cu 7 zecimale zecimale exacte exacte. .

Pentru Pentru a a diminua diminua complexitatea complexitatea metodei metodei, , se se poate poate renun renun a a la a la a doua doua derivat derivat. .
V V

0 0

* *
V V

k k

k+1 k+1

V V ( (
k k
) )
Exemplu
Exemplu Exemplu

De De aceast aceast dat dat, , aproxima aproxima ia ia urmtoare urmtoare se se determin determin prin prin
intersectarea intersectarea tangentei tangentei ( (hiperplanului hiperplanului tangent) tangent) care care trece trece prin prin
punctul punctul curent curent ( (
k k
, ,V V( (
k k
)) )) cu cu axa axa orizontal orizontal ( (hiperplanul hiperplanul principal) principal). .
Exerciiu
Exerciiu Exerciiu
1
( )
k k k +
= V
1
( )
k k k k +
= V
( ) ( )
1 1
T
k k k k + +
= +

V V
M M cu pas constant cu pas constant
M M cu pas cu pas variabil variabil
M M este este utilizat utilizat atunci atunci c c nd nd derivata derivata a a doua doua fie fie nu nu exist exist, ,
fie fie nu nu se se poate poate evalua evalua. .

Viteza Viteza de de convergen convergen a a M M este este ns ns modest modest chiar chiar i i n n cazul cazul pasului pasului variabil variabil. .
k N
k N
Metoda Newton-Raphson []
Metoda Metoda Newton Newton- -Raphson Raphson [ [ ] ]
15/22
[ ]
1
( ) 2 [ , ] [ , ]
N
T
n
n n
=

V
1
( ) 2 [ , ] [ , ]
N
n
n n
=
=

V
[ ]
1 1
( ) 2 [ , ] [ , ] 2 [ , ] [ , ]
N N
T
n n
n n n n
= =
= +

V
167
167
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda Gauss-Newton (MGN)
Metoda Metoda Gauss Gauss- -Newton Newton ( (MGN MGN) )
Metod aplicabil n cazul funciilor criteriu de tip ptratic
(cum sunt i cele din IS).
Metod Metod aplicabil aplicabil n n cazul cazul func func iilor iilor criteriu criteriu de tip de tip ptratic ptratic
(cum (cum sunt sunt i i cele cele din din IS IS). ).
2
1
( ) [ , ]
N
n
n
=
=

V
reziduu reziduu

Dac Dac func func ia ia criteriu criteriu este este de 2 de 2 ori ori derivabil derivabil, , MNR MNR poate fi adaptat poate fi adaptat
astfel astfel nc nc t t s se evite evaluarea matricii Hessiene s se evite evaluarea matricii Hessiene. .
Liniarizarea Liniarizarea reziduurilor reziduurilor Aproximarea Aproximarea matricii matricii Hessiene Hessiene
Exerciiu
Exerciiu Exerciiu
Aproximarea Aproximarea matricii matricii Hessiene Hessiene
Exist 2 abordri
Exist Exist 2 2 abordri abordri
2
1
( ) [ , ]
N
n
n
=
=

V
termen termen principal principal termen termen parazit parazit

Dac Dac se se efectu efectueaz eaz un numr suficient de un numr suficient de mare de mare de itera itera ii ii, , reziduurile depondereaz puternic reziduurile depondereaz puternic
matricea Hessian a acestora matricea Hessian a acestora n n termenul termenul parazit parazit. .
- n vecintatea optimului,
reziduul are valori neglijabile.
- - n n vecintatea vecintatea optimului optimului, ,
reziduul reziduul are are valori valori neglijabile neglijabile. .
n
R
n
R
n
R
16/22
[ ]
1
( ) 2 [ , ] [ , ]
N
T
n
n n
=

V
168
168
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda Gauss-Newton (final)
Metoda Metoda Gauss Gauss- -Newton Newton (final) (final)
1
1
( ) ( )
k k k k k

+
=

V V
k N
MNR
MNR MNR
n
R
1
( ) 2 [ , ] [ , ]
N
n
n n
=
=

V
n
R
2
1
( ) [ , ]
N
n
n
=
=

V
[ ]
1
1
1 1
[ , ] [ , ] [ , ] [ , ]
N N
T
k k k k k k k
n n
n n n n

+
= =

=




k N
- Dei matricea Hessian a criteriului ptratic nu a fost nlturat din expresia
iterativ principal, n calculul acesteia nu intervine dect gradientul reziduurilor.
- - De De i i matricea matricea Hessian Hessian a a criteriului criteriului ptratic ptratic nu nu a a fost fost nlturat nlturat din din expresia expresia
iterativ iterativ principal principal, , n n calculul calculul acesteia acesteia nu nu intervine intervine dec dec t t gradientul gradientul reziduurilor reziduurilor. .

A A doua doua abordare abordare se se bazeaz bazeaz pe pe liniarizarea liniarizarea reziduurilor reziduurilor, , adic adic pe pe aproximarea aproximarea reziduurilor reziduurilor
prin prin dezvoltarea dezvoltarea acestora acestora n n serie serie Taylor de Taylor de ordin ordin I I. .
Exerciiu
Exerciiu Exerciiu
[ ]
[ , ] [ , ] [ , ] ( )
T
k k k
n n n +
n
R 1, n N

S S se se arate arate c c ecua ecua ia ia iterativ iterativ a a MGN MGN ob ob inut inut
din din MNR MNR prin prin liniarizarea liniarizarea reziduurilor reziduurilor, ,
coinci coincide cu de cu cea cea din din abordarea abordarea anterioar anterioar. .
17/22
169
169
O O. .O O Metode Metode bazate bazate pe pe optimizarea optimizarea parametrilor parametrilor
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Caracteristici ale tehnicilor de optimizare n IS
Caracteristici Caracteristici ale ale tehnicilor tehnicilor de de optimizare optimizare n n IS IS

Majoritatea cov Majoritatea cov r r itoare a metodelor de optimizare itoare a metodelor de optimizare nu pot garanta c optimul aproximat este cel global nu pot garanta c optimul aproximat este cel global, ,
ci, eventual ci, eventual cel mai apropiat de ini cel mai apropiat de ini ializarea procesului iterativ ializarea procesului iterativ. .

M Metode etodele de le de optimizare optimizare func func ioneaz ioneaz numai numai pe pentru ntru func func ii iile le criteriu crora criteriu crora li se poat li se poate e evalua evalua
gradientul (prima der gradientul (prima derivat ivat) ) i, i, eventual, matrice eventual, matricea Hessian a Hessian (derivata a doua) (derivata a doua). .
- n multe aplicaii, aceast exigen este imposibil de satisfcut.
- - n n multe multe aplica aplica ii ii, , aceast aceast exigen exigen este este imposibil imposibil de de satisfcut satisfcut. .

Pentru Pentru a a asigura asigura eficien eficien a a algoritmilor algoritmilor baza baza i i pe pe TO TO, e , este de dorit ca ste de dorit ca func func iile criteriu s fie c iile criteriu s fie c t mai t mai
netede, cu oscila netede, cu oscila ii pu ii pu ine ine n jurul optimului vizat n jurul optimului vizat i fr paliere i fr paliere. .
Tehnicile de optimizare ca MNR sau MGN sunt utilizate n IS mai mult ca
instrumente auxiliare integrate n alte metode mai precise.
T Tehnicile de optimizare c ehnicile de optimizare ca a MNR MNR sau sau MGN MGN sunt utilizate sunt utilizate n n IS IS mai mult ca mai mult ca
instrumente auxiliare integrate instrumente auxiliare integrate n alte metode mai precise n alte metode mai precise. .
- Din cauza perturbaiilor care corup datele msurate, funciile criteriu
din cadrul IS sunt n general extrem de neregulate.
- - Din Din cauza cauza perturba perturba iilor iilor care care corup corup datele datele msurate msurate, , func func iile iile criteriu criteriu
din din cadrul cadrul IS IS sunt sunt n n general general extrem extrem de de neregulate neregulate. .

P Parametrii arametrii care care pot fi identifica pot fi identifica i i cu cu ajutorul ajutorul tehnicilor tehnicilor de de optimizare optimizare au, de au, de regul regul, , precizii precizii diferite diferite. .
V V

1 1
0 0

2,k 2,k

2,k+1 2,k+1

2 2

1 1
* *

2 2
* *

1,k 1,k

1,k+1 1,k+1

1, 1,k k

2
,
k
2
,
k
Exemplu
Exemplu Exemplu 2 n =

A Aproxima proxima ia de ordin ia de ordin k k+1 +1 se ob se ob ine din aproxima ine din aproxima ia ia
de ordin de ordin k k prin contribu prin contribu ia a dou componente de ia a dou componente de
corec corec ie diferite: ie diferite: una una mai mare mai mare i i alta alta mai mic mai mic. .

P Parametrul arametrul
1 1
este este mai pu mai pu in sensibil in sensibil ( (identificabil identificabil) )
dec dec t parametrul t parametrul
2 2
. .
suprafe suprafe e e de de
izo izo- -nivel nivel

Un Un nou nou test de stop test de stop poate poate asigura asigura precizia precizia minim minim a a
fiecrei fiecrei componente componente ( (cu cu scderea scderea vitezei vitezei de de convergen convergen ): ):
, 1 ,
1,
max
i k i k
i n
n
+

<

18/22
170
170
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
O.O Metode de estimare statistic
O O. .O O Metode Metode de de estimare estimare statistic statistic
u u [ [n n] ]
P(
*
) P P ( (
* *
) )
M() M M( ( ) )
y y [ [n n] ]
y y
M M
[ [n n, , ] ]
U U
Y Y
P() P P( ( ) )
Minimizare Minimizare
u u [ [n n] ]
P(
*
) P P ( (
* *
) )
M() M M( ( ) )
y y [ [n n] ]
y y
M M
[ [n n, , ] ]
U U
Y Y
P() P P( ( ) )
Minimizare Minimizare
Formularea problemei de identificare din perspectiva Teoriei Estimaiei
Formularea Formularea problemei problemei de de identificare identificare din din perspectiva perspectiva Teoriei Teoriei Estima Estima iei iei

argmin ( )
n
N

P
R S
Matricea Matricea de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare este este dificil dificil, , dac dac nu nu imposibil imposibil de de evaluat evaluat. .
( ) {( )( ) }
def
T n n
E

= P R
matricea matricea de auto de auto- -covarian covarian
a a erorii erorii de de estimare estimare
- n sensul pozitiv (semi-)definirii.
- - n n sensul sensul pozitiv pozitiv (semi (semi- -) )definirii definirii. .
Chiar Chiar dac dac ar ar putea putea fi fi evaluat evaluat ( (vezi vezi Teorema Teorema fundamental fundamental a a MCMMP MCMMP), ),
ea ea depinde depinde de de paramerii paramerii adevra adevrai i ( (necunoscui necunoscui) ). .
( )
1
2
1

[ ] [ ]
N
def
T
N
n
n n

=

=

P
Problema se poate relaxa prin nlocuirea matricii de auto-covarian cu alte criterii,
corelate (direct sau indirect) cu aceasta.
Problema Problema se se poate poate relaxa relaxa prin prin nlocuirea nlocuirea matricii matricii de auto de auto- -covarian covarian cu cu alte alte criterii criterii, ,
corelate corelate (direct (direct sau sau indirect) cu indirect) cu aceasta aceasta. .
1,
{( [ ], [ ])}
n N
u n y n

= D
date date msurate msurate

( ) D
Estima Estima ie ie evaluat evaluat plec plec nd nd de la de la setul setul de date de date msurate msurate. .

( ) Estimator. Estimator.
- Concept mprumutat i metodelor
din afara domeniului TE.
- - Concept Concept mprumutat mprumutat i metodelor i metodelor
din afara domeniului din afara domeniului TE TE. .
i i atunci atunci?... ?...
19/22
171
171
O O. .O O Metode Metode de de estimare estimare statistic statistic
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda lui Bayes (MB) []
Metoda Metoda lui lui Bayes Bayes ( (MB MB) [ ) [ ] ]

Aceasta Aceasta este este una una dintre dintre tehnicile cele mai cunoscute de tehnicile cele mai cunoscute de predic predic ie a valorilor unei variabile aleatoare ie a valorilor unei variabile aleatoare, ,
folosind diferite distribu folosind diferite distribu ii de probabilitate asociate acesteia ii de probabilitate asociate acesteia i istoria valorilor sale i istoria valorilor sale. .

n n cadrul cadrul IS IS, , variabila variabila aleatoare aleatoare ce ce trebuie trebuie predictat predictat este este vectorul vectorul parametrilor parametrilor necunoscu necunoscu i i. .
( )
p
D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului
(necondi (necondi ionat de ionat de setul setul de date de date msurate msurate) ). .

Densit Densit i i de de probabilitate probabilitate asociate asociate: :

( )
| D p

D Densitatea de probabilitate a ob ensitatea de probabilitate a ob inerii setului de date inerii setului de date D D, condi , condi ionat de vectorul ionat de vectorul
(adi (adic prin simularea folosind modelul de identificare cu vectorul p c prin simularea folosind modelul de identificare cu vectorul parametrilor) arametrilor). .
( )
| D p

D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului , condi , condi ionat de setul de date ionat de setul de date D D
(adi (adic estimat plec c estimat plec nd de la setul de date nd de la setul de date msurate msurate) ). .
( )
, D p
D Densitatea de probabilitate a apari ensitatea de probabilitate a apari iei vectorului iei vectorului i ob i ob inerii setului de date inerii setului de date D D
n acela n acela i experiment de identificare. i experiment de identificare.
( )
D p
D Densitatea de probabilitate a ob ensitatea de probabilitate a ob inerii setului de date inerii setului de date D D
(necondi (necondi ionat de vectorul parametrilor ionat de vectorul parametrilor) ). .
Problema lui
Bayes
Problema Problema lui lui
Bayes Bayes
( )

( ) argmax |
n

=

R S
D D p
- Se caut acel vector de parametri care are probabilitatea
maxim de a fi estimat plecnd de la setul de date msurate.
- - Se Se caut caut acel acel vector de vector de parametri parametri care are care are probabilitatea probabilitatea
maxim maxim de a de a fi fi estimat estimat plec plec nd nd de la de la setul setul de date de date msurate msurate. .
20/22
( )
( ) ( )
( )
( ) ( )
|

( ) argmax | argmax argmax |

n n n

= = =



R R R S S S
D
D D D
D
p p
p p
p
p
172
172
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda lui Bayes []
Metoda Metoda lui lui Bayes Bayes [ [ ] ]

Se Se poate poate arta arta ( (de de i i dificil dificil) ) c c, , n n anumite anumite condi condi ii ii, , maximizarea maximizarea probabilit probabilit ii ii din din cadrul cadrul problemei problemei
lui lui Bayes Bayes conduce la conduce la minimizarea minimizarea matricii matricii de auto de auto- -covarian covarian a a erorii erorii de de estimare estimare. .
Cum Cum poate poate fi fi rezolvat rezolvat problema problema lui lui Bayes Bayes? ?
Folosind o proprietate elementar de Teoria Probabilitilor.
Folosind Folosind o o proprietate proprietate elementar elementar de de Teoria Teoria Probabilit Probabilit ilor ilor. .
( ) ( ) ( ) ( ) ( )
, | | = = D D D D p p p p p
- Probabilitatea de a obine setul msurat de date nu
depinde de parametrii care urmeaz a fi estimai.
- - Probabilitatea Probabilitatea de a de a ob ob ine ine setul setul msurat msurat de date de date nu nu
depinde depinde de de parametrii parametrii care care urmeaz urmeaz a a fi fi estima estima i i. .
Noua problem se poate rezolva
practic dup o strategie recursiv.
Noua Noua problem problem se se poate poate rezolva rezolva
practic practic dup dup o o strategie strategie recursiv recursiv. .

Dac Dac ambele ambele densit densit i i de de probabilitate probabilitate din din produsul produsul ce ce trebuie trebuie maximizat maximizat sunt sunt cunoscute cunoscute, ,
se se poate poate utiliza utiliza o o tehnic tehnic de de optimizare optimizare (de (de exemplu exemplu, de , de tipul tipul MNR MNR). ).
Cunoaterea Cunoaterea acestora acestora este este ns ns dificil dificil, , dac dac nu nu imposibil imposibil. .
Este Este totui totui posibil posibil cunoaterea cunoaterea densit densitilor ilor de de probabilitate probabilitate: :
( )
| D p
( )
D p & &
Proprietatea de Teoria Probabilitilor poate fi utilizat i
pentru a estima recursiv p(), plecnd de de la o iniializare.
Proprietatea Proprietatea de de Teoria Teoria Probabilit Probabilit ilor ilor poate poate fi fi utilizat utilizat i i
pentru pentru a a estima estima recursiv recursiv
p
p( ( ) ), , plec plec nd nd de de de de la o la o ini ini ializare ializare. .
O O. .O O Metode Metode de de estimare estimare statistic statistic
21/22
173
173
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Algoritmul lui Bayes
Algoritmul Algoritmul lui lui Bayes Bayes
Iniializare
Ini Ini ializare ializare
( )
0
p
Date de intrare
Date de Date de intrare intrare
uniform uniform, , dac dac nu nu se se poate poate stabili stabili altfel altfel
( )
D p
( (expresile expresile densit densit ilor ilor de de probabilitate probabilitate) )
0 > ( (prag prag de de precizie precizie) )
Bucl iterativ
Bucl Bucl iterativ iterativ
C Se reactualizeaz densitatea de probabilitate a parametrilor necunoscui:
C C Se Se reactualizeaz reactualizeaz densitatea densitatea de de probabilitate probabilitate a a parametrilor parametrilor necunoscu necunoscu i i: :
( ) ( )
( ) ( )
( )
1 1
|
|
def
k
k k + +
= =


D
D
D
p p
p p
p
Date de ieire
Date de Date de ie ie ire ire
1

k +

1 k +
aproxima aproxima ia ia de de precizie precizie
numrul numrul de de
itera itera ii ii efectuate efectuate
C Se evalueaz punctul de maxim:
C C Se Se evalueaz evalueaz punctul punctul de maxim: de maxim: ( )
1 1

argmax |
n
k k

+ +

=

R S
D p
1,
{( [ ], [ ])}
n N
u n y n

= D
(date (date intrare intrare- -ie ie ire ire msurate msurate) )
1

k k +
<
1 k k +
DA DA NU NU
( )
| D p , ,
( )
0
p const.
- Eventual, folosind o
tehnic de optimizare.
- - Eventual, Eventual, folosind folosind o o
tehnic tehnic de de optimizare optimizare. .
0

ales ales arbitrar arbitrar n n domeniul domeniul de de varia varia ie ie

indicele indicele iterativ iterativ ini ini ial ial
0 k =
Vectorul parametrilor trebuie s fie din ce n
ce mai bine adaptat la datele achiziionate.
V Vectorul ectorul parametrilor parametrilor trebuie s fie din ce trebuie s fie din ce n n
ce mai bine adaptat la datele achizi ce mai bine adaptat la datele achizi ionate. ionate.
O O. .O O Metode Metode de de estimare estimare statistic statistic
Metoda lui Bayes []
Metoda Metoda lui lui Bayes Bayes [ [ ] ]
22/22
174
174
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare

( ) ( )
( ) ( )
( )
1 1
|
|
def
k
k k + +
= =


D
D
D
p p
p p
p
k

N
Pe msur ce procesul iterativ avanseaz,
corelaia dintre parametrii estimai i datele
msurate trebuie s devin tot mai puternic.
Pe msur ce procesul iterativ avanseaz Pe msur ce procesul iterativ avanseaz, ,
corela corela ia dintre parametrii estima ia dintre parametrii estima i i i datele i datele
msurate msurate trebuie s devin tot mai puternic trebuie s devin tot mai puternic. .
Apariia necondiionat a parametrilor este tot
mai puin probabil, ei fiind din ce n ce mai
puternic condiionai de datele msurate.
A Apari pari ia necondi ia necondi ionat a parametrilor este tot ionat a parametrilor este tot
mai pu mai pu in probabil in probabil, ei fiind din ce , ei fiind din ce n ce n ce mai mai
puternic condi puternic condi iona iona i de datele msurate i de datele msurate. .
- n acelai timp, densitatea de
probabilitate se grupeaz tot mai
mult n jurul unei valori maxime.
- - n n acela acela i i timp timp, , densitatea de densitatea de
probabilitate se grupeaz tot mai probabilitate se grupeaz tot mai
mult mult n jurul unei valori maxime n jurul unei valori maxime. .
0 0

1 1
^ ^

2 2
^ ^

k k
^ ^

k k+1 +1
^ ^
( )
| D p
( )
0
p
( )
1
| D p
( )
2
| D p
( )
|
k
D p
( )
1
|
k +
D p
( ) ( ) ( ) ( )
1 1
| |
def
k k k + +
= = D D p p p p

D Densitatea de probabilitate a datelor achizi ensitatea de probabilitate a datelor achizi ionate ionate
nu depinde de valorile parametrilor necunoscu nu depinde de valorile parametrilor necunoscu i i, ,
astfel astfel c c rela rela ia ia recursiv recursiv se se poate poate simplifica simplifica: :
k

N

Se poate arta c Se poate arta c acest acest proces iterativ este proces iterativ este convergent convergent
ctre ctre solu solu ia problemei ia problemei lui lui Bayes Bayes. .
Algoritmul Algoritmul lui lui Bayes Bayes necesit necesit cunoaterea cunoaterea prealabil prealabil cel cel puin puin a a d densit ensit ii ii de probabilitate a de probabilitate a
setului de date setului de date D D, condi , condi ionat ionate e de vectorul de vectorul , , lucru lucru care care s s- -ar ar putea putea dovedi dovedi dificil dificil. .
Viteza Viteza de de convergen convergen a a algoritmului algoritmului este este n n general general sczut sczut, , dac dac se se pleac pleac de la o de la o
iniializare iniializare uniform uniform. .
Cu Cu toate toate acestea acestea, , algoritmul algoritmul lui lui Bayes Bayes este este unul unul dintre dintre puinii puinii
algoritmi algoritmi implementabili implementabili din din cadrul cadrul TE TE. .
O O. .O O Metode Metode de de estimare estimare statistic statistic
Metoda lui Bayes []
Metoda Metoda lui lui Bayes Bayes [ [ ] ]