 Metode de identificare şi validare

1/17

. Exerciţii rezolvate

Exerciţiul 5.4

a. Reluaţi exerciţiul precedent pentru un vector al instrumentelor de tip

parţial filtrat, unde filtrul aplicat intrării este determinat de estimaţiile
coeficienţilor evaluate cu MCMMP.
Studiaţi consistenţa estimaţiilor în cazul în care MCMMP oferă chiar
valorile adevărate ale parametrilor.
Specificaţi un ansamblu suficient (dar natural) de condiţii de
consistenţă în acest caz.
b. Arătaţi că estimaţiile oferite de MVI pentru vectorul instrumentelor de
tip parţial filtrat şi pentru cel de tip total filtrat dar avînd q+1uf în loc de
uf sunt identice.
Care credeţi că este semnificaţia acestui rezultat interesant?
Cum poate fi el exploatat?
Indicaþie
Identitatea a 2 estimaţii oferite de MVI se poate arăta pe 2 căi. Prima cale, mai
laborioasă (şi mai puţin elegantă), presupune calculul efectiv al estimaţiilor. A doua
cale, mai elegantă, se bazează pe o proprietate interesantă a estimaţiei MVI: invarianţa
la transformări liniare ale vectorului instrumentelor. Încercaţi să demonstraţi această
proprietate şi apoi găsiţi transformarea liniară dintre cei 2 vectori ai instrumentelor din
cadrul exerciţiului.
166
  Metode de identificare şi validare
2/17

. Exerciţii rezolvate

Soluţie (Exerciţiul 5.4)

167
  Metode de identificare şi validare
3/17

. Exerciţii rezolvate

Soluţie (Exerciţiul 5.4)

168
  Metode de identificare şi validare
4/17

. Exerciţii rezolvate

Soluţie (Exerciţiul 5.4)

169
  Metode de identificare şi validare
5/17

. Exerciţii rezolvate

Soluţie (Exerciţiul 5.4)

170
  Metode de identificare şi validare
6/17

. Exerciţii rezolvate

Soluţie (Exerciţiul 5.4)

171
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
• Modelele din clasa ARMAX pot fi identificate şi cu ajutorul altor metode decît MCMMP şi MVI.
• Cu cît modelul este mai complex, cu atît metoda utilizată este mai laborioasă.
• O parte dintre metodele utilizate în acest scop se bazează atît pe revizuirea/adaptarea MCMMP,
cît şi pe algoritmi care folosesc Tehnici de Optimizare.

Proceduri recursive cu ajutorul cărora un punct de optim (maxim sau minim) al unei funcţii
criteriu este aproximat printr-un proces iterativ exprimat de o ecuaţie cu reactualizare aditivă.

Cum poate fi cuantificată precizia aproximaţiei?

θ k 1  θ k  Δ k
 k N
Folosind norma Euclidiană. valori succesive corecţie (aditivă)
ale aproximaţiei
Aproximaţia următoare este mai precisă (vector sau scalar)  Se pleacă de la o
decît aproximaţia curentă dacă: iniţializare.
θ0
θk 1  θ  θ k  θ
 Pentru a stopa procesul iterativ,
Exemplu Necunoscut ! trebuie utilizată o inegalitate în
punct de optim
  104 care punctul de optim să nu
apară explicit.
 k &  k 1 Test practic Test  Neimplementabil.
(scalari) de stop ideal de
stop prag minimal de precizie
coincid pînă la a patra
zecimală inclusiv θk 1  θk  Δk   θ k  θ   172
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor

Obiectiv Determinarea expresiei generale a corecţiei în funcţie de criteriul de optimizare. V

Metoda Newton-Raphson (MNR)
Metodă aplicabilă în cazul funcţiilor criteriu derivabile de cel puţin 2 ori.
T
 V
def
V V 
Gradientul V ( θ )   (θ ) (θ ) (θ)   R n
V funcţie care trebuie  1 2 n 
să fie derivabilă  Vector coloană.

Matricea def   2V 
Hessiană
V (θ )  (V )(θ )   (θ )   R nn
funcţie care trebuie
 i  j  i , j1,n
să fie continuă Jacobianul  Matrice simetrică.
V Exemplu gradientului
V Principiul metodei
V
V (k) • În jurul punctului de optim, prima derivată (sau norma sa) este
aproximativ nulă, iar derivata a doua este strict pozitiv/negativ definită.
• Se construieşte parabola (paraboloidul) care trece prin punctul curent
0 k *  (k,V(k)) şi are aceeaşi tangentă şi derivată secundă ca funcţia criteriu.
k+1 • Punctul de minim/maxim al parabolei este k+1. 173
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
Trebuie construit paraboloidul care verifică 3 proprietăţi de coincidenţă cu funcţia criteriu Vk
în punctul curent.

Cum poate fi construit?

Vk (θ k )  V (θ k ) Vk (θ k )  V (θ k ) Vk (θ k )  V (θ k )
Ar trebui exploatată
proprietatea funcţiei criteriu (derivata 0) (derivata 1) (derivata 2)
de a fi de 2 ori derivabilă. Dezvoltare în serie Taylor pînă la ordinul 2

Paraboloidul 1
Vk (θ)  V (θk )  V (θk ) (θ  θk )  (θ  θk )T V (θ k ) (θ  θk )
T

Taylor 2  θ  R n
Exerciţiu • Arătaţi că paraboloidul Taylor verifică cele 3 proprietăţi de coincidenţă.
Pentru a determina punctul de optim al paraboloidului Taylor, se va anula gradientul acestuia.

Reguli de (rT θ)  r 1
θk 1  θk  V (θ k ) V (θk )
derivare (θT Rθ)   R  RT  θ  k N
Δ k
 Matricea Hessiană este
simetrică şi inversabilă Vk (θ)  V (θ k )  V (θ k )(θ  θ k )  0
în vecinătatea optimului. 174
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
def Termenul corector are semn opus gradientului,
1
Δ k   V (θ k ) V (θ k ) doarece matricea Hessiană este strict
pozitiv/negativ definită.
 k N
 minus
• Ce semnificaţie are acest rezultat?

V Exemplu  Semnul primei derivate obligă aproximaţia curentă

V să se deplaseze către optimul criteriului.
V  Aproximaţia curentă fiind inferioară optimului, iar
V (k) derivata fiind negativă, corecţia se adaugă
aproximaţiei pentru a se apropia mai mult de optim.
 Dacă este adăugată o cantitate prea V
0 mare, se ajunge în zona de derivată V V
k *
k+1 pozitivă şi următorul factor de V (k)
corecţie se va scădea din aproximaţia
curentă, superioară optimului.
 Convergenţa la punctul de optim poate fi realizată fie printr-un
şir monoton de aproximaţii, fie prin intermediul unuia oscilant. 0 * k
k+1
1
• Eficienţa se măsoară prin
Testul Δ k  V (θ k ) V (θ k )   numărul de iteraţii necesar
de verificării testului de stop.
stop 175
 În vecinătatea optimului, norma gradientului este aproximativ nulă.
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
Algoritmul Newton-Raphson cu pas constant
V : R n  R (funcţie criteriu, de 2 ori derivabilă)
Date de intrare
  0 (prag de precizie)
θ0  Rn  ales fie arbitrar, fie cu ajutorul unui algoritm specific
V (θ0 )  gradientul iniţial
Iniţializare
V (θ k )  matricea Hessiană iniţială Pas constant?
k 0  indicele iterativ iniţial
Concept definit
Buclă iterativă în continuare.
1
 Cît timp V (θ k ) V (θ k )  
1
 Se reactualizează aproximaţia optimului θk 1  θk  V (θ k ) V (θk )

 Se reactualizează gradientul şi matricea Hessiană V (θ k )  V (θ k 1 )

k  k 1 V (θ k )  V (θ k 1 )
 Se trece la pasul următor
θk  aproximaţia de precizie 
Date de ieşire
k  numărul de iteraţii pentru atingerea preciziei dorite

 Algoritmul este sensibil la iniţializare, în sensul că, în general,

176
va converge către optimul cel mai apropiat de aceasta.
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
 Utilizarea MNR (cu pas constant) este deficitară în următoarele cazuri principale:
 Funcţia criteriu are o regularitate slabă în vecinătatea optimului vizat
(adică prezintă oscilaţii mari în acea vecinătate).
 Funcţia criteriu este afectată de zgomote importante în vecinătatea optimului vizat.
 Optimul vizat al funcţiei criteriu este situat pe un platou.
• De regulă, în primele 2 cazuri, se renunţă la MNR şi se adoptă o strategie evoluţionistă.
• În ultimul caz, MNR conduce la un număr imens de iteraţii, din cauza faptului că, pe platou,
atît norma gradientului cît şi spectrul matricii Hessiene sunt aproximativ nule.
 Corecţia este imprecis determinată, în special din cauza problemelor
de natură numerică induse de inversarea matricii Hessiene.
Ce se poate face? Termenul corector poate fi ajustat adaptiv cu un scalar, astfel încît viteza de
convergenţă să crească prin efectuarea unui salt peste platou.
1 1
θk 1  θk  V (θ k ) V (θk ) θk 1  θk  k V (θ k ) V (θk )
 k N pas variabil  k N
1 pas constant
Prin utilizarea MNR cu pas constant pentru optimizarea unei
Cum poate fi reactualizat funcţii criteriu scalare adaptive.

 
pasul variabil? def
1
Fk (  )  V θ k   V (θ k ) V (θ k ) 177
 R
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
Algoritmul Newton-Raphson cu pas variabil
V : R n  R (funcţie criteriu, de 2 ori derivabilă)
Date de intrare
  0 (prag de precizie)
θ0  Rn , 0 R  alese fie arbitrar, fie cu ajutorul unui algoritm specific
V (θ0 )  gradientul iniţial
Iniţializare Exerciţiu Justificaţi acest algoritm în
V (θ k )  matricea Hessiană iniţială manieră riguroasă.
k 0  indicele iterativ iniţial
•
Buclă iterativă  Se vor utiliza regulile cunoscute de derivare
1
 Cît timp  k  V (θ k ) V (θ k )   pentru reactualizarea pasului variabil.
1
 Se reactualizează aproximaţia optimului θk 1  θk  k V (θ k ) V (θk )
V  θ k 1   V (θ k ) V  θ k 
T 1

 Se reactualizează pasul variabil k 1  k 

V  θ k   V (θ k ) V (θ k 1 ) V (θ k ) V  θ k 
T 1 1

 Se reactualizează gradientul şi matricea Hessiană V (θ k )  V (θ k 1 )

k  k 1 V (θ k )  V (θ k 1 )
 Se trece la pasul următor
θk  aproximaţia de precizie 
Date de ieşire 178
k  numărul de iteraţii pentru atingerea preciziei dorite
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Newton-Raphson (continuare)
• MNR poate fi utilizată şi pentru a rezolva unele ecuaţii transcendente sau în aproximarea unor
numere transcendente cum ar fi , e, ln 2 , etc.

Exemplu tg ( x)  1 x
4
• Aproximarea numărului /4 se poate realiza plecînd
de la funcţia criteriu a cărei primă derivată este: f ( x)  tg ( x)  1
• Este evident că anularea derivatei conduce la optimizarea funcţiei:f ( x)   ln(cos( x))  x  C
Exerciţiu • Folosind exemplul anterior, determinaţi numărul  cu 7 zecimale exacte.
• Pentru a diminua complexitatea metodei, se poate renunţa la a doua derivată.
Metoda gradientului (M) (Cauchy)
V Exemplu
V • De această dată, aproximaţia următoare se determină prin
intersectarea tangentei (hiperplanului tangent) care trece prin
V (k) punctul curent (k,V(k)) cu axa orizontală (hiperplanul principal).
V (θ k )  V (θ k ) Exerciţiu
2

θ k 1  θ k  V (θ k ) θ k 1  θ k   k V (θ k )
0 k *   k N
k+1 M cu pas constant
   
T
k 1  k  V θk 1  V θk
 M este utilizată atunci cînd derivata a doua fie nu există,
M cu pas variabil  k N
fie nu se poate evalua.
 Viteza de convergenţă a M este însă modestă chiar şi în cazul pasului variabil. 179
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Gauss-Newton (MGN)
N
V (θ)   2 [ n, θ]
Metodă aplicabilă în cazul funcţiilor criteriu de tip pătratic
(cum sunt şi cele din IS).
n 1

• Dacă funcţia criteriu este de 2 ori derivabilă, MNR poate fi adaptată reziduu
astfel încît să se evite evaluarea matricii Hessiene.
Există 2 abordări

Aproximarea
Aproximarea matricii
matricii Hessiene
Hessiene Liniarizarea reziduurilor
N Exerciţiu
N V (θ)  2 [ n, θ][ n, θ]
 θ  R n
V (θ)    [ n, θ]
2
n 1
n 1 N N
V (θ)  2 [ n, θ][ n, θ]  2 [ n, θ] [ n, θ]
T

n 1 n 1  θ  R n
termen principal termen parazit
• Dacă se efectuează un număr suficient de mare de iteraţii, reziduurile deponderează puternic
matricea Hessiană a acestora în termenul parazit.
 În vecinătatea optimului,
N reziduul are valori neglijabile.
V (θ)  2 [ n, θ][ n, θ]
T

n 1
 θ  R n 180
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Metoda Gauss-Newton (final)
N
MNR V (θ)  2 [ n, θ][ n, θ]
n 1
1  θ  R n
θk 1  θk  k V (θ k ) V (θk )
N
V (θ)   2 [ n, θ]
n 1
 k N N
V (θ)  2 [ n, θ][ n, θ]
T

n 1
 θ  R n

1
N T 
N

θ k 1  θ k  k  [ n, θ k ][ n, θ k ]    [ n, θ k ][ n, θ k ]
 n 1   n 1 
 k N
 Deşi matricea Hessiană a criteriului pătratic nu a fost înlăturată din expresia
iterativă principală, în calculul acesteia nu intervine decît gradientul reziduurilor.

Exerciţiu
• A doua abordare se bazează pe liniarizarea reziduurilor, adică pe aproximarea reziduurilor
prin dezvoltarea acestora în serie Taylor de ordin I.
[n, θ]  [n, θk ]  [n, θk ] (θ  θk )
T

• Să se arate că ecuaţia iterativă a MGN obţinută

din MNR prin liniarizarea reziduurilor,  n 1, N  θ  R n 181
coincide cu cea din abordarea anterioară.
  Metode de identificare şi validare
. Metode bazate pe optimizarea parametrilor
Caracteristici ale tehnicilor de optimizare în IS
• Majoritatea covîrşitoare a metodelor de optimizare nu pot garanta că optimul aproximat este cel global,
ci, eventual cel mai apropiat de iniţializarea procesului iterativ.
• Metodele de optimizare funcţionează numai pentru funcţiile criteriu cărora li se poate evalua
gradientul (prima derivată) şi, eventual, matricea Hessiană (derivata a doua).
 În multe aplicaţii, această exigenţă este imposibil de satisfăcut.
• Pentru a asigura eficienţa algoritmilor bazaţi pe TO, este de dorit ca funcţiile criteriu să fie cît mai
netede, cu oscilaţii puţine în jurul optimului vizat şi fără paliere.
 Din cauza perturbaţiilor care corup datele măsurate, funcţiile criteriu
din cadrul IS sunt în general extrem de neregulate.
Tehnicile de optimizare ca MNR sau MGN sunt utilizate în IS mai mult ca
instrumente auxiliare integrate în alte metode mai precise.
• Parametrii care pot fi identificaţi cu ajutorul tehnicilor de optimizare au, de regulă, precizii diferite.
Exemplu n  2 • Aproximaţia de ordin k+1 se obţine din aproximaţia
de ordin k prin contribuţia a două componente de
2 V corecţie diferite: una mai mare şi alta mai mică.
 2,k

 2,k+1  2* • Parametrul 1 este mai puţin sensibil (identificabil)

decît parametrul 2.
 2,k
 1,k
• Un nou test de stop poate asigura precizia minimă a
suprafeţe de
fiecărei componente (cu scăderea vitezei de convergenţă):

0 izo-nivel  * 1 max i ,k 1  i ,k  182
1
 1,k+1  1,k i1, n n