IS

Universitatea “Politehnica” din Bucureşti
Facultatea de Automaticã & Calculatoare
Identificarea Sistemelor
• Note de curs -2010 •
Janetta Culiță
 Privire de ansamblu
Obiectul
Obiectulde
destudiu
studiualaldomeniului
domeniului Modelarea
Modelarea proceselor/sistemelor
proceselor/sistemelor dinamice
dinamice
Identific ării Sistemelor folosind
folosind date
date experimentale achiziţionate în
experimentale achiziţionate în
Identificării Sistemelor ((IS)
IS)
cursul
cursul exploatării
exploatării acestora.
acestora.
Construcţia
Construcţia şişi determinarea
determinarea unui
unui model
model matematic
matematic asociat
asociat unei
unei entităţi
entităţi
Modelare evolutive/dinamice
evolutive/dinamice cu cu structură
structură necunoscută.
necunoscută.
Intrare Cutie
Cutie Ieş
Ieşire
elaţie matematic
RRelaţie matematică ă abstract
abstractăă care
care descrie
descrie cucu oo
(stimul)
stimul) neagr
neagrăă (reacţ
reacţie)
ie)
anumit
anumităă acurate ţe caracteristicile
acurateţe caracteristicile şşi/sau
i/sau
dinamica/func ţionarea unei
dinamica/funcţionarea unei entit ăţi ((cutii
entităţi cutii negre
negre).).
intrare
ieşire
Date
Date
de
de
Model
Model de
de identificare
identificare
Model
Model matematic
matematic
Practic, entitatea este văzută ca o cutie neagră capabilă să ofere informaţii despre
• mecanismele care determină evoluţia/dinamica acesteia, dacă este stimulată corespunzător.
• Acesta reflectă relaţia dintre intrarea care stimulează entitate (de regulă un proces sau un sistem)
şi ieşirea care codifică reacţia corespunzătoare a acelei entităţi.
• Construcţia modelelor de identificare se bazează pe datele experimentale furnizate de către cutia neagră.
1
 simulare, în vederea evidenţierii caracteristicilor
principale şi/sau a comportamentului în diverse situaţii
 recunoaştere de forme
Aplica ţii uzuale
Aplicaţii uzuale de
de identificare
identificare  prelucrări de semnale
 predicţie/prognoză
 diagnoză de defecte
 proiectare de sisteme automate de conducere sau reglare
IS
IS este
este un
un domeniu
domeniu cu
cu deschidere
deschidere ccătre
ătre abord ări interdisciplinare
abordări interdisciplinare
Obiectivul
Obiectivul cursului
cursului
Tipuri
Tipuri de
de identificare
identificare
Identificare analitică Identificare experimentală

D eterminarea parametrilor
Determinarea parametrilor fizici
fizici D eterminarea unor
Determinarea unor parametri
parametri ffără
ă ră
Obiectiv ai proces elor. Obiectiv semnifica ţii fizice,
ai proceselor. semnificaţii fizice, care
care descri
descriuu
comportamentul
comportamentul procesului
procesului îîn
n jurul
• Se utilizează legile fizico-chimice de la unui
jurul
ţionare.
baza dinamicii proceselor (ecuaţii de unui anumit
anumit punct
punct de
de func
funcţionare.
bilanţ de masă/energie, ecuaţii de
echilibru static şi/sau dinamic, etc.) . Model
Model
Model
Model experimental
experimental
analitic
analitic 2
Caracteristici
Caracteristici ale
ale modelelor
modelelor de
de identificare
identificare experimentală
experimentală
generalitate şi validitate limitată la anumite clase de procese, semnale de stimul

sau la anumite puncte de funcţionare ale aceluiaşi proces;
 interpretare fizică dificilă;
• în majoritatea cazurilor, parametrii nu au semnificaţii fizice clare;
• parametrii sunt utilizaţi ca instrumente menite să uşureze descrierea funcţionării pocesului;
determinarea lor este adesea realizabilă prin metode algoritmice,

 ceea ce le conferă eficien ţă şi simplitate.
3
Coordonatele
Coordonatele domeniului
domeniului IS
IS
Metode
Metode de
de identificare
identificare
Bazate pe Teoria Optimizărilor (TO) Bazate pe Teoria Estimaţiei (TE)
fundamentală
Coordonata
 Se pot finaliza prin algoritmi implementabili  Au caracter mai mult teoretic, fiind
pe un mijloc automat de calcul. rareori implementabile pe un mijloc
automat de calcul.
 Permit analiza convergenţei.
 Nu permit analiza convergenţei.
 Nu permit analiza consistenţei
(convergenţei statistice).  Permit analiza consistenţei
(convergenţei statistice).
IS
• Metoda principală:
Metoda Celor Mai Mici Pătrate
(MCMMP). Semnale
Semnale de destimul
stimul
• Conceptul central:
persistenţa.
Modele
Modele (matematice)
(matematice)de
deidentificare
identificare • Semnalul ideal:
Neparametrice zgomotul alb.
Parametrice • Semnalul practic:
• Descrieri calitative (analize) • Conceptul central: parametrul. pseudo-aleator
preliminare ale proceselor.
• Date statistice referitoare la • Organizate în clase (ARMAX, (binar).
RSISO, cu reprezentare pe stare, etc.).
evoluţia/dinamica proceselor .
4
• 4 tipuri de analize (în timp şi în frecvenţă).
Problematica
Problematica generală
generală în
în IS
IS
Obiectivul
Plecînd
Plecînd de
de la
la un
un proces stocastic P
proces stocastic P cu structură şişi comportament
cu structură comportament
principal necunoscute,
necunoscute, sese urmăreşte construcţia şişi determinarea
urmăreşte construcţia determinarea unui
unui model
model
matematic M
matematic M,, care
care să
să fie
fie adecvat
adecvat procesului
procesului într-un
într-un sens
sens bine
bine definit.
definit.
Categorii
Categorii de
de criterii
criterii de
de adecvan ţă
adecvanţă
Criterii empirice Criterii de optimizare Criterii de estimare
• Se bazează pe unele noţiuni Caracteristice

elementare de Statistică şi sunt Caracteristice modelelor
modelelor de
de identificare
identificare parametrice
parametrice
folosite mai mult pentru descrierea • Modelul de identificare este descris de un anumit număr
modelelor neparametrice. de parametri necunoscuţi, care trebuie determinaţi.
• Modele neparametrice servesc la  Nu numai valorile parametrilor nu se cunosc,
descrierea calitativă, de cele mai ci şi numărul lor.
multe ori grosieră, imprecisă, a
proceselor.
θ n
Procesul funcţionează ca un model matematic cu

parametri adevăraţi, necunoscuţi, cu valori
deterministe (eventual variabile în timp), al căror
 
vector este notat cu θ şi are dimensiunea n .
5
Problematica
Problematica general
generalăă îîn
n IS
IS ((continuare)
continuare)
Formularea
Formularea problemei
problemei din
din perspectiva
perspectiva Teoriei
Teoriei Optimizărilor
Optimizărilor (TO)
(TO)
P ((
**)) y [n]
u [n]  [n,]
U Y +
- V (()
)
yM [n,]
M (()
) def
[ n, θ]  y[ n]  yM [ n, θ]
Optimizare
• Atît procesul cît şi modelul sunt stimulate cu aceeaşi intrare,

U  {u[ n]}n 1, N dimensiunea
care constituie colecţia de date de intrare măsurate.
orizontului de măsură
• Procesul oferă datele (de ieşire) măsurate. Y  { y[ n]}n 1, N
(depind de vectorul parametrilor
• Modelul matematic oferă datele simulate. Y  { y [n, θ]}
M M n 1, N
determinaţi din datele măsurate)
• Pentru acelaşi set de date măsurate la intrare şi la ieşire, se poate obţine o colecţie de vectori ai
parametrilor necunoscuţi (atît ca valori, cît şi ca dimensiuni), deci şi de seturi de date simulate.
• Diferenţa dintre datele măsurate şi cele simulate constituie erorile dintre proces şi model.
• Ansamblul erorilor este folosit pentru a defini criteriul de adecvanţă care trebuie 6
optimizat în vederea determinării parametrilor necunoscuţi.
Problematica
generală în
în IS
IS (continuare)
(continuare)
Formularea
problemei din
din perspectiva
perspectiva Teoriei
Teoriei Optimizărilor
Optimizărilor (TO)-continuare
(TO)-continuare
• Pentru rezolvarea acestei probleme se adoptă o strategie iterativă.
Numărul
Numărul dede parametri
parametri ai
ai modelului
modelului este
este mărit
mărit treptat,
treptat, începînd
începînd
cu
cu valorile
valorile minimale,
minimale, pînă
pînă la
la oo valoare
valoare maximală
maximală prestabilită.
prestabilită.
• Eficienţa şi complexitatea operaţiei de optimizare depinde sensibil de

maniera în care a fost definit criteriul de adecvanţă V (θ )
• Valoarea criteriului de adecvanţă evaluată pentru un anumit model de identificare
este adesea interpretată ca un indicator al preciziei modelului.
În
În acest
acest context,
context, criteriul
criteriul de
de adecvanţă
adecvanţă este
este un
un criteriu
criteriu de
de optimizare
optimizare
((parametrică).
parametrică).
Criterii
Criterii uzuale
uzuale de
de optimizare
optimizare parametrică,
parametrică, bazate
bazate pe
pe eroarea
eroarea totală
totală dintre
dintre proces
proces şi
şi model
model
def N  Natural.
Criteriul robust: V (θ)   [ n, θ]
n 1  Nederivabil peste tot.
def N  Derivabil, dacă eroarea este derivabilă.
Criteriul patratic V (θ )    [ n, θ]
2
n 1  Mai puţin natural.

7
Problematica
generală în
în IS
IS (continuare)
(continuare)
Formularea
problemei din
din perspectiva
perspectiva Teoriei
Teoriei Optimizărilor ((continuare)
Optimizărilor continuare)
Formularea
problemei în
în termeni
termeni matematici
matematici
θˆ N  argmin V (θ )
θS  n
De regulă, rezolvarea acestei probleme θˆ N valoarea optim(al)ă a vectorului

trebuie să conducă la o eroare globală parametrilor necunoscuţi
• minimă (între proces şi model). S domeniul de stabilitate al modelului
• Pentru rezolvarea ei, se apelează frecvent la metode de optimizare bazate pe

tehnica gradienţilor.
Tehnica de rezolvare depinde esenţial de maniera în care eroarea dintre proces şi
• model depinde de vectorul parametrilor necunoscuţi.
Tehnicile
Tehnicile dede optimizare
optimizare sunt
sunt de
de regulă
regulă
Tehnici neconvenţionale pot fi
iterative,
iterative, calitatea
calitatea lor
lor fiind
fiind analizată
analizată după
după 33
de asemenea utilizate.
caracteristici:
caracteristici:
 Tehnici de Inteligenţă Artificială  complexitate;
 complexitate;
(ascensiune montană, călire simulată, etc.).  convergenţă;
 convergenţă;
 Strategii evoluţioniste (algoritmi genetici).  viteză
 viteză de
de convergenţă.
convergenţă.
8
Problematica
generală în
în IS
IS (continuare)
(continuare)
Formularea
problemei din
din perspectiva
perspectiva Teoriei
Teoriei Estimaţiei
Estimaţiei (TE)
(TE) ansamblu de tehnici pentru
determinarea parametrilor
• Deoarece datele furnizate de proces au un caracter stocastic, acesta necunoscuţi folosind
se transferă şi parametrilor determinaţi, care se mai numesc în acest concepte statistice
context şi parametri estimaţi.
• Metoda prin care se produc estimaţii ale parametrilor necunoscuţi se mai numeşte şi estimator.
• Problema de identificare este similară celei din perspectiva TO:
P ((
**)) y [n]
u [n]
U Y P(()
)
yM [n,]
M (()
)
Minimizare
P(θ)  matricea de auto-covarianţă a erorii de estimare

operatorul de mediere statistică def  
(speranţa matematică) P(θ )  E{(θ  θ )(θ  θ )T }   nn
produsul exterior 9
Problematica
generală în
în IS
IS (continuare)
(continuare)
Formularea
problemei din
din perspectiva
perspectiva Teoriei
Teoriei Estimaţiei
Estimaţiei (continuare)
(continuare)
Formularea
problemei în
în termeni
termeni matematici
matematici θˆ N  argm in P ( θ )
θ S   n
Minimizarea unei matrici?
θˆ N valoarea estimată a vectorului
P1  P2  P2  P1  0 În sensul proprietăţii de parametrilor necunoscuţi
În sensul proprietăţii de
pozitiv
pozitiv semi -definire.
semi-definire.
Deoarece criteriul matricial abordează direct parametrii adevăraţi

• (care sunt necunoscuţi), aparent, el este imposibil de evaluat.
Cu toate acestea, pentru anumiţi estimatori, criteriul matricial poate fi
• determinat, chiar dacă parametrii adevăraţi nu sunt cunoscuţi.
Calitatea
Calitatea unui
unui estimator
estimator poatre
poatre fifi analizat
analizatăă îîn
n
raport
raport cu
cu 33 caracteristici
caracteristici::
Soluţia
Soluţia problemei
problemei  Adesea implementabilă  complexitate
complexitate;;
TO
TO  consistenţă
consistenţă (convergenţă
(convergenţă statistică);
statistică);
 Fără proprietăţi statistice.
 eficien ţă ((viteză
eficienţă viteză de
de convergenţă
convergenţă). ).
Soluţia
Soluţia problemei
lim P  θˆ N   0
problemei  Cu proprietăţi statistice.
TE
TE  Adesea neimplementabilă. N 
10
Propriet ăţi statistice
Proprietăţi statistice dezirabile
dezirabile ale
ale estimaţiilor
estimaţiilor de
de parametri
parametri necunoscuţi
necunoscuţi
• Deoarece datele pe baza cărora se determină modele de identificare sunt afectate

de perturbaţii stocastice, parametrii estimaţi au de asemenea o natură stocastică.
Adecvan ţa parametrilor
Adecvanţa parametrilor estima ţi ai
estimaţi ai unui
unui model
model dede identificare
identificare
este
este descris
descrisăă prin
prin intermediul
intermediul aa 33 propriet ăţi.
proprietăţi.
Nedeviere (asimptotică) Consistenţă Eficienţă

abaterea faţă de convergenţa viteza de
media statistică statistică convergenţă
Contextul
Contextul de
de lucru
lucru
P ((
**)) y [n]
u [n]
U Y ) | P(()
V (() )
Vectorul parametrilor
estimaţi folosind un yM [n,]
orizont de măsură de M (()
)
dimensiune N, vector
θˆ N   n
renotat prin:
Optimizare
11
dezirabile ale
ale estimaţiilor
estimaţiilor de
de parametri
necunoscuţi ((continuare)
continuare)
Nedeviere
Nedeviere E{θˆ N }  θ Nedeviere
Nedeviere lim E{θˆ N }  θ
 N   asimptotică
asimptotică N 
Exemplu
Exemplu Cazul
Cazul parametrului
parametrului scalar
scalar Exemplu
Exemplu Cazul
Cazul parametrului
parametrului scalar
scalar
E {^
 N} E {^
 N}
^
N ^
N
* *
0 0
N1 N2 ... Np N N1 N2 ... Np N
 PProprietate
roprietate destul
destul de
de restrictiv ă şşii
restrictivă Deviaţie
Deviaţie
dificil
dificil de
de verificat
verificat îîn
n practic ă.
practică. def
• Dacă media statistică a parametrilor estimaţi nu Δ N  θ  E{θˆ N }

 N  
verifică această proprietate, atunci estimaţia se
consideră deviată. Proprietate
Proprietate relaxat ă
relaxată lim E{θˆ N }  θ  lim Δ N  0
N  N  12
dezirabile ale
ale estimaţiilor
estimaţiilor de
de parametri
continuare)
Consistenţă
Consistenţă lim θˆ N  θ Exemplu
Exemplu Cazul
Cazul parametrului
parametrului scalar
scalar
N 
E {^
 N}
• Relevă maniera în care se grupează estimaţiile ^
N
în jurul mediei (sau al valorilor adevărate).
• Raportul dintre consistenţă şi nedeviere (asimptotică)
este ilustrat de următoarea proprietate:
Exerciţiu Estimaţiile consistente pot fi deviate, dar
Exerciţiu *
sunt întotdeauna asimptotic nedeviate.
(cleştele consistenţei)
• O altă proprietate interesantă este legată de
conceptul de varianţă a erorii de estimare.
0 ... Np N
 2  θˆ N   E  θ  θ  
def
 2
N1 N2
 Toate
Toate realiz ările estima
realizările ţiilor converg
estimaţiilor converg la
la
 Produsul
Produsul interior
interior (scalar).
(scalar). valoarea
valoarea adev ărată.
adevărată.
 Matrice
Matrice de
de auto-covarianţă
auto-covarianţă Exerciţiu
Exerciţiu Nlim
 N 
 
θˆ N  θ  lim P θˆ N  0
Dispersie
Dispersie tot
tot mai
mai mic
micăă lim  2  θˆ N   0 se
se poate
poate
def
P(θ )  E{(θ  θ )(θ  θ ) }  
  T nn
îîn
n jurul
jurul mediei
mediei.. N  ar ăta
arăta
 Produsul
Produsul exterior.
exterior.  Consisten ţa este
Consistenţa este proprietatea
proprietatea cea
cea mai
mai important ă.
importantă. 13
dezirabile ale
ale estimaţiilor
estimaţiilor de
de parametri
continuare)
Eficienţă
Eficienţă θˆ N este cel puţin tot atît de eficientă ca θ N dacă:
1 ( A )  0
P  θˆ N   P  θ N  P  θ N   P  θˆ N   0 2 ( A)  0
 θ  lim P  θˆ N   0  ÎÎn 
 lim θˆ n sensul
sensul pozitiv
pozitiv ( A )   
A
N xT Ax  0
N  N  (semi -)definirii.
(semi-)definirii. det( A )  0
 x  n  spectrul 
• Eficienþa este asimilată cu viteza de consistenţă. matricii
 determinanţii
Exemplu
Exemplu Cazul
Cazul parametrului
parametrului scalar
scalar Sylvester
E {^
 N}
~
E {  N}
^ ~
N N
* *
0
Np N
0
N1 N2 ... N1 N2 ... Np N
Consisten ţă rapid
Consistenţă ă.
rapidă. Consisten ţă lent
Consistenţă ă.
lentă. 14
Experiment
Experiment de
de identificare
identificare
• Problema generală a identificării cutiei negre se rezolvă în cadrul unui experiment de identificare.
 Informaţie preliminar
Informaţie preliminarăă despre
despre proces
proces
 Scopul identific
Scopul ării procesului
identificării procesului
Organizarea
Organizarea Alegerea
Alegerea clasei
clasei
experimentului
experimentului de
de modele
modele dede
econometric
econometric identificare
identificare
Achiziţ
Achiziţia şşii
Achiziţia Alegerea
Alegerea
prelucrarea
prelucrarea M modelului
modelului de
de
primară
primară aa datelor
primară datelor (()
) identificare
identificare
Alegerea
Alegerea
U metodei
metodei dede M (()
)
identificare
identificare
Y
 15
Experiment
Experiment dede identificare
 identificare
((continuare)
continuare) 
Pentru fiecare structură
structură de model din ce în ce mai
bogată (m{1,2,…
bogată {1,2,…,M):
determină parametrii modelului ales, m;
se determină
evaluează precizia modelului (V (m) sau P(m)).
se evaluează
Alegerea modelului
adecvat datelor
achiziţ
achiziţionate
M ((
oo)
NU Validarea DA
modelului
Model valid
M ((
oo)
16
Experiment
Experiment de
de identificare
identificare ((continuare)
continuare)
despre proces
proces
Organizarea
Organizarea Alegerea
Alegerea clasei
clasei
experimentului
experimentului de
de modele
modele dede
econometric
identificare
Achiziţ
Achiziţia şşii
Achiziţia Alegerea
Alegerea
prelucrarea
prelucrarea M modelului
modelului de
de
primară aa datelor
primară
primară datelor (()
) identificare
identificare
Alegerea
Alegerea
U metodei
metodei dede M (()
)
identificare
identificare
Y
 
17
Experiment
Experiment de
de identificare
identificare (continuare)
(continuare)
despre proces
proces
 Tipul de proces: puternic neliniar, neliniar, aproape liniar, liniar.
Majoritatea proceselor sunt neliniare şi puternic neliniare, dar liniarizabile în

jurul unor puncte nominale de funcţionare.
Dacă se cunosc ecuaţiile de funcţionare în timp continuu (rezultate prin aplicarea
legilor fizico-chimice), acestea pot fi discretizate, pentru a obţine informaţii
privind structura modelului de identificare ce ar trebui ales.
Eventual, vor fi necesare mai multe experimente de identificare succesive

pentru construcţia unui model adecvat şi valid.
 Tipul de variaţie: lent (> 5s), mediu (1s…5s), rapid (< 1s).
Informaţie care se referă la durata de stabilizare a ieşirii atunci cînd procesul este
stimulat cu o treaptă de o anumită amplitudine, acceptată de proces (fără a produce
instabilitate).
18
 Timpul mort intrinsec al procesului.
- Detectarea valorii acestuia în timp continuu şi conversia sa (chiar imprecisă) în
timp discret (exprimată ca un număr întreg de perioade de eşantionare) conduce la
simplificarea modelului de identificare ales (prin reducerea numărului de parametri
necesari).
- Determinarea timpului mort se poate efectua prin stimularea preliminară a
procesului cu o treaptă de o anumită amplitudine, care nu îl conduce către
instabilitate.
 Variabilitatea în timp a procesului.

- Dacă parametrii sunt aproximativ constanţi, este doar necesar ca la anumite
intervale de timp modelul matematic asociat să fie reevaluat.
- Dacă parametrii variază sesizabil în timp, atunci modelul trebuie adaptat mai
des la dinamica procesului .
- Această informaţie este utilă în alegerea tipului de metodă de identificare
adecvată: nerecursivă (off-line) sau recursivă (on-line) .
19
 Clasele de semnale de stimul acceptate de către proces .
- Semnalele ideale cu care procesul ar putea fi stimulat pot produce instabilitate.
- Modelul de identificare ar putea fi determinat prin stimularea procesului cu
semnalele folosite în exploatarea sa uzuală.
- Utilizarea de semnale cu amplitudini suficient de mici poate conduce la
modele matematice suficient de generale şi precise.
 Clasele de perturbaţii la care este expus procesul -- selectarea unui model
adecvat al zgomotelor
Scop
Scop:: SSimulare,
imulare, reglare/coman dă numeric
reglare/comandă ă, predic
numerică, ţie, generare
predicţie, generare de
de date,
date, etc.
etc.
Organizarea
Organizarea experimentului
experimentului econometric
econometric
Obiectiv Achiziţia
Achiziţia datelor
datelor şişi distorsionarea
distorsionarea minimală
minimală aa acestora.
acestora.
 Alegerea soluţiei de eşantionare.
• tipul de variaţie al procesului este determinant.

Procese
Procese lente
lente Ts MARE 1
Fs  
Ts mică Ts
Procese
Procese rapide
rapide
20
 Alegerea soluţiei de eşantionare (continuare)
Perioada/Frecvenţa de eşantionare trebuie aleasă astfel încît informaţia
transportată de datele rezultate să exprime cît mai bine caracteristicile
entităţii care le-a generat (în speţă, ale procesului).
O indicaţie referitoare la perioada/frecvenţa de eşantionare limită cu care se

poate opera este oferită de comportamentul în frecvenţă al procesului.
Y ( j ) Spectrul
Spectrul procesului
procesului
Ymax
Modulul
Modulul TF
TF aa ie şirii
ieşirii
Majoritatea covîrşitoare a proceselor

uzuale sunt de bandă limitată.
Ω pulsaţie
0 c  rad  •
de tăiere
 s 
 
 cut frecvenţă
Fc  c
2  de tăiere 21
Alegerea soluţiei de eşantionare (continuare)
Teorema
Teorema ((Regula)
Regula) de
de EEşantionare
şantionare ((Kotel’nikov-Shannon-Nyquist)
Kotel’nikov-Shannon-Nyquist)
Dacă frecvenţa de tăiere a procesului este cunoscută, frecvenţa de eşantionare
trebuie stabilită la o valoare de cel puţin 2 ori mai mare.
Frecvenţa de eşantionare minimă este egală cu dublul frecvenţei de tăiere:
1 c
Fs   FNYQ  2 Fc  .
Ts 
Frecvenţa
Frecvenţa critic
criticăă aa lui
lui Nyquist
Nyquist
Nerespectarea
Nerespectarea acestei
acestei reguli
reguli antrenează
antrenează fie fie pierderea,
pierderea, fie
fie distorsionarea
distorsionarea informaţiei
informaţiei
din
din cauza
cauza fenomenului
fenomenului de de aliere
aliere în
în frecvenţă.
frecvenţă.
Fenomen
Fenomen prin prin care
care datele
datele achiziţionate
achiziţionate sunt
sunt perturbate
perturbate ((distorsionate)
distorsionate) de
de
ătre un
ccătre un zgomot
zgomot dede eşantionare
eşantionare de
de frecvenţă
frecvenţă înaltă
înaltă cu
cu atît
atît mai
mai important
important
cu
cu cît
cît frecvenţa
frecvenţa de
de eşantionare
eşantionare este
este mai
mai mic ă decît
mică decît frecvenţa
frecvenţa critic ă.
critică.
22
Alierea în frecvenţă poate fi evitată dacă utilizatorul dispune de informaţia
preliminară necesară pentru evaluarea (fie şi grosieră) a frecvenţei de tăiere a
procesului.
O
O schem
schemăă de
de filtrare
filtrare primară analogic
primară ă
analogică

 ÎÎn
n acest
acest fel
fel,, frecven ţa de
frecvenţa şantionare este
de eeşantionare este for ţată la
forţată la oo anumit
anumităă valoare
valoare..
Cu
Cu pierderea
pierderea eventual
eventualăă aa informa ţiei de
informaţiei de frecven ţă îînaltă.
frecvenţă naltă.
Proces FTJ
FTJ (analogic)
(analogic) EEşantionor
şantionor
Proces continuu
continuu
y (t) yf (t) y [n] = yf (n/Fs)
P
P Fs = 2Fc
Fc
23
 Alegerea semnalelor de stimul. Principiul
Principiul general
general de
de alegere
alegere aa intr ărilor
intrărilor
a. Dacă există informaţii preliminare despre clasele de semnale de stimul

acceptate de către proces, fie se alege semnalul cu plaja de frecvenţe cea mai
bogată, fie, dacă nu se poate altfel, se alege semnalul utilizat în exploatarea
efectivă a procesului.
b. Dacă informaţiile despre intrările admisibile ale procesului lipsesc, atunci se
încearcă stimularea acestuia cu semnale cît mai „persistente”.
Proprietate care se referă la capacitatea unui semnal de stimul de a conduce la

determinarea unui număr dorit de valori ale secvenţei pondere pentru un sistem liniar
sau, echivalent, de a stimula sistemul (procesul) pe un număr dorit de frecvenţe.
 Alegerea şi amplasarea senzorilor
Este de dorit ca senzorii să aibă caracteristici care să afecteze cît mai puţin datele
măsurate: lege de conversie cît mai liniară, masă cît mai mică, viteză de
comutaţie cît mai mare, etc.
24
Achiziţia şşii prelucrarea
Achiziţia prelucrarea primară aa datelor
primară datelor
Industria oferă soluţii integrate sub forma unor plăci de achiziţie direct conectabile
la un mijloc automat de calcul, cu diferite performanţe şi costuri.
Sisteme hardware (în general de complexitate ridicată), care, pe lîngă Convertoare

Analog-Numerice (CAN), Convertoare Numeric-Analogice (CNA),
cuantificatoare, etc., includ şi o serie de filtre auxiliare (analogice şi numerice)
necesare prelucrării primare a datelor.
O
O schem
schemăă de
de filtrare
filtrare primară analogic
primară ă…
analogică … …
… continuată cu
continuată cu
Proces FTJ
FTJ (analogic)
(analogic) EEşantionor
şantionor
Proces continuu
continuu Filtru
Filtru numeric
numeric
y (t) yf (t) y [n]=yf (n/Fs)
P
P Fs = 2Fc de
de prelucrare
prelucrare
primară
primar
primarăă aa
Fc
datelor
datelor
FTJ / FTB / FTS
Prelucrare
Prelucrare Opera ţie de
Operaţie de extragere
extragere aa  Problem
Problemă ă
primar
primarăă aa informa ţiei utile
informaţiei utile din
din dificil
dificilăă pentru Date
Date
datelor
datelor date
date corupte
corupte de
de zgomot
zgomot..
SNR mic
mic!! deparazitate
deparazitate 25
Alegerea
Alegerea clasei
clasei de
de modele
modele de
de identificare
identificare ARMAX
ARMAX
Auto-Regresive, de Medie Alunecătoare, avînd control
eXogen
Alegerea unui tip de model particular din clasa precizată se realizează ţinînd
cont de două proprietăţi dezirabile (opuse):
apropiată de ecuaţiile rezultate prin aplicarea
• Precizie
Precizie (acurateţ e
(acurateţe) )
legilor fizico-chimice care descriu funcţionarea
procesului (dacă aceste ecuaţii sunt disponibile)
• Parsimonie
Parsimonie ((simplitate)
simplitate) cu un grad minim de complexitate algoritmică implicată
de metodele necesare pentru determinarea sa
Principiul
Principiul parsimoniei
parsimoniei
Dintre toate modelele de identificare adecvate şi valide, vor fi preferate cele care
asigură un compromis cît mai bun între precizie şi parsimonie.
ÎÎn
n IS,
IS, este
este sacrificat
sacrificatăă acurate ţea modelului
acurateţea modelului îîn
n favoarea
favoarea
implementabilit ăţii sale
implementabilităţii sale sau
sau aa metodei
metodei de
de identificare
identificare.. 26
Alegerea
Alegerea metodei
metodei de
de identificare
identificare
Modelul matematic determină metoda pentru determinarea parametrilor săi,
•
după cum metoda, prin complexitatea ei, poate forţa alegerea unui alt model
matematic, mai uşor de determinat.
Exemplu
Exemplu
Aplicaţie de
Aplicaţie de Model:
Model: ARX
ARX
comand
comandă ă Metoda Variabilelor
numeric
numerică ă Metod ă: MCMMP
Metodă: MCMMP sau
sau MVI
MVI Instrumentale
• Modelul ARX nu este neapărat cel mai potrivit pentru această aplicaţie, dar
metoda de identificare este eficientă.
Modele din clasa ARMAX care corespund mai bine aplicaţiei:
OE  Output Error (eroare de ieşire)
OE
FIFN  Filtered Input Filtered Noise (cu intrări şi perturbaţii filtrate independent)
FIFN
• Acestea se pot determina cu ajutorul metodelor:
MCMMPE
MCMMPE  Metoda Celor Mai Mici Pătrate Extinsă
MMEP
MMEP  Metoda Minimizării Erorii de Predicţie
MMEI
MMEI  Metoda Minimizării Erorii de Ieşire 27
Experiment
Experiment de
de identificare
continuare)
structură de model din ce în ce mai  Informaţie preliminară despre proces
 Scopul identificării procesului
bogată {1,2,…,M): Organizarea
experimentului
econometric
Alegerea clasei
de modele de
identificare

se determină Achiziţia şi
prelucrarea
primară a datelor
M ()
Alegerea
modelului de
identificare

se evaluează
Alegerea
U metodei de M ()
identificare
Y
Pentru fiecare structură de model din ce în ce mai

bogată (m{1,2,…, M):
 se determină parametrii modelului ales, m;
 se evaluează precizia modelului (V (m) sau P(m)).
Alegerea modelului
adecvat datelor
indicele structural al
achiziţionate
Alegerea modelului M (o)
modelului (parametric) adecvat datelor

NU Validarea
modelului
DA
m  n achiziţ
achiziţionate
Model valid
M (o)
 Acesta
Acesta constituie
constituie nucleul
nucleul experimentului
experimentului de
de identificare
identificare..
• Modele de identificare de acelaşi tip, dar de diferite structuri sunt mai întîi
Teste
Teste ((criterii)
criterii) determinate şi apoi comparate între ele, din punctul de vedere al preciziei,
de adecvanţă
de adecvanţă în vederea alegerii celui adecvat.
Testul
Testul de
de adecvan
adecvanţă ţă bazat
bazat pe
pe
Exemplu
Exemplu criteriul
criteriul aplatiz ării preciziei
aplatizării preciziei
V (m)  Datorit ă Principiului
Datorită Principiului parsimoniei
parsimoniei,,
modelul
modelul adecvat
adecvat nunu are
are îîn
n mod
mod
necesar
necesar structura
structura cea
cea mai
mai complex ă,
complexă,
şa cum
aaşa cum indic ă testul
indică testul de
de adecvan ţă.
adecvanţă.
0 m
indicele structural optimal mo M indicele structural maximal 28
Experiment
Experiment de
de identificare
continuare)
 Numai
Numai modelele
modelele de
de identificare adecvate şşii valide
identificare adecvate valide pot
pot fifi  Informaţie preliminară despre proces
returnate
returnate dup
dupăă desf ăşurarea experimentului
desfăşurarea experimentului de de identificare
identificare.. Organizarea Alegerea clasei
experimentului de modele de
Validarea unui model de identificare?

Achiziţia şi Alegerea
Validarea
prelucrarea M () modelului de
primară a datelor identificare
Alegerea
metodei de M ()
modelului
U
identificare
Y
Opera ţie care

Operaţie care const
constă ă îîn
n testarea
testarea func ţionării
funcţionării Pentru fiecare structură de model din ce în ce mai
bogată (m{1,2,…, M):
modelului
modelului comparativ
comparativ cu cu cea
cea aa procesului
procesului,,
Alegerea modelului
adecvat datelor
atunci
atunci ccînd
înd se
se ini ţiază oo nou
iniţiază nouăă sesiune
sesiune dede
achiziţionate
M (o)
stimulare
stimulare aa ambelor
ambelor entit ăţi cu
entităţi cu aceea şi intrare
aceeaşi intrare.. NU Validarea
modelului
DA
Model valid
Exemplu
Exemplu
M (o)
P ((
**)) y [n] Testul
Testul de
de albire
albire din
din cazul
cazul utiliz ării
utilizării
MCMMP
MCMMP
u [n]  [n,o]
+
- EEroarea
roarea dintre proces şşii model
dintre proces model trebuie
trebuie
ssă
ă aib ă caracteristicile
aibă caracteristicile unui zgomot alb
unui zgomot alb
yM [n,o] normal
normal distribuit
distribuit (Gaussian)
(Gaussian)..
M ((
oo))
def
[ n, θo ]  y[ n]  yM [ n, θo ]
p
Extrem
Extrem de
de important
important
–ε -3 –ε –ε +3 ε [n,θ]
Validarea
Validarea unui
unui model
model de de identificare
identificare trebuie
trebuie ssă
ă se
se efectueze
efectueze pe
pe un
un
alt
alt set
set de
de date
date dec ît cel
decît cel utilizat
utilizat pentru
pentru determinarea
determinarea modelului
modelului.. 29
Exemplu
Exemplu Identficarea
Identficarea unei
unei aeroterme
aeroterme
• Principala caracteristică a unei aeroterme: capacitatea

de a păstra temperatura constantă a aerului ventilat la
ieşire, în pofida temperaturii aerului absorbit.
• Aceasta se realizează cu un sistem de compensare a
temperaturii bazat pe o buclă simplă de reglare.
Problemă
Problemă
Identificarea aerotermei în buclă deschisă, în
vederea proiectării regulatorului care să asigure
rejecţia perturbaţiilor şi menţinerea temperaturii în
jurul unei valori dorite.
Perturbaţii?
urenţi de
CCurenţi de aer
aer de
de diferite
diferite temperaturi
temperaturi..
Desfăşurarea experimentului
Desfăşurarea experimentului de
de identificare
identificare SSistem
istem electro -mecanic, ale
electro-mecanic, ale
ărui ecua
ccărui ţii de
ecuaţii de func ţionare
funcţionare

 Precizarea
Precizarea informaţ
informa ţiilor preliminare
informaţiilor preliminare bazate
bazate pe
pe legile
legile dinamicii,
dinamicii,
Aeroterma
Aeroterma electricit ăţii şşii termodinamicii
electricităţii termodinamicii
conduc
conduc lala concluzia
concluzia ccă ă ordinul
ordinul
Schema
Schema func ţională
funcţională maxim
maxim alal modelului
modelului de de
pagina următoare identificare este 22 ..
identificare este 30
Exemplu
Identficarea unei
unei aeroterme
aeroterme ((continuare)
continuare)
de identificare
continuare)

 Precizarea
informaţiilor preliminare ((continuare)
continuare)
continuare)
Schema
Schema func ţională aa aerotermei
funcţională aerotermei
AC ~
Senzor de
temperatură
temperatură
intrarea ieşirea
u Amplificator
Amplificator y
procesului procesului
de
de putere
putere
Termostat

• Aerul rece este ventilat către o rezistenţă electrică alimentată prin intermediul unui
amplificator de putere, care poate varia tensiunea şi/sau intensitatea curentului electric
ce o traversează. Temperatura aerului cald este măsurată prin intermediul unui senzor.
• Pe circuitul de la intrare la ieşire există 4 componente ale procesului:
amplificatorul de putere, rezistenţa electrică, fluxul de aer cald şi senzorul de temperatură.
• Procesul este neliniar, dar liniarizabil în jurul fiecărei temperaturi din plaja 31
admisibilă pe care o poate asigura rezistenţa electrică (avînd o putere maximă).
Exemplu
Identficarea unei
unei aeroterme
continuare)
de identificare
continuare)

 Precizarea
informaţiilor preliminare ((continuare)
continuare)
continuare)
• Procesul poate fi considerat ca avînd un tip mediu de variaţie, deoarece
timpul de stabilizare a unei temperaturi fixate este de circa 2s.
• Se poate considera că parametrii procesului sunt constanţi.
• Aeroterma poate fi comandată cu o gamă largă de semnale de intrare, inclusiv de
persisten ţă ridicată, dar cu amplitudinea limitată de capacitatea amplificatorului de putere.
• Perturbaţia provine de la fluxul de aer rece, care poate avea atît temperatură cît şi debit variabile.
identificării
Determinarea
Determinarea un iu model
uniu model matematic
matematic necesar
necesar proiect ării unui
proiectării unui regulator
regulator automat
automat
Scopul
care ă asigure
care ssă asigure at ît oo bun
atît bunăă rejec ţie aa perturba
rejecţie ţiilor, ccît
perturbaţiilor, ît şşii men ţinerea temperaturii
menţinerea temperaturii
fluxului
fluxului de
de aer
aer cald
cald îîn
n jurul
jurul unei
unei valori
valori precizate
precizate prin
prin intermediul
intermediul termostatului
termostatului..
Referinţ
Referinţă Regulator
Regulator u Cutie
Cutie y
r
+- automat
automat neagră
neagr
neagrăă
Ieşşire
Date de
Date de
intrare
y
ieşire
Ie
Model
Model de
de identificare
identificare
adecvat,
adecvat, valid
valid
32
Exemplu
Identficarea unei
unei aeroterme
continuare)
de identificare
continuare)

 Stimularea
Stimularea procesului
procesului şşii achiziţ
achiziţia datelor
achiziţia datelor
• Frecvenţa de tăiere a filtrului analogic: Fc  50 [Hz]

• Frecvenţa de eşantionare: Fs  100 [Hz]
• Timpul mort normalizat: nk  10
• Se renunţă pre-filtrarea digitală, deoarece SNR este suficient de mare.
• Colectarea datelor se poate realiza fie cu o placă de achiziţie de uz general,
fie cu un sistem de achiziţie dedicat. Capabilit ăţi principale
Capabilităţi principale
LMS
LMS Roadrunner
Roadrunner ((Belgia)
Belgia)  pre-filtrarea datelor
 cuantificarea datelor pe 12 biţi
(numărul maxim de biţi: 32)
 achiziţie de date simultană pe cel puţin 2 canale
(dispune de 4 canale cu extensie la 16 canale)
 plajă largă de frecvenţe de eşantionare
(între 1 Hz şi 100 kHz)
 compatibilitate cu un mare număr de senzori
 posibilitatea de a trasa spectre şi chiar spectrograme
(spectre varibile în decursul timpului)
• Semnalul de stimul (de persistenţă ridicată): Pseudo-Aleator (Binar) (SPA(B)).
• Dimensiunea orizontului de măsură: N  210  1024 33
Exemplu
Identficarea unei
unei aeroterme
continuare)
de identificare
continuare)

 Alegerea
Alegerea clasei
clasei de
de modele
modele şşii aa modelului
modelului specific
specific e
1 1 1
Clasa
Clasade
de A( q ) y[ n ]
    B ( q )u[ n ]  C ( q )e[
n] Filtru de zgomot
modele
modele
ARMAX AR X MA  n  
ARMAX
Auto-Regresiv Control G  C/A
[[na,nb,bc]
na,nb,bc] Medie
Filtru de sistem
eXogen Alunecãtoare
q 1 Operatorul
Operatorul de de întîrziere
întîrziere cucu unun pas.
pas. v
 q f [n]  f [ n  1]  n 
1
u y
 A( q 1 )  1  a1q 1    ana q  na + H  B/A
Polinoame
 1
 B( q )  b1q  nk    bnb q1 nk  nb  intrarea nu se transmite instantaneu la ieşire
C ( q 1 )  1  c q 1    c q  nc  zgomotul se transmite instantaneu la ieşire
 1 nc
Zgomotul e Necunoscutele
Necunoscutele modelului
modelului
Zgomotulalb
alb proces
proces stocastic
stocastic total
total necorelat
necorelat,,
0.1
0.1
impredictibil
impredictibil  coeficienţii polinoamelor
 numărul coeficienţilor
0.05
0.05
Zgomotul
Zgomotulccolorat
olorat
00
-0.05
-0.05 22
Period:
Period: NN == 500
500
• Modelele posibile ale aerotermei:
v
1.5
1.5
zgomot
zgomot alb ARX[2,2] ARX[2,3]
-0.1
alb
-0.1
ARX[2,2] ARX[2,3]
11
00 50
50 100
100 150
150 200
200 250
250 300
300 350
350 0.5
0.5
filtrat
00
-0.5
-0.5
filtrat ARX[3,2]
ARX[3,2] ARX[3,3]
ARX[3,3] 34
-1
-1
-1.5
-1.5
** Variance:
Var iance: 0.697359
0.697359
-2
-2
00 500
500 1000
1000 1500
1500 2000
2000 2500
2500
Exemplu
Identficarea unei
unei aeroterme
continuare)
de identificare
continuare)

 Alegerea
Alegerea metodei
metodei de
de identificare
identificare
ARX
ARX MCMMP
MCMMP sau
sau MVI
MVI mai bine adaptată modelului

 Determinarea
Determinarea modelului
modelului adecvat
adecvat
 Informaţie preliminară despre proces
Organizarea Alegerea clasei

ARX[2,3] A( q 
ARX[2,3] 
1
) y[ B( q 
n]   1
n]  e[ n]
)u[
Alegerea
identificare
AR X
Y

bogată (m{1,2,…, M):
 n 
 A( q )  1  a1q  a2 q
1 1 2
Alegerea modelului

adecvat datelor
achiziţionate
1 10 1 2
 B( q )  q (b1  b2 q  b3 q )
M (o)
NU Validarea DA
modelului
Model valid
M (o)
nk  10
• Comparînd coeficienţii polinomului B între ei, se constată că termenul ARX[2,2]
ARX[2,2]
de grad maxim ar putea fi neglijat în raport cu ceilalţi termeni.
 Modelul model adecvat
Modelul parsimonios
parsimonios trebuie
trebuie determinat
determinat din
din nou
nou..
Nu parsimonios
Nu este
este suficient ă anularea
suficientă anularea coeficientului
coeficientului termenului
termenului
neglijat
neglijat îîn
n modelul
modelul adecvat
adecvat mai
mai pu ţin parsimonios
puţin parsimonios..

 Validarea
Validarea modelului
modelului adecvat
adecvat Modelul
Modelul perturba ţiilor este
perturbaţiilor este
 Testul de validare eşuează. probabil
probabil inadecvat
inadecvat.. 35
Exemplu
Identficarea unei
unei aeroterme
continuare)
de identificare
continuare)

 Reconsiderarea
Reconsiderarea modelului
modelului matematic
matematic şşii aa metodei
metodei de
de identificare
identificare
ARMAX[2,2, nc]
ARMAX[2,2,nc] MMEP
MMEP Nc  10  indicele structural maxim al
modelului de zgomot

 Redeterminarea
Redeterminarea modelului
modelului adecvat
adecvat
 Informaţie preliminară despre proces
Organizarea Alegerea clasei

ARMAX[2,2,2] A( q 
ARMAX[2,2,2] 
1
) y[ B( q 
n]   1
n]  C
)u[ ( q 1
)e[
n]

Alegerea
identificare
AR X MA
Y

bogată (m{1,2,…, M):
 n 
 A( q )  1  a1q  a2 q
1 1 2
Alegerea modelului

adecvat datelor
achiziţionate
1 10 1
 B( q )  q (b1  b2 q )
M (o)
NU Validarea DA
 C ( q  1 )  1  c q 1  c q 2
modelului
Model valid
M (o)
 1 2
• Comparînd coeficienţii polinomului C între ei, se constată că termenul ARMAX[2,2,1]

ARMAX[2,2,1]
de grad maxim ar putea fi neglijat în raport cu ceilalţi termeni.
 Modelul model adecvat
Modelul parsimonios
parsimonios trebuie
trebuie determinat
determinat din
din nou
nou..
parsimonios

 Validarea
Validarea modelului
modelului adecvat
adecvat  A( q 1 )  1  a1q 1  a2 q 2

 Modelul este validat. M ((
oo)  B( q 1 )  q 10 (b1  b2 q 1 )
C ( q 1 )  1  c q 1
 1 36
Forma
Forma de
de regresie
regresie liniar
liniarăă aa modelelor
modelelor parametrice
parametrice
y [ n ]   T [ n ] θ  e[ n ]  n  
 Ie şirea depinde
Ieşirea depinde liniar
liniar de
de vectorul
vectorul
parametrilor
parametrilor necunoscu
necunoscuţi.ţi. Vectorul
Vectorul regresorilor
regresorilor
ARMAX[na,nb,nc
ARMAX[na,nb,nc]] FFormat
ormat din
din date
date m ăsurate şşi,
măsurate i, eventual,
eventual, estimate
estimate..
 T def
 [ n]    y[ n  1]  y[ n  2]   y[ n  na ] u[ n  1] u[ n  2]  u[ n  nb] ...
 3 componente, ... e[ n  1] e[ n  2]  e[ n  nc ]
 ca şi vectorul parametrilor
 T def  Ultima
Ultima component
componentă ă
θ   a1 a2  ana b1 b2  bnb c1 c2  cnc 
nu
nu este
este m ăsurabilă.  n  
măsurabilă.
Exerciţiu
Exerciţiu • Să se indice toate modelele din clasa ARMAX Dar
Dar poate
poate fifi estimat
estimată,ă, fapt
fapt care
care
pentru care vectorul regresorilor conţine complic
complică ă metoda
metoda de de identificare
identificare
numai componente măsurabile. şşii reduce
reduce precizia
precizia modelului
modelului..
37
Metode de identificare şi validare
Metoda
Metoda Celor
Celor Mai
Mai Mici
Mici Pătrate ((MCMMP)
Pătrate MCMMP)
• MCMMP se bazează pe Teoria regresiei liniare iniţiată de Carl Gauss.
• Beneficiind de un telescop destul de performant pentru acea epocă, Carl Gauss a observat şi
notat timp de cîţiva ani poziţiile mai multor planete faţă de Pamînt, calculînd apoi coordonatele
acestor poziţii faţă de Soare.
Planetă
(Saturn)
Johannes Kepler
(1571-
(1571-1630)
Carl Gauss
Poziţie Nicolaus Copernicus
(1777-1855)
estimată (1473-
(1473-1543)
 ÎÎn
n pofida
pofida modelului
modelului de de Poziţie yKC[n,]
sistem
sistem solar
solar propus
propus observată Soare
intuitiv
intuitiv de
de Nicolaus
Nicolaus y[n]
Copernicus şşii aa Teoriei
Copernicus Teoriei
lui
lui Johannes
Johannes Kepler
Kepler Eroare
pozi ţiile ob
poziţiile ţinute nu
obţinute nu se
se [n,]
situau
situau pepe oo elips ă.
elipsă. parametrii elipsei (semiaxele sale)
38
• Verificarea legilor lui Kepler-Copernicus impune ca toate poziţiile observate ale planetei
(în număr de N) să se situeze pe o anumită elipsă.
y[ n ]  y KC [ n, θ]  Sistem de ecuaţii din care ar trebui

 n 1, N să rezulte parametrii elipsei.
Ce se poate face?  Sistemul
Sistemul esteeste de
de regul
regulăă incompatibil
incompatibil,,
deoarece
deoarece num ărul de
numărul de ecua ţii este
ecuaţii este sensibil
sensibil
Se
Se încearcă
încearcă determinarea
determinarea mai
mai mare
mare dec ît num
decît ărul de
numărul de parametri
parametri iariar
elipsei
elipsei care
care trece
trece cel
cel mai
mai bine
bine pozi ţiile rezultate
poziţiile rezultate din
din observa
observaţiiţii şşii
printre
printre toate
toate poziţiile
poziţiile observate
observate.. calcule
calcule sunt
sunt afectate
afectate dede erori
erori..
Adic
Adicăă elipsa
elipsa ai
ai ccărei
ărei parametri
parametri
minimizeaz
minimizează ă un
un criteriu
criteriu ppătratic.
ătratic.
def N N
V (θ )    [ n, θ]    y[ n]  y KC [ n, θ]
2
θˆ  argmin V (θ )
2
n 1 n 1 θ n
(eroarea pătratică totală) De

De aici
aici rezult ă numele
rezultă numele metodei
metodei..
• Pentru rezolvarea problemei pătratice de optimizare, se poate apela la gradient (dacă funcţia
criteriu este derivabilă şi gradientul ei se exprimă printr-o relaţie explicită sau cel pu ţin implicită)
sau la alte mijloace (dacă, dintr-un motiv sau altul, aceasta nu permite evaluarea gradientului).
• Această tehnică (propusă de Gauss) se poate extinde şi pentru găsirea altor modele optimale în
raport cu criteriul pătratic, plecînd de la un set de date măsurate.
39
Exemplu
Exemplu Evaluarea
Evaluarea dreptei
dreptei de
de regresie
regresie liniar
liniarăă prin
prin metoda
metoda gradientului
gradientului
y an+b Cum pot fi determinaţi cei 2
C N  {( n, yn )}n1,N parametri ai dreptei?
yN
Prin
Prin minimizarea
minimizarea erorii
erorii
yn ppătratice
ătratice totale
totale..
ˆθ  argmin V (θ )  argmin   2 [ n, a, b] 

N
Eroare de
poziţie θ 2

a  , b  n 1 
y1 [n,a,b] N 
0
 argmin  ( yn  an  b )2 
n a , b  n 1 
1 n N
 paraboloid de rotaţie
 a V ( a, b)  0
V ( a , b )  0   Soluţia
Soluţia problemei
problemei de
de optimizare
optimizare se
se
  V ( a, b )  0 ggăseşte
ăseşte anulînd
anulînd valorile
valorile gradientului
gradientului..
 b
 6  N N

 N
 2 n( yn  an  b)  0  ˆ
a   n
N ( N 2  1)  n 1
2 ny  ( N  1)  y n
 n 1  n 1 
 N 
 2 ( y  an  b)  0 bˆ   N N

 
2
n
   (2 N  1)  y n  3 ny n
n 1
 N ( N 1)  n 1 n 1 
40
def
Soluţia
Soluţia general
generalăă aa MCMMP
MCMMP în
în cazul
cazul modelelor
modelelor de
de regresie
regresie liniară
liniară yM [ n, θ]  T [ n]θ
def  n  
yM [ n, θ]  T [ n]θ  Tot
Tot un
un paraboloid
paraboloid de
de rota ţie,
rotaţie,
model  n   Criteriul
Criteriul pătratic
pătratic dar
dar generalizat
generalizat..
DN  {( [ n], y[ n])}n1, N
V (θ )    [ n, θ]    y[ n]  yM [ n, θ]    y[ n]  T [ n]θ 
def N def N N
2 2 2
date
 θ   n
n 1 n 1 n 1
Minim
Minim unic
unic..
Metode
Metode de
de minimizare
minimizare
Metoda gradientului Metoda pătratelor perfecte

Exerciţiu
Exerciţiu Exerciţiu
Exerciţiu
Metoda matricială
def
Y  [ y[1] y[2]  y[ N ]]T   N  Vectorul global al datelor de ieşire măsurate.
 T [1]  linii
 T
def  [2]
  De
De regul ă, oo
regulă,
Φ         N  n
    1 2 n   Matricea regresorilor. matrice
matrice monic
monică.ă.
 T  rank(Φ)  n  N
  [ N ]  coloane
coloane liniar independente
def
ε(θ )   [1, θ] [2, θ]  [ N , θ]   N  Vectorul erorilor de măsură faţă de model.
T
41
Soluţia
Soluţia general
MCMMP în
în cazul
cazul modelelor
modelelor de
de regresie
regresie liniară ((continuare)
liniară continuare)
De ce matricea regresorilor este de regulă monică? Metoda
Metoda matricial
matricialăă
Mul ţimea matricilor

Mulţimea matricilor neinversabile
neinversabile Test
Test • Completaţi la întîmplare o matrice de ordin 3.
este
este mai
mai parsimonioas
parsimonioasă.ă. Este această matrice inversabilă?
Ce şanse sunt ca ea să nu fie inversabilă?
• Paradoxal, tocmai perturbaţiile stocastice care afectează datele măsurate aduc matricea regresorilor
în stare de rang maxim.
Ecua ţii matriciale
Ecuaţii matriciale
def def
yM [ n, θ]   [ n]θ T
YM  Φθ   N  Ecuaţia globală a modelului de regresie liniară.
 n 1, N
def def
[ n, θ]  y[ n]   [ n]θ T
ε(θ )  Y  Φθ   N  Eroarea globală de model.
 n 1, N
def N
V ( θ )    [ n, θ ]
def
V (θ )  εT (θ )ε(θ )  ε(θ )  ( Y  Φθ )T ( Y  Φθ )  Y  Φθ )  Criteriul
2 2 2
n 1
pătratic.
Teorema
Teorema 11 ((Soluţia
Soluţia general ă aa MCMMP)
generală MCMMP)
Soluţia problemei pătratice de optimizare este exprimată de următoarele ecuaţii:
θˆ   ΦT Φ  ΦT Y ; V ( θ )  Y Y  Y Φ  Φ Φ  ΦT Y .
def 1 1
ˆ T T T
estimaţie MCMMP precizie 42

Soluţia
Soluţia general
MCMMP în
în cazul
cazul modelelor
modelelor de
de regresie
Metoda
Metoda matricial
matricialăă
θˆ   ΦT Φ  ΦT Y
def 1
Pseudo-inversa Moore
Pseudo-inversa -Penrose
Moore-Penrose
Aşadar
Aşadar
V (θˆ )  YT Y  YT Φ  ΦT Φ  ΦT Y • Practic, orice sistem liniar incompatibil:
1
Y  Φθ
cu matricea  monică admite o
unică pseudo-soluţie:
V (θˆ )  Y T  I N  Φ  ΦT Φ  ΦT  Y
1
ΦT  Y  Φθ ΦT Y   ΦT Φ  θ
 Inversabil ă.
Inversabilă.
Operator
Operator de
de deparazitare
deparazitare Q   N N
1
Propriet ăţi elementare

Proprietăţi elementare ale
ale operatorului
operatorului de
de deparazitare
deparazitare
Simetrie Pozitiv (semi-definire)
Q  IN  Φ Φ Φ  Φ  Q
1
T T T Q  Q 2  QT Q  0
Ortogonalitate faţă de matricea regresorilor  De şi valoarea
Deşi valoarea optim
optimă ă aa criteriului
criteriului
ppătratic
ătratic se
se exprim ă printr -o diferen ţă, ea
QΦ  Φ  Φ  ΦT Φ  Φ Φ  0  Φ Q
1
T T exprimă printr-o diferenţă, ea
este
este nenegativ
nenegativăă (cum
(cum era
era de şteptat).
de aaşteptat).
Operatorul este şi proiector V (θˆ )  YT QY  0
Q 2  I N  2Φ  ΦT Φ  ΦT  Φ  ΦT Φ   ΦT Φ  ΦT Φ  ΦT 
1 1 1
 I N  Φ  Φ Φ  ΦT  Q .
1
43
T
Soluţia
Soluţia general
MCMMP în
în cazul
cazul modelelor
modelelor de
de regresie
Demonstra ţie geometric
Demonstraţie geometricăă aa Teoremei
Teoremei 11 Metoda
Metoda matricial
matricialăă
• Problema optimizării folosind criteriul pătratic
(imaginea operatorului
Spa ţiul Euclidian
Spaţiul Euclidian
hiperplanul parazit
se reformulează în termeni geometrici.
de deparazitare)
al
al datelor
datelor
 Este
Este practic
practic imposibil
imposibil ca ca vectorul
vectorul <>
global N
global al
al datelor
datelor ssă
ă fie
fie generat
generat numai
numai
de
de coloanele
coloanele matricii
matricii regresorilor
regresorilor..
vectorul global
Se
Se caut
cautăă vectorul
vectorul din
din hiperplanul
hiperplanul modelului
modelului de
de regresie
regresie al datelor Y ^

care
care este
este cel
cel mai
mai apropiat
apropiat de
de vectorul
vectorul datelor
datelor..
Adic ă proiec ţia acestuia n
Adică proiecţia acestuia pe
pe
hiperplanul
modelului dede regresie
regresie..
<> ^
Y
Aşadar
Aşadar hiperplanul modelului de regresie
Problema
Problema revine
revine la la determinarea
determinarea proiec ţiei
proiecţiei (generat de coloanele matricii regresorilor)
vectorului
vectorului datelor
datelor pe pe hiperplanul
modelului de de εˆ  Y  Y
ˆ  QY
regresie
regresie,, adic
adicăă la
la minimizarea
minimizarea normei
normei erorii
erorii
εˆ  εˆ T εˆ  YT QT QY  Y T Q 2 Y  YT QY
2
dintre
dintre vectorul
vectorul de de date
date şşii al
al proiec ţiei sale.
proiecţiei sale.
(datorită
 Eroarea
Eroarea minim
minimăă dintre
dintre cei
cei doi
doi vectori
vectori este
este un
un element
element al
al
proprietăţilor
hiperplanului
hiperplanului parazit
parazit,, ortogonal
ortogonal pe
pe hiperplanul
modelului de
de regresie
regresie..
operatorului Q) 44
Soluţia
Soluţia general
MCMMP în
în cazul
cazul modelelor
modelelor de
de regresie
Demonstra ţie ((Teorema
Demonstraţie Teorema 1)
1) Metoda
Metoda matricial
matricialăă
• Urmează determinarea proiecţiei vectorului datelor.

• Acesta este un element al hiperplanului modelului de regresie:
ˆ  Φθˆ  ˆ   ˆ     ˆ  (combinaţie liniară a coloanelor
Y 1 1 2 2 n n
matricii de regresie liniară)
coeficienţi necunoscuţi
• Pentru a determina coeficienţii necunoscuţi, este suficientă exprimarea condiţiei de
ortogonalitate pe hiperplanul modelului de regresie, adică pe fiecare vector care îl
generează:
Ti εˆ  0  Ti ( Y  Y
ˆ )  0,  i 1, n ˆ 1Ti  1  ˆ 2 Ti  2    ˆ n Ti  n  Ti Y,  i 1, n .
• Matricial, sistemul rezultat se exprimă astfel:
 T1  1 T1  2  T1  n   ˆ 1   T1 Y   T1   ˆ 1   T1 
 T      T    T
  2 1 T2  2  T2  n   ˆ 2   T2 Y    2   ˆ 2    2 
    1  2   n    
 Y
                    
 T    T   T  Φ    T 
  n  1 Tn  2   n  n   ˆ   n Y 
T

 n   ˆ   n 
 n    n  
Φ T
θˆ ΦT
1
 A ceste interpret
Aceste ări de
interpretări de natură geometric
natură geometrică ă sunt
sunt valabile
valabile îîn
n condi ţiile îîn
condiţiile n
care
care modelele
modelele matematice
matematice potpot fifi exprimate
exprimate îîn
n forma
forma de
de regresie
regresie liniar ă.
liniară.
45
Teorema
Teorema fundamentală aa MCMMP
fundamentală MCMMP ((modele
modele de
de regresie
regresie liniar ă)
liniară)
Contextul
Contextul de
de lucru
lucru
P ((
**)) y[ n]  φT [ n]θ  v[ n] M (()
) y[ n]  φT [ n]θ  [ n, θ]
 n    n  
perturbaţie stocastică eroarea dintre
(zgomot de măsură) proces şi model
Modelul
Modelul este
este conform
conform cu
cu procesul
procesul [ n, θ ]  v[ n]  Modelul
Modelul ““perfect”
perfect” difer
diferăă de
de proces
proces
n  
numai
numai prin
prin zgomotul
zgomotul dede m ăsură.
măsură.
Problema
Problema const ă îîn
constă n minimizarea
minimizarea erorii
erorii ppătratice
ătratice globale
globale dintre
dintre proces
proces şşii model
model pe
pe durata
durata orizontului
orizontului dede
m ăsură, pentru
măsură, pentru determinarea
determinarea unei
unei estima ţii aa vectorului
estimaţii vectorului parametrilor
necunoscuţiţi din
din date
date experimentale
experimentale..
DN  {( [ n], y[ n])}n1, N
 N
  N

θˆ  argmin V (θ )  argmin    2 [ n, θ]  argmin    y[ n]  φT [ n ]θ  
2
θ n θ n  n 1  θ n  n 1 

Teorema
Teorema 11 Cum pot fi totuşi implementate aceste relaţii?
1
Prin
Prin gruparea
gruparea convenabil ă aa factorilor
convenabilă factorilor,, astfel
astfel
îîncît
ncît ssă
ă se
se opereze
opereze cu
cu vectori
vectori şşii matrici
matrici av înd
avînd
V (θˆ )  YT Y  YT Φ  ΦT Φ  ΦT Y
1
dimensiunea
dimensiunea vectorului
vectorului parametrilor
parametrilor..
 Rela ţii care
care pot
pot fifi neimplementabile
neimplementabile dac ă
Relaţii
dimensiunea
dimensiunea orizontului
orizontului dede m
dacă
ăsură este
măsură este prea
prea mare.
mare.  n  N 46
1
Teorema
fundamentală MCMMP ((continuare)
continuare)
 V (θˆ )  YT Y  YT Φ  ΦT Φ  ΦT Y
1
 T [1] 
 T  N
def
  [2]  def N
R  Φ Φ   [1] [2]  [ N ]
T
  [ n ] [ n ]  
T nn
N  2
 Y T
Y   y 2
[ n]
   n 1 N , y
n 1
 T 
  [ N ] produsul exterior dispersie estimată
 y[1] 
Matricea
Matricea şişi vectorul
vectorul de
de  y[2]  N
r  ΦT Y   [1] [2]  [ N ]    [ n ] y[ n ]   n
def
   
covarianţă
covarianţă aa datelor
datelor
n 1
1 N  
R N  Φ Φ   [ n ] [ n]  E [ n] [ n ]
def
1 T T T
 y[ N ]
N N n 1
def N E φ[ n]  y[ n]  φT [ n]θ  v[ n]
1 T 1
rN  Φ Y  [ n] y[ n]  E [ n] y[ n] θ   E{φ[ n]φT [ n]}
1
N N n 1  E{φ[ n] y[ n]}  E{φ[ n]v[ n]}
Formulele
Formulele de
de implementare
implementare ale
ale MCMMP
MCMMP
1 1
 N
  N
 1 N
 1 N

θˆ  R r    [ n] [ n]    [ n] y[ n ] 
 1 T
θˆ N  R N1rN    [ n ] T
[ n ]    [ n ] y[ n ] 
 n 1   n 1  N n 1  N n 1 
V  θˆ   N  2  rT R 1r
N N,y N N N 47
Teorema
continuare)
Teorema
Teorema 22 ((Teorema
Teorema fundamental
fundamentală ă aa MCMMP)
MCMMP)
Următoarele 3 ipoteze se consideră verificate:
a. matricea  este perfect deterministă;
b. matricea R (sau RN) este strict pozitiv definită (adică inversabilă) pentru toate
dimensiunile orizontului de măsură suficient de mari;
c. perturbaţia v aparţine clasei za(0,2) (adică este un zgomot alb de medie nulă şi
dispersie necunoscută 2).
MCMMP oferă 3 estimaţii remarcabile:
 
1 N 2 1 N
 
def
 
2
ˆθ  ΦT Φ 1 ΦT Y def

ˆ 2
 ˆ
v [ n ]  y[ n ]  φ T
[ n]θˆ N
N vˆ[ n]  y[ n]  φ [ n ]θ N
T ˆ  N
 N n 1  N n 1
vectorul zgomotul  n   
dispersia zgomotului perturbator

parametrilor perturbator
 N {N  n, N }
Acestea verifică următoarele proprietăţi:
1. Estimaţia vectorului parametrilor adevăraţi este nedeviată.
2. Matricea de auto-covarianţă a erorii de estimare pentru vectorul parametrilor
adevăraţi este egală cu:
 
1
P(θˆ )   2 R 1   2 ΦT Φ
N
3. Estimaţia vectorului parametrilor adevăraţi este consistentă.

48
Teorema
continuare)
Teorema
Teorema fundamental ă aa MCMMP
fundamentală MCMMP –– continuare
continuare))
4. Fie  clasa estimaţiilor nedeviate ale lui * care se pot exprima ca transformări liniare
deterministe ale vectorului de date de ieşire măsurate Y. Atunci, estimaţia vectorului
parametrilor adevăraţi aparţine lui  şi, în plus, face parte dintre cele mai eficiente
estimaţii din această clasă.
5. Ambele estimaţii ale dispersiei zgomotului alb sunt consistente
(deci şi asimptotic nedeviate).
6. Pentru N = N, estimaţia dispersiei zgomotului alb este deviată, dar, pentru N = N-n,
ea este nedeviată.
Demonstra ţie
Demonstraţie
• Înainte de a demonstra concluziile teoremei, sunt necesare cîteva calcule preliminare.
• Va fi dedusă relaţia care există între vectorul parametrilor adevăraţi şi
cel al parametrilor estimaţi.
def
V  [ v[1] v[2]  v[ N ]]T   N  Vectorul global al perturbaţiilor.
ˆθ   ΦT Φ 1 ΦT (Φθ  V ) 
P ((
**)) y[ n]  φT [ n]θ  v[ n] Y  Φθ  V
N
 θ   ΦT Φ  ΦT V
1
 n 1, N
θˆ N   ΦT Φ  ΦT Y
1
49
Teorema
continuare)
2)
• În continuare, va fi exprimată estimaţia vectorului perturbaţiei, în vederea determinării
unei expresii adecvate şi pentru dispersia estimată a zgomotului alb.
  [ vˆ[1] vˆ[2]  vˆ[ N ]]T   N  Vectorul global estimat al perturbaţiilor.
def
V
V  Y  Φθ  Y  Φ  Φ Φ  ΦT Y  QY
ˆ ˆ T 1 Vectorul
Vectorul perturba ţiei se
perturbaţiei se poate
poate estima
estima proiect înd
proiectînd
vectorul
vectorul datelor
datelor de
de ie şire pe
ieşire pe hiperplanul
hiperplanul parazit
parazit..
• Operatorul de deparazitare fiind ortogonal pe cel reprezentat de matricea regresorilor,
estimaţia perturbaţiei se poate obţine prin proiecţia perturbaţiei necunoscute pe
hiperplanul parazit.
ˆ  QY  Q(Φθ  V )  QV
V
Y  Φθ  V
1 ˆT ˆ 1 T T 1 T 2 1 T (datorită
• Rezultă imediat că: ˆ 2
N 
N
V V
N
V Q QV 
N
V Q V
N
V QV proprietăţilor
operatorului Q)
• Acum, se pot demonstra concluziile teoremei.
1. Nedevierea estimaţiilor parametrilor necunoscuţi
E{θˆ N }  θ  E  Φ Φ 
T 1

ΦT V  θ   ΦT Φ  ΦT E{V}  θ .
1 
ˆθ  θ   ΦT Φ 1 ΦT V
N
a.
a. c.
c. 50
Teorema
continuare)
2)
2. Matricea de auto-covarianţă a erorii de estimare
    ΦT Φ  ΦT VVT Φ  ΦT Φ  
def
1 1
P(θˆ N )  E (θˆ N  θ )(θˆ N  θ )T E
θˆ N  θ   ΦT Φ  ΦT V
1
a.
a.
  Φ Φ  Φ E  VV Φ  Φ Φ    Φ Φ  Φ Φ  Φ Φ    Φ Φ  .
1 1 1 1 T 1
T T T T 2 T T T 2
2IN c.
c.
3. Consistenţa estimaţiilor parametrilor necunoscuţi
 1 N 1
 1 N
 
 
1
lim θˆ N  θ  lim  φ[ n]φT [ n ]   φ[ n ]v[ n ] 
   θ  φφ
T
E{φ[ n]v[ n]} 
N  N 
 N n 1  N n 1  
a.&b. a.
θˆ N  θ   ΦT Φ  ΦT V
1 a.&b. a.
media aritmetică
ideală a produselor φ[ n]φ [ n]
T
1
 θ  φφT φ[ n]E{v[ n]}  θ .
Demonstra
Demonstraţia ţia ss-a
-a bazat
bazat pe
pe faptul
faptul ccă limita şşirului
ă limita irului
c.
c.
matricilor R
matricilor RNN continu
continuăă ssă
ă fie
fie inversabil ă cel
inversabilă cel pu ţin
puţin
 Consisten ţa este
Consistenţa este cea
cea mai
mai important ă
importantă pentru
pentru oo realizare
realizare infinit ă aa procesului
infinită procesului furnizor
furnizor dede date.
date.
proprietate
proprietate statistic ă.
statistică.
51
Teorema
continuare)
2)
4. Eficienţa estimaţiilor parametrilor necunoscuţi ˆ
 
1
θ  Φ T Φ ΦT Y ˆ Γ
θˆ  AY
• Pentru simplitate, indicele N va fi omis din
notaţia vectorului parametrilor necunoscuţi. a.
Aˆ   nN a.
 
• Fie θ  AY  Γ o altă estimaţie nedeviată Estimaţia oferită de MCMMP face parte din
din clasa , eventual diferită de cea Estimaţia oferită de MCMMP face parte din
oferită de MCMMP. clasa
clasa de
de estima ţii definit
estimaţii definităă îîn
n enun ţul teoremei
enunţul teoremei..
Nedeviere
Nedeviere E{θ }  θ  E A
 (Φθ  V )  A  
 (Φθ  E{V})  AΦθ 
 θ
 I
 AΦ a.
a. c.
c.
n
• Conform definiţiei, estimaţia θ̂ este cel puţin tot atît de eficientă ca estimaţia θ dacă:
P(θˆ )  P(θ )  P(θ )  P(θˆ )  0 .
• Pentru a demonstra această inegalitate, se pleacă de la operatorul liniar Δ  A  Aˆ ,
def
care verifică proprietatea remarcabilă de a fi ortogonal pe operatorul reprezentat

de matricea regresorilor (ca şi operatorul Q):
  AΦ
ΔΦ  AΦ ˆ  I  I  0.
n n
• Cu ajutorul operatorului , se poate determina o relaţie între cele două estimaţii:

θ  AY
  (Δ  A
ˆ )Y  ΔY  θˆ  Δ(Φθ  V )  θˆ  θˆ  ΔV .
Y  Φθ  V 52
Teorema
continuare)
2)
4. Eficienţa estimaţiilor parametrilor necunoscuţi (continuare)
Aşadar θ  θ  θˆ  θ  ΔV
Aşadar

P  θ   E  θ  θ  θ  θ    E  (θˆ  θ  ΔV)(θˆ  θ  ΔV)  
def T   T
  
 P(θˆ )  E (θˆ  θ )V T ΔT  E ΔV (θˆ  θ )T  E  ΔVVT ΔT  
• Termenii încrucişaţi (transpuşi unul altuia) se anulează:

E (θˆ  θ )V T ΔT   E  Φ Φ  T
1
Φ VV Δ
T T T
  Φ Φ 
T
1
ΦT E{VV T }ΔT 
θˆ  θ   ΦT Φ  ΦT V
1 a.
a. c.
c.
   Φ Φ  Φ T ΔT  0 .
1
2 T
 OO demonstra ţie alternativ
demonstraţie ă aa eficien
alternativă ţei
eficienţei
0 utilizeaz ă un
utilizează un ra ţionament bazat
raţionament bazat pepe un
un
rezultat
rezultat din
din Teoria
Teoria Matricilor
Matricilor..
• Rezultă atunci că:
P(θ )  P(θˆ )  E ΔVVT ΔT   P(θˆ )   2 ΔΔT
c. & deterministă
c.
P(θ )  P(θˆ )   2 ΔΔT  0

53
Teorema
continuare)
2)
5. Consistenţa estimaţiilor dispersiei zgomotului alb
1 T Exerciţiu
Exerciţiu
  N  V QV

ˆ 2
 Proprietatea
Proprietatea rezult
elementare,, ţţinînd
elementare
ă dup
rezultă
inînd cont
ă ccîteva
după
cont de
îteva calcule
calcule
de ipotezele
ipotezele teoremei
teoremei..
N
6. Proprietăţi de nedeviere ale estimaţiilor dispersiei zgomotului alb
   
def N def N
1 1

2 2
ˆ 
2
y[ n]  φ [ n]θˆ N
T
 Deviată ˆ 2
N  n  y[ n]  φT [ n]θˆ N  Nedeviată
N  n n 1
N
N n 1
• Ambele aserţiuni vor fi demonstrate simultan, folosind def n

operatorul numit urmă a unei matrici (trace). Tr ( A )  a i 1
ii
Propriet ăţi elementare

Proprietăţi elementare ale operatorului Tr
ale operatorului Tr suma elementelor
Liniaritate de pe diagonală
Tr( A   B )  Tr( A )   Tr( B ) 1 T
 n   ˆ 2 N  V QV 
Invarianţă la comutarea matricilor E N
Tr( AB )  Tr( BA )
 
E ˆ 2 N 
1
N

E VT QV  
1
N
E Tr( VT QV )  
 PProprietate
roprietate care
care se
se verific
verificăă 
indiferent
indiferent dac
dacăă produsul
produsul celor
celor dou
douăă
E  Tr(QVVT )
1
matrici
matrici este
este sau
sau nu
nu comutativ
comutativ.. 
N 54
Teorema
continuare)
2)
6. Proprietăţi de nedeviere ale estimaţiilor dispersiei zgomotului alb (continuare)
Aşadar
Aşadar E 
ˆ 2
N 
1
N
 
E  Tr(QVVT )
 
E ˆ 2
N 
1
N   
Tr QE VVT 
2
N
Tr(Q ) 
2 
Tr I N  Φ  ΦT Φ  ΦT  
 N 
1

a.
a. c.
c.
2
 
  
2
N  Tr Φ  Φ Φ  Φ   N  Tr  ΦT Φ  ΦT Φ  
1 1
 T T
N   N  
2 N  n 2
  N  Tr  I n    
N N
• Egalitatea obţinută demonstrează proprietatea de deviere/nedeviere a estimaţiilor
dispersiei zgomotului alb şi justifică alegerea constantei N.
IIpotezele
potezele teoremei
teoremei au au fost
fost alese
alese  Dac
Dacăă ipoteza
ipoteza b. b. din
din enun ţul Teoremei
enunţul Teoremei
cu
cu grij ă, astfel
grijă, astfel îîncît
ncît at ît
atît este
este necesar
necesară ă pentru
pentru buna
buna definire
definire aa
consisten
consistenţa ţa ccît
ît şşii nedevierea
nedevierea estima ţiei parametrilor
estimaţiei parametrilor necunoscu
necunoscuţi,ţi,
estima ţiilor ssă
ă fie
fie verificate. ipotezele
ipotezele a.a. şşii c.
c. sunt
sunt destul
destul de
de restrictive.
restrictive.
estimaţiilor verificate.
55
Sumarul
Sumarul relaţiilor
relaţiilor matriciale
matriciale din
din contextul
contextul MCMMP
MCMMP
Contextul
Contextul de
de lucru
lucru
Y  Φθ  V Y  Φθ  ε(θ ) Extrac ţia datelor
Extracţia datelor utile
utile din
din date
date
P ((
**)) E{V}  0 M (()
) 
afectate
afectate de
de zgomot
zgomot nu nu este
este îînsă
nsă
ε (θ )  V perfect ă, calitatea
perfectă, calitatea ei
ei depinz înd
depinzînd
E{VV }   I N
T 2
de
de matricea
matricea regresorilor
regresorilor..
Criteriul SNR  Φθˆ   SNR ( Y )

Criteriul ppătratic
ătratic
def MCMMP
MCMMP induceinduce oo tehnic
tehnicăă de
de
V (θ)  ε(θ )  Y  Φθ
2 2
extragere
extragere aa datelor
datelor utile
utile din
din datele
datele m ăsurate,
măsurate,
cu
cu ajutorul
ajutorul proiec ţiilor ortogonale
proiecţiilor ortogonale,, adic
adicăă
neredundante
neredundante..
Estima ţiile oferite
Estimaţiile oferite de
de MCMMP
MCMMP
θˆ N   ΦT Φ  ΦT Y  θ   ΦT Φ  ΦT V
1 1
N <>
ˆ  Y  Φθˆ  QY  QV
V  ZZgomotul
gomotul estimat ţine prin
N estimat se
se ob
obţine prin
Y ^

1 ˆT ˆ 1 T proiectarea
proiectarea datelor
datelor de
de ie şire
ieşire
ˆ 2 N  V V V QV m ăsurate pe
măsurate pe hiperplanu
hiperplanull parazit
parazit..  n
N N
<> ^
Y
V  θˆ N   Y QY  V QV  Vˆ Vˆ   N ˆ
T T T 2
N
56
Nerespectarea
Nerespectarea condiţiilor
condiţiilor Teoremei
Teoremei fundamentale
fundamentale
Cum pot fi relaxate condiţiile restrictive din cadrul Teoremei
fundamentale fără a afecta consistenţa estimaţiilor?
Condi ţia a.
Condiţia a. ((determinismul
determinismul matricii
matricii regresorilor ) este
regresorilor) este adesea
adesea îînlocuită
nlocuită E [ n]v[ m]  0
prin
prin condi ţia ca
condiţia ca perturba ţia şşii vectorul
perturbaţia vectorul regresorilor
regresorilor ssă
ă nu
nu fie
fie corelate
corelate..  n, m   
• Se poate arăta (deşi este mai complicat), că noua condiţie
nu conduce la pierderea consistenţei.
• Condiţia este sugerată de expresia ideală aparametrilor adevăraţi.
 θ   E{φ[n]φ [n]}
1
 T
 E{φ[ n] y[ n]}  E{φ[ n]v[ n]}
 1 N 
1
 1 
 
N
θ  E φ[ n]φ [ n]
1
 T
 E φ[n] y[ n]   Nlim   φ[ n ]φ T
[ n ] 
  N  
lim  φ[ n ] y[ n ] 
   N n 1    N n 1 
 θˆ N
• Mai mult, datorită timpului mort intrinsec al procesului, în anumite cazuri este posibilă
verificarea condiţiei de necorelare chiar şi în cazul identificării în buclă închisă.
Condi ţia b.
Condiţia b. ((inversabilitatea
inversabilitatea matricii
matricii dede covarian ţă) este
covarianţă) este indispensabil ă
indispensabilă
pentru
pentru buna
buna definire
definire aa estima ţiei vectorului
estimaţiei vectorului parametrilor
parametrilor necunoscu ţi.  Dealtfel, aceasta nu este
necunoscuţi.  Dealtfel, aceasta nu este
1 N
1
 1 N  oo condi ţie restrictiv
condiţie ă.
restrictivă.
 θˆ N  R N1rN    [ n] T
[ n]    [ n] y[n]  57
N n 1  N n 1 
Nerespectarea
fundamentale ((continuare)
continuare)
Condi ţia c.
Condiţia c. ((perturbaţia
perturbaţia este
este un
un zgomot
zgomot alb
alb)) se
se verific
verificăă rareori
rareori îîn
n practic ă.
practică.
Pentru
Pentru relaxarea
relaxarea ei
ei,, exist
existăă dou
douăă abord ări.
abordări.
Cazul zgomotelor colorate, Cazul zgmotelor albe

Erori sistematice de măsură 
măsură
de medie nulă de medie nenulă
Estimatorul  Cazuri
Cazuri frecvent
frecvent
Estimatorul Markov
Markov Centrarea
Centrarea datelor
datelor pe
pe medie
medie
îîntîlnite
ntîlnite îîn
n aplica ţii.
aplicaţii.
Cazul
Cazul zgomotelor
zgomotelor colorate
colorate,, de
de medie
medie nul ă. Estimatorul
nulă. Estimatorul Markov.
Markov.
E{VVT }  Λ  0 Deoarece
Deoarece media
media zgomotului
zgomotului continu
continuă ă ssă
ă fie
fie nul ă,
nulă,
at ît nedevierea
atît ît şşii consisten
nedevierea ccît ţa estima
consistenţa ţiilor
estimaţiilor
matrice de auto-covarian ţă nu neapărat oferite
oferite de
de MCMMP
MCMMP se se conserv ă.
conservă.
diagonală, dar simetrică şi strict pozitiv definită
 Se pierde eficienţa estimaţiei.
Cum se poate remedia acest efect?
   
1 1
Exerciţiu
Exerciţiu P ( ˆ
θ )  Φ T
Φ ΦT ΛΦ ΦT Φ
Estimatorul
Estimatorul CMMP
CMMP se se poate
poate îînlocui
nlocui cu
cu estimatorul
estimatorul Markov
Markov,, care
care se se
Λ  CT C  0
construie şte plec
construieşte înd de
plecînd de la
la descompunerea
descompunerea Cholesky matricii ..
Cholesky aa matricii
C T  Y  Φθ  V C  T Y  C  T Φ θ  C  T V   Φθ
Y  V

Transformare echivalentă a ecuaţiei procesului 
Y 
Φ 
V 58
Nerespectarea
continuare)
Cazul
Cazul zgomotelor
zgomotelor colorate
colorate,, de
de medie
medie nul ă. Estimatorul
nulă. Estimatorul Markov.
Markov. ((continuare
continuare ))
  Φθ
Aşadar Y
Aşadar  V
 Este alb noul zgomot? DA
CT Y CT Φ C T V   T }  E{CT VVT C1 }

E{VV
 CT E{VVT }C1
Estimaţia
Estimaţia Markov
Markov
 CT ΛC1  CT CT CC1  I N

θ  Φ
 TΦ
     ΦT Λ 1Φ 1 ΦT Λ 1Y
 TY
1
Φ  ŞŞii are
are chiar
chiar
dispersie
dispersie unitară.
unitară.
 Cea
Cea mai
mai eficient
eficientăă din clasa ..
din clasa
P(θ )  P(θˆ ) ΦT  Λ 1  Φ  ΦT ΛΦ  ΦT  Φ  0
1
    
1 1
Exerciţiu P(θ )  Φ Λ Φ
T
Exerciţiu
Markov CMMP
Este acest estimator implementabil?
ÎÎn
n general,
general, nu
nu,, din
din dou
douăă motive:
motive:
 Matricea de auto-covarianţă a zgomotului colorat nu este cunoscută.
 Chiar dacă matricea de auto-covarianţă a zgomotului colorat ar fi estimată în prealabil,
dimensiunea acesteia este egală cu a orizontului de măsură, astfel că inversarea este o
operaţie consumatoare de timp.
ÎÎn
n cazul
cazul zgomotelor
zgomotelor colorate
colorate de
de medie
medie nul ă, se
nulă, se utilizeaz
utilizeazăă tot
tot MCMMP
MCMMP,,
chiar
chiar dac
dacăă nu
nu este
este cea
cea mai
mai eficient ă.
eficientă. 59
Nerespectarea
continuare)
Cazul
Cazul zgomotelor
zgomotelor albe,
albe, de
de medie
medie nenul ă. Centrarea
nenulă. Centrarea datelor
datelor pe
pe medie
medie..
E{v[ n]}  v  0 Exerciţiu  Consistenţa şi nedevierea estimaţiei se pierd.
Exerciţiu
eroare sistematică de măsură Cum se poate remedia acest efect?

(necunoscută)
Exist
Existăă dou
douăă strategii
strategii..
n acest curs 
îîn Exerciţiu
Exerciţiu
Centrarea datelor pe medie Metoda Celor Mai Mici Pătrate cu
(staţionarizarea datelor) Parametri Extinşi (MCMMPPE)
• Se pleacă de la observaţia că zgomotul staţionarizat are medie nulă.

E v[ n]  v  v  0
def
v  v  E{v[ n ]}  v  v
• De notat că zgomotul staţionarizat nu mai este alb, ci colorat.

Exerciţiu
Exerciţiu E{v[ n ]v[ m ]}  E  v[ n ]  v  v[ m ]  v  0
  2
 [ n  m ]  v
2
 n, m   
• Conform cazului anterior, zgomotele colorate nu produc

pierderea consistenţei, dacă au media nulă. parametru necunoscut
y[ n]  φT [ n]θ  v[ n]  n   y[ n]  φT [ n ]θ  v  v[ n] suplimentar
Transformare echivalentă a ecuaţiei procesului  n   60

Nerespectarea
continuare)
Cazul
Cazul zgomotelor
zgomotelor albe,
albe, de
de medie
medie nenul ă. Centrarea
nenulă. Centrarea datelor
datelor pe
pe medie
medie.. ((continuare)
continuare)
Aşadar y[ n]  φ [ n]θ  v  v[ n]

T 
Aşadar
 n  
• Se poate aplica operatorul de mediere statistică: E{ y[n]}  E{φT [ n]}θ  E{v[ n]} y  φ θ  v
T
• Ecuaţia mediilor se scade din cea a procesului: T ecuaţia mediilor

 θ
y φ v
y[ n]  y  φ [ n]  φ 
 v[ n]
T T
 Medii
Medii ale
ale datelor
datelor m ăsurate.
măsurate.
y [ n] φ T [ n] y [ n]  φ T [ n]θ  v[ n]
 n  
 Date
Date sta ţionarizate
staţionarizate
((centrate
centrate pe Zgomotul
Zgomotul noii
noii ecua ţii de
ecuaţii de proces
proces are
are medie
medie nul ă,
nulă,
pe medie ).
medie).
dar
dar este
este ccolorat.
olorat.
1 Se
Se poate
poate folosi
folosi fie
fie Estimatorul
Estimatorul Markov
Markov,,
θ     [ n] T [ n]     [ n] y [ n ] 
N N
    fie
fie Estimatorul
Estimatorul CMMP
CMMP..
N  θ  def
 n 1   n 1  θ   
e
Exerciţiu
Exerciţiu  v 
 2 N   y [ n ]  φ T [ n]θ N 
N
1 2
 N n 1 • Să se dezvolte MCMMPPE plecînd de la exprimarea ecuaţiei

procesului cu ajutorul vectorului extins de parametri.
medii  v N  y N  φ N θ N  Eroarea
T
• Se poate arăta că estimaţiile oferite
temporale sistematică de MCMMPPE sunt aceleaşi ca în
estimate estimată. cazul staţionarizării datelor. 61
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MCMMP
MCMMP pentru
pentru modelele
modelele ARX
ARX 
 Cele
Cele mai
mai folosite
folosite îîn
n Automatic ă.
Automatică.
P ((
**)) A ( q 1 ) y[ n]  B ( q 1 )u[ n]  v[ n] y[ n]  φT [ n]θ  v[ n]
 n    n  
polinoame cu parametri adevăraţi,
avînd gradele na, respectiv nb n  na  nb
DN  {( u[ n], y[ n ])}n1, N  T def
date măsurate  [ n]    y[ n  1]  y[ n  2]   y[ n  na ] u[ n  1] u[ n  2]  u[ n  nb] 
 T def  vectorul regresorilor
θ   a1 a2  ana b1 b2  bnb   vectorul parametrilor necunoscuţi
 Ace şti vectori
Aceşti vectori au
au ccîte
îte dou
douăă componente
componente..
 1 N   1 N
   1 N  
  y[ n  i ] y [ n  j ]   N y[ n  i ]u[ n  j ]  i1,na     y [ n  i ] y[ n ]  
  N n 1  i , j1,na  n 1     N n 1  i1,na 
j1, nb
RN   ryN [i  j ]  ru , y [i  j ]
N
 r   ry [i ]
N 
 1 N  1 N
  N
1  
 N 
N
  u [ n  i ] y [ n  j ]  i1,nb u [ n  i ]u [ n  j ]      u[ n  j ] y[ n] 
  N n 1   n 1  i , j1,nb    n 1
N  j1,nb 
  r N [i  j ]
j1,na
r [i  j ]
N   N 
y ,u u ry ,u [ j ]
 Matricea
Matricea nu
nu este
este neap ărat simetric
neapărat ă.
simetrică.
• În cadrul matricii RN , indicele i parcurge liniile, iar indicele j parcurge coloanele.
• Pentru a evalua elementele matricii şi ale vectorului se apelează la 62
convenţia prelungirii cu zeroruri a secvenţelor de date măsurate.
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MCMMP
MCMMP pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
1
  r N [i  j ]    r [i  j ] i1,na 
N
   r N [i ]  
y  i , j1,na u, y
j1, nb    y  i1, na 
θˆ N  R N1rN     N 
   ryN,u [i  j ] i1,nb  ru [i  j ]
N   
  y ,u  j1,nb 
r [ j ]
  i , j1,nb 
 
 j1,na

    y[n]  φT [ n]R N1rN  Dacă perturbaţia este un zgomot alb de

N N
1 2 1 2
ˆ 2N  y[ n ]  φ [ n]θˆ N
T

N n 1 N n 1 medie nulă şi dispersie necunoascută.
 Vectorul regresorilor nu este perfect determinist. Nu
Nu poate
poate fifi aplicat
aplicatăă Teorema
Teorema fundamental
fundamentală ă aa
 Mai mult, estimaţia vectorului parametrilor MCMMP
MCMMP pentru pentru aa testa
testa consisten ţa estima
consistenţa ţiilor.
estimaţiilor.
necunoscuţi este deviată.
Cum poate fi testată consistenţa în cazul acestui model?
Prin
Prin relaxarea
relaxarea condi ţiei a.
condiţiei a. din
din ipoteza
ipoteza Teoremei
Teoremei 22..
  r [i  j ]    ru , y [i  j ] i1,na 
 y  i , j1,na
j1, nb 
   r [i ]  
lim R N     E{φ[ n]φT [ n]} lim r    y  i1,na   E{φ[ n] y[ n]}
N     r [i  j ] i1,nb  ru [i  j ]  N 
N
  r [ j ] 
  y ,u 
j1, na
i , j1, nb    y ,u  j1,nb 
 
IE
IE 63
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MCMMP
MCMMP pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
θ   E{φ[ n]φT [ n]}
1
  E{φ[ n] y[ n]}  E{φ[ n]v[ n]}
lim R N lim rN O
O condi ţie suficient
condiţie suficientăă de
de consisten ţă
consistenţă
N  N 
lim θˆ N  θ   E{φ[ n ]φT [ n]}  E{φ[ n]v[ n]}

1
E v[ n ] y[ n  i ]  0
N 
 i 1, na
E φ[ n]v[ n]  0
• Mai precis, se poate demonstra rezultatul de mai jos. E v[ n ] u[ n  j ]  0
Propozi ţia 44
Propoziţia  j 1, nb
Pentru modelul ARX, următoarele 3 ipoteze se consideră verificate:
a. semnalul de intrare are ordin de persistenţă suficient de mare, astfel încît matricea RN
să fie inversabilă pentru toate dimensiunile orizontului de măsură suficient de mari;
b. perturbaţia v aparţine clasei za(0,2) (cu dispersia necunoscută 2);
c. semnalul de intrare (comandă sau referinţă) este necorelat cu perturbaţia
( E u[ n ]v[ m]  0 ,  n, m  ).
Atunci estimaţiile oferite de MCMMP sunt consistente.
• Se observă că numai una dintre cele două condiţii suficiente  Ie şirea de

Ieşirea de la
la momente
momente anterioare
anterioare
de consistenţă este precizată în cadrul propoziţiei. este
este necorelat
necorelată ă cu
cu zgomotul
zgomotul de de la
la
• Intrarea ar trebui generată artificial, departe de sursa de momentul
momentul curent
curent datorit ă timpului
datorită timpului
perturbaţii care afectează ieşirea procesului, cu ordin de mort
mort intrinsec
intrinsec al
al procesului
procesului..
persisten ţă cît mai mare.
64
Metoda
Metoda Variabilelor
Variabilelor Instrumentale
Instrumentale ((MVI)
MVI)
• Condiţia ca perturbaţia să fie un zgomot alb rămîne restrictivă.
• Dacă nu se doreşte impunerea veunei condiţii asupra perturbaţiilor, atunci se operează o
modificare asupra estimaţiilor oferite de MCMMP.
Estimaţia
Estimaţia oferit ă de
oferită de Aceasta
Aceasta este
este oo defini ţie.
definiţie.
Metoda
Metoda Variabilelor
Variabilelor Instrumentale MVI)
Instrumentale ((MVI)
1
• Nu s-a utilizat nici un raţionament
def
1 N
 1 N
 pentru deducerea ei.
θˆ N  R N1rN    ζ[ n ]  T
[ n ]    ζ[ n ] y[ n ]  • Definiţia este corectă numai dacă
N n 1  N n 1  matricea RN este inversabilă.
instrumentale ζ[ n ]  
n
vectorul
vectorul variabilelor
variabilelor instrumentale
 Ales
Ales liber
liber de
de ccătre
ătre utilizator
utilizator,, astfel
astfel
îîncît
ncît defini ţia ssă
definiţia ă fie
fie corect ă.
corectă.
Dar consistenţa? Aceast
Aceastăă proprietate
proprietate trebuie
trebuie studiat
studiatăă îîn
n manier ă riguroas
manieră ă.
riguroasă.
Se
Se pot
pot deduce
deduce mai
mai îîntîi
ntîi condi ţiile generale
condiţiile generale de
de consisten ţă .
consistenţă.
ζ[ n]  y[ n ]  φT [ n ]θ  v[ n ]
det  E{ζ[ n]φT [ n]}  0
E

θ  E ζ[n]φT [n]   E ζ[n] y[n]  E ζ[n]v[n]
1
E{ζ[ n]v[ n]}  0

IE
IE  n  
 Instrumentele
Instrumentele trebuie
trebuie ssă
ă fie
fie
θ  lim θˆ N   E{ζ[ n]φT [ n]}  E{ζ[ n]v[ n]}
1
65

N  necorelate
necorelate cu
cu perturba ţiile.
perturbaţiile.
Metoda Variabilelor Instrumentale
A ( q 1 ) y[ n]  B ( q 1 )u[ n]  v[ n]
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX
ARX P ((
**))  n  
y[ n]  φT [ n]θ  v[ n]
 n  
 T def
Cum se poate construi vectorul variabilelor   [ n]    y[ n  1]  y[ n  2]   y[ n  na ] u[ n  1] u[ n  2]  u[ n  nb ] 
 T def
instrumentale în cazul modelelor ARX? θ   a1 a2  ana b1 b2  bnb 
Pentru
Pentru aa realiza
realiza necorelarea
necorelarea cu cu perturba ţiile, se
perturbaţiile, se îîncearcă
ncearcă utilizarea
utilizarea
n  na  nb
doar
doar aa intr ării ((nu
intrării nu şşii aa ie şirii).
ieşirii).
def
ζ[ n]   u[ n  1] u[ n  2]  u[ n  na  nb]
T
nefiltrat
33 tipuri
tipuri de
de vectori
vectori
ai parţial filtrat
ai instrumentelor
instrumentelor
def
ζ[ n]   u f [ n  1] u f [ n  2]  u f [ n  na ] | u[ n  1] u[ n  2]  u[ n  nb] ;
T
 Pe
Pe pozi ţia componentei
poziţia componentei AR
AR..
def
ζ[ n]   u[ n  1] u[ n  2]  u[ n  na ] | u f [ n  1] u f [ n  2]  u f [ n  nb] ;
T
 Pe
Pe pozi ţia componentei
poziţia componentei X
X..
(total) filtrat
def
Semnalul
Semnalul D ( q 1 )
def
ζ[ n]   u f [ n  1] u f [ n  2]  u f [ n  na  nb]
T
u f [ n]  1
u[ n ]
filtrat
filtrat C (q )
 n  
C ( q 1 )  1
; Bˆ ( q 1 )
def
Exemple u f [ n]   u[ n  nk ] estimate cu
Exemple D( q 1 )  q  nd ˆA( q 1 )
 n   MCMMP
polinoame
66
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
def
ζ[ n]   u[ n  1] u[ n  2]  u[ n  na  nb]
T
(nefiltrat)
  1 N  1 N
   1 N  
    u[ n  i ] y[ n  j ]   u[ n  i ]u[ n  j ]     u[ n  i ] y[ n ] 
def 
 N n 1  i , j1,na N n 1  i1,na  def 
 N n 1  i1, na 
j1, nb
RN    ry ,u [i  j ]
N
ru [i  j ]
N  r  N
ry ,u [i ] 
 1 N  1 N   N  1 N  
    u[ n  na  i ] y[ n  j ] N  u [ n  na  i ]u[ n  j ]      u[ n  na  j ] y[ n] 
  N n 1  i1,nb  n 1  i , j1,nb    N n 1  j1,nb 
  r N [ na  i  j ]
j1, na
ruN [ na  i  j ]   
y ,u ryN,u [ na  j ]
1
   r N [i  j ]   r [i  j ] i1,na
N 
  y ,u  i , j1,na u
   r N [i ]  
  y ,u  i1,na
j1,nb
θˆ N  R N1rN    
   r N [ na  i  j ] i1,nb  ruN [ na  i  j ]    r N [ na  j ] 
  y ,u 
j1,na
i , j1,nb    y ,u  j1,nb 
 
    y[n]  φ 
N N
1 2 1 1
2
ˆ 2N  y[ n ]  φ [ n]θˆ N
T
 T
[ n]R r
 Dacă perturbaţia este un zgomot alb de
N N
N N
n 1 n 1 medie nulă şi dispersie necunoascută.
det  E{ζ[ n]φT [ n]}

• Datorită formei vectorului instrumentelor, a doua
Condi ţiile
Condiţiile 0 condiţie este automat verificată dacă intrarea
 generale
generale dede  n   este produsă departe de sursa perturbaţiilor.

consisten
consistenţăţă E{ζ[ n]v[ n]}  0
 Nu
Nu este
este necesar
necesar ca
ca zgomotul
zgomotul ssă
ă fie
fie alb.
alb. 67
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
Este bine defnită estimaţia oferită de MVI?
Pentru
Pentru anumite
anumite semnale
semnale de
de intrare
intrare,, da
da..
Teorema
Teorema fundamental ă aa MVI
fundamentală MVI pentru
pentru modelele
modelele ARX
ARX))
Pentru modelul ARX[na,nb], următoarele 3 ipoteze se consideră verificate:
 
a. modelul este parsimonios: ( A , B )  1
(polinoamele adevărate sunt coprime) ;
b. semnalul de stimul u aparţine clasei za (0,  u )
2
(adică este un zgomot alb de medie nulă şi dispersie cunoscută).

c. perturbaţia v nu este corelată cu semnalul de stimul: E{u[ n ]v[ m]}  0 ,  n, m   .
Dacă se alege un vector al instrumentelor de tip nefiltrat, atunci estimaţia oferită de MVI
pentru vectorul parametrilor adevăraţi ai modelului este bine definită şi consistentă.
• Acest rezultat arată că modelele de tip ARX pot fi identificate cu succes şi în cazul cînd
perturbaţiile nu pot fi caracterizate statistic.
• Condiţia de neautocorelare a perturbaţiilor se transferă acum intrării, care poate fi controlată.
• În practică, intrarea de tip zgomot alb nu poate fi generată, dar semnalele care
o aproximează (SPAB, SPA) sunt frecvent utilizate în conjuncţie cu MVI,
fără a pierde buna definire a estimaţiei aferente. 68
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
Cît de eficientă este estimaţia oferită de MVI?
Pentru
Pentru testarea
testarea eficien ţei, este
eficienţei, este necesar
necesarăă evaluarea
evaluarea Aceasta
Aceasta se
se realizeaz ă îîn
realizează n demonstra ţia
demonstraţia
matricii
matricii de
de auto -covarianţă aa erorii
auto-covarianţă erorii de
de estimare
estimare.. rezultatului
rezultatului care
care urmeaz ă.
urmează.
Teorema
Teorema 44 ((Eficienţa
Eficienţa estima ţiei oferite
estimaţiei oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX)
ARX)
Se consideră că modelul ARX[na,nb] verifică următoarele ipoteze:
 
a. modelul este parsimonios: ( A , B )  1 (polinoamele adevărate sunt coprime);
b. intrarea u este un semnal de stimul cu ordin de persistenţă suficient de mare (cel puţin
na+nb) astfel încît estimaţiile oferite de MVI cu vectori ai instrumentelor construiţi
folosind numai acest semnal să fie corect definite;
dispersie necunoscută 2), nefiind corelată cu semnalul de stimul:
E{u[ n]v[ m]}  0 ,  n, m   .
d. perturbaţia v este independentă statistic de semnalul de stimul.
Atunci cea mai eficientă estimaţie (corect definită) oferită de MVI se obţine pentru
următorul vector al instrumentelor, parţial filtrat:
def
ζ[ n ]   u f [ n  1] u f [ n  2]  u f [ n  na ] | u[ n  1] u[ n  2]  u[ n  nb ]
T
,
def
B  ( q 1 )
unde: u f [ n]    1 u[ n ] .
69
A (q )
n 
Analiza
Analiza estimaţiei
estimaţiei oferite
oferite de
de MVI
MVI pentru
pentru modelele
modelele ARX
ARX ((continuare)
continuare)
O
O estima ţie cu
estimaţie cu eficien ţă satisf
eficienţă ăcătoare se
satisfăcătoare se ob ţine
obţine
def
Bˆ ( q 1 )
Teorema
Teorema 44 u f [ n]   u[ n]
folosind
folosind un
un filtru
filtru determinat
determinat prin
prin MCMMP
MCMMP.. Aˆ ( q 1 )  n  
 Cele
Cele dou ă polinoame
două polinoame sese pot estima şşii folosind
pot estima folosind MVI
MVI
cu
cu un
un vector
vector al
al instrumentelor
instrumentelor nefiltrat
nefiltrat..
• În cadrul Teoremei 4, se revine la ipoteza perturbaţiilor de tip zgomot alb, de aceea valoarea sa este
destul de limitată.
• Cu toate acestea, dacă se verifică ipotezele Teoremei 4, se poate arăta că estimaţiile oferite de
MCMMP şi MVI sunt la fel de eficiente.
• În cazul zgomotelor colorate:
 Estimaţiile oferite de MCMMP sunt mai lent convergente (mai puţin eficiente)
decît cele oferite de MVI.
 Deoarece
Deoarece Estimatorul
Estimatorul Markov
Markov este
este neimplementabil
neimplementabil..
 Estimaţiile oferite de MVI pot să nu fie consistente către valorile adevărate ale parametrilor.
 Deoarece
Deoarece procesul
procesul nu
nu poate
poate fifi stimulat
stimulat cu
cu un
un zgomot
zgomot alb.
alb.
• În aplicaţiile unde este necesară identificarea unui model de tip ARX:
 Atît estimaţiile oferite de MCMMP cît şi cele oferite de MVI sunt implementabile.
 Asigurarea condiţiilor de consistenţă nu este uşor de realizat, deoarece se bazează pe
neautocorelarea fie a perturbaţiilor, fie a intrărilor.
• În general, MCMMP este utilizată cînd procesul nu poate fi stimulat cu un SPA(B), 70
altfel se recurge la MVI.
Metode
Metode bazate
bazate pe
pe optimizarea
optimizarea parametrilor
parametrilor
• Modelele din clasa ARMAX pot fi identificate şi cu ajutorul altor metode decît MCMMP şi MVI.
• Cu cît modelul este mai complex, cu atît metoda utilizată este mai laborioasă.
• O parte dintre metodele utilizate în acest scop se bazează atît pe revizuirea/adaptarea MCMMP,
cît şi pe algoritmi care folosesc Tehnici de Optimizare.
Proceduri
Proceduri recursive
recursive cu
cu ajutorul
ajutorul ccărora
ărora un
un punct
punct de
de optim
optim (maxim
(maxim sau sau minim)
minim) alal unei
unei func ţii
funcţii
criteriu
criteriu este
este aproximat
aproximat printr -un proces
printr-un proces iterativ
iterativ exprimat
exprimat de
de oo ecua ţie cu
ecuaţie cu reactualizare
reactualizare aditiv ă.
aditivă.
Cum poate fi cuantificată precizia aproximaţiei?

θ k 1  θ k  Δ k
k 
Folosind valori succesive corecţie (aditivă)
Folosind norma
norma Euclidian ă.
Euclidiană.
ale aproximaţiei
Aproxima ţia urm
Aproximaţia ătoare este
următoare este mai
mai precis ă
precisă (vector sau scalar)  Se
Se pleac
pleacăă de
de la
la oo
dec ît aproxima ţia curent ă dac ă: ini ţializare.
iniţializare.
decît aproximaţia

curentă dacă:

θ0
θ k 1  θ  θ k  θ
 Pentru
Pentru aa stopa
stopa procesul
procesul iterativ
iterativ,,
Exemplu
Exemplu Necunoscut
Necunoscut !! trebuie
trebuie utilizat
utilizatăă oo inegalitate
inegalitate îîn
n
punct de optim
  10 4 care
care punctul
punctul dede optim
optim ssă
ă nunu
apar ă explicit
apară explicit..
k & k 1 Test practic Test ideal

 Neimplementabil
Neimplementabil..
(scalari) de stop de stop
prag minimal de precizie
coincid pînă la a patra
zecimală inclusiv θ k 1  θ k  Δ k   θ k  θ  
71
Metode bazate pe optimizarea parametrilor
Determinarea
Determinarea expresiei
expresiei generale
generale aa corec ţiei îîn
corecţiei n func ţie de
funcţie de criteriul
criteriul de
de optimizare
optimizare.. V
Obiectiv
Metoda
Metoda Newton -Raphson ((MNR)
Newton-Raphson MNR)
Metod
Metodăă aplicabil
aplicabilăă îîn
n cazul
cazul func ţiilor criteriu
funcţiilor criteriu derivabile
derivabile de
de cel
cel pu ţin 22 ori
puţin ori..
T
 V
def
V V 
Gradientul
Gradientul V ( θ )   (θ ) (θ )  (θ )    n
V funcţie care trebuie
să fie derivabilă
 1 2
 Vector
n 
Vector coloan ă.
coloană.
def   2V 
  nn
Matricea
Matricea
Hessiană
Hessiană
V (θ )  (V )(θ )   (θ ) 
funcţie care trebuie  i  j  i , j1,n
să fie continuă Jacobianul  Matrice
Matrice simetric ă.
simetrică.
V Exemplu gradientului
Exemplu
V Principiul
V Principiul metodei
metodei
V ( k) • În jurul punctului de optim, prima derivată (sau norma sa) este
 aproximativ nulă, iar derivata a doua este strict pozitiv/negativ definită.
• Se construieşte parabola (paraboloidul) care trece prin punctul curent
0 k *  (k,V(k)) şi are aceeaşi tangentă şi derivată secundă ca funcţia criteriu.
k+1 • Punctul de minim/maxim al parabolei este k+1. 72
Metoda
Metoda Newton -Raphson ((continuare)
Newton-Raphson continuare)
Aşadar
Aşadar Trebuie
Trebuie construit
construit paraboloidul
paraboloidul care
care verific
verificăă 33 propriet ăţi de
proprietăţi de coinciden ţă cu
coincidenţă cu func ţia criteriu
funcţia criteriu
Vk îîn
n punctul
punctul curent
curent..
Cum poate fi construit?
V k (θ k )  V (θ k ) V k (θ k )  V (θ k ) V k (θ k )  V (θ k )
Ar
Ar trebui
trebui exploatat
exploatată ă
proprietatea
proprietatea func ţiei criteriu
funcţiei criteriu (derivata 0) (derivata 1) (derivata 2)
de
de aa fifi de
de 22 ori
ori derivabil
derivabilă.ă. Dezvoltare
Dezvoltare în
în serie
serie Taylor
Taylor pînă
pînă la
la ordinul
ordinul 22
Paraboloidul
Paraboloidul V (θ )  V (θ )  V (θ ) T (θ  θ )  1 (θ  θ )T V (θ ) (θ  θ )
 k 
  k 

Taylor
Taylor k k k
2
k k
 θ   n
Exerciţiu
Exerciţiu • Arătaţi că paraboloidul Taylor verifică cele 3 proprietăţi de coincidenţă.
Pentru
Pentru aa determina
determina punctul
punctul de
de optim
optim al
al paraboloidului
paraboloidului Taylor,
Taylor, se
se va
va anula
anula gradientul
gradientul acestuia
acestuia..
Reguli ( r T θ )  r 1
θ k 1  θ k  V (θ k ) V (θ k )
Reguli de
de
 derivare
derivare (θT Rθ )   R  R T  θ k 
Δ k
 Matricea
Matricea Hessian
Hessiană ă este
este
simetric ă şşii inversabil
simetrică ă
inversabilă V k (θ )  V (θ k )  V (θ k )(θ  θ k )  0
îîn
n vecin ătatea optimului
vecinătatea optimului..
73
Metoda
def Termenul
Termenul corector
corector are
are semn
semn opus
opus gradientului
gradientului,,
1
 Δk   V (θ k ) V (θ k ) doarece
doarece matricea
matricea Hessian ă este
Hessiană este strict
strict
pozitiv/negativ
pozitiv/negativ definit ă.
definită.
k 
 minus Ce semnificaţie are acest rezultat?
V Exemplu
Exemplu  Semnul primei derivate obligă aproximaţia curentă
V să se deplaseze către optimul criteriului.
V  Aproximaţia curentă fiind inferioară optimului, iar
V ( k) derivata fiind negativă, corecţia se adaugă
 aproximaţiei pentru a se apropia mai mult de optim.
 Dacă este adăugată o cantitate prea V
0 mare, se ajunge în zona de derivată V V
k *
k+1 pozitivă şi următorul factor de V ( k)
corecţie se va scădea din aproximaţia
curentă, superioară optimului. 
 CConvergenţa
onvergenţa la
la punctul
punctul de
de optim
optim poate
poate fifi realizat ă fie
realizată fie printr -un
printr-un
şşir
ir monoton
monoton de
de aproxima ţii, fie
aproximaţii, fie prin
prin intermediul
intermediul unuia
unuia oscilant.
oscilant. 0 * k
k+1
1
• Eficienţa se măsoară prin
Testul Δ k  V (θ k ) V (θ k )   numărul de iteraţii necesar
de stop verificării testului de stop.
 ÎÎn
vecinătatea optimului,, norma
norma gradientului
gradientului este
este aproximativ
aproximativ nul ă.
nulă. 74
Metoda
Algoritmul
Algoritmul Newton -Raphson cu
Newton-Raphson cu pas
pas constant
constant
V :  n   (funcţie criteriu, de 2 ori derivabilă)
Date
Date de
de intrare
intrare
  0 (prag de precizie)
θ0   n  ales fie arbitrar, fie cu ajutorul unui algoritm specific
 Ini ţializare
Iniţializare
V (θ0 )  gradientul iniţial
V (θ k )  matricea Hessiană iniţială Pas constant?
k 0  indicele iterativ iniţial
Bucl
Buclăă iterativ ă
iterativă Concept
Concept definit
definit
1 îîn
n continuare
continuare..
 CCît
 ît timp
timp V (θ k ) V (θ k )  
1

 Se
Se reactualizeaz ă aproxima
reactualizează aproximaţia optimului θ k 1  θ k  V (θ k ) V (θ k )
ţia optimului

 Se
Se reactualizeaz
reactualizează gradientul şşii matricea
ă gradientul matricea Hessian
Hessianăă V (θ k )  V (θ k 1 )
 ător k  k  1 V (θ k )  V (θ k 1 )
 Se
Se trece
trece la
la pasul
pasul urm
următor
θk  aproximaţia de precizie 
Date
Date de
de ie şire
ieşire
k  numărul de iteraţii pentru atingerea preciziei dorite
 Algoritmul
Algoritmul este
este sensibil
sensibil la
la ini ţializare, îîn
iniţializare, n sensul
sensul ccă,
ă, îîn
n general,
general,
va
va converge
converge ccătre
ătre optimul
optimul celcel mai
mai apropiat
apropiat dede aceasta
aceasta.. 75
Metoda
 Utilizarea MNR (cu pas constant) este deficitară în următoarele cazuri principale:
 Funcţia criteriu are o regularitate slabă în vecinătatea optimului vizat
(adică prezintă oscilaţii mari în acea vecinătate).
 Funcţia criteriu este afectată de zgomote importante în vecinătatea optimului vizat.
 Optimul vizat al funcţiei criteriu este situat pe un platou.
• De regulă, în primele 2 cazuri, se renunţă la MNR şi se adoptă o strategie evoluţionistă.
• În ultimul caz, MNR conduce la un număr imens de iteraţii, din cauza faptului că, pe platou,
atît norma gradientului cît şi spectrul matricii Hessiene sunt aproximativ nule.
 Corec ţia este
Corecţia este imprecis
imprecis determinat ă, îîn
determinată, n special
special din
din cauza
cauza problemelor
problemelor
de
de natur
naturăă numeric
numericăă induse
induse de
de inversarea
inversarea matricii
matricii Hessiene
Hessiene..
Ce se poate face? Termenul
Termenul corector
corector poate
poate fifi ajustat
ajustat adaptiv
adaptiv cu
cu un
un scalar
scalar,, astfel
astfel îîncît
ncît viteza
viteza
de
de convergen ţă ssă
convergenţă ă creasc
crească ă prin
prin efectuarea
efectuarea unui
unui salt
salt peste
peste platou
platou..
1 1
 θ k 1  θ k  V (θ k ) V (θ k ) θ k 1  θ k   k V (θ k ) V (θ k )
k  pas variabil k 
1 pas constant
Prin
Prin utilizarea
utilizarea MNR
MNR cu cu pas
pas constant
constant pentru
pentru optimizarea
optimizarea
unei
unei func ţii criteriu
funcţii criteriu scalare
scalare adaptive
adaptive..
Cum poate fi reactualizat
 
def
pasul variabil? 1
F k (  )  V θ k   V (θ k ) V (θ k )
   76
Metoda
Algoritmul
Algoritmul Newton -Raphson cu
Newton-Raphson cu pas
pas variabil
variabil
V :  n   (funcţie criteriu, de 2 ori derivabilă)
Date
Date de
de intrare
intrare
  0 (prag de precizie)
θ0   n , 0    alese fie arbitrar, fie cu ajutorul unui algoritm specific
 Ini ţializare
Iniţializare
V (θ0 )  gradientul iniţial
V (θ k )  matricea Hessiană iniţială
Exerciţiu
Exerciţiu
• Justificaţi acest algoritm în
k 0  indicele iterativ iniţial manieră riguroasă.
Bucl
iterativă  Se
Se vor
vor utiliza
utiliza regulile
regulile cunoscute
cunoscute de
de derivare
derivare
1
 CCît
 ît timp
timp  k  V (θ k ) V (θ k )   pentru
pentru reactualizarea
reactualizarea pasului
pasului variabil
variabil..
1

 Se
reactualizează aproximaţia optimului θ k 1  θ k   k V (θ k ) V (θ k )
ţia optimului
V  θ k 1   V (θ k ) V  θ k 
T 1

 Se
Se reactualizeaz ă pasul
reactualizează variabil  k 1   k 
pasul variabil
V  θ k   V (θ k ) V (θ k 1 ) V (θ k ) V  θ k 
T 1 1

 Se
Se reactualizeaz
reactualizează gradientul şşii matricea
ă gradientul matricea Hessian
Hessianăă V (θ k )  V (θ k 1 )
 ător k  k  1 V (θ k )  V (θ k 1 )
 Se
Se trece
trece la
la pasul
pasul urm
următor
θk  aproximaţia de precizie 
Date
Date de
de ie şire
77
ieşire
k  numărul de iteraţii pentru atingerea preciziei dorite
Metoda
• MNR poate fi utilizată şi pentru a rezolva unele ecuaţii transcendente sau în
aproximarea unor numere transcendente cum ar fi , e, ln 2 , etc.

Exemplu sin( x )  1
Exemplu x
2
• Aproximarea numărului /2 se poate realiza plecînd
de la funcţia criteriu a cărei primă derivată este: f ( x )  sin( x )  1
• Este evident că anularea derivatei conduce la optimizarea funcţiei: f ( x )   cos( x )  x  C
Exerciţiu • Folosind exemplul anterior, determinaţi numărul  cu 7 zecimale exacte.
Exerciţiu
• Pentru a diminua complexitatea metodei, se poate renunţa la a doua derivată.
V Exemplu Metoda
Metoda gradientului M)
gradientului ((M)
Exemplu
V • De această dată, aproximaţia următoare se determină prin
intersectarea tangentei (hiperplanului tangent) care trece prin
V ( k) punctul curent (k,V(k)) cu axa orizontală (hiperplanul principal).
 Exerciţiu
Exerciţiu
0 k*  θ k 1  θ k  V (θ k ) θ k 1  θ k   k V (θ k )
k 
k+1 M cu pas constant
   
T
 k 1   k  V θ k 1  V θ k
 M este utilizată atunci cînd derivata a doua fie nu există,
M cu pas variabil k 
fie nu se poate evalua.
 Viteza de convergenţă a M este însă modestă chiar şi în cazul pasului variabil. 78
Metoda
Metoda Gauss-Newton ((MGN)
Gauss-Newton MGN)
N
V (θ )    2 [ n, θ ]
Metod
Metodăă aplicabil
aplicabilă ă îîn
n cazul
cazul func ţiilor criteriu
funcţiilor criteriu de
de tip
tip ppătratic
ătratic
(cum
(cum sunt
sunt şşii cele
cele din
din IS ).
IS). n 1
• Dacă funcţia criteriu este de 2 ori derivabilă, MNR poate fi adaptată reziduu
astfel încît să se evite evaluarea matricii Hessiene.
Exist
Existăă 22 abord ări
abordări
Aproximarea matricii Hessiene Liniarizarea reziduurilor

N Exerciţiu
Exerciţiu
V (θ )  2 [ n, θ][ n, θ]
 θ   n
N
V (θ )    [ n, θ ]
2
n 1
n 1 N N
V (θ )  2 [ n, θ][ n, θ]  2 [ n, θ] [ n, θ]
T
n 1 n 1  θ   n
termen principal termen parazit
• Dacă se efectuează un număr suficient de mare de iteraţii, reziduurile deponderează puternic
matricea Hessiană a acestora în termenul parazit.
 ÎÎn
vecinătatea optimului,,
N reziduul
reziduul are
are valori
valori neglijabile
neglijabile..
V (θ )  2 [ n, θ][ n, θ]
T
n 1
 θ   n 79
Metoda
Metoda Gauss-Newton ((continuare)
Gauss-Newton continuare)
N
MNR
MNR V (θ )  2 [ n, θ][ n, θ]
1 n 1
 θ   n
θ k 1  θ k   k V (θ k ) V (θ k )
N
V ( θ )    2 [ n, θ ]
k 
n 1
N
V (θ )  2 [ n, θ][ n, θ]
T
n 1
 θ   n
1
N T  
N

θ k 1  θ k   k   [ n, θ k ][ n, θ k ]    [ n, θ k ][ n, θ k ]
 n 1   n 1 
k 
 De şi matricea
Deşi matricea Hessian
Hessiană ă aa criteriului
criteriului ppătratic
ătratic nu
nu aa fost
fost îînlăturată
nlăturată din
din expresia
expresia
iterativ ă principal
iterativă ă, îîn
principală, n calculul
calculul acesteia
acesteia nu
nu intervine
intervine dec
decîtît gradientul
gradientul reziduurilor
reziduurilor..
Exerciţiu
Exerciţiu
• A doua abordare se bazează pe liniarizarea reziduurilor, adică pe aproximarea reziduurilor
prin dezvoltarea acestora în serie Taylor de ordin I.
[ n, θ]  [ n, θ k ]  [ n, θ k ] (θ  θ k )
T
• Să se arate că ecuaţia iterativă a MGN obţinută

din MNR prin liniarizarea reziduurilor,  n 1, N  θ   n
coincide cu cea din abordarea anterioară. 80
Caracteristici
Caracteristici ale
ale tehnicilor
tehnicilor de
de optimizare
optimizare în
în IS
IS
• Majoritatea covîrşitoare a metodelor de optimizare nu pot garanta că optimul aproximat este cel global,
ci, eventual cel mai apropiat de iniţializarea procesului iterativ.
• Metodele de optimizare funcţionează numai pentru funcţiile criteriu cărora li se poate evalua
gradientul (prima derivată) şi, eventual, matricea Hessiană (derivata a doua).
 ÎÎn
n multe
multe aplica ţii, aceast
aplicaţii, aceastăă exigen ţă este
exigenţă este imposibil
imposibil de
de satisfăcut.
satisfăcut.
• Pentru a asigura eficienţa algoritmilor bazaţi pe TO, este de dorit ca funcţiile criteriu să fie cît mai
netede, cu oscilaţii puţine în jurul optimului vizat şi fără paliere.
 Din
Din cauza
cauza perturba ţiilor care
perturbaţiilor care corup
corup datele
datele m ăsurate, func
măsurate, ţiile criteriu
funcţiile criteriu
din
din cadrul
cadrul IS
IS sunt
sunt îîn
n general
general extrem
extrem de
de neregulate
neregulate..
TTehnicile
ehnicile de
de optimizare
optimizare cca
a MNR
MNR sau sau MGN
MGN suntsunt utilizate
utilizate îîn
n IS
IS mai
mai mult
mult ca
ca
instrumente
instrumente auxiliare
auxiliare integrate
integrate îîn
n alte
alte metode
metode mai
mai precise
precise..
• Parametrii care pot fi identificaţi cu ajutorul tehnicilor de optimizare au, de regulă, precizii diferite.
Exemplu 
• Aproximaţia de ordin k+1 se obţine din aproximaţia
Exemplu n 2
de ordin k prin contribuţia a două componente de
2 V
 2,k
corecţie diferite: una mai mare şi alta mai mică.
 2,k+1  2
* • Parametrul 1 este mai puţin sensibil (identificabil)
decît parametrul 2.
 2,k
 1,k
• Un nou test de stop poate asigura precizia minimă a
suprafeţe de
fiecărei componente (cu scăderea vitezei de convergenţă):

0 izo-nivel
 1*  1,k+1  1,k 1 max i ,k 1  i ,k 
i1,n n 81
Metoda
Metoda Celor
Celor Mai
Mai Mici
Mici Pătrate Extins
Pătrate ă ((MCMMPE)
Extinsă MCMMPE)
• Discuţia care urmează vizează identificarea modelelor de regresie liniară
avînd vectorul regresorilor nemăsurabil.
• Astfel de modele se regăsesc atît în clasa ARMAX, cît şi (mai ales) în clasa RSISO.
Exemplu
Exemplu
ARMAX[na,nb,nc
ARMAX[na,nb,nc]]
 T def
 [ n]    y[ n  1]  y[ n  2]   y[ n  na ] u[ n  1] u[ n  2]  u[ n  nb] ...
 3 componente, ... e[ n  1] e[ n  2]  e[ n  nc ]
 ca şi vectorul parametrilor
 T def  Ultima
Ultima component
componentă ă
θ   a1 a2  ana b1 b2  bnb c1 c2  cnc 
nu
nu este
este m ăsurabilă.  n  
măsurabilă.
• Strategia generală de identificare cu ajutorul MCMMPE constă în două etape:
 Estimarea zgomotului care intervine în componenta nemăsurabilă cu ajutorul unui
model avînd vectorul regresorilor complet măsurabil (dar mai puţin precis).
 Determinarea parametrilor originali ai modelului cu ajutorul vectorului regresorilor
avînd componenta nemăsurabilă estimată în etapa precedentă.
• În ambele etape este folosită o metodă de identificare din clasa MCMMP-MVI,
de unde atributul “Extinsă”.
• În cazul modelului general ARMAX:
 Zgomotul alb este estimat cu ajutorul unui model de tip ARX suficient de complex.
 Se aplică din nou MCMMP, fie direct (folosind vectorul estimat al regresorilor),
fie indirect (prin determinarea pseudo-soluţiei unui sistem incompatibil). 83
Metoda Celor Mai Mici Pătrate Extinsă
Extinsă
Cazul
Cazul modelelor
modelelor ARMAX
ARMAX zgomot (eventual) colorat
P ((
**)) A ( q 1 ) y[ n]  B ( q 1 )u[ n]  C  ( q 1 )v[ n] y[ n]  φT [ n]θ  v[ n]
 n    n  
polinoame cu parametri adevăraţi,
avînd gradele na, na, respectiv nc n  na  nb  nc DN  {( u[ n], y[ n ])}n1, N
date măsurate
 Vectorul
regresorilor fiind
fiind nem ăsurabil, se
nemăsurabil, se apeleaz
apeleazăă la
la
strategia
strategia îîn
n dou ă etape
două etape care
care fundamenteaz
fundamentează ă MCMMPE
MCMMPE..
 Estimarea zgomotului de proces (alb sau colorat) cu ajutorul θˆ N  argmin V (θ )  ?
unui model de tip ARX suficient de complex. θ n
Cum se poate aproxima modelul general ARMAX cu unul de tip ARX?
Prin
Prin îîmpărţirea
mpărţirea infinit ă trunchiat
infinită ă aa ecua
trunchiată ţiei de
ecuaţiei de proces
proces
la
la polinomul
polinomul componentei
componentei MA MA..
A ( q 1 ) n
   k q   k q  k  A  ( q 1 )
 k indici structurali suficient de mari
min{n, n}  max{na , nb, nc}
 1
C ( q ) k 0 k 0
B  ( q 1 ) n
  ( q 1 )
   k
q     k
q  B
C  ( q 1 ) k  0 y[ n]  φ T [ n]θ   v[ n]  n  
k k
k 0
~ ~**   1   1
P ((
 )) A ( q ) y[ n]  B ( q )u[ n]  v[ n]  n   
84
Extinsă
~ ~**
Aşadar
Aşadar  )) y[ n]  φ T [ n]θ   v[ n]
P ((
(proces ARX aproximant)  n  
  T def
 [ n]    y[ n  1]  y[ n  2]   y[ n  n] u[ n  1] u[ n  2]  u[ n  n]
 T def

θ   a1 a 2  a n
 b1 b2  bnb 
 n  
1
1 N
 1 N

MCMMP
MCMMP sau
sau MVI
MVI θ N    
ψ [ n ] [ T
n ]    
ψ [ n ] y[ n ] 
N n 1  N n 1 
 [ n]  vectorul regresorilor
notaţie unificatoare:
• Modelul aproximant permite estimarea ζ[ n]  vectorul instrumentelor
zgomotului perturbator al procesului original:
v[ n]  y[ n]  φ T [ n]θ N  A N ( q 1 ) y[ n]  B N ( q 1 )u[ n]    n, θ N 
def
eroare de predicţie
cu un pas
def
(diferenţa dintre datele
ˆ [ n]    y[ n  1]  y[ n  2]   y[ n  na ]
T
... utile măsurate şi cele
prognozate folosind
... u[ n  1] u[ n  2]  u[ n  nb] ...
modelul de identificare)
...   n  1, θ N    n  2, θ N     n  nc, θ N   ,  n   .
 Vectorul
Vectorul estimat
estimat al
al regresorilor
regresorilor.. 85
Extinsă
 Estimarea directă a parametrilor modelului ARMAX folosind
vectorul aproximativ al regresorilor (din etapa precedentă).
1
1 N
 1 N

θˆ N    ˆ [ n ]ˆ [ n]  
T
 ˆ [n] y[ n]  (parametri estimaţi)
N n 1  N n 1 
MCMMPE
MCMMPE

V  θˆ N    y[ n ]  ˆ T [ n]θˆ N 
N 2
(1/precizie)
n 1
 N ˆ 2N 
 Dac
Dacăă perturba ţia este
perturbaţia este un
un zgomot
zgomot alb
alb cu
cu dispersie
dispersie necunoscut ă.
necunoscută.
 N {N , N  na  nb  nc}
’ Estimarea indirectă a parametrilor modelului ARMAX folosind
parametrii modelului ARX aproximant (din etapa precedentă).
A( q 1 )  C ( q 1 ) A ( q 1 ) Polinoamele
A ( q 1 ) n
 
C  ( q 1 ) k 0
  k
k q  
k 0
k q  k  A  ( q 1 ) Polinoamele necunoscute
necunoscute A A,, B
B şşii C
C
sugereaz
sugereazăă ar
ar trebui
trebui ssă
ă rezulte
rezulte prin
prin
B( q 1 )  C ( q 1 ) B ( q 1 )
B ( q 1 ) n
  k q  k   k q  k  B  ( q 1 )
 1
C (q ) k 0 k 0 identificarea
identificarea coeficien ţilor.
coeficienţilor.
 Sistemul este însă incompatibil (are mai multe ecuaţii decît necunoscute).
 min{n, n}  max{na, nb, nc}
Ce se poate face?
 TΦ
   T ρ (parametri
1
Se
  ρ
Φθ
θˆ  Φ Φ estimaţi)
Se caut ă oo pseudo -soluţie,
  (1/precizie)
V  θˆ   ρ T Qρ
caută pseudo-soluţie,
folosind
folosind tot
tot MCMMP
MCMMP..  monic
monicăă  n n 2 nc
 ( n n 2 nc )( na  nb  nc )  Teorema

Teorema 11 86
Extinsă
Cît de precisă este această metodă?
Precizia
Precizia este
este limitat ă din
limitată din cauza
cauza aa 44 surse
surse de
de eroare
eroare::
 Trunchierea modelului ARX aproximant.
 Estimarea parametrilor modelului ARX aproximant.
 Estimarea valorilor perturbaţiei (adică a vectorului regresorilor modelului ARMAX).
 Estimarea parametrilor modelului ARMAX.
Consistenţa estimaţiilor?
Condi ţile de
Condiţile de consisten
consistenţăţă sunt
sunt similare
similare celor
celor din
din
Propozi ţia 44 ((pentru
Propoziţia pentru modelul
modelul ARX
ARX):):
a. modelul ARX aproximant este ideal, adică operează cu polinoame infinite
(filtre de tip IIR);
b. semnalul de intrare este necorelat cu perturbaţia
( E u[ n ]v[ m]  0 ,  n, m  );
c. semnalul de intrare are un ordin de persistenţă suficient de mare,
astfel încît matricea E{φ[ n]φ [ n]} să fie inversabilă.
T
ÎÎn
n aplica ţiile practice,
aplicaţiile practice, MCMMPE
MCMMPE este este utilizat
utilizatăă atunci
atunci ccînd
înd nu
nu se
se
impune
impune oo precizie
precizie de
de estimare
estimare superioar
superioară ă sau
sau ca
ca metod
metodăă auxiliar ă
auxiliară
capabil ă ssă
capabilă ă furnizeze
furnizeze ini ţializări pentru
iniţializări pentru alte
alte metode
metode mai
mai precise.
precise. 87
Metoda
Metoda Minimizării Erorii
Minimizării Erorii de
de Predicţie ((MMEP)
Predicţie MMEP)
• Aceasta este una dintre cele mai generale metode de identificare fundamentală.
• Ca şi MCMMPE, ea se adresează modelelor din clasele ARMAX şi RSISO care au
vectorul regresorilor nemăsurabil, dar este mult mai precisă (şi mai complexă).
• Strategia generală de identificare cu ajutorul MMEP constă (tot) în două etape:
 Iniţializarea algoritmului iterativ de la etapa următoare (eventual folosind MCMMPE).
 Determinarea iterativă a parametrilor originali ai modelului cu ajutorul unei metode
bazate pe TO (de exemplu: MGN sau, mai general, MNR).
• În acest curs, vor fi utilizate metodele: MCMMPE şi MGN. Dac ă MGN
Dacă MGN este
este îînlocuită
nlocuită de
de MNR
MNR
Minimizarea Erorii de Predicţie? Metoda
Metoda de
de Regresie
Regresie
Pseudo-Liniară ((MRPL)
Pseudo-Liniară MRPL)
Numele
Numele provine
provine dede la
la criteriul
criteriul de
de optimizare
optimizare,, care
care este
este exprimat
exprimat
def
1 N
prin
prin dispersia
dispersia erorii
erorii dintre
dintre model
model şşii proces
proces pe
pe orizontul
orizontul de
de măsură.
măsură.
V N ( θ ) 
N
  [ n, θ ]
n 1
2
 θ   n
Aşadar
Aşadar Minimizarea
Minimizarea criteriului
criteriului ppătratic
ătratic revine
revine
la
la minimizarea
minimizarea dispersiei
dispersiei erorii
erorii de
de Eroare
Eroare de
de predicţie
predicţie   n, θ   y[ n]  φT [ n ]θ
predic ţie pe
predicţie pe orizontul
orizontul de
de m ăsură.
măsură. (cu
(cu un
un pas)
pas)  n  
valoare prognozată
Şi totuşi… de unde provine numele  ÎÎn
n cazul
(predictată) folosind cazul modelelor
modelelor
de “eroare de predicţie”? de
modelul de identificare de regresie
regresie liniar ă.
liniară.
Pentru
Pentru aa genera
genera prin
prin simulare
simulare valoarea
valoarea curent ă
curentă
aa ie şirii procesului  A
A se
se vedea
vedea cum
cum arat
aratăă
ieşirii procesului,, sunt
sunt utilizate
utilizate numai
numai date
date
m ăsurate la
măsurate la momente
momente anterioare
anterioare celui
celui curent
curent..
vectorul
vectorul regresorilor
regresorilor.. 88
Metoda Minimiză
Minimizării Erorii de Predicţie
Algoritmul
Algoritmul generic
generic al
al Minimizării Erorii
de Predicţie
Predicţie
DN  {( u[ n], y[ n ])}n1, N (date intrare-ieşire măsurate)
Date
Date de
de intrare
intrare   f [ n, θ] (expresia erorii de predicţie, cel puţin derivabile)
  0 (prag de precizie)
θˆ N ,0   n

 evaluat cu ajutorul MCMMPE
Ini ţializare
Iniţializare 0    ales fie arbitrar, fie cu ajutorul unui algoritm specific
k 0  indicele iterativ iniţial
Bucl
iterativă  Se
Se utilizeaz ă itera
utilizează ţia specific
iteraţia specificăă

 Se
reactualizează ţia optimului
aproximaţia optimului din
din cadrul
cadrul MGN
MGN..
1
N T N 
θˆ N ,k 1  θˆ N ,k   k   [ n, θ N ,k ] [ n, θ N ,k ]    [ n, θˆ N ,k ][ n, θˆ N ,k ]
ˆ ˆ
 n 1   n 1 
k  k 1 R N1, k rN ,k
rNT ,k 1 R N1, k rN ,k

 Se
Se reactualizeaz ă pasul
reactualizează variabil  k 1   k 
pasul variabil
rNT ,k R N1,k R N ,k 1 R N1, k rN ,k
NU 1 DA θˆ N ,k 1  aproximaţia de precizie 
k  R N ,k rN ,k   Date
Date de
de ie şire
ieşire
k  1  numărul de
iteraţii efectuate 89
Metoda Minimiză
MMEP
MMEP aplicat
aplicatăă modelului
modelului general
general de
de tip
tip ARMAX
ARMAX
 P ((
**)) A ( q 1 ) y[ n]  B ( q 1 )u[ n]  C  ( q 1 )v[ n] y[ n]  φT [ n]θ  v[ n]
 n    n  
M (()
) A( q 1 ) y[ n]  B( q 1 )u[ n]  C ( q 1 )[ n, θ] y[ n]  φT [ n]θ  [ n, θ]
eroarea de predicţie cu un pas  n    n  
Algoritmul
Algoritmul generic
generic al
al Minimiză
Minimizării Erorii
de Predicţ
Predicţie
Predicţie
DN  {(u[ n ], y[ n ])}n1, N (date intrare-ieşire m?surate)
intrare-ieş surate)
 Date
Date de
de intrare
intrare   f [ n, θ ] (expresia erorii de predicţ
predicţie, puţin derivabile)
ie, cel puţ derivabile)
def N precizie)
  [ n, θˆ N ,k ] [ n, θˆ N ,k ]

T
θˆ N ,0   n
Problema
Problema este
este de determina R N , k
de aa determina 
 evaluat cu ajutorul MCMMPE
ţializare
Iniţ
Ini
Iniţializare 0   ales fie arbitrar,
arbitrar, fie cu ajutorul unui algoritm specific
k 0
valorile
valorile erorii
erorii de
de predic ţie şşii
iniţial
 indicele iterativ iniţ
n 1
predicţie Bucl?
Bucl? iterativ?
Bucl? iterativ ?
iterativ?  Se
Se utilizeaz?
utilizeaz? iteraţ
utilizeaz? itera ţia specific?
iteraţia specific?
specific?
ale
ale gradientului
gradientului acesteia
acesteia pentru

 Se
Se reactualizeaz?
reactualizeaz ţia optimului
? aproximaţ
aproxima din
din cadrul
cadrul MGN.
MGN..
MGN
def N reactualizeaz? aproximaţia optimului
pentru
   ˆ ][ n, θˆ ] 1
r θ
N T N 
θˆ N ,k 1  θˆ N , k   k   [ n, θˆ N , k ] [ n, θˆ N , k ]    [ n, θˆ N ,k ][ n, θˆ N , k ]
itera ţia curent ă.

[ n ,  n 1   n 1 
iteraţia curentă. N , k
n 1
N ,k N ,k
k  k 1 R N1,k rN ,k
rNT , k 1 R N1, k rN , k

 Se
Se reactualizeaz?
reactualizeaz ? pasul
reactualizeaz? variabil  k 1   k 
pasul variabil
rNT ,k R N1,k R N , k 1 R N1, k rN , k
NU DA aproximaţia de precizie 
θˆ N ,k 1  aproximaţ
k  R N1, k rN , k  
Ar
Ar putea
putea fifi utilizat ă ecuaţia
Date
Date de
de ieş
ie şire
ieşire
utilizată ecuaţia  k  1  num?
num?rul de
iteraţii efectuate
iteraţ
modelului
modelului de de identificare
identificare,, cu
cu [ n, θˆ N ,k ]  y[ n]  aˆ1,Nk y[ n  1]    aˆ na , k y[ n  na ] 
N
parametrii
parametrii curent
curent estimaţi
estimaţi..
 bˆ1,Nk u[ n  1]    bˆnbN ,k u[ n  nb] 
Aˆ N ,k ( q 1 ) y[ n]  Bˆ N ,k ( q 1 )u[ n]  Cˆ N ,k ( q 1 )  n, θˆ N ,k 
 cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc , θˆ N ,k 
 n  
 n  
 Ini ţializare
Iniţializare
cauzal
cauzalăă
[ n, θˆ N ,k ]  u[ n]  y[ n]  0
n  0
 Ecua ţie recurent
Ecuaţie
determinarea
ă pentru
recurentă
determinarea erorii
pentru
erorii de
de predic ţie.
predicţie. 90
Metoda Minimiză
MMEP
MMEP aplicat
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)
Dar gradientul? Nimic

Nimic nu
nu îîmpiedică
mpiedică derivarea
derivarea ecua ţiei care
ecuaţiei care
produce
produce rela ţia recursiv
relaţia ă aa erorii
recursivă erorii de
de predic ţie.
predicţie.
1
CN , k ( q )

  n, θˆ N ,k   y[ n  i ]
 Aˆ N ,k ( q 1 ) y[ n]  Bˆ N ,k ( q 1 )u[ n]  Cˆ N ,k ( q 1 )  n, θˆ N ,k  
ai  n  
 i 1, na
  
  n, θˆ N ,k   y[ n  i ]  cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc, θˆ N ,k 
ai ai ai
 i 1, na

C N , k ( q 1 )   n, θˆ N ,k   u[ n  j ]  Ecua ţii recurente
b j Ecuaţii recurente pentru
pentru determinarea
determinarea
 j 1, nb componentelor
componentelor gradientului
gradientului..
 n  
  
  n, θˆ N ,k   u[ n  j ]  cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc, θˆ N ,k 
b j b j b j
 j 1, nb

C N , k ( q 1 )
cl
[ n, θˆ N ,k ]  [ n  l , θˆ N ,k ]
 l 1, nc  Ini ţializare
Iniţializare
cauzal
cauzalăă
[ n, θˆ N ,k ]  [ n, θˆ N ,k ]  u[ n]  y[ n]  0
n  0
 l 1, nc
  
  n, θˆ N ,k     n  l , θˆ N ,k   cˆ1,Nk   n  1, θˆ N ,k     cˆncN ,k   n  nc , θˆ N ,k 
cl cl cl 91
Metoda Minimiză
MMEP
MMEP aplicat
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)
Exemplu
Exemplu Primele
Primele 33 iteraţii
iteraţii ale
ale relaţiilor
relaţiilor recursive
recursive la
la pasul
pasul curent
curent de
de aproximare
aproximare k 
  
 1, θˆ N ,k   y[1]  1, θˆ N ,k   0  1, θˆ N ,k   0  1, θˆ N ,k   0 n 1
ai b j cl
  2, θˆ N ,k   y[2]  aˆ1,Nk y[1]  bˆ1,Nk u[1]  cˆ1,Nk  1, θˆ N ,k    

  2, θˆ N ,k   y[2  i ]  cˆ1,Nk  1, θˆ N ,k   y[2  i ]
ai ai
 y[2]   aˆ1,Nk  cˆ1,Nk  y[1]  bˆ1,Nk u[1]
 
    2, θˆ N ,k     2  l , θˆ N ,k   cˆ1,Nk  1, θˆ N ,k  
  2, θˆ N ,k   u[2  j ]  cˆ1,Nk  1, θˆ N ,k   u[2  j ] cl cl
b j b j
   2  l , θˆ N ,k  n2
 3, θˆ N ,k   y[3]  aˆ1,Nk y[2]  aˆ 2,N k y[1]  bˆ1,Nk u[2]  bˆ2,Nk u[1]   
 3, θˆ N ,k   y[3  i ]  cˆ1,Nk   2, θˆ N ,k  
ai ai n3
 cˆ1,Nk   2, θˆ N ,k   cˆ2,N k  1, θˆ N ,k 

 cˆ2,N k  1, θˆ N ,k   y[3  i ]  cˆ1,Nk y[2  i ]
   ai
 3, θˆ N ,k   u[3  j ]  cˆ1,Nk   2, θˆ N ,k   cˆ2,N k  1, θˆ N ,k  
b j b j b j
 u[3  j ]  cˆ1,Nk u[2  j ] 1/precizie
1/precizie
 
N
   1
cl
 3, θˆ N ,k    3  l , θˆ N ,k   cˆ1,Nk
cl
  2, θˆ N ,k   cˆ2,N k
cl
 1, θˆ N ,k   V θˆ N ,k 
N
n 1
2
 n, θˆ N ,k 
 
  3  l , θˆ N ,k   cˆ1,Nk   2  l , θˆ N ,k   N ˆ 2N , k v  za (0,  2 ) 92
Metoda Minimiză
MMEP
MMEP aplicat
modelului general
general de
de tip
tip ARMAX
ARMAX ((continuare)
continuare)
Cît de precisă este această metodă?
Precizia
Precizia este
este ridicat ă, dar
ridicată, dar afectat
afectatăă de
de 22 surse
surse importante
importante de
de eroare
eroare::
 Iniţializările parametrilor şi ale relaţiilor recursive prin intermediul cărora
se estimează eroarea de predicţie şi gradientul.
 Aproximarea matricii Hessiene operată în cadrul MGN.
Consistenţa estimaţiilor?
Teorema
Teorema 55 ((Consistenţa
Consistenţa estima ţiei oferite
estimaţiei oferite de
de MMEP
MMEP pentru
pentru modelele
modelele ARMAX)
ARMAX)
Se consideră că modelul ARMAX[na,nb,nc] verifică următoarele ipoteze:
  
a. modelul este parsimonios: ( A , B , C )  1 (polinoamele adevărate sunt coprime);
b. intrarea u este un semnal de stimul cu ordin de persistenţă suficient de mare astfel
încît matricea E{φ[ n]φT [ n]} să fie inversabilă;
dispersie necunoscută 2), nefiind corelată cu semnalul de stimul:
E{u[ n]v[ m]}  0 ,  n, m   .
Atunci estimaţiile oferite de MMEP sunt convergente şi consistente.
lim lim θˆ N ,k  θ  Metoda
Metoda func ţionează corect
funcţionează corect şşii îîn
n cazul
cazul
N  k 
Mai precis: zgomotelor
zgomotelor colorate
colorate,, dac
dacăă se
se consider
consideră ă un
un model
model
lim lim  N ,k   93
ˆ 2 2
N  k 
separat
separat pentru
pentru acestea
acestea (de
(de exemplu
exemplu ARMA ARMA). ).
Metode
Metode bazate
bazate pe
pe Teoria
Teoria Estimaţiei
Estimaţiei
 Formularea
problemei de
de identificare
identificare din
din perspectiva
perspectiva Teoriei
Teoriei Estima ţiei
Estimaţiei
def
P ((
**)) y [n] P(θ )  E{(θ  θ )(θ  θ )T }   nn
u [n] Y matricea de auto-covarianţă
U P(()
)
a erorii de estimare
yM [n,]
M (()
)
θˆ N  argmin P(θ )
Minimizare
θS   n
 ÎÎn
n sensul
sensul pozitiv
pozitiv (semi -)definirii.
(semi-)definirii.
 Matricea de auto-covarianţă a erorii de estimare este dificil, dacă nu imposibil de evaluat.
 Chiar dacă ar putea fi evaluată (vezi Teorema fundamentală a MCMMP),
ea depinde de paramerii adevăraţi (necunoscuţi). 1
 
 
def N
P θˆ N   2   φ[ n]φT [ n ] 
Şi atunci?...  n 1 
Problema
Problema se
se poate
poate relaxa
relaxa prin
prin îînlocuirea
nlocuirea matricii
matricii de
de auto -covarianţă cu
auto-covarianţă cu alte
alte criterii
criterii,,
corelate
corelate (direct
(direct sau
sau indirect)
indirect) cu
cu aceasta
aceasta..
θˆ ( D )  Estimaţie evaluată plecînd de la setul de date măsurate.

D  {(u[ n], y[ n])}n1,N
date măsurate θˆ ()  Estimator.
 Concept mprumutat şşii metodelor
Concept îîmprumutat metodelor
din
din afara
afara domeniului
domeniului TETE.. 94
Metode bazate pe Teoria Estimaţiei
Metoda
Metoda lui
lui Bayes
Bayes ((MB)
MB)
• Aceasta este una dintre tehnicile cele mai cunoscute de predicţie a valorilor unei variabile aleatoare,
folosind diferite distribuţii de probabilitate asociate acesteia şi istoria valorilor sale.
• În cadrul IS, variabila aleatoare ce trebuie predictată este vectorul parametrilor necunoscuţi.
• Densităţi de probabilitate asociate:
p θ  Densitatea de probabilitate a apariţiei vectorului 
(necondiţionată de setul de date măsurate).
p D  Densitatea de probabilitate a obţinerii setului de date D
(necondiţionată de vectorul parametrilor).
p  θ, D   Densitatea de probabilitate a apariţiei vectorului  şi obţinerii setului de date D
în acelaşi experiment de identificare.
p  θ | D   Densitatea de probabilitate a apariţiei vectorului , condiţionată de setul de date D
(adică estimat plecînd de la setul de date măsurate).
p  D | θ   Densitatea de probabilitate a obţinerii setului de date D, condiţionată de vectorul 
(adică prin simularea folosind modelul de identificare cu vectorul parametrilor).
Problema
Problema lui
Bayes
Bayes
lui θˆ ( D )  argmax p  θ | D 
θS   n
 Se
Se caut
cautăă acel
acel vector
vector de
de parametri
parametri care
care are
are probabilitatea
probabilitatea
maxim
maximă ă de
de aa fifi estimat
estimat plec înd de
plecînd de la
la setul
setul de
de date
date m ăsurate.
măsurate. 95
Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
• Se poate arăta (deşi dificil) că, în anumite condiţii, maximizarea probabilităţii din cadrul problemei
lui Bayes conduce la minimizarea matricii de auto-covarian ţă a erorii de estimare.
Cum poate fi rezolvată problema lui Bayes?
Folosind
Folosind oo proprietate
proprietate elementar
elementarăă de
de Teoria
Teoria Probabilit ăţilor.
Probabilităţilor.
p  θ, D   p  D | θ  p  θ   p  θ | D  p  D 
p  D | θ p θ
θˆ ( D )  argmax p  θ | D   argmax  argmax p  D | θ  p  θ 
θS   n θS   n p D θS   n
Noua
Noua problem
problemă ă se
se poate
poate rezolva
rezolva  Probabilitatea
Probabilitatea de
de aa ob ţine setul
obţine setul măsurat de
măsurat de date
date nu
nu
practic
practic dup ă oo strategie
după strategie recursiv ă.
recursivă. depinde
depinde de
de parametrii
parametrii care
care urmeaz
urmeazăă aa fifi estima ţi.
estimaţi.
• Dacă ambele densităţi de probabilitate din produsul ce trebuie maximizat sunt cunoscute,
se poate utiliza o tehnică de optimizare (de exemplu, de tipul MNR).
 Cunoaşterea acestora este însă dificilă, dacă nu imposibilă.
 Este totuşi posibilă cunoaşterea densităţilor de probabilitate: p  D | θ  & p  D 
Proprietatea
Proprietatea de
de Teoria
Teoria Probabilit ăţilor poate
Probabilităţilor poate fifi utilizat
utilizatăă şşii
pentru
pentru aa estima recursiv pp((),
estima recursiv ), plec înd de
plecînd de de
de la
la oo ini ţializare.
iniţializare. 96
Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
Algoritmul
Algoritmul lui
lui Bayes
Bayes
D  {(u[ n], y[ n ])}n1, N (date intrare-ieşire măsurate)
Date
Date de
de intrare
intrare p  D , p  D | θ
(expresile densităţilor de probabilitate)
p0  θ   uniformă, dacă nu se poate stabili altfel p0  θ   const.
 Ini ţializare
Iniţializare θ̂0  ales arbitrar în domeniul de variaţie
k  0  indicele iterativ iniţial
Bucl
iterativă

 Se
Se reactualizeaz ă densitatea
reactualizează densitatea de
de probabilitate
probabilitate aa parametrilor
parametrilor necunoscu ţi:
necunoscuţi:
V ectorul parametrilor
Vectorul parametrilor trebuie
trebuie ssă
ă fie
fie din
din ce
ce îîn
n
def p  D | θ  pk  θ 
k  k 1 pk 1  θ   pk 1  θ | D   ce
ce mai
mai bine
bine adaptat
adaptat la
la datele
datele achizi ţionate.
achiziţionate.
p D

 Se
Se evalueaz
evalueazăă punctul
punctul de maxim: θˆ k 1  argmax
de maxim: pk 1  θ | D   Eventual,
Eventual, folosind
folosind oo
θS   n
tehnic ă de
tehnică de optimizare
optimizare..
NU DA θˆ k 1  aproximaţia de precizie 
θˆ k 1  θˆ k   Date
Date de
de ie şire
ieşire
 numărul de
k 1 iteraţii efectuate 97
Metoda
Metoda lui
lui Bayes
Bayes ((continuare)
continuare)
def p  D | θ  pk  θ  Pe
Pe m ăsură ce
măsură ce procesul
procesul iterativ
iterativ avanseaz
avansează, ă,
 pk 1  θ   pk 1  θ | D   corela ţia dintre
corelaţia dintre parametrii
parametrii estima ţi şşii datele
estimaţi datele
p D m ăsurate trebuie
 k   măsurate trebuie ssă
ă devin
devinăă tot
tot mai
mai puternic
puternică.ă.
 ÎÎn
n acela şi timp
acelaşi timp,, densitatea
densitatea de
de A pariţia necondi
Apariţia ţionată aa parametrilor
necondiţionată parametrilor este
este tot
tot
probabilitate
probabilitate sese grupeaz
grupeazăă tot
tot mai
mai mai
mai pu ţin probabil
puţin ă, ei
probabilă, ei fiind
fiind din
din ce
ce îîn
n ce
ce mai
mai
mult
mult îîn
n jurul
jurul unei
unei valori
valori maxime
maxime.. puternic
puternic condi ţionaţi de
condiţionaţi de datele
datele m ăsurate.
măsurate.
p θ | D  pk 1  θ | D 
pk  θ | D  • Densitatea de probabilitate a datelor achiziţionate
nu depinde de valorile parametrilor necunoscuţi,
p2  θ | D  astfel că relaţia recursivă se poate simplifica:
p1  θ | D  def
p0  θ  pk 1  θ   pk 1  θ | D   p  D | θ  pk  θ 
 k  
0  • Se poate arăta că acest proces iterativ este convergent

^1 ^2 ^
^ k ^ k+1 către soluţia problemei lui Bayes.
 Algoritmul lui Bayes necesită cunoaşterea prealabilă cel puţin a densităţii de probabilitate a
setului de date D, condiţionate de vectorul , lucru care s-ar putea dovedi dificil.
 Viteza de convergenţă a algoritmului este în general scăzută, dacă se pleacă de la o
iniţializare uniformă.
 Cu toate acestea, algoritmul lui Bayes este unul dintre puţinii
algoritmi implementabili din cadrul TE. 98
Metoda
Metoda Verosimilităţii Maxime
Verosimilităţii Maxime ((MVM)
MVM)
• Metodă înrudită cu MB, care propune rezolvarea problemei de identificare în formă completă, fără
a apela la un algoritm recursiv, pentru anumite tipuri de modele de identificare.
Ipotez ă simplificatoare
Ipoteză simplificatoare
Indiferent de procesele furnizoare de date avînd structură fixată şi domeniu de
stabilitate comun, vectorul parametrilor adevăraţi poate lua orice valoare din
acest domeniu, cu aceeaşi probabilitate.
p  θ   const.  Vectorul parametrilor necunoscuţi  este echiprobabil

pe domeniul de stabilitate.
Problema
Problema
verosimilit ăţii
verosimilităţii
θˆ ( D )  argmax p  D | θ  Verosimilitate
Verosimilitate
θS   n
 D atele m
Datele ăsurate nu
măsurate nu pot
pot fifi ob ţinute prin
obţinute prin simulare
simulare dec ît dac
decît dacăă
Cum poate fi rezolvată vectorul
vectorul parametrilor
parametrilor modelului
modelului de de identificare
identificare este
este cel
cel mai
mai
problema verosimilităţii plauzibil
plauzibil sau
sau verosimil
verosimil,, adic
adicăă produce
produce oo frecven ţă maxim
frecvenţă maximă ă
maxime? de
de ob ţinere aa setului
obţinere setului de
de date
date m ăsurate.
măsurate.
ÎÎn
n form
formă ă complet
completă, ă, dac ă
dacă Vectorii
Vectorii parametrilor
parametrilor care
care nu
nu verific
verificăă aceast
aceastăă proprietate
proprietate
se
se folosesc
folosesc modele
modele de de sunt
sunt declara ţi mai
declaraţi mai pu ţin verosimili
puţin verosimili sau
sau chiar
chiar neverosimili
neverosimili..
regresie
regresie liniar ă.
liniară.
99
Metoda
Verosimilităţii Maxime ((continuare)
continuare)
Exemplu
Exemplu Media
Media şişi varianţa
varianţa –– estimaţii
estimaţii de
de verosimilitate
verosimilitate maxim
maximăă
 Aceea şi dispersie
Aceeaşi dispersie necunoscut ă.
necunoscută.
P ((
**)) 
y[ n]    v[ n] zgomot alb normal distribuit v  za 0, 

  
2
 N  0,    
2

 n  
Se
Se măsoară valorile
măsoară valorile unui
unui
parametru
parametru îîn
n mod
mod direct
direct.. def  2 
1 v [ n ]
p  v[ n]   exp   
ˆ ( D )  argmax p  D | ,  2   ? 2 
 2   2

  
D  { y[ n]}n1, N
ˆ 2 ( D )  argmax p  D | ,  2   ? zgomotul afectează  n  

 2  direct datele măsurate
p  y[ n] 
def
1
  y[ n ]   2 
exp   
y  za   ,  2y   N   ,   
2

2 
   
2

 2   Exerciţiu
Exerciţiu
n  
 2y        
2 2
y[ n]      n, ,  2 
M (()
)  n     y[ n ]   2 
p  y[ n] | ,  
def
1
exp   
  n,  ,      v[ n]
2
  
2
2  2  2

 n  
(modelul de identificare corespunzător)  Verosimilitatea
Verosimilitatea fiec şantion.
ărui eeşantion.
fiecărui 100
Metoda
continuare)
Exemplu
Exemplu Media
estimaţii de
de verosimilitate
maximăă ((continuare)
continuare)
   y[ n ]   2 
p  y[ n] | ,    p  D | ,    p  y[1],, y[ N ] | ,     p  y[ n] | ,  
def N
1
2
exp    2 2 2
2  2  2
  n  
n 1
n  
(orice proces neautocorelat şi
Gaussian este independent )
  y[ n ]   2   1 
p  D | ,  
N N
1 1
 exp    exp   2   y[n]   
2 2

  
   2
N 2 N
2 n 1  2  2 n 1 
Pentru
Pentru aa rezolva
rezolva problema
problema verosimilit ăţii, trebuie
verosimilităţii, trebuie determinat
determinat   ,  2     
Aşadar
Aşadar punctul ţii Gaussiene
punctul dede maxim
maxim alal unei
unei func
funcţii Gaussiene generalizate
generalizate..
Punctul
Punctul de
de maxim
maxim este
este oo  Indefinit
Indefinit derivabil
derivabilăă îîn
n raport
raport cu
cu
rrădăcină
ădăcină aa gradientului
gradientului.. oricare
oricare dintre
dintre cei
cei 22 parametri
parametri.. F ( ,  2 )
 Evaluarea gradientului este complicată.
Forma
Forma funcţiei
cu
cu cele
funcţiei sugereaz
cele ale
sugerează
ale logaritmului
ă ccă
ă extremele
extremele ei
logaritmului natural
natural aplicat
ei coincid
coincid
aplicat acesteia
acesteia..
 ˆ , ˆ  ( D ) 
2
 , 2 


argmax ln  p  D | ,  2   
def N
N N 1
F ( ,  )   ln(2)  ln  2  2       Mai simpu de derivat.
2 2
y[ n ]
2 2 2 n 1   ,  2       101
Metoda
continuare)
Exemplu
Exemplu Media
estimaţii de
de verosimilitate
maximăă ((continuare)
continuare)
def N
N N 1
 F ( ,  )   ln(2)  ln  2  2   y[ n]   
2 2
2 2 2
  ,  2      
n 1
 1 N

F (,  2 )  2

  y[n]     0
n 1
ˆ ( D ) 
1 N
 y[ n] (parametru)
N n 1
 N 1 N
       y[ n]    0
 
2 2 N
ˆ 2 ( D )  1

2
F ( , )
 2 2 2 2 4 n 1
y[ n]  ˆ ( D )
N n 1
 Solu ţia este
Soluţia este unic ă.
unică. Medie
Medie + (1/precizie)
În
În concluzie
concluzie Varianţă
Varianţă 1 N
vˆ[ n]  y[ n]  ˆ ( D )  y[ n]   y[ n]
Media şşii varian
Media ţa sunt
varianţa sunt cele
cele mai
mai  Estima ţiile sunt
Estimaţiile sunt N n 1
verosimile
verosimile ((plauzibile)
plauzibile) estima ţii.
estimaţii. consistente
consistente,, datorit ă IE
datorită IE.. (zgomot perturbator)
• Nu întîmplător prima caracterizare statistică a numeroase lim 1 N y[ n]  E{ y[ n]}  E   v[ n]  
procese nedeterministe, chiar dacă este grosieră, constă în N 
N n 1

evaluarea mediilor şi varianţelor acestora.
• Exemplu: media generală a unui student, calculată după 3 ani de studii, are şanse mici să v  za 0,  
  2
 
varieze semnificativ după 4 ani de studii, dacă notele sale sunt grupate în jurul acesteia şi
şanse mari să varieze sensibil în finalul celor 4 ani, dacă notele sale sunt larg dispersate în
jurul acesteia. 102
Metoda
continuare)
Dar în cazul modelelor de regresie liniară?
Se
Se poate
poate demonstra
demonstra un
un rezultat
rezultat remarcabil
remarcabil..
Teorema
Teorema 66 (MVI
(MVI şşii MCMMP)
MCMMP)
În contextul modelelor de regresie liniară, următoarele două ipoteze se consideră
verificate:
a. matricea R (sau RN) nu este neapărat deterministă, dar este (strict) pozitiv definită
(adică inversabilă) pentru toate dimensiunile orizontului de măsură suficient de
   
mari;
   
2  2
b. perturbaţia v aparţine clasei za 0,    N 0, 
(adică este un zgomot alb de medie nulă şi dispersie necunoscută , cu distribuţ
distribu ie
Gaussiană centrată în zero, de varianţ
varian ă egală tot cu dispersia necunoscută).
Atunci estimaţiile vectorului parametrilor adevăraţi şi dispersiei zgomotului alb obţinute
aplicînd MCMMP sunt de verosimilitate maximă.
Demonstra ţie
Demonstraţie Exerciţiu
Exerciţiu
• Chiar dacă proprietatea de consistenţă este dificil de verificat în contextul Teoremei 6 (matricea
regresorilor nu mai este strict deterministă), cel puţin rămîne proprietatea de verosimilitate maximă.
 Probabilitatea de a obţine setul de date măsurate prin simularea cu un model
identificat folosind MCMMP este maximă. 103
Identificarea
Identificarea şşii predicţia proceselor
predicţia proceselor auto -regresive
auto-regresive
Contextul
Contextul de
de lucru
lucru  Dispersie
Dispersie necunoscut ă.
necunoscută.
P ((
**)) A ( q 1 ) y[ n]  e[ n] y[ n]  φT [ n]θ  e[ n] e  za  0,  2 
 n    n  
 Model
Model de
de tip
tip AR
AR..
1
A( q ) y[ n]  [ n, θ] y[ n]  φ [ n]θ  [ n, θ]
T
M (()
)  n    n  
  n,    e[ n]

 n    T def
 [ n]    y[ n  1]   y[ n  na ]
Vectorul
regresorilor nu
nu este determinist,,  T def
este determinist
dar
dar este
este măsurabil.
măsurabil. θ   a1  ana 
• Modelul autoregresiv (AR) conduce la una dintre cele mai atractive şi simple abordări pentru
identificarea surselor de perturbaţii.
• În pofida preciziei sale limitate, modelul AR este adesea preferat în aplicaţii, în special pentru
metoda extrem de rapidă şi eficientă de estimare a parametrilor săi.
• Modelul concurent al acestuia în aplicaţii este ARMA, care, deşi necesită utilizarea MCMMPE
sau MMEP pentru estimarea parametrilor săi, este tot mai des utilizat, datorită creşterii sensibile
a performanţelor tehnicii de calcul automat.
N
θˆ  argmin V (θ )  argmin   y[ n]  φT [ n]θ   ?
2
θ na θ na n 1
D  { y[ n]}n1,N
ˆ 2  V  θˆ 
1
date măsurate N  N {N  na , N } 104
Identificarea şi predicţia proceselor autoregresive
Performanţele
Performanţele MCMMP
MCMMP în
în cazul
cazul modelului
modelului AR
AR Exerciţiu
Exerciţiu
 T def θˆ  R 1r • Estimaţiile oferite de MCMMP sunt
 [ n]    y[ n  1]   y[ n  na ]
  T def ˆ 
2 1 consistente, chiar dacă vectorul
V  θˆ  regresorilor nu este perfect determinist.
θ   a1  ana  N
 N {N  na , N }
def N  N  def N
 N 
R   φ[ n]φ [ n]    y[ n  i ] y[ n  j ]
T
r   φ[ n] y[ n]     y[ n] y[ n  i ]
n 1  n  max{i , j}1  i , j1,na n 1  n i 1  i1,na
 Simetric ă, dar
Simetrică, dar nu
nu neap ărat de
neapărat de tip
tip Toeplitz
Toeplitz Pentru
Pentru inversare
inversare,, se
se folose şte
foloseşte
((elementele
elementele de
de pepe diagonala
diagonala principal
principală ă sunt
sunt diferite ).
diferite). Algoritmul
Algoritmul ((clasic
clasic al)
al) lui
lui Gauss
Gauss..
Înmulţiri
Înmulţiri Adun ări
Adunări
Efortul
Efortul de
de calcul
calcul
 na( na  1)(3N  2na  1)   na( na  1)(3 N  2na  4) 
Construcţia matricii R
Construcţia matricii R  6   6 
 
Construcţia vectorului rr
Construcţia vectorului  N  na    N  na  1 
 na (3na 2  3na  2)   3na( na  1)2 
Inversarea matricii R
Inversarea matricii R    
 2   2 
Estimarea parametrilor (( R
Estimarea parametrilor 1r )
R--1r)  na 2 

 na( na  1)
 na 7na 2  3na ( N  2)  3N  5   na 7na 2  3na ( N  6)  3N  1 
Total O MCMMP
Total ~      
 6  

6 

105
 Efortul de calcul al MCMMP cu modelul AR este susţinut, deoarece aît numărul datelor
măsurate cît şi numărul de parametri au valori mari (pentru a asigura o precizie suficientă).
Reducerea
Reducerea efortului
efortului de
de calcul
calcul prin
prin metode
metode alternative
alternative de
de identificare
identificare..
Obiectiv
Metoda Yule-Walker-Wiener Algoritmul Levinson-Durbin
Metoda
Metoda Yule-Walker-Wiener ((MYWW)
Yule-Walker-Wiener MYWW)
EEstimarea
stimarea parametrilor
necunoscuţi ţi şşii aa
Ideea
Ideea lui
lui G.U.
G.U. Yule
Yule && G.
G. Walker
Walker dispersiei
dispersiei zgomotului
zgomotului alb
alb se
se poate
poate realiza
realiza apel înd
apelînd
((anii’30)
anii’30)
la
la secven ţa de
secvenţa de auto -covarian ţă aa ie
auto-covarianţă şirii.
ieşirii.
• Se aplică două operaţii succesive asupra ecuaţiei procesului:
E y[ n  k ]  A ( q 1 ) y[ n]  e[ n] 
k  n  
 
ry [ k ]  a1 ry [ k  1]    ana

ry [ k  na ]  re, y [ k ] ?
k 
ecuaţie autoregresivă deterministă ÎÎmpărţire
mpărţire infinit ă.
infinită.
y[ n]  e[ n]   m e[ n  m] y[ n] 
1
e[ n] A ( q 1 ) y[ n]  e[ n]
 1
m 1
 n   A (q )  n  
 n  
def
re, y [ k ]  E{e[ n] y[ n  k ]}   2 0 [ k ]   2  m 0 [ k  m]   2 0 [ k ]
m 1 k  106
Metoda
Metoda Yule-Walker-Wiener ((continuare)
Yule-Walker-Wiener continuare)
def
 re, y [ k ]  E{e[ n] y[ n  k ]}   2 0 [ k ]   2  m 0 [ k  m]   2 0 [ k ]

m 1 k 
Ecuaţiile
Ecuaţiile Yule -Walker-Wiener
Yule-Walker-Wiener  Ie şirea nu
Ieşirea nu este
este corelat
corelatăă cu
cu valori
valori
viitoare
viitoare ale
ale zgomotului
zgomotului..
ry [ k ]  a1 ry [ k  1]    ana

ry [ k  na ]   2 0 [ k ]
k 
(similare ecuaţiilor Wiener-Hopf)
 Sistemul este inoperant, deoarece are un număr infinit de ecuaţii şi apelează la
secvenţa ideală de auto-covarian ţă a ieşirii.
Ce se poate face?
Se
Se renun ţă la
renunţă la sistemul
sistemul ideal
ideal (care
(care ar
ar conduce
conduce la
la determinarea
determinarea exact ă aa parametrilor
exactă parametrilor adev ăraţi)
adevăraţi)
şşii se
se îînlocuieşte
nlocuieşte cu
cu un
un sistem
sistem practic
practic,, compatibil
compatibil..
ry [0]  a1 ry [1]    ana


ry [ na ]   2  0  a1 ry [1]    ana

ry [ na ]   2   ry [0] r

ry [1]  a1 ry [0]    ana

ry [ na  1]  0   ry [0] ry [1]  ry [ na  1]   a1   ry [1] 
    
ry [2]  a1 ry [1]    ana   ry [1] ry [0]  ry [ na  2]  a2  r [2]
  y 

ry [ na  2]  0
      
   
      
ry [ na ]  a r [ na  1]    ana
 
ry [0]  0   ry [ na  1] ry [ na  2]  r [0]  a 
  na   y
r [ na ] 
1 y  y
 ((na+1)
na+1) ecua ţii.
ecuaţii. Sistemul
Sistemul Yule -Walker-Wiener
Yule-Walker-Wiener R 107
Metoda
Metoda Yule-Walker-Wiener ((continuare)
Yule-Walker-Wiener continuare) θ*  R 1r
r Soluţia teoretică
 a1 ry [1]    ana  2  ry [0]  rT R 1r

ry [ na ]   2   ry [0]

  ry [0] ry [1]  ry [ na  1]   a1   ry [1] 
 
  ry [1]

ry [0]
  
 ry [ na  2]  a2 
  
 

 ry [2] 
  

  
  ry [ na  1] ry [ na  2] 
 
     θˆ N  R N1rN
 ry [0]   ana   ry [ na ] Soluţia practică
R ˆ 2N  ryN [0]  rNT R N1rN
 ryN [0] ryN [1]  ryN [ na  1]   ryN [1]  Vectorul
    Vectorul estimat
estimat alal parametrilor
parametrilor
def 
N
ry [1] N
ry [0]  ry [ na  2]
N
def  ry [2] 
N este
este de
de regul
regulă ă bine
bine definit
definit,, dar
dar
RN    rN     estima ţia dispersiei
estimaţia dispersiei zgomotului
zgomotului
  Simetric
Simetricăă şşii de
de tipToeplitz
tip Toeplitz..     alb
    alb poate
poate fifi negativ ă, din
negativă, din cauza
cauza
 r N [ na  1] r N [ na  2]  erorilor
erorilor numerice
numerice..
y y ry [0] 
N  r N [ na ]
y 
Înmulţiri
Adunări  Efortul
Efortul de
de
Efortul
Efortul de
de calcul
calcul calcul
calcul aa sc ăzut.
scăzut.
 na(2 N  na  1)   na(2 N  na  1) 
Construcţia matricii R
Construcţia matricii RNN     Exemplu
2  2  Exemplu
Construcţia vectorului rrNN
Construcţia vectorului  N  na   N  na  1  N  1000 na  10
O MCMMP ~ 56075  
 na 2 (3na  1)   na( na  1)(3na  1) 
Inversarea matricii R
Inversarea matricii RNN      55865
 2  2 
O MYWW ~ 11505  
Estimarea parametrilor (( R
Estimarea parametrilor 1r )
RNN--1rNN )  na 2 

 na( na  1)
 11340 
 na(3na 2  2 N  1)   na(3na 2  3na  2 N  2) 
Total O MYWW
Total ~
 2
 
  2

 108
  Efortul de calcul al MCMMP cu modelul AR este susţinut, deoarece aît numărul datelor
măsurate cît şi numărul de parametri au valori mari (pentru a asigura o precizie suficientă).
Reducerea
Reducerea efortului
efortului de
de calcul
calcul prin
prin metode
metode alternative
alternative de
de identificare
identificare..
Obiectiv
Metoda Yule-Walker-Wiener Algoritmul Levinson-Durbin
Algoritmul
Algoritmul Levinson-Durbin ((ALD)
Levinson-Durbin ALD)
EEstimarea
stimarea parametrilor
necunoscuţi ţi şşii aa dispersiei
dispersiei zgomotului
zgomotului alb
alb
Ideea
Ideea lui
lui N.
N. Levinson
Levinson se
se poate
poate realiza
realiza apel înd la
apelînd la un
un algoritm
algoritm recursiv
recursiv,, pe
pe baza
baza
((1947)
1947)
propriet ăţilor remarcabile
proprietăţilor remarcabile aleale matricilor
matricilor de de tip
tip Toeplitz
Toeplitz simetrice
simetrice..
• Se pleacă tot de la sistemul Yule-Walker-Wiener, în care se folosesc următoarele notaţii
(pentru a pune în evidenţă indicele de recurenţă – ordinul modelului AR):
{aˆ N , p ,i }i1, p  Parametrii estimaţi din N date măsurate, pentru modelul AR[p].
p 1, na θˆ N , p  Vectorul parametrilor estimaţi din N date măsurate,

pentru modelul AR[p].
ˆ 2N , p  Dispersia estimată a zgomotului alb din N date măsurate, pentru modelul AR[p].
Pentru
Pentru aa rezolva
rezolva sistemul
sistemul Yule -Walker-Wiener de
Yule-Walker-Wiener de ordin
ordin nana,, se
se vor
vor reactualiza
reactualiza succesiv
succesiv solu ţiile
soluţiile
sistemelor
sistemelor Yule -Walker-Wiener de
Yule-Walker-Wiener de ordine
ordine inferioare
inferioare,, plec înd de
plecînd de la
la sistemul
sistemul de
de ordin
ordin 11..
 Matricile
Matricile de
de tip
tip Toeplitz
Toeplitz simetrice
simetrice joac ă rolul
rolul principal
principal îîn
n acest
acest scenariu
scenariu..
joacă
109
Algoritmul
Algoritmul Levinson-Durbin ((continuare)
Levinson-Durbin continuare)
Propozi ţia 55 ((proprietatea
Propoziţia proprietatea de
de invarian ţă la
invarianţă la rrăsturnare
ăsturnare aa matricilor
matricilor simetrice
simetrice de
de tip
tip Toeplitz
Toeplitz))
Fie A   nn o matrice simetrică de tip Toeplitz asociată operatorului liniar A : n  n .
Se notează prin R :    izomorfismul spaţiului  care realizează inversarea totală
n n n
a ordinii elementelor oricărui vector din  n :

def def
R ( x )  x  [ xn xn 1  x1 ]T ,  x  [ x1 x2  xn ]T   n .
R
operaţia de răsturnare a
Atunci operatorii A şi R comută. Mai precis:
vectorilor
A  R  R A  Ax   Ax .
R R
Demonstra ţie
Demonstraţie Exerciţiu
Exerciţiu 0  0 1 diagonala secundară
def 0  1 0   Analogie
Analogie de
de nota ţie cu
notaţie cu
Matricea
Matricea caracteristică aa
caracteristică J   nn cea
cea din
din geometria
geometria plan ă.
plană.
operatorului
operatorului de ăsturnare
de rrăsturnare    
 
Propozi ţia 55
Propoziţia
1  0 0  2
j
Exerciţiu 
Exerciţiu AJ  JA 0
i
Matricea
Matricea de
de rrăsturnare
ăsturnare
coincide  Diagonalele
Diagonalele celor
celor dou
douăă matrici
matrici
coincide cu
cu propria
propria sasa invers ă.
inversă.
sunt
sunt geometric
geometric perpendiculare
perpendiculare..
 Aceea şi proprietate
Aceeaşi proprietate ca
ca aa matricii
matricii unitare
unitare.. JAJ  A
110
Algoritmul
Levinson-Durbin continuare) Proprietate
Proprietate remarcabil
remarcabilăă de
de imbricare
imbricare
 1 
 Sistemul
Sistemul Yule -Walker-Wiener
Yule-Walker-Wiener
 ryN [0] ryN [1]  ryN [ p]   aˆ N , p ,1  ˆ 2 
 a r [1]    a r [ na ]     ry [0]
 N  
  2
ry [ p  1]      0  
1 y na y N,p

  ry [0]

ry [1]  ry [ na  1]   a1   ry [1]   ry [1]  ryN [0]  N
    
   
   R
  ry [1]  ry [ na  2]  a2 

ry [0] ry [2] 
    
 

       
  
  
   N  N,p    
 N
 ry [ p  1]  ryN [0]       0 
  ry [ na  1] ry [ na  2] 
 ry [0]   ana   ry [ na ]
 ry [ p]
exprimare matricială compactă
  
 aN , p , p 
ˆ
R N , p1  p 1, na
θˆ N , p
 1 
vectorul parametrilor
  ryN [0]  ryN [ p  1] ryN [ p]  aˆ N , p ,1  ˆ 2N , p  extins cu valoarea unitară
 R  
          0 
 
N , p
  r [ p  1]    Se
Se va
va deduce
deduce oo rela ţie recurent ă de
de forma:

N
ry [0] 
N
ry [1]      
N relaţie recurentă forma:
 y
  
 ryN [ p]  ryN [1] ry [0]    θˆ N , p 1   N , p 1 θˆ RN , p 1 
 

N
0 
 θˆ N , p    ˆ2  
 aˆ N , p , p   0   N , p 1  1 
R N , p1  p 1, na
 p  2, na
coeficient de adaptare
ce trebuie determinat
Aceast
Aceastăă proprietate
proprietate,, îîmpreună
mpreună cu cu Propozi
Propoziţiaţia 55,, va
va permite
permite
exprimarea
exprimarea solu ţiei curente
soluţiei curente îîn
n func ţie de
funcţie de solu ţia precedent
soluţia ă.
precedentă. 111
Algoritmul
 1 
 aˆ   ˆ 2 
 1    ryN [0]  ryN [ p  1] ry [ p] 
N N , p 1,1   N , p 1 
  r [0]
N
 r [ p  1]
N
r [ p]  aˆ N , p ,1   ˆ 2N , p 
N
      0 

y
 
y


y

     0    R    ˆ  
 
  r [ p  1]
 y
N


ryN [0] 

ryN [1]       
 
  r [ p  1] 
N
N , p 
ry [0] 
N N
ry [1]   θ N , p 1  

 

     y
    0 
 ryN [ p]
  ryN [1] ryN [0]      0 
   ryN [ p]  ryN [1] ryN [0]     
 aˆ N , p , p 
 p 1, na   aˆ N , p 1, p 1    N , p 1 
 0 
Noul
Noul sistem
sistem mo şteneşte matricea
moşteneşte matricea sistemului
sistemului curent
curent,, R N , p1  
 p  2, na
dar
dar opereaz
opereazăă cu
cu solu ţia sistemului
soluţia sistemului precedent.
precedent.
 Noul
Noul sistem
sistem nu
nu este
este echivalent
echivalent cu
cu sistemele
sistemele curent
curent sau
sau precedent.
precedent. vectorul anterior al parametrilor,
extins cu valoarea nulă
 Prin
Prin rrăsturnarea
ăsturnarea celor
celor 22 vectori
vectori,, matricea
matricea
sistemului Factor
Factor de
de corec ţie necesar
corecţie necesar pentru
pentru ca
ca
sistemului rrămîne
ămîne neschimbat
neschimbată. ă.
sistemul
sistemul ssă
ă fie
fie compatibil
compatibil..
Propozi ţia 55
Propoziţia def
 0
 aˆ

 
 N , p 1  r y
N
[ p ]  ˆ
a N , p 1,1 ry
N
[ p  1]    ˆ
a N , p 1, p 1 ry
N
[1]

  ryN [0]  ryN [ p  1] ryN [ p]  N , p 1, p 1  
N , p 1
     0 
 Dacă p=na+1, această ecuaţie aproximează următoarea
•
R 
  N,p     ˆR     ecuaţie extrasă din sistemul Yule-Walker-Wiener:
  r N [ p  1]  θ  
 ry [1]   N , p 1   

N N
ry [0]   
 y     0  ry [ p ]  a 1 ry [ p  1]   a p 1 ry [1]  0
 ryN [ p]  ryN [1] N
ry [0]     2 
  aˆ N , p 1,1   ˆ N , p 1 
 1 
Factorul
Factorul de de corec
corecţie ţie are
are
R N , p1  
 p  2, na amplitudini
amplitudini din din ce ce îîn
n ce
ce mai
mai mici
mici.. 112
Algoritmul
Aşadar
Aşadar Dispunem
Dispunem de
de dou
douăă sisteme
sisteme echivalente
echivalente..
 1   0 
 aˆ  ˆ2   aˆ   
  ryN [0]  ryN [ p  1] ry [ p ] 
N N , p 1,1    N , p 1    ryN [0]  ryN [ p  1] ry [ p] 
N N , p 1, p 1   N , p 1 
1 
2 
     0       0 
                   
  
  r N [ p  1]  ryN [0]  ry [1]  
N      r N [ p  1]  r N
[0]  N
ry [1]    
 
 y     0   y y      0 
 N
 ryN [1] ryN [0]       ry [ p ]
N
 ry [1]
N
ryN [0]     2 
 ry [ p]  aˆ N , p 1, p 1   N , p 1    aˆ N , p 1,1   ˆ N , p 1 
 0   1 
   
 p  2, na  p  2, na
 N , p 1
–
 
x
1  0 
1 2
 aˆ   ˆ2  aˆ  
Factorul
Factorul de de corecţie
corecţie din
din primul
primul sistem
 N , p 1 
sistem  ryN [ p  1] ryN [ p ]  N , p 1,1   N , p 1 

  ryN [0]   ryN [0]  ryN [ p  1] ryN [ p ]  N , p 1, p 1  
     0  
  

        0 
               
  r N [ p  1]       
ryN [0]  ryN [1]     r [ p  1]  ry [0]  ry [1]    
poate
poate fifi anulat
anulat folosind
folosind al
al doilea
doilea sistem
sistem.. ˆ 2

N N N
 y     0   y     0 
 r N [ p]  ryN [1] ryN [0]     ryN [ p ]  ryN [1] ryN [0]     2
 y   aˆ N , p 1, p 1   N , p 1   

 0 

 
N , p 1  aˆ N , p 1,1   ˆ N , p1 
 1



 p  2, na  p  2, na
 1 
  
 aˆ 
aˆ N , p 1, p 1  
N , p 1,1 
N , p 1
 2N , p 1 
  ry [0]  ry [ p  1] ry [ p] 
N N N
 N , p 1
ˆ 2  ˆ 2
 N , p 1  ˆ 2 
     
          N , p 1 
    
  r N [ p  1]  N 
ry [0]  ry [1] N   
0

 y   aˆ N , p 1, p 1  2N , p 1 aˆ N , p 1,1    
 ryN [ p]  N N
  
ˆ 
  
 r y [1] r y [0]  N , p 1
 N , p 1
0 
 
 Matricea
Matricea sistemului
sistemului este
este   2 
aceea şi î n ambele ecua
aceeaşi în ambele ecuaţii. ţii .  
ˆ
N , p  1   p  2, na 113
Algoritmul
Rezult
Rezultăă Solu ţia recurent
Soluţia ă aa sistemului
recurentă sistemului Yule -Walker-Wiener
Yule-Walker-Wiener
 N , p 1  ryN [ p]  aˆ N , p 1,1 ryN [ p  1]    aˆ N , p 1, p 1 ryN [1]
  N , p 1 
 ˆ
a   aˆ   
ˆ 2N , p 1
N , p 1,1 N , p 1, p 1
 
 aˆ N , p ,1   
    

ˆθ  θ N , p 1    N , p 1 θ N , p 1 
ˆ ˆR
     p  2, na
 aˆ N , p , p 1   aˆ N , p 1, p 1  2N , p 1 aˆ N , p 1,1  N,p
 0   N , p 1  1 
ˆ2
   ˆ N , p 1 
 aˆ N , p , p   
 N , p 1 Este dispersia corect estimată?
  2 
  N , p 1
ˆ
DA 

 2
N , p 1
ˆ 2N , p  ˆ 2N , p 1  2 Mai
Mai mult
mult
ˆ N , p 1
  2
N , p 1

Propozi ţia 66 ((corectitudinea
Propoziţia corectitudinea solu ţiei recurente
soluţiei recurente)) 0  ˆ 2N , p   N , p 1 1  4
ˆ 2
  ˆ N , p 1
2
În contextul definit de ecuaţiile recurente  ˆ N , p 1 

ale lui Levinson, cantitatea:  p  2, na
def  2
N , p 1
 Cu
Cu ccît
ît modelul
modelul devine
devine mai
mai complex,
complex,
N , p  ˆ 2N , p 1  2 cu
cu at ît el
atît el devine
devine mai
mai precis
precis ..
ˆ N , p 1
este nenegativă. 114
. Identificarea şi predicţia proceselor autoregresive
Algoritmul
Algoritmul Levinson-Durbin ((ALD)
Levinson-Durbin ALD)
DN  { y[ n]}n1, N (setul de date măsurate la ieşirea procesului auto-regresiv)
Date
Date de
de intrare
intrare
na (ordinul modelului auto-regresiv)
 Ini ţializare
Iniţializare
datelor:: ry [0] ry [1]  ry [ na ]
N N N

 Se
Se evalueaz
evalueazăă valorile
valorile secven ţei de
secvenţei de auto -covarian ţă aa datelor
auto-covarianţă
ryN [1] def ˆ Modelul
Modelul este
este stabil
stabil..
aˆ1,1   N  θ1

 Se
Se estimeaz
estimeazăă parametrii
parametrii modelului
modelului de
de ordin
ordin 1:
1: ry [0]
Bucl
iterativă ˆ 12  ryN [0] 1  aˆ1,1
2

Propozi ţia 66
Propoziţia
Pentru p  2, na
 Pentru

kp 1

 Se
Se evalueaz
evalueazăă ccîştigul:
1
ˆ p 1

îştigul: k p   2 ryN [ p]  aˆ p 1,1 ryN [ p  1]    aˆ p 1, p 1 ryN [1] 
 ˆ 
θ  ˆR 
θ
 Se
Se reactualizeaz ă vectorul
reactualizează vectorul curent
curent al parametrilor:: θˆ p  
al parametrilor p 1
  kp 
p 1

 0   1 
alb:  p   p 1 1  k p   Coeficien

 SeSe reactualizeaz ă dispersia
reactualizează dispersia zgomotului
zgomotului alb:
ˆ2 ˆ2 2
Coeficienţiiţii de
de reflexie
reflexie
din
din cadrul
cadrul Algoritmului
Algoritmului
ˆθ Parametrii
Parametrii estima ţ
estimaţii ai
ai modelului
modelului AR[na
AR[na]. ]. Sch ür-Cohn.
na Schür-Cohn.
Date de ie şire
Date de ieşire
ˆ 2na Dispersia
Dispersia estimat
estimatăă aa zgomotului
zgomotului alb.
alb. 115
Algoritmul
Performan ţele ALD
Performanţele ALD
 Algoritmul este extrem de eficient, deoarece se evită inversarea explicită a matricii sistemului.
Exerciţiu
Exerciţiu • Să se proiecteze un algoritm de inversare a matricilor simetrice de tip Toeplitz,
folosind ALD.
Înmulţiri
Adunări
Efortul
Efortul de
de calcul
calcul
 ( na  1)(2 N  na  2)   ( na  1)(2 N  na ) 
Calculul
Calculul auto -covarianţelor
auto-covarianţelor    
2  2 
Estimaţia
Estimaţia iniţială
iniţială 3 1
 na( na  1)(3na  1) 
Procesul
Procesul iterativ
iterativ ( na  1)(na  4)  
2 
 ( na  1)( na  2 N  10)   ( na  1)( na  2 N  2) 

Total
Total O ALD ~  2    2 
 
Exemplul
Exemplul 11 N  1000 na  30 (off-line) Exemplul
Exemplul 22 N  10 na  10 (on-line)
O MCMMP ~  495625   O MYWW ~ 70515   O ALD ~  31590    O MCMMP ~ 1625   O MYWW ~ 1605   O ALD ~  210   
  493795  69120   31434   1415  1440   154 
 Efortul
Efortul de
de calcul
calcul aa sc ăzut sensibil
scăzut sensibil,, îîn
n special
special îîn
n cazul
cazul identific ării adaptive,
identificării adaptive,
ccînd
înd ordinul
ordinul modelului
modelului este
este comparabil
comparabil cu cu dimensiunea
orizontului de
de m ăsură.
măsură. 116
Aplicaţii
Aplicaţii
Predicţia optimală a Estimarea spectrală prin
proceselor auto-regresive modelare auto-regresivă
Predicţia
Predicţia optimală
optimală
EEstimarea
stimarea valorilor
valorilor ie şirii unui
ieşirii unui proces
proces stocastic
stocastic dincolo
dincolo de
de orizontul
orizontul de
de m ăsură,
măsură,
cu ajutorul unui model de identificare.
Obiectiv cu ajutorul unui model de identificare.
• Notaţii specifice:
P    Margine de predicţie: număr ales plecînd de la anumite caracteristici
ale procesului stocastic.
N  1, N  P  Orizont de predicţie (dincolo de orizontul de măsură).
Mp  Predictor: model matematic determinat în scopul predicţiei cu deplasamentul p. p 1, P
 Modelul
Modelul de de identificare
identificare determinat
determinat folosind
folosind datele
datele măsurate
măsurate 
 Convenþie
Convenþie
poate
poate fifi de
de asemenea
asemenea un un predictor.
predictor. def
y p [ N  p | DN ]  Valoarea predictată cu deplasamentul p (la momentul N+p), M (θ )  M 0

folosind datele achiziţionate pe orizontul de măsură.
 Predictori
Predictori eventual
eventual diferi ţi pentru
diferiţi pentru deplasamente
deplasamente diferite
diferite..
y0 [ N  p | DN ]  Valoarea predictată cu deplasamentul p (la momentul N+p),
folosind modelul de identificare. 117
Aplicaţii
Aplicaţii:: predicţia
predicţia optimală ((continuare)
optimală continuare)
def
Eroare
Eroare de
de predicţie
predicţie cu
cu pp paşi
paşi [ p]  y[ N  p]  y p [ N  p | DN ]
 p 1, P
 ÎÎn
n cazul
cazul general,
general, pentru
pentru fiecare
fiecare
pas
pas de
de predic ţie se
predicţie se va
va utiliza
utiliza ieşirea măsurată ieşirea predictată (prognozată)
un
un predictor
predictor proiectat
proiectat special.
special.
def def
Caz particular M (θ )  M 0
Caz particular 0 [ p]  y[ N  p]  y0 [ N  p | DN ]
 p 1, P
Erorile
Erorile de
de predic ţie pot
predicţie pot fifi evaluate
evaluate cu
cu ajutorul
ajutorul unui
unui
singur
singur predictor:
predictor: cel
cel dat
dat dede modelul
modelul de
de identificare
identificare..
Problema
Problema predicţiei optimale
predicţiei optimale
Se cere determinarea unui set de predictori {Mˆ p } p1, P cu ieşirile { yˆ p } p1, P , care să fie
optimali în sensul minimizării dispersiei erorii de predicţie:
E 
 y[ N  p]  yˆ p [ N  p | DN ]
2
  E  y[ N  p]  y p [ N  p | DN ]
2
,  p 1, P
(faţă de alţi predictori {M p } p1, P cu ieşirile { y p } p1, P );

E  y[ N  p]  yˆ p [ N  p | DN ] 
2
  y[ N  p]  y [ N  p | D ]  ,
E 0 N
2
 p 1, P
(faţă de predictorul de identificare).
Eroare
Eroare optimal
optimală ă de
de
def
ˆ[ p ]  y[ N  p ]  yˆ p [ N  p | DN ]
predicţie
predicţie cu
cu pp paşi
paşi  p 1, P 118
Aplicaţii
Cum poate fi rezolvată problema predicţiei optimale?
În
În forma
forma original ă, problemei
originală, problemei nunu ii se
se poate
poate construi
construi oo soluţie
soluţie,, deoarece
deoarece
nu
nu se
se dispune
dispune de
de setul
setul de
de date
date m ăsurate pe
măsurate pe orizontul
orizontul de
de predicţie
predicţie..
Problema
Problema trebuie
trebuie relaxat ă, astfel
relaxată, astfel încît
încît ssă
ă se
se poat
poatăă construi
construi oo soluţie
soluţie sub -optimală.
sub-optimală.
• Folosind inegalitatea triunghiului, se poate obţine o condiţie de sub-optimalitate
din condiţia de optimalitate.
se adună şi se scade ieşirea predictată

E y[ N  p]  yˆ p [ N  p | DN ]
2

 cu modelul de identificare
inegalitatea

 E y[ N  p]  y0 [ N  p | DN ]  y0 [ N  p | DN ]  yˆ p [ N  p | DN ]
2
  triunghiului
E  y[ N  p]  y0 [ N  p | DN ]
2
 
E  y0 [ N  p | DN ]  yˆ p [ N  p | DN ]
2
  p 1, P
• În loc să fie minimizată dispersia erorii de predicţie, va fi minimizat termenul din dreapta inegalităţii,
exprimat ca o sumă de două dispersii.
Problema
Problema predicţiei sub
predicţiei -optimale
sub-optimale
min E  y[ N  p]  y0 [ N  p | DN ]
2
  min E  y0 [ N  p | DN ]  yˆ p [ N  p | DN ]
2

 p 1, P 119
Aplicaţii
 Problema
Problema predicţiei sub
predicţiei -optimale
sub-optimale
min E   y[ N  p]  y0 [ N  p | DN ]
2
  min E  y0 [ N  p | DN ]  yˆ p [ N  p | DN ]
2

 p 1, P
Modelul
identificare cel
cel mai
mai bun
bun pentru
pentru Predictorul
Predictorul sub -optimal este
sub-optimal este cel
cel mai
mai ““apropiat”
apropiat”
predic ţie trebuie
predicţie trebuie ssă
ă minimizeze
minimizeze eroarea
eroarea de
de de
de predictorul
predictorul de
de identificare
identificare..
 y [ N  p | D 
predic ţie pe
predicţie pe orizontul
orizontul de
de predic ţie.
predicţie.
ˆ p [ N  p | DN ] 
2
E 0 N ] y

 Din
Din nou
nou apar
apar îîn
n discu ţie valorile
discuţie valorile
necunoscute
necunoscute ale
pe
pe orizontul
ale ie
orizontul de
şirii procesului
ieşirii
de predic
predicţie.
procesului
ţie.
E   y0 [ N  p | DN ]  y p [ N  p | DN ]
2

 p 1, P
MMEP
MMEP opereaz
opereazăă cu
cu erorile
erorile de
de predic ţie
predicţie
pe
pe orizontul
orizontul de
de m ăsură.
măsură.
E   y[ N  p]  y [ N  p | D ]  
0 N
2
Dacă P  N (condiţia fiind naturală)

Dacă
1 Np
       
2
IE y[ n p ] y [ n p | D ]
IE poate
poate fifi utilizat
utilizatăă pentru
pentru relaxarea
relaxarea noii
noii probleme
probleme.. N  p n 1
0 N
N
Modelul
identificare (sub -)optimal pentru 1
(sub-)optimal pentru
  y[ n]  y0 [ n | DN ]
2

predic ţie este
predicţie este cel
cel rezultat
rezultat îîn
n urma
urma aplic ării MMEP
aplicării MMEP.. N n 1
 p 1, P
1 N
2
θˆ N  argmin 
θS   n  N
  y[ n ]  yM [ n , θ ]  yM [ n, θ]
120
n 1 
Aplicaţii
• Strategia generală de construcţie a predictorilor sub-optimali:
 Determinarea setului de predictori (sub-)optimali care verifică inegalităţile:
E  y [ N  p | D
0 ˆ p [ N  p | DN ] 
N ] y
2
 E  y [ N  p | D
0 N ]  y p [ N  p | DN ] 
2

 p 1, P
 Etap
Etapăă cu
cu caracter
caracter teoretic
teoretic..
Obiectivul
Obiectivul acestei
acestei etape
etape este
este de
de aa deduce
deduce oo expresie
expresie formal ă îîntre
formală ntre
predictorul
predictorul curent
curent sub -optimal şşii cel
sub-optimal cel de
de identificare
identificare..
 Determinarea modelului de identificare (sub-)optimal prin minimizarea erorii de predicţie
pe durata orizontului de măsură:
N N
  y[ n]  yˆ 0 [ n | DN ]    y[ n]  y0 [ n | DN ]
2 2
n 1 n 1
 Datorit
Datorităă etapei
etapei precedente
precedente,, predictorii
predictorii (sub -)optimali vor
(sub-)optimali vor fifi automat
automat determina ţi.
determinaţi.
def
ˆ 0 [ p]  y[ N  p]  yˆ 0 [ N  p | DN ] (eroarea de predicţie (sub-)optimală)
 p  0, P
FFolosind
olosind acest
sub
acest scenariu
scenariu,, cele
-optimale conduc
cele dou ă ddispersii
două ispersii ale
ale problemei
problemei predic ţiei
predicţiei E  ˆ 02 [ p]
sub-optimale conduc la
la oo valoare
valoare minim
minimă ă îînsumată
nsumată egal ă cu
egală cu::
  y [ N  p | D ]  yˆ [ N  p | D ]   0 2  p  0, P
E 0 N p N
 p 1, P

 Restric ţie necesar
Restricţie necesarăă
121
Aplicaţii
Cazul modelelor de tip AR?
În
În acest
acest caz
caz,, predictorii
predictorii sub -optimali sunt
sub-optimali sunt determinaţi
determinaţi din
din clasa
clasa predictorilor
predictorilor ale
ale ccăror
ăror ieşiri
ieşiri
sunt
sunt necorelate
necorelate cucu zgomotul
zgomotul albalb pe
pe orizontul
orizontul de
de predicţie
predicţie..
E  y p [ N  p | DN ]e[ N  k ]  0
 k , p 1, P
• Restricţie naturală sugerată de faptul că datele achiziţionate sunt necorelate cu valorile
viitoare ale zgomotului, adică dincolo de orizontul de măsură.
 Determinarea teoretică a setului de predictori (sub-)optimali.
M odelul AR
Modelul AR poate
poate fifi exprimat
exprimat cucu ajutorul
ajutorul aa dou
douăă filtre:
filtre: unul
unul de
de tip
tip FIR
FIR,, care
care opereaz
opereazăă
cu
cu valori
valori ale
ale zgomotului
zgomotului din din orizontul
orizontul de
de predic ţie şşii altul
predicţie altul de
de tip
tip IIR
IIR,, care
care opereaz
opereazăă cu
cu
valori
valori ale
ale zgomotului
zgomotului din din orizontul
orizontul dede m ăsură sau
măsură sau anterioare
anterioare acestuia.
acestuia.
p 1
1
y[ N  p]   1 e[ N  p ]    n e[ N  p  n ]   n e[ N  p  n ]   n e[ N  p  n ] ,  p 1, P .

A (q ) n 0 n 0 n p
împăţire infinită
c0  0  1 FIR
FIR IIR
IIR
funcţia de sistem a filtrului
def
orizontul de orizontul de
C p ( q 1 )  1  c1 q 1    cp 1q1 p predicţie măsură
C p 1 ( q 1 )  C p ( q 1 )  cp q  p
1 p 1 relaţie recurentă remarcabilă 122
Aplicaţii
Cum se pot determina coeficienţii filtrului de tip FIR?
Folosind
Folosind Teorema
Teorema Împărţirii
Împărţirii cu
cu Rest
Rest ((TIR).
TIR).
1 1  a1 q 1  a2 q 2    ana


q  na
1  a1 q 1  a2 q 2 
1  a1 q 1    c p 1 q1 p C p ( q 1 ) (cît)
 a1 q 1  a2 q 2 
c0 c1
a q  a

1
1

 2
1
2
q   Procedur
Procedurăă implementabil
implementabilă ă
((Algoritmul
Algoritmul lui
lui Euclid ).
Euclid).
  a   2  a   q 2  
  1 2 c2 Exerciţiu
Exerciţiu
 Grad
Grad constant
constant:: na-1..
q D ( q )  q  p  d p ,0  d p ,1q 1    d p ,na 1q1 na  (rest)
p  1
def
na-1
p
 Coeficien ţi variabili
Coeficienţi variabili..
p  1
1 q D (q )
Aşadar
Aşadar  1  C 
( q 1
) 
p
1  C p ( q 1 ) A ( q 1 )  q  p Dp ( q 1 )
A ( q 1 )
p
A (q )
 p 1, P  p 1, P
Dp ( q 1 ) viitor prezent+trecut

 1
y[ N  p ]  C ( q )e[ N  p]  e[ N ]  C ( q )e[ N  p ]  Dp ( q 1 ) y[ N ]
 1
A ( q 1 )
p p

 Expresie
Expresie format ă din
formată din ie şirile aa dou
ieşirile douăă filtre
filtre de
de tip
tip FIR
FIR..
 p 1, P
123
Aplicaţii
 Ey p [ N  p | DN ]e[ N  k ]  0 E   C (q

k
1

)e[ N  k ]  y p [ N  p | DN ]  0
 k , p 1, P
ipoteza de necorelare  k , p 1, P
Filtrul
Filtrul ““viitorului”
viitorului” opereaz
operează ă numai
numai asupra
asupra valorilor
valorilor zgomotului
zgomotului
alb
alb de
de pe
pe orizontul
orizontul de
de predic ţie, deci
predicţie, deci este
este natural
natural ca
ca
De
De asemenea
asemenea ie şirea acestuia
ieşirea acestuia ssă
ă nu
nu fie
fie corelat
corelatăă cu
cu ale
ale predictorilor
predictorilor..
Ie şirea filtrului
Ieşirea filtrului ““viitorului”
viitorului” (care
(care opereaz
opereazăă numai
numai cucu valori
valori ale
ale zgomotului
zgomotului
alb
alb de
de pe
pe orizontul
orizontul de de predic ţie) nu
predicţie) nu este
este corelat ă cu
corelată cu ie şirea filtrului
ieşirea filtrului
““prezentului
prezentului şşii trecutului
trecutului”” (care
(care opereaz
opereazăă numai
numai cucu date
date m ăsurate).
măsurate).

E  C p ( q 1 )e[ N  p]  Dp ( q 1 ) y[ N ]   0 
 p 1, P
Rezult
Rezultăă exprimare cu 2 filtre de tip FIR
E  y [ N  p | D ]  y [ N  p | D ]   E  C (q )e[ N  p]  D (q ) y[ N ]  y [ N  p | D ]  
0 N p N
2 
p
1 
p
1
p N
2
 E  C ( q )e[ N  p]    2 E   C ( q )e[ N  p]  D ( q ) y[ N ]  y [ N  p | D ]  
2
 1  1  1
p p p p N

 E  Dp ( q 1 ) y[ N ]  y p [ N  p | DN ] 
2

  
 E  C p ( q 1 )e[ N  p]   E  Dp ( q 1 ) y[ N ]  y p [ N  p | DN ] 
2 2
 ,  p 1, P . 124
Aplicaţii
Aşadar
Aşadar  Sum
Sumăă de
de dou
douăă dispersii
dispersii..
E   y0 [ N  p | DN ]  y p [ N  p | DN ]
2
 
 E  C p ( q 1 )e[ N  p ] 
2
 
 E  Dp ( q 1 ) y[ N ]  y p [ N  p | DN ] 
2

 p 1, P
Deoarece
Deoarece numai
numai aa doua
doua dispersie
dispersie depinde
depinde de
de ie şirile predictorilor
ieşirile predictorilor,,
doar
doar ea
ea poate
poate fifi anulat
anulatăă îîn
n vederea
vederea minimiz ării.
minimizării.

E  Dp ( q 1 ) y[ N ]  y p [ N  p | DN ] 
2
0 yˆ p [ N  p | DN ]  Dp ( q 1 ) y[ N ]
 p 1, P  p 1, P
 Expresiile
Expresiile predictorilor
predictorilor
Pentru
Pentru fiecare
fiecare deplasament
deplasament de
de predic ţie, trebuie
predicţie, trebuie (re -)evaluat
(re-)evaluat AR
AR (sub -)optimali.
(sub-)optimali.
restul
restul îîmpărţirii
mpărţirii polinomului
polinomului unitar
unitar la
la polinomul
polinomul modelului
modelului ARAR..
Gradul
Gradul func ţiei de
funcţiei de sistem
sistem fiind constant ((na-1)
fiind constant na-1),, Ce rămîne după minimizare?
doar
doar coeficien ţii trebuie
coeficienţii trebuie adapta
adaptaţiţi pentru
pentru fiecare
fiecare
deplasament
deplasament dede predic ţie, folosind
predicţie, folosind TIR
TIR.. Un
Un termen
termen care
care ofer
oferăă informaţia
informaţia despre
despre
precizia
precizia predicţiei
predicţiei..
 Determinarea modelului de identificare
folosind MMEP (adică ALD).

  E  C ( q )e[ N  p]     1   c1      c p 1  
def
2  1 2

2  2  2
Predictorii
Predictorii practici
practici (sub -)optimali
(sub-)optimali
p p  
 PPrecizia
recizia ideal ă de ţie scade  p 1, P
  ideală de predic
predicţie scade pe
pe
A 
Â C Cˆ p D p Dˆ p m ăsură ce ţie se
p
măsură ce deplasamentul
deplasamentul de de predic
predicţie se
2 ̂ 2 (estimaţii) îîndepărtează
ndepărtează de de orizontul
orizontul de
de m ăsură.
măsură. 125
Aplicaţii
Aplicaţii:: Metode de identificare şi validare
predicţia
predicţia Identificarea şi predicţia proceselor autoregresive
optimal
optimalăă
((continuare)
continuare) Algoritmul
Algoritmul predicţiei AR
predicţiei AR (sub -)optimale ((nerecursiv)
(sub-)optimale nerecursiv)
DN  { y[ n]}n1, N (setul de date măsurate la ieşirea procesului auto-regresiv)
Date
Date de
de intrare
intrare na (ordinul modelului auto-regresiv)
P (marginea de predicţie)
 Ini ţializare
Iniţializare
Se
Se estimeaz
estimeazăă parametrii
parametrii modelului AR şşii dispersia
modelului AR dispersia Aˆ ( q 1 )  1  aˆ1q 1    aˆ na q  na
zgmotului
zgmotului alb,
alb, eventual
eventual folosind
folosind ALD
ALD.. ̂ 2
Bucl
iterativă
Pentru p 1, P
 Pentru


 Se
Se aplic
aplicăă TIR
TIR ((Algoritmul
Algoritmul lui
lui Euclid ): 1  Cˆ p ( q 1 ) Aˆ ( q 1 )  q  p Dˆ p ( q 1 )
Euclid):

 Se
Se estimeaz
estimeazăă valorile
valorile predictate
predictate ale
ale ie şirii procesului
ieşirii procesului::
yˆ p [ N  p | DN ]  Dp ( q 1 ) y[ N ] 
 dˆ p ,0 y[ N ]  dˆ p ,1 y[ N  1]    dˆ p ,na 1 y[ N  na  1]

 Se
Se estimeaz
estimeazăă dispersia
dispersia erorii
erorii de
de predic ţie: ˆ 2p  ˆ 2 1  cˆ12    cˆ 2p 1 
predicţie:
 yˆ [ N  p | D ]
p N Ie
p1, P
şirile predictate
Ieşirile predictate..
Date
Date de
de ie şire
ieşire
 ˆ 
2
p p1, P
Dispersiile
Dispersiile estimate
estimate ale
ale erorilor
erorilor de
de predic ţie.
predicţie. 126
Aplicaţii
yˆ p [ N  p | DN ]  3ˆ p
Interpretare
Interpretare geometric
geometricăă în
în cazul
cazul proceselor
proceselor
normal
normal distribuite
distribuite DN  { y[ n]}n1, N yˆ p [ N  p | DN ]
y[ N  p]
e Model
Model y
auto -regresiv
auto-regresiv
Orizont
Orizont de
de m ăsură
măsură
• Valorile (sub-)optimale predictate (care depind de datele măsurate) sunt yˆ p [ N  p | DN ]  3ˆ p
de asemenea normal distribuite, dar cu dispersiile erorilor de predicţie.
Orizont
Orizont dede
• În jurul fiecărei valori predictate, se poate construi cîte un predic ţie
predicţie
interval de încredere de tip 3, în care valoarea reală a ieşirii
procesului are şanse de peste 95% să aparţină.
• În afara valorilor predictate, pe grafic se amplasează şi intervalele de încredere,
sub forma unor segmente liniare centrate în valorile predictate.
• Aceste intervale devin din ce în ce mai largi odată cu creşterea deplasamentului de predicţie,
indicînd deteriorarea preciziei de predicţie.
• Curba valorilor măsurate (continuă) se îndepărtează din ce în ce mai mult 127
de curba valorilor predictate (punctată).
Aplicaţii
 Dezavantajul major al algoritmului de predicţie nerecursiv: ineficienţa cauzată de estimarea tuturor
coeficienţilor restului pentru fiecare deplasament de predicţie.
 CCîtul
îtul poate
poate fifi calculat
calculat recursiv
recursiv..  C p 1 ( q 1 )  C p ( q 1 )  cp q  p
 p 1, P  1
Există o relaţie recursivă şi între resturi succesive?
DA În
În realitate
realitate,, se
se poate
poate evidenţia
evidenţia oo relaţie
relaţie recursiv ă între
recursivă între ieşirile
ieşirile succesive
succesive
ale
ale predictorilor
predictorilor (sub -)optimali.
(sub-)optimali.
• Aceasta creează impresia că există un singur predictor AR (sub-)optimal,
de accea se omite indicele p din notaţie.
Exerciţiu
Exerciţiu
Teorema
Teorema 77 (forma
(forma recursivă aa predictorilor
recursivă predictorilor AR
AR (sub -)optimali)
(sub-)optimali) Algoritmul
Algoritmul predic ţiei AR
predicţiei AR
Valorile predictate ale procesului de tip AR folosind predictorul (sub -)optimale ((recursiv)
(sub-)optimale recursiv)
(sub-)optimal verifică următoarele relaţii de recurenţă:
a. pentru p 1, na : yˆ [ N  p | DN ]   aˆ1 yˆ [ N  p  1| DN ]    aˆ p 1 yˆ [ N  1| DN ] 
 aˆ p y[ N ]    aˆ na y[ N  p  na ] ;
b. pentru p  na  1, P : yˆ [ N  p | DN ]   aˆ1 yˆ [ N  p  1| DN ]    aˆ na yˆ [ N  p  na | DN ].
De asemenea, dispersiile erorilor de predicţie, verifică relaţia de recurenţă:
ˆ 2p  ˆ 2p 1  cˆ 2p 1ˆ 2 ,  p 1, P ,
unde: 
ˆ 02  0. 128
Metode
Metode adaptive
adaptive de
de identificare
identificare
• Majoritatea proceselor furnizoare de date sunt neliniare şi/sau posedă parametri variabili în timp.
• Identificarea proceselor cu parametri variabili în timp se realizează cu ajutorul
modelelor şi metodelor adaptive (recursive).
Principiul
Principiul metodelor
metodelor adaptive
adaptive
• Prin identificarea adaptivă, se urmăreşte asigurarea
unui compromis între două caracteristici opuse ale Estima ţia vectorului
Estimaţia vectorului parametrilor
parametrilor
estimaţiei parametrilor necunoscuţi necunoscu
necunoscuţiţi se
se reactualizeaz
reactualizeazăă folosind
folosind
(variabili pe orizontul de măsură): datele
datele m ăsurate pe
măsurate pe orizontul
orizontul de
de adaptare
adaptare..
Adaptabilitate Precizie
θˆ k
 θˆ  k 1 
Δ k 
Caracteristici K 
K 
K
 K 
K 
K 
model adaptiv  k  
Corecţie
Corecţie
Adaptabilitatea
Adaptabilitatea scade
scade,, îîn
n timp
timp ce
ce
K precizia
precizia cre şte odat
creşte odatăă cu
cu dimensiunea
dimensiunea
0 Ko Dimensiune
orizontului
orizontului de
de adaptare.
adaptare.
Optim orizont de adaptare
Cu
Cu ccît
ît se
se achizi ţionează mai
achiziţionează mai multe
multe date
date îîntre
ntre momentele
momentele de de reactualizare,
reactualizare, cu
cu at ît adaptarea
atît adaptarea se
se efectueaz
efectueazăă
mai
mai rar
rar,, modelul
modelul fiind
fiind incapabil
incapabil ssă
ă surprind
surprindă ă varia ţiile caracteristicilor
variaţiile caracteristicilor procesului
procesului îîntre
ntre aceste
aceste momente.
momente.
ÎÎn
n schimb,
schimb, precizia
precizia modelului
modelului cre şte, deoarece
creşte, deoarece parametrii
parametrii ssăi
ăi
sunt
sunt determina ţi cu
determinaţi cu ajutorul
ajutorul unui
unui set
set mai
mai bogat
bogat de
de date.
date.
129
Metode adaptive de identificare
 Asigurarea compromisului precizie-adaptabilitate este dificilă.
Exemplu
Exemplu Cazul
Cazul parametrului
parametrului scalar,
scalar, variabil
variabil în
în timp
timp..
Tub de varianţă larg
Tub de varianţă îngust
Θ Θ* Θ Θ*
^
Θ ^
Θ
0 K 2K 3K … 0 K 2K3K …
n n
Orizont de adaptare larg Orizont de adaptare îngust
 Valorile estimate ale parametrului sunt  Valorile estimate ale parametrului sunt
relativ apropiate de cele adevărate şi relativ depărtate de cele adevărate şi
tubul de varianţă este relativ îngust. tubul de varianţă este relativ larg.
 Graficul parametrului estimat este neted, deci  Graficul parametrului estimat urmăreşte
modelul sesizează mai puţin variaţiile locale variaţiile locale ale parametrului adevărat,
ale parametrului adevărat. cu o anumită acurateţe.
θˆ k  θˆ k 1  Δ k
K ? Se
Se sacrific
sacrifică
favoarea
ă precizia
precizia îîn
favoarea adaptabilit
n
ăţii.
adaptabilităţii. K 1 130
 k  
Metodele
Metodele abordate
abordate în
în acest
acest curs
curs
Metoda Celor Mai Mici Pătrate Metoda Varibilelor Instrumentale

Recursivă (MCMMP-R) Recursivă (MVI-R)
MCMMP-R cu fereastră MVI-R cu fereastră exponenţială

exponenţială (MCMMP-R) (MVI-R)
MCMMP-R cu fereastră MVI-R cu fereastră

dreptunghiulară (MCMMP-R) dreptunghiulară (MVI-R)
MCMMP-R bazată pe descompunerea QR

(MCMMPQR-R)
Alte
Alte metode
metode adaptive
adaptive (de
(de precizie
precizie şi
şi complexitate
complexitate ridicate
ridicate))
Metode de Gradient MMEP Recursivă Metoda Kalman-Bucy

Recursive (M-R) (MMEP-R) (MKB)
MCMMPE Recursivă MRPL Recursivă  Va

Va fifi descris
descrisăă îîn
n
(MCMMPE-R) (MRPL-R) finalul
finalul cursului
cursului dede IS
IS..
Strategia
Strategia Expresia
Expresia general
generalăă aa corec ţiei pentru
corecţiei pentru metoda
metoda recursiv ă ((on-line)
recursivă on-line) va
va fifi dedus
dedusăă
general
generalăă plec înd de
plecînd de la
la expresia
expresia final ă aa estima
finală ţiei din
estimaţiei din metoda
metoda nerecursiv
nerecursivă ă ((off-line).
off-line). 131
De ce corecţia aplicată vectorului curent al parametrlor estimaţi este aditivă?
Acest
Acest rezultat
permite
rezultat remarcabil
remarcabil se
permite aproximarea
aproximarea mediei
se datoreaz
datorează
mediei statistice
ă în
în realitate
statistice cu
realitate IE
cu oo medie
IE,, care
medie temporal
care
temporală ă
 θˆ k  θˆ k 1  Δ k
 k  
exprimat
exprimatăă prin
prin intermediul
intermediul unei
unei sume
sume..
De
De asemenea
asemenea
Eficien ţa crescut
Eficienţa crescutăă aa algoritmilor
algoritmilor adaptivi
adaptivi de
de identificare
identificare se
se datoreaz
datoreazăă unui
unui rezultat
rezultat din
din Teoria
Teoria Matricilor
Matricilor..
Lema
Lema 11 ((Inversarea
Inversarea matricilor
matricilor modificate
modificate aditiv
aditiv de
de un
un produs
produs exterior)
exterior)
Fie A   nn o matrice inversabilă şi b   , c   doi vectori cu dimensiunile egale
n n
1
(compatibili dimensional cu matricea A), avînd proprietatea: c A b  1 . Atunci matricea
T
A  bcT este inversabilă, inversa acesteia avînd exprimarea:

A 1bcT A 1 .
A  bc 
T 1
A 1

1  cT A 1b
Demonstra ţie
Demonstraţie 1 1
A bb T
A
 A  bb 
Caz
Caz 1
(prin verificare particular b=c T
 A 1 
Exerciţiu
Exerciţiu directă)
particular 1  bT A 1b
Dac
Dacăă inversa
inversa unei
unei matrici
matrici este
este deja
deja evaluat ă, prin
evaluată, prin ad ăugarea unui
adăugarea unui produs
produs exterior
exterior la
la
matricea
matricea original ă, rezult
originală, ă oo nou
rezultă nouăă matrice
matrice aa ccărei
ărei invers ă poate
inversă poate fifi evaluat
evaluatăă
ffără
ără aa efectua
efectua inversarea
inversarea explicit
explicităă aa acesteia
acesteia (se
(se efectueaz
efectuează ă doar
doar inversarea
inversarea unui
unui scalar ).
scalar). 132
MCMMP-R –– varianta
MCMMP-R varianta de
de bază
bază
 MCMMP
MCMMP nerecursivă ((off-line)
nerecursivă off-line)  Pentru
Pentru orice
orice model
model de
de regresie
regresie liniar ă.
liniară.
1
ˆθ    [ n]T [ n]    [ n] y[ n] 
k k 1
 N

k 
 n 1
 
  n 1

  P(θˆ N )     [ n]T [ n] 
2
 n 1 
 k 
matricea de auto-covarianţă a erorii de estimare
P
k 
Notaţie sugerată de Teorema fundamentală a MCMMP.
• Inversele matricilor Pk verifică o relaţie recurentă evidentă:

def k k 1
P   [ n] [ n]   [ n] [ n]  [ k ] [ k ]  P  [ k ]
1
k
T T T 1
k 1
T
[ k ] ,  k   .
n 1 n 1
1 P0   nn  Matrice iniţială care trebuie să verifice

P
k 1 proprietăţile tuturor matricilor succesive:
inversabilitate, simetrie, pozitiv (semi-definire).
• Folosind acelaşi artificiu, estimaţia off-line se poate de asemenea exprima recursiv:
ˆθ  P   [ n] y[ n ]   Pk   [ n] y[ n]  [ k ] y[ k ]   Pk Pk11θˆ k 1  [ k ] y[ k ] 
 
k k 1
k    
θ0   n
k
 n 1   n 1 
P 1 θˆ k 1 k 1
iniţializare
prestabilită
 
 Pk  Pk1  [ k ]T [ k ]  θˆ k 1  [ k ] y[ k ]  θˆ k 1  Pk [ k ] y[ k ]  T [ k ]θˆ k 1 ,
 k   . 133
MCMMP-R varianta de
de bază ((continuare)
bază continuare)
Aşadar T

Aşadar θˆ k  θˆ k 1  Pk [ k ] y[ k ]   [ k ]θˆ k 1  
O O prim
primăă rela ţie recursiv
relaţie ă.
recursivă.
 k   Ineficientă, deoarece la fiecare pas
Δ Corecţie
k Corecţie trebuie inversată o matrice.
• Corecţia este formată din 2 factori: θˆ k  θˆ k 1  γ k [ k ]
def
 k  
[ k ]  y[ k ]   [ k ]θˆ k 1  Eroarea de predicţie cu un pas.
T
def
γ k  Pk [ k ]  Cîştig (de senzitivitate), cu rolul de a pondera eroarea de predicţie
pentru fiecare componentă a vectorului parametrilor estimaţi.
 Nu
Nu to ţi parametrii
toţi parametrii sunt
sunt la
la fel
fel de
de sensibili
sensibili la
la reactualizare
reactualizare..
Cum poate fi mărită eficienţa metodei?
Metoda
Metoda arar fifi mult
mult mai
mai eficient
eficientăă dac
dacă ă inversarea
inversarea
matricilor
matricilor ss-ar
-ar putea
putea efectua
efectua tot
tot de
de oo manier
manierăă recursiv ă.
recursivă.
Efortul
Efortul dede calcul
calcul efectuat
efectuat iniţial
iniţial
Lema
Lema 11 pentru
pentru inversare
inversare este
este conservat
conservat
de -a lungul
de-a lungul procesului
procesului recursiv
recursiv,,
Pk 1[ k ]T [ k ]Pk 1
Pk   P  [ k ] [ k ] 
1 1
T
 Pk 1  adaptarea
adaptarea inverselor
inverselor necesitînd
necesitînd
k 1
1  T [ k ]Pk 1[ k ] numai
numai împărţirea
împărţirea lala un
un scalar
scalar..
 k  134
MCMMP-R varianta de
bază continuare)
Mai
Mai mult
mult,, eficienţa
eficienţa metodei
metodei poate
poate creşte
creşte şişi printr -o organizare
printr-o organizare judicioas ă aa memoriei
judicioasă memoriei..
• Folosind lema de inversare matricială se poate evalua şi cîştigul de senzitivitate:
def Pk 1[ k ]T [ k ]Pk 1[ k ] se aduce la acelaşi numitor
γ k  Pk [ k ]  Pk 1[ k ]  
1  T [ k ]Pk 1[ k ]
Lema
Lema 11
Pk 1[ k ]  Pk 1[ k ]T [ k ]Pk 1[ k ]  Pk 1[ k ]T [ k ]Pk 1[ k ] Pk 1[ k ]
  ,
1   [ k ]Pk 1[ k ]
T
1   T
[ k ]Pk 1 [ k ]
 k   .
Sumarul
Sumarul relaţiilor MCMMP
relaţiilor -R ((on
MCMMP-R on line )
line) Iniţializare?
Eroarea
Eroarea de
de predicţie
predicţie [ k ]  y[ k ]  T [ k ]θˆ k 1  Informaţii preliminare absente:
θ0   n P0  I n  0
Pk 1[ k ] arbitrar (eventual nul)
îştigul de
CCîştigul de senzitivitate
senzitivitate γk 
1  T [ k ]Pk 1[ k ]  Informaţii preliminare disponibile
sub forma unui set redus de date:
Matricea
Matricea de
de auto -covarianţă aa
auto-covarianţă 1
Pk  Pk 1  γ k T [ k ]Pk 1  N0
  N0

erorii
erorii de
de estimare
estimare θˆ 0    [ n] [ n]    [ n] y[ n] 
T
 n 1   n 1 
Vectorul
Vectorul parametrilor
parametrilor estima ţi
estimaţi θˆ k  θˆ k 1  γ k [ k ]
 k   MCMMP
MCMMP off -line P0
off-line 135
MCMMP
MCMMP-R -R Metode de identificare şi validare
varianta
varianta de
de Metode adaptive de identificare
baz
bazăă
((continuare)
continuare) Algoritmul
Algoritmul adaptiv
adaptiv al
al Celor
Celor Mai
Mai Mici
Mici Pătrate
Pătrate
DN0  {[ n]}n1, N  { y[ n]}n1, N (un set redus de date măsurate, dacă este posibil)
Date
Date de
de intrare
intrare
0 0
n (indicele structural al modelului de identificare)
 Ini ţializare
Iniţializare
P0   nn θ0   n  neutră sau personalizată, după caz
k  0  indicele iterativ iniţial
Bucl
iterativă
Pentru k  1
 Pentru


 Se
Se evalueaz
evalueazăă eroarea
eroarea de
de predic ţie curent
predicţie ă: [ k ]  y[ k ]  T [ k ]θˆ k 1
curentă:

 Se
Se evalueaz
evalueazăă vectorul auxiliar:: ξ k  Pk 1[ k ]
vectorul auxiliar
ξk

 Se
Se evalueaz
evaluează îştigul de
ă ccîştigul de senzitivitate
senzitivitate:: γ 
1  T [ k ]ξ k
k
estimare:: Pk  Pk 1  γ k ξ k
T

 Se
Se reactualizeaz ă matricea
reactualizează matricea de
de estimare

 Se
Se reactualizeaz ă vectorul
reactualizează vectorul parametrilor
parametrilor estima ţi: θˆ k  θˆ k 1  γ k [ k ]
estimaţi:

 Se
Se incrementeaz ă indicele
incrementează curent:: k  k  1
indicele curent
Date
Date de
de ie şire
ieşire θˆ  Parametrii
Parametrii modelului
modelului reactualiza ţi
reactualizaţi
136
k
k
la
la fiecare
fiecare pas
pas de
de adaptare
adaptare..
MCMMP-R varianta de
bază continuare)
Cum poate fi caracterizată precizia estimaţiei adaptive?
Tot
Tot prin
prin intermediul
intermediul conceptului
conceptului de
de consistenţă
consistenţă,,
dar
dar adaptat
adaptat lala anumite
anumite procese
procese cu
cu parametri
parametri variabili
variabili..
ă θ  lim  E [ n ]T [ n ]  E [ n ] y[ n ]

def 1  PParametrii
arametrii adev ăraţi se
 adevăraţi se
Ipotez
Ipoteză
n    stabilizeaz ă la
la valori
valori constante
constante..
 stabilizează
• Se va arăta că parametrii estimaţi folosind MCMMP-R tind, la rîndul lor, la valorile constante,
indiferent de iniţializarea utilizată.
1 
• Se pleacă de la următoarea identitate evidentă: θˆ k  θˆ k θˆ k   kPk   Pk1θˆ k 
k 
• Apoi, se deduc relaţii recurente  k  
 k 
pentru fiecare din cei 2 factori.
1 1 1
1  1   1  1 k 
kPk   Pk1     Pk11  [ k ]T [ k ]        P0   [ n]T [ n]   ,  k   .
k  k  k  n 1 
θˆ k  θˆ k 1  Pk [ k ]  y[ k ]  T [ k ]θˆ k 1 
1 1 ˆ
k
1 1  ˆ
k  
Pk θ k  Pk θ k 1  Pk [ k ] y[ k ]  T [ k ]θˆ k 1  
  Pk1  Pk11  [ k ]T [ k ]
1
k
1
k

  Pk11  [ k ]T [ k ]  θˆ k 1  [ k ] y[ k ]  [ k ]T [ k ]θˆ k 1   Pk11θˆ k 1  [ k ] y[ k ]  
1  1 ˆ k

    P0 θ0   [ n ] y[ n ]  ,  k   .
k n 1  137
MCMMP-R varianta de
bază continuare)
1
 1  1 k    1  1 ˆ k

Aşadar θ k    P0   [ k ] [ k ]     P0 θ 0   [ n] y[ n ]  
Aşadar ˆ T
k  n 1   k  n 1 
 Contribu ţia ini ţializării se  k 
Contribuţia iniţializării se atenueaz
atenueazăă dup
dupăă oo lege
lege hiperbolic ă.
hiperbolică.
Algoritmul
Algoritmul recursiv
recursiv de
de baz ă funcţionează
bază funcţionează şişi în
în cazul
cazul unei
unei iniţializări
iniţializări necorespunz ătoare
necorespunzătoare
(de
(de exemplu
exemplu,, dac
dacă matricea P
ă matricea P00 nu
nu este
este pozitiv
pozitiv definit ă), dar
definită), dar viteza
viteza de
de convergenţă
convergenţă scade
scade..
Rezult
Rezultăă
  1  k
 
1
  1  1 ˆ k

lim θ k   lim   P0   [ k ] [ k ]     lim  P0 θ0   [ n] y[ n]   
ˆ  1 T
k 
  
k  k
n 1     k  k  n 1 
1
 P01 1 k   P01θˆ 0 1 k 
  lim  lim  [ n] [ n]  lim
T
 lim  [ n ] y[ n] 
 k  k k  k
n 1    k  k k  k
n 1 
0 0
IE
IE
 lim  E [ n]T [ n ]  E [ n ] y[ n]  θ .
1
n   ÎÎn
n general,
general, îînsă,
nsă, sunt
sunt dificil
dificil de
de cuantificat
cuantificat
at ît precizia
atît ît şşii mai
precizia,, ccît mai ales
ales adaptabilitatea
adaptabilitatea
((capacitatea
capacitatea de de urm ărire a)
urmărire a) estima ţiei
estimaţiei
Exerciţiu
Exerciţiu parametrilor
necunoscuţi. ţi.
• Să se refacă raţionamentele anterioare pentru a proiecta şi
analiza Algoritmul recursiv al Variabilelor Instrumentale. 138
MCMMP-R –– variante
MCMMP-R variante cu
cu fereastră
fereastră
• Există situaţii (în special în cazul proceselor rapid variabile) în care contribuţia datelor anterioare
momentului curent de reactualizare trebuie atenuată cu rapiditate controlată.
• Istoria comportamentului procesului poate distorsiona rezultatul operaţiei de adaptare curentă dacă datele
achiziţionate devin rapid învechite şi tind să nu mai corespundă comportamentului actual al procesului.
Cum poate fi controlată atenuarea istoriei datelor?
Prin
Prin intermediul
intermediul ferestrelor
ferestrelor culisante
culisante fie
fie de -a lungul
de-a lungul setului
setului de
de date
date,,
fie
fie de -a lungul
de-a lungul erorilor
erorilor de
de predicţie
predicţie..
wN  Fereastră cu deschiderea determinată de

Fereastră de dimensiunea orizontului de măsură.
ponderare window
 De
De regul ă, nenegativ
regulă, ă.
nenegativă.
Orizont de • Selecţia datelor are loc prin înmulţirea valorilor

ferestrei (ponderilor) cu valorile omoloage ale datelor.
măsură
• În acest curs, va fi abordată problema estimării  ÎÎnn cazul
cazul modelelor
modelelor dede regresie
regresie
recursive a parametrilor prin minimizarea unui criteriu liniar ă, datele
liniară, datele sunt
sunt ponderate
ponderate de
de
pătratic în care pătratul erorii de predicţie curente def N radicalul
radicalul ferestrei
ferestrei..
este ponderat de o fereastră culisantă nenegativă. V (θ )  
wN [ n ]  [ n, θ]
n 1
2
139
MCMMP-R variante cu
cu fereastră ((continuare)
fereastră continuare)
• Deponderarea prea drastică a datelor implică deteriorarea sensibilă a preciziei modelului de identificare,
astfel că fereastra trebuie aleasă cu atenţie.
• Aplicarea ferestrelor de ponderare asupra datelor este o operaţie frecvent întîlnită în aplicaţiile de PS.
• Spre deosebire de ferestrele din aplicaţiile de PS (care, de regulă, sunt simetrice pe orizontul de măsură),
ferestrele utilizate în aplicaţiile de IS pot fi asimetrice.
Ferestre
Ferestre de
de culisare
culisare frecvent
frecvent utilizate
utilizate în
în aplicaţiile
aplicaţiile de
de IS
IS
Exponenţială Dreptunghiulară
M
Fereastră Fereastră
exponenţială dreptunghiulară
λN-n w M,N
Orizont de Orizont de
măsură măsură
def
def 1 , n  N  M  1, N
wN [ n ]   N  n  De
De regul
regulăă wM , N [ n]  
k    [0.95 , 1] 0 , n 1, N  M  k  
Factor
Factor de
de uitare
uitare
140
MCMMP-R variante cu
cu fereastră ((continuare)
fereastră continuare)
MCMMP-R 
MCMMP-R (deducerea relaţiilor recursive, algoritmul eficient,
Exerciţii
Exerciţii
MVI -R iniţializare, consistenţă)
MVI-R
Dacă apare problema înlăturării complete a datelor învechite, mai utilă este fereastra dreptunghiulară,
care permite aplicarea unui factor de uitare totală asupra datelor situate în afara deschiderii sale.
Estimarea
Estimarea structurii
structurii modelelor
modelelor de
de identificare
identificare
structură de model din ce în ce mai  Informaţie preliminară despre proces
bogată {1,2,…,M): Organizarea
experimentului
econometric
Alegerea clasei
de modele de
identificare

se determină Achiziţia şi
prelucrarea
primară a datelor
M ()
Alegerea
modelului de
identificare

se evaluează
Alegerea
identificare
Y

bogată (m{1,2,…, M):
Alegerea modelului
adecvat datelor
indicele structural al
achiziţionate
Alegerea modelului M (o)
modelului (parametric) adecvat datelor

NU Validarea
modelului
DA
m  n achiziţ
achiziţionate
Model valid
M (o)
 Experiment de
 Acesta
Acesta constituie
constituie nucleul
nucleul experimentului
experimentului de
de identificare
identificare.. identificare
Teste
Teste ((criterii)
criterii) • Modele de identificare de acelaşi tip, dar de diferite structuri sunt mai întîi
determinate şi apoi comparate între ele, în vederea alegerii celui adecvat.
de adecvanţă
de adecvanţă
 Supra -parametrizarea
Supra-parametrizarea
Criteriul aplatizării Criteriul de Criteriul gradului este
este totu şi preferabil
totuşi preferabilăă
erorii pătratice penalizare FPE de potrivire sub -parametrizării.
sub-parametrizării.
Criteriul descreşterii Criteriile lui Criteriul reprezentării

relative normalizate Akaike-Rissanen poli-zerouri
Nici
Nici unul
unul dintre
dintre aceste
aceste criterii
criterii nu
nu este
este ““perfect”.
perfect”. Unele
Unele criterii
criterii tind
tind ssă
ă
sub -parametrizeze modelele
sub-parametrizeze modelele,, iar
iar altele
altele –– ssă
ă le
le supra -parametrizeze.
supra-parametrizeze. 141
Estimarea structurii modelelor de identificare
Criteriul
Criteriul aplatiz ării erorii
aplatizării erorii ppătratice
ătratice
AN
VN (θ )    y [ n ]  φ [ n] θ 
def N
T 2  Datorit ă Principiului
Datorită Principiului parsimoniei
parsimoniei,,
modelul
modelul adecvat
adecvat nu
nu are
are îîn
n mod
mod
n 1
necesar
necesar structura
structura cea
cea mai
mai complex ă,
complexă,
y  y  y φ  φ  φ şa cum
aaşa cum indic ă criteriulde
indică criteriulde adecvan ţă.
adecvanţă.
(date staţionarizate) 0 n erori numerice şi de supra-acordare
mo M
a modelului
 
def
A N [ n]  VN θˆ N  N ˆ 2N [ n]
indicele structural optimal indicele structural maximal
• Practic, indicele structural optim este selectat în funcţie de dispersia zgomotului alb,
invers proporţională cu precizia modelului.
• Deîndată ce nu se mai obţine o scădere semnificativă a acestei dispersii, adică o creştere semnificativă
a preciziei modelului, este inutilă mărirea complexităţii acestuia.
Criteriul
Criteriul descreşterii
descreşterii relative
relative normalizate
normalizate
 N [ n]  ˆ 2N [ n  1]
def ˆ 2
Testul de
F N [ n] 
adecvanţă
F N [ n]  4 / N 
 Testul
Testul FF din
din
ˆ 2N [ n  1] Statistic ă.
Statistică.
• Spre deosebire de cazul criteriului precedent, aici alegerea indicelui  Adaptiv

Adaptiv,, îîn
n func ţie de
funcţie de
structural optim se poate efectua într-o manieră automată, nesubiectivă. dimensiunea
dimensiunea
orizontului
orizontului dede m ăsură.
măsură.
 În general, folosind aceste două criterii, precizia de determinare a
indicelui structural este modestă (modelul este uşor sub-parametrizat). 142
 Metode de identificare şi validare
. Estimarea structurii modelelor de identificare
Cum poate fi mărită precizia de determinare a indicelui structural?
Prin
Prin diminuarea
diminuarea dimensiunii
dimensiunii palierului
palierului,, operaţie
operaţie cunoscut
cunoscutăă sub
sub numele
numele de
de penalizare
penalizare..
Criteriul
Criteriul de
de penalizare
penalizare –– FPE
FPE Final Prediction Error
(eroare finală de predicţie)
def
N  n
FPE N [ n]  ˆ 2N [ n] factor de penalizare
N  n
FPEN Criteriile
Criteriile lui
lui Akaike-Rissanen
Akaike-Rissanen
2 n
 
def
Akaike
Akaike AIC N [ n ]  ln 
ˆ 2
N [ n ] 
N
Hirotugu Akaike  Penalizare
Penalizare compus ă.
compusă.
0 n (1967)
mo
AICN
palierului.
dimensiunii palierului.
sensibilă a
 Diminuare sensibilă
indicele structural optimal
• Indicele structural optimal rezultă prin rezolvarea
unei probleme de minimizare.
nopt  mo  argmin FPEN [ n] 0 n
mo
n
 Palierul
Palierul are
are dimensiune
dimensiune mai mai mic ă, dar
mică, dar diminuarea
diminuarea indicele structural optimal
sa
sa este
este îîncă
ncă posibil ă, îîn
posibilă, n vederea
vederea cre şterii vitezei
creşterii vitezei de
de nopt  mo  argmin AICN [ n]
convergen
convergenţă ţă aa algoritmului
algoritmului de
de optimizare
optimizare.. n 143
Criteriile
Criteriile lui
lui Akaike-Rissanen ((continuare)
Akaike-Rissanen continuare)
2 n
Akaike
 
def
Akaike GAIC N [ n]  ln ˆ 2N [ n]  N factor de corecţie  N  1
generalizat
generalizat N
 N  [2,4]  independent de dimensiunea orizontului de măsură
tendinţă de
supra-parametrixare.
supra-parametrixare.
 Criterii cu tendinţă
 N  ln N
 adaptate la dimensiunea orizontului de măsură
 N  ln(ln N )
 N  ln N  Rissanen Generalizare
Generalizare care
care conduce
conduce la
la un
un model
model de
de lungime
lungime
minimal
minimalăă (conform
(conform Principilui
Principilui parsimoniei ).
parsimoniei).
nopt  mo  argmin GAICN [ n] Jorma Rissanen (1978)
n 
Criteriul
Criteriul gradului
gradului de
de potrivire
potrivire eroare de predicţie cu un pas
 N  nopt  argmax E N [ n]

2
 [ n , ˆ
θ ]  n
de E [ n]  100 1  
def N
Grad
Grad de n 1
[%] (teoretic)
potrivire
potrivire
N  N 2   În procente
 În procente. .
 1 N
 y[ n ]   y[ n] 
(fitness)  N n 1  Indicele
Indicele structural
structural optim
optim sese
 n 1  alege
alege la
la intrarea
intrarea îîn
n palier
palier..
• Interpretare: procentaj al procesului care a fost explicat de către model sau (practic)
valoarea cuantificată a gradului de validare a modelului.
• Valoarea SNR produce un palier inferior valorii ideale de 100%. 144
Criteriul
Criteriul reprezentării poli
reprezentării -zerouri
poli-zerouri
• În cazul modelelor de identificare de tip raţional, polii şi zerorurile funcţiilor de sistem (transfer)
aferente sunt reprezentate grafic, în planul complex, rezultînd o hartă poli-zerouri.
• În jurul fiecărui pol/zerou se trasează cîte un
cerc de rază proporţională cu deviaţia standard
corespunzătoare, care delimitează zona de încredere
aferentă.
• Zonele de încredere cu suprafeţe mici sunt asociate
polilor/zerourilor cu precizie mare.
• Orice pol “apropiat” de un zerou este considerat  Polii şi zerourile cu locaþii
coincident cu acesta şi perechea se simplifică. apropiate se simplifică.
• Criteriu avînd un caracter mai mult subiectiv,
deşi poate fi automatizat (dacă se defineşte o zerou
zerou pol
pol
regulă practică de coincidenţă numerică a 2
puncte din planul complex).
Deviaţiile standard ale polilor/zerourilor?
Se
Se calculeaz
calculează ă folosind
folosind rrădăcinile
ădăcinile
ppătrate
ătrate ale
ale valorilor
valorilor de
de pe
pe diagonala
diagonala
matricii
matricii de
de  Poate
Poate fifi testat ă şşii stabilitatea
testată stabilitatea modelului
modelului..
estimare
estimare şişi conceptul
conceptul dede matrice
matrice
companion
companion asociat ă unui
asociată unui polinom
polinom..
145
Validarea
Validarea modelelor
modelelor de
de identificare
identificare
 Numai
Numai modelele
modelele de
de identificare adecvate şşii valide
identificare adecvate valide pot
pot fifi  Informaţie preliminară despre proces
returnate
returnate dup
dupăă desf ăşurarea experimentului
desfăşurarea experimentului de de identificare
identificare.. Organizarea Alegerea clasei
Validarea unui model de identificare?

Validarea
Alegerea
modelului
identificare
Y
Opera ţie care

Operaţie care const
constă ă îîn
n testarea
testarea func ţionării
funcţionării Pentru fiecare structură de model din ce în ce mai
bogată (m{1,2,…, M):
modelului
modelului comparativ
comparativ cu cu cea
cea aa procesului
procesului,,
Alegerea modelului
adecvat datelor
atunci
atunci ccînd
înd se
se ini ţiază oo nou
iniţiază nouăă sesiune
sesiune dede
achiziţionate
M (o)
stimulare
stimulare aa ambelor
ambelor entit ăţi cu
entităţi cu aceea şi intrare
aceeaşi intrare.. NU Validarea
modelului
DA
Model valid
M (o)
P ((
**)) y [n]
 Metodele
Metodele ((testele)
testele) de
de validare
validare
depind
depind de
de metodele
metodele de de
u [n]  [n,o] identificare
identificare utilizate
utilizate..
+
-
Metodele
Metodele abordate
abordate în
în acest
acest curs
curs
yM [n,o]
M ((
oo)) Testul de albire pentru
def
[ n, θo ]  y[ n]  yM [ n, θo ] modelele determinate
cu ajutorul MCMMP
eroarea dintre proces şi model
Extrem Testul de albire pentru
Extrem de
de important
important
modelele determinate
Validarea
Validarea unui
unui model
model de de identificare
identificare trebuie
trebuie ssă
ă se
se efectueze
efectueze pe
pe un
un cu ajutorul MVI
alt
alt set
set de
de date
date dec ît cel
decît cel utilizat
utilizat pentru
pentru determinarea
determinarea modelului
modelului..
146
Validarea modelelor de identificare
Teste de albire?
Tehnic
Tehnicăă prin
prin care
care se
se poate
poate detecta
detecta dac ă un
dacă un semnal
semnal (care,
(care, îîn
n cazul
cazul valid ării, depinde
validării, depinde de
de
eroarea
eroarea dintre
dintre model
model şşii proces
proces)) are
are caracteristicile
caracteristicile unui
unui zgomot
zgomot albalb normal
normal distribuit
distribuit..
Testul
Testul de
de albire
albire pentru
pentru modelele
modelele identificate
identificate
p
cu
cu ajutorul
ajutorul MCMMP
MCMMP
Se
Se aplic
aplicăă direct
direct erorii
erorii dintre model şşii proces
dintre model proces,,
folosind
folosind setul
setul de
de date
date de
de validare
validare..
0 –
ε -3N –ε –ε +3 ε [n,θ]
N
Testul
Testul ideal
ideal de
de albire
albire def
0 parametru precizat

lim E [ n, θˆ N ] [ n  k , θˆ N ]  0
N 
 N 
N
ulterior
k   *
 Imposibil de verificat practic.  Deschidere

Deschidere adaptat ă la
adaptată la dimensiunea
dimensiunea
 Nu face referire la proprietăþile statistice ale modelului. orizontului
orizontului de
de m ăsură.
măsură.
Etapele
Etapele testului
testului practic
practic de
de albire
albire
defN
1
 Se calculează secvenţa de auto-covarianţă a erorii de predicþie: r [ k ]  
N  k n  k 1
[ n, θˆ N ] [ n  k , θˆ N ]
def
r [k ] N 
 Se calculează secvenţa de auto-corelaţie a erorii de predicþie:  [ k ]   k  0,  
r [0] 4
 Limitat
Limitatăă la
la un
un sfert
sfert din
din dimensiunea
orizontului de
de măsură.
măsură. 147
Testul
Testul de
de albire
albire pentru
pentru modelele
identificate cu
cu ajutorul
ajutorul MCMMP
MCMMP ((continuare)
continuare)
Etapele
Etapele testului
testului practic
practic de
de albire
albire ((continuare)
continuare)
 Se evaluează numărul de valori ale lui  în fiecare din intervalele de încredere de mai jos:
Intervale şi nivele de încredere tipice pentru validarea modelelor.
 2.17 2.17   1.96 1.96   1.808 1.808 

[   ,  ]   N , N   ,  ,
   2.17 1.96 1.808 
   N N  N N  0   , , 
N ( ) 97% 95% 93%  3 3 3 
 Se compară histograma valorilor lui  în fiecare din intervalele de încredere cu

nivelele prescrise de încredere.
Nivel 0: nici unul din cele 3 Teste de albire nu este pozitiv (model şi/sau
Testul de metodă de identificare invalide).
validare Nivel 1: doar unul din cele 3 Teste de albire este pozitiv (model şi/sau metodă
N ( )  N () de identificare la limita de validitate).
Nivel 2: două din cele 3 Teste de albire sunt pozitive (model şi/sau metodă de
identificare valide, dar cu validitate limitată; pentru anumite tipuri de
intrări, modelul s-ar putea să nu funcţioneze corect).
Nivel 3: toate cele 3 Teste de albire sunt pozitive (model şi/sau metodă de
identificare valide, cu validitate extinsă la majoritatea covîrşitoare a
tipurilor de intrări).
148
Testul
Testul de
de albire
albire pentru
pentru modelele
identificate cu
cu ajutorul
ajutorul MVI
MVI
Eroarea
Eroarea dintre model şşii proces
dintre model proces nu
nu trebuie
trebuie ssă
ă fie
fie corelat
corelatăă cu
cu datele
datele de
de ie şire sta
ieşire ţionarizate.
staţionarizate.
Testul
Testul ideal
ideal de
de albire
albire
 
lim E [ n, θˆ N ] y N [ n  k ]  0  
def
y N [ n]  T [ n]θˆ N  E T [ n]θˆ N
N 
k   * ieşirea simulată centrată
 Imposibil de verificat practic.
 Nu face referire la proprietăþile statistice ale modelului.
Etapele
Etapele testului
testului practic
practic de
de albire
albire
defN
1
 Se calculează secvenţa de covarianţă încrucişată : r, y N [ k ]  
N  k n  k 1
[ n, ˆ N ] y N [ n  k ]
def r , y N [ k ] N 
 Se calculează secvenţa de corelaţie încrucişată:  , y N [ k ]  k  0,  
r [0] ry N [0] 4
 Se evalulează numărul de valori ale lui  în fiecare din intervalele de încredere definite de
acelaşi tabel ca în testul de albire pentru modelele determinate cu ajutorul MVMMP.
 Se compară histograma valorilor lui  în fiecare din intervalele de încredere cu

nivelele prescrise de încredere (din acelaşi tabel).
Rezultatul
Rezultatul testului
testului este
este acela şi cazul
acelaşi cazul modelelor
modelelor
identificate
identificate cu
cu ajutorul
ajutorul MCMMP
MCMMP.. 149
r Exerciţii rezolvate
Exerciţiul 3.1
Exerciţiul 3.1
Determinaţi ecuaţiile de estimare a parametrlor necunoscuţi (coeficienţi &

dispersie zgomot alb) pentru modelul ARX[1,1], în formă completă, folosind
MCMMP. Evaluţi limitele teoretice ale parametrilor pentru o colecţie infinită de
date. În ce condiţii parametrii estimaţi sunt consistenţi (adică tind la valorile
adevărate)?
Soluţie
Soluţie
P29
Soluţie ((Exerciţiul
Soluţie Exerciţiul 3.1)
3.1)
P30
3.1)
P31
3.1)
P32
Exerciţiul 3.2
Exerciţiul 3.2
Determinaţi ecuaţiile de estimare a parametrilor necunoscuţi (coefcienţi &

dispersie zgomot alb) pentru modelul ARX[2,2], folosind MCMMP.
Soluţie
Soluţie
P33
3.2)
P34
Exerciţiul 3.3
Exerciţiul 3.3
Este posibilă utilizarea MCMMP pentru a determina parametrii necunoscuţi ai

modelului OE[1,1]? Dacă nu, argumentaţi răspunsul. Dacă da, determinaţi
ecuaţiile de estimare a parametrilor necunoscuţi (coeficienţi & dispersie
zgomot alb). Tot în acest caz, studiaţi consistenţa estimaţiilor.
Indica ţie
Indicaţie
Se recomandă exprimarea formei de regresie liniară grupînd termenii după coeficienţii
necunoscuţi. Se va observa cum zgomotul afectează direct datele de ieşire.
Soluţie
Soluţie
P35
3.3)
P36
3.3)
P37
3.3)
P38
3.3)
P39
3.3)
P40
3.3)
P41
Exerciţiul 3.4
Exerciţiul 3.4
Este posibilă utilizarea MCMMP pentru a determina parametrii necunoscuţi ai

modelului OE[2,2]? Dacă nu, argumentaţi răspunsul. Dacă da, determinaţi
ecuaţiile de estimare a parametrilor necunoscuţi (coeficienţi & dispersie
zgomot alb), folosind MCMMP.
Soluţie
Soluţie
P42
3.4)
P43
Exerciţiul 4.1
Exerciţiul 4.1
Arătaţi că între criteriile FPE şi AIC există următoarea corelaţie, pentru N>>nθ:
AICN [ nθ] ≅ ln ( FPEN [ nθ] )
∀nθ∈ N∗
Soluţie
Soluţie
P44
Exerciţiul 4.2
Exerciţiul 4.2
Fie procesul stocastic descris de următoarea ecuaţie (de tip AR[1]):

P : y[ n] + ay[ n − 1] = v[ n] ,
∀n ∈ N∗
unde v este un zgomot alb de medie nulă şi dispersie λ2.
Procesul furnizează numai date de ieşire pe un orizont finit de măsură
(de durată N).
a. Să se estimeze parametrii necunoscuţi (coeficienţi şi dispersie de zgomot)
pentru următoarele modele, folosind MCMMP şi setul de date măsurate:
M 1 : y[ n] + a11 y[ n − 1] = ε[ n, a11 ] ∀n ∈ N∗
M 2 : y[ n] + a21 y[ n − 1] + a22 y[ n − 1] = ε[ n, a21 , a22 ]
În aceste ecuaţii, ε este eroarea dintre model şi proces, cu proprietatea:
ε[n,a]=v[n], respectiv ε[n,a,0]=v[n].
b. Să se teseteze consistenţa estimaţiilor obţinute la punctul precedent
(pentru coeficienţi şi dispersii de zgomot).
{( )}
c. Potrivit Teoremei fundamentale a ⎡ ⎤
−1
)(
N
= λ ⎢ ∑ ϕ[ n]ϕ [ n]⎥
T
∗ ∗
MCMMP, dispersia erorii de estimaţie E θ N − θ θ N − θ
ˆ ˆ 2 T
⎣ n =1 ⎦
a coeficienţilor necunoscuţi este dată
în general de: P45
Exerciţiul 4.2
Exerciţiul 4.2 ((continuare)
continuare)
Folosind această proprietate, să se evalueze dispersiile erorilor de estimare ale

parametrului a din cele 2 modele, notate cu σN2[1], respectiv σN2[2].
(Pentru modelul al doilea, vectorul parametrilor adevăraţi este θ*=[a 0]T.)
Arătaţi că: lim ( N σ 2N [1]) ≤ lim ( N σ 2N [2]) . Ce semnificaţie are această inegalitate?
N →∞ N →∞
Soluţie
Soluţie
P46
4.2)
P47
4.2)
P48
4.2)
P49
4.2)
P50
Exerciţiul 4.3
Exerciţiul 4.3
Deduceţi expresiile estimaţiilor oferite de MVI pentru un model ARX[1,1] şi un
vector al instrumentelor de tip nefiltrat.
Studiaţi consistenţa lor şi precizaţi un set de condiţii suficiente pentru
verificarea acestei proprietăţi.
Determinaţi condiţiile generale de consistenţă în cazul în care nici intrarea nici
zgomotul nu sunt neapărat albe.
Soluţie
Soluţie
P51
4.3)
P52
4.3)
P53
4.3)
P54
4.3)
P55
Exerciţiul 4.4
Exerciţiul 4.4
a. Reluaţi exerciţiul precedent pentru un vector al instrumentelor de tip parţial
filtrat, unde filtrul aplicat intrării este determinat de estimaţiile coeficienţilor
evaluate cu MCMMP.
Studiaţi consistenţa estimaţiilor în cazul în care MCMMP oferă chiar valorile
adevărate ale parametrilor.
Specificaţi un ansamblu suficient (dar natural) de condiţii de consistenţă în
acest caz.
b. Arătaţi că estimaţiile oferite de MVI pentru vectorul instrumentelor de tip
parţial filtrat şi pentru cel de tip total filtrat dar avînd q+1uf în loc de uf sunt
identice.
Care credeţi că este semnificaţia acestui rezultat interesant?
Cum poate fi el exploatat?
Indicaþie
Indicaþie
Identitatea a 2 estimaţii oferite de MVI se poate arăta pe 2 căi. Prima cale, mai
laborioasă (şi mai puţin elegantă), presupune calculul efectiv al estimaţiilor. A doua
cale, mai elegantă, se bazează pe o proprietate interesantă a estimaţiei MVI: invarianţa
la transformări liniare ale vectorului instrumentelor. Încercaţi să demonstraţi această
proprietate şi apoi găsiţi transformarea liniară dintre cei 2 vectori ai instrumentelor din
cadrul exerciţiului.
P56
P56
4.4)
P57
4.4)
P58
4.4)
P59
4.4)
P60
4.4)
P61

IS

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

IS

Încărcat de

Drepturi de autor:

Formate disponibile

Universitatea “Politehnica” din Bucureşti

Facultatea de Automaticã & Calculatoare

Identificare analitică Identificare experimentală

• parametrii sunt utilizaţi ca instrumente menite să uşureze descrierea funcţionării pocesului;

determinarea lor este adesea realizabilă prin metode algoritmice,

Bazate pe Teoria Optimizărilor (TO) Bazate pe Teoria Estimaţiei (TE)

Criterii empirice Criterii de optimizare Criterii de estimare

• Se bazează pe unele noţiuni Caracteristice

Procesul funcţionează ca un model matematic cu

• Atît procesul cît şi modelul sunt stimulate cu aceeaşi intrare,

• Pentru rezolvarea acestei probleme se adoptă o strategie iterativă.

• Eficienţa şi complexitatea operaţiei de optimizare depinde sensibil de

n 1  Mai puţin natural.

De regulă, rezolvarea acestei probleme θˆ N valoarea optim(al)ă a vectorului

• Pentru rezolvarea ei, se apelează frecvent la metode de optimizare bazate pe

P(θ)  matricea de auto-covarianţă a erorii de estimare

Deoarece criteriul matricial abordează direct parametrii adevăraţi

• Deoarece datele pe baza cărora se determină modele de identificare sunt afectate

Nedeviere (asimptotică) Consistenţă Eficienţă

• Dacă media statistică a parametrilor estimaţi nu Δ N  θ  E{θˆ N }

 Tipul de proces: puternic neliniar, neliniar, aproape liniar, liniar.

Majoritatea proceselor sunt neliniare şi puternic neliniare, dar liniarizabile în

Eventual, vor fi necesare mai multe experimente de identificare succesive

 Variabilitatea în timp a procesului.

• tipul de variaţie al procesului este determinant.

O indicaţie referitoare la perioada/frecvenţa de eşantionare limită cu care se

Majoritatea covîrşitoare a proceselor

a. Dacă există informaţii preliminare despre clasele de semnale de stimul

Proprietate care se referă la capacitatea unui semnal de stimul de a conduce la

 Alegerea şi amplasarea senzorilor

Sisteme hardware (în general de complexitate ridicată), care, pe lîngă Convertoare

determină parametrii modelului ales, m;

evaluează precizia modelului (V (m) sau P(m)).

Pentru fiecare structură de model din ce în ce mai

Alegerea modelului M (o)

modelului (parametric) adecvat datelor

Validarea unui model de identificare?

Opera ţie care

• Principala caracteristică a unei aeroterme: capacitatea

• Frecvenţa de tăiere a filtrului analogic: Fc  50 [Hz]

Organizarea Alegerea clasei

Pentru fiecare structură de model din ce în ce mai

Organizarea Alegerea clasei

Pentru fiecare structură de model din ce în ce mai

• Comparînd coeficienţii polinomului C între ei, se constată că termenul ARMAX[2,2,1]

y[ n ]  y KC [ n, θ]  Sistem de ecuaţii din care ar trebui

(eroarea pătratică totală) De

ˆθ  argmin V (θ )  argmin   2 [ n, a, b] 

Metoda gradientului Metoda pătratelor perfecte

Mul ţimea matricilor

estimaţie MCMMP precizie 42

Propriet ăţi elementare

• Problema optimizării folosind criteriul pătratic

• Urmează determinarea proiecţiei vectorului datelor.

θ n θ n  n 1  θ n  n 1 

dispersia zgomotului perturbator

3. Estimaţia vectorului parametrilor adevăraţi este consistentă.

care verifică proprietatea remarcabilă de a fi ortogonal pe operatorul reprezentat

• Cu ajutorul operatorului , se poate determina o relaţie între cele două estimaţii:

P(θ )  P(θˆ )   2 ΔΔT  0

6. Proprietăţi de nedeviere ale estimaţiilor dispersiei zgomotului alb

• Ambele aserţiuni vor fi demonstrate simultan, folosind def n

Propriet ăţi elementare

Criteriul SNR  Φθˆ   SNR ( Y )