ESTIMATORI.

ESTIMAREA PARAMETRILOR SISTEMULUI

1. Formalizarea problemei estimarii parametrilor
Estimarea parametrilor reprezintă o parte a identificării. Identificarea sistemelor este o
procedură iterativă care include ca etape: sinteza experimentuui (alegerea semnalului de
intrare în acord cu scopul final), selectic structurii modelului și a criteriului pentru estimarea
parametrilor, precum și validarea modelului determinat (Fig. 1.1)

Problema estimării parametrilor poate fi caracterizata de 3 elemente:

- o colectie de date: D
- o colectie de modele: M
- un criteriu: C
In acest context, problema identificarii in general si a estimarii parametrilor in special
consta in determinarea unui model M care sa justifice cat mai bine colectia de date D in
sensul criteriului ales C.

Colectia de date D reprezinta secvente de perechi de valori: intrare-ieșire (I/O).

{u(t}, y(t)} cu (discret, normalizat), generate de un sistem S in conditiile
experimentale E.

Colecția de modele M (descrieri intrare-ieșire, MM-II, sau în spațiul starolor, intrare-

stare-ieșire, MM-ISI) este parametrizată după vectorul parametrilor necunoscuți, (Ѳ),
(ordinul sistemului putând fi și el inclus intre cu parametri).
Criteriul C este specificat prin funcția de cost care trebuie minimizata.

Conditiile experimentale precizeaza modul in care se genereaza semnalele de test, (de

intrare). Alegerea condițiilor experimentale este importantă pentru rezultatele obținute.

Ipoteza ca sistemul S, care genereaza D, apartine colectiei M corespunde punctului de

vedere ca exista un sistem real caracterizat de parametrul Ѳ (vectorul parametrilor), scopul
estimarii fiind sa descopere acest sistem.

Ulterior trebuie să se investigheze dacă estimatul parametrilor Ѳ, converge la valorile

reale Ѳ, pe măsură ce lungimea colecției de date crește.

In procesul de estimare al parametrilor nu exista garantii ca modelul cu structura si

parametrii alesi reprezinta cea mai buna alegere.

Se poate intampla ca experimentul sa fi fost proiectat astfel incat sa nu asigure

extragerea informatiilor dorite din colectia disponibila de date, sau clasa de modele sa nu fost
corespunzator aleasa.
Testul cel mai bun al unui model este acela de a-l incerca in scopul propus.
Pentru sistemele de reglare automata (SRA) aceasta inseamna ca trebuie aleasa o strategie de
conducere bazata pe model si apoi evaluate performantele sistemului in bucla inchisa.
Procedura este relativ complicată, fiind recomandabil sa se utilizeze proceduri mai
simple pentru testarea modelului determinat, proceduri cunoscute sub denumirea de validare
a modelului.

1
 Sinteza experiment

Alegerea structurii modelului

și a criteriului

Nu
Validare model

Da

Stop

Fig. 1.1
Procedură iterativa de identificare a sistemelor

Problema care se cere rezolvata este de a determina o functie de observatii (masuratori ale
intrarii si iesirii):

(1.1)

care sa fie o aproximare “cat mai buna” a lui .

Functia poarta denumirea de estimator, iar valoarea numerica pe care o ia aceasta

functie pentru un U respectiv un Y precizate poarta denumirea de estimat sau estimație.

Problema poate fi reformulata astfel:

sa se determine estimatul al vectorului al parametrilor procesului pe baza
observatiilor (masuratorilor) efectuate asupra lui U si Y (Fig.1.2)

z
u y
PROCES

cunoștințe STRUCTURA DE
apriorii CALCUL

Fig. 1.2 Schemă bloc pentru determinarea estimatului parametrilor:

2
Dupa cunostintele disponibile apriori se poate face o distinctie intre diferitele tipuri de
estimatori.
Aceste cunostinte se pot exprima prin functia densitate de probabilitate:
, sau ,
care definesc o familie de curbe parametrizate dupa lungimea intervalului de observare T, sau
echivalent dupa numarul K de esantione de care se dispune. (Fig. 3)

Fig. 2.1
Funcțiile densitate de probabilitate parametrizate după lungimea intervalului de observare.
Estimator nemarcat

3
 2. Caracteristicile estimatorilor
Functiile densitate de probabilitate sau , care reprezinta tipul cel
mai complet de cunoastere de care se poate dispune, este rareori disponibila si utilizarea ei
devine greoaie sau complicata pentru cazurile : .

In general se opereaza cu caracteristici ale estimatorilor mai usor de interpretat si

operat, si anume:
- media de ordinul I (speranta): E (E - operatorul de mediere)
- marcarea (devierea): (2.1)
- covarianta (media patratica de ordinul II): (2.2)

Cazul unui estimator marcat, dar posibil si asimptotic nemarcat este prezentat in fig.
2.2.

Fig. 2.2
Estimator marcat, dar posibil asimptotic nemarcat

Din figurile prezentate (fig. 2.1 si fig 2.2) se observa ca pe masura ce perioada de
observare este mai mare (sau numarul de esantionare este mai mare) functia densitate de
probabilitate va avea un maxim mai accentuat.

Oservatie: Daca functia densitate de probabilitate este normala sau gaussiana, nu se pierde
nici o informatie prin restrangerea la valoarea medie sau covarianta, avandu-se in vedere ca
aceste functii sunt complet caracterizate prin mediile de ordin I sau II.

Se observa ca marcarea sau devierea reprezinta o masura a influentei zgomotelor

asupra indepartarii valorii medii.
In consecinta estimat va fi mai departe sau mai aproape de valoarea reala in functie de
realizarea de zgomot din experimentul pe baza careia a fost obtinuta estimatia.
Se spune ca un estimator este nemarcat sau nedeviat daca:

sau , (2.3)
iar N = numarul de esantioane.
4
 Daca relatia (2.3) este satisfacuta doar pentru un numar mare de esantioane ( deci
pentru ), estimatorul se numeste asimptotic nemarcat sau nedeviat.
Primul caz din reprezentarea functiilor de densitate de probabilitate (Fig. 2.1)
corespunde unui estimator nemarcat.
Cel de al doilea caz (Fig. 2.2), corespunde unui caz de estimator marcat, dar posibil
asimptotic nemarcat.

In situatia in care exista o relatie de forma:

(2.4)

reprezinta un estimator mai bun a lui decat .

Daca relatia (2.4) este adevarata pentru , estimatorul este un estimator de

dispersie minima.

In mod natural apare ca o cerinta fireasca pentru un estimator ca:

, (2.5)
unde
N = numarul de esantioane

Un astfel de estimator se numeste estimator consistent. Un estimator consistent nu

va fi in mod necesar nemarcat dar va fi in mod cert unul asimptotic nemarcat.

Relatia (2.5) trebuie privita in sensul unei convergente stohastice. Exista in acest
sens cateva posibilitati de a defini (introduce) acesta convergenta.

1) Convergenta cu probabilitate 1
Se spune ca converge la valoarea reala cu probabilitate 1 si se noteaza cu :
c.p.1 (2.6)
daca si numai daca realizarile pentru care nu tinde catre au masura zero.
Cu alte cuvinte probabilitatea , unde desemneaza realizarea.

2) Convergenta in probabilitate
Se spune ca converge in probabilitate la si se noteaza cu:
p (2.7)
daca si numai daca pentru arbitrar de mic:

3) Convergenta in sens mediu patratic (S.M.P)

Se spune ca converge in sens mediu patratic la si se noteaza cu:
s.m.p (2.8)
daca si numai daca:
Atat 1) cat si 3) implica 2).

5
 Convergenta in probabilitate si in sens medu patratic sunt concepte globale (se refera
la ansamblul realizarilor), spre deosebire de c.p.1 care se refera la realizare.

In relatia (2.5) este de preferat considerarea c.p.1 si in consecinta, consistenta se va

defini astfel:

c.p.1 (2.9)

Consistenta reprezinta o cerinta minimala pentru un estimator.

Exista o relatie directa intre volumul de cunostinte apriorice (disponibile initial) si

procedura cea mai indicata pentru estimarea parametrilor.
Astfel, o enumerare a tipurilor de estimatori pe masura cresterii cunostintelor disponibile
initial este urmatoarea:

1)Estimatorul celor mai mici patrate (CMMP) pentru care singura presupunere care
se considera este ca dinamica procesului poate fi aproximata in mod suficient de bine prin
modelul ales.

2) Estimatorul Markov pentru care se presupune ca se cunoaste din start matricea de

covarianta a zgomotului.

3)Estimatorul verosimilitatii maxime care cere cunoasterea functiei densitatii de

verosimilitate a procesului stochastic.

4)Estimatorul Bayes pentru care se presupune cunoasterea functiei densitatii de

probabilitate a parametrilor necunoscuti.

Plecand de la estimatorul Bayes se pot deduce toti ceilalti estimatori ca niste cazuri
particulare, pe masura ce se considera cunostinte apriorice disponibile mai putine.

In continuare dezvoltarile se vor face pe modele considerate in cazul discret.

Justificare: Operatiile de prelucrare a datelor sunt de cele mai multe ori discrete. Modelele
discrete sunt mai flexibile decat cele continue, operarea cu aceste tipuri de modele fiind mult
mai simpla.

6
 3. Metoda celor mai mici patrare – CMMP

Notatiile si relatiile de baza se introduc pe o problema tipica de estimare de parametri.

A) Cazul sistemelor monovariabile. SISO

Se considera modelul mathematic (MM) discret al unui sistem invariant, monovariabil

(SISO), sub forma ecuatiei de regresie liniara generalizata de forma:

(3.1)

unde
t= timpul discret normalizat,
z(t) = zgomot

Modelul (3.1) poate fi scris in forma compacta:

A(q-1)y(t) = B(q-1)u(t) + z(t), (3.1)

unde
A(q-1) = 1+ aiq-i; B(q-1) = bjq-j;

Problema care se doreste rezolvata consta in determinarea (estimarea) paramatrilor

din masuratori ale marimilor de intrare si de iesire.

Se va considera varianta OFF-LINE: adica determinarea parametrilor se face

preluand intregul sir de masuratori.

Ipoteze de lucru:
 se presupun cunoscute
In general, relatia este , fara restrangerea generalitatii abordarii, din considerente de
simplificare se va considera ca:

 z(t) – zgomotul, poate fi complet caracterizat de momentele de ordin I si II,adica prin

matricea de medie respectiv prin matricea de covarianta

Daca zgomotul este Gaussian, nu se pierde informatia referitoare la zgomot prin

restrangerea la cele 2 momente, (deoarece functiile de densitate Gaussiana sunt complet
descries prin primele doua momente statistice).

Observatie: Ipoteza ca densitatea de probabilitate este de tip Gaussian nu este o

ipoteza necesara in determinarea metodei CMMP, ea serveste la dezvoltarea unor relatii de
baza si la introducerea estimatorului de varianta minima.

Media zgomotului este media din secventa de zgomot, considerata la diverse momente de
esantionare.

7
Matricea de covarianta este medie patratica de ordinal II

Se vor considera urmatoarele ipoteze de lucru asupra zgomotului:

 valorile lui z(t) din relatia (1.1) se considera:

mutual independente ;
uniform distribuite ;
de medie zero ( )
Densitatile de probabilitate ale secventei se considera gaussiene (normale).
Aceste proprietati conduc la considerarea zgomotului ca fiind zgomot alb discret.

(3.3)

 zgomotul se considera de asemenea necorelat cu intrarea (u) si cu iesirea determinista

( )(Fig. 3.1)

z
u yv y
Sistem Fig. 3.1

- iesirea virtuala, (nu este acces la ea)

Deci:
E , cu ; (3.4)

Si respectiv:

cu (3.5)

In ipotezele (2.3) considerate, matricea de covarianta a zgomotului va avea forma:

(5)

(3.6)
Rz =

σi2 - dispersia secventei z(i)

8
 Forma matricei de covarianta (3.6) devine mai simpla daca se presupun valori
identice ale dispersiei la toate momentele de masura, ceea ce inseamna ca:

{Rz=σ2I} (3.7)
si care corespune Formei normale a CMMP.
Relatia (3.7) indica faptul ca masuratorile sunt efectuate cu aceeasi precizie pentru
toate momentele de timp considerate: ,
sau, intr-o formulare echivalenta:
masuratorile efectuate la monentele de timp sunt corupte de un zgomot avand
aceleasi proprietati statistice la toate momentele de esantionare t.
Aceasta ipoteza concorda cu cele mai multe situatii practice:

 Daca nu se poate acorda aceeasi incredere tuturor masuratorilor, dar se poate

pondera aceasta incredere, se inlocuieste σ2I cu o matrice W de forma diagonala.

In cazul si mai general, adica daca erorile de masurare sunt mutual-dependente,

aceasta matrice de ponderare W trebuie sa fie de forma general patratica (daca ipotezele
(2.3) nu sunt satisfacute).

Modelul de regresie liniara (3.1) poate fi rescris in urmatoarea forma consacrata:

(3.8)

Adica; interpretand sensul termenilor, relatiei (3.8) inseamna:

Observatia = Semnal + Zgomot

cu - vectorul parametrilor

= vectorul masuratorilor
- se alege de exemplu vectorul parametrilor de forma:
conform alegerii facute pentru vectorul parametrilor θT, vectorul masuratorilor va rezulta de
forma:

Pentru , relatia (3.8) reprezinta un sistem de ecuatii algebrice liniare care pot fi
rescrise intr-o forma compacta, vectorial matriceala:

(3.9)

in care:

9
Observatie:
Acest mod de a alege vectorul parametrilor nu este unic, o alta alegere posibila este de
exemplu:

rezultand vectorul masuratorilor sau observatiilor de forma:

si matricea observatiilor sau masuratorilor sub forma:

Din considerente statistice probabilistice, numarul N al masuratorilor trebuie sa fie

mult mai mare decat numarul total al parametrilor de estimat.
In acest caz:
(3.10)

Din relatiile scrise rezulta ca datele obtinute din masuratori si parametrii se presupun
ca sunt intr-o relatie liniara, astfel ca procedura de estimare va fi una liniara.

Relatia (3.8) poate fi rescrisa ca:

(3.11)

in care:
= eroarea ecuatiei sau reziduu.

Forma vectorial-matriciala corespunzatoare relatiei (3.11) va fi:

, (3.13)
in care
,

iar
sunt definite anterior.

10
Metoda CMMP are drept scop determinarea “celei mai probabile” valori ale lui , cu alte
cuvinte , definita ca valoarea care minimizeaza suma patratelor reziduurilor.

Considerand relatia (3.12), criteriul sau functia de cost poate fi definita ca:

(3.13)

unde
= norma euclidiana
Elementele rij ale matricei de ponderare R-1 indica gradul de incredere care poate fi
acordat masuratorilor.

In functie de forma acestei matrici se disting 3 tipuri (variante) ale metodei CMMP:

1) Pentru R = I rezulta Metoda CMMP

2) Pentru R de forma general pozitiv definita W: R = W, procedura devine Cele mai
mici patrate ponderate (CMMPP)
3)Pentru R = Rz = EzzT - matricea de covarianta a zgomotului, calculele conduc la
estimatorul Markov sau al variantei minime

Considerand forma (3.11), criteriul se poate scrie ca fiind:

(3.14)

B. Cazul sistemelor multivariabile - MIMO

Modelul sub forma ecuatiei de regresie liniara (3.1), in cazul MIMO devine:

(3.15)

Sistemul se considera cu nu intrari si ny iesiri.

Relatia (3.15) poate fi transcrisa in forma ecuatiei de regresie:
(3.16)

unde:

care conduce la o forma vectorial-matriciala:

(3.17)
in care

, dim = N x ny

11
In cazul in care vectorul parametrilor se alege de forma:

va rezulta matricea masuratorilor:

; dim = (N X V)

unde
Alegerea lui nu e unica.

Functia de cost corespunzatoare este echivalenta celei prezentate anterior:

(3.18)

in care:
- vectorul coloana al erorii sau al reziduului, dim = ny x 1
- matricea de covarianta de dimensiune (ny x ny)

Functia de cost se poate rescrie astfel:

(3.19)

Pentru calcule numerice este convenabil ca functia de cost sa se exprime sub forma patratului
normei. Considerand formele (3.16) si (3.17) se poate scrie:

Tr = Trace - Urma unei matrici = Suma elementelor de pe diagonala principala

Observatie: Trebuie subliniat faptul ca Modelul de regresie nu este unica posibilitate pentru
introducerea si aplicarea metodei CMMP.
Metoda CMMP poate fi dezvoltata pe baza aproape oricarui tip de model matematic
care poate descrie dinamica sistemului de identificat, (ex: functia pondere, ecuatiile de stare,
ecuatiile WIENER-HOPF, etc).

Exemplul 1:
Considerand o secventa de ponderare ( suma de convolutie care furnizeaza iesirea la
un moment de timp t)

Se alege: ca vector al parametrilor

Corespunzator, vectorul masuratorilor devine:

12
Cu aceste notatii ecuatia de regresie. va fi rescrisa astfel:
,
cu:
Pentru: : se obtine sistemul de ecuatii:

care poate rescrisa intr-o forma vectorial matriciala:

,
unde:
,

Exemplul 2:

Se considera suma ponderata de exponentiale de forma:

considerand: cunoscute
si introducand: ,
se poate considera vectorul masuratorilor:
In aceasta forma ecuatia de regresie poate fi scrisa imediat.

4. Estimatorul C.M.M.P OFF-LINE

Estimatia vectorului parametrilor se obtine minimizand functia de cost sau functia criteriu,
ceea ce se traduce de fapt prin determinarea vectorului parametrilor care anuleaza
derivatele partiale in raport cu parametrii (gradientul).

(4.1)

- este vectorul gradient in raport cu

- a i-a componenta a vectorului parametrilor.

13
 este eroarea ecuatiei (reziduu)

Coresupunde ecuatiei de regresie in forma matriciala:

Criteriul J( ) este un criteriu al erorii patratice.

S = matricea observatiilor - contine masuratorile intrarilor si iesirilor la un moment t.
(4.2)

Solutia relatiei (4.2) este o estimatie a vectorului parametrilor:

(4.3)
Relatia (4.3) defineste estimatorul CMMP off-line.

Se presupune ca matricea este o matrice nesingulara (deci exista inversa ).

Pentru a verifica ca relatia (4.3) este intr-adevar un minim, se mai deriveaza o data relatia
(4.2) :

) este o matrice pozitiv definita, ceea ce asigura ca rezutatul obtinut e correct.

Forma (4.3) a estimatorului CMMP poate fi rescrisa intr-o forma mai convenabila
implemantarii, si anume:

(4.4)

care este o forma echivalenta cu forma (4.3).

Forma (4.3) a estimatorului CMMP este mai putin convenabila calcului numeric decat
(4.4), implementarea relatiei (4.2) necesita de fapt memorarea matricei S care are dimensiuni
considerabile. Totusi o mare parte din analiza teoretica se face pe baza relatiei (4.3), mai usor
de manevrat analitic.

Astfel, in cazul in care vectorul parametrilor se alege

principalele operatii necesitate de implementarea estimatorului sunt evidentiate rescriind

relatia (4.4) intr-o forma si mai detaliata.

Tinand cont de faptul ca:

rezulta:
14
 (4.5)

Modelele cu termen liber

In situatia in care iesirea este afectata de perturbatii cu medie 0, deci Ez ≠ 0, se

opereaza cu un model mai general de forma:

(4.6)

 Vectorul parametrilor in acest caz se defineste prin:

 Vectorul masuratorilor va fi de forma:

Forma standard de regresie devine:

(4.7)

iar estimatul vectorului parametrilor va fi:

(4.8)

Se poate demonstra ca o solutie mai avanajoasa din punct de vedere numeric pentru
calculul lui este urmatoarea:

PAS 1: Se determina cu relatia standard a estimatiei CMMP aplicata datelor

centrate.
PAS 2: Termenul liber poate apoi fi estimat cu o relatie de tipul:

unde:

Media de ordinul I a lui y

Media de ordinal I a lui s

15
Observatie:
Masuratorile intrarii si respectiv iesirii procesului vor fi centrate inainte de
prelucrarea lor in vederea estimarii parametrilor, in afara de cazul in care exista certitudinea
ca media perturbatiilor care au perturbat iesirea in timpul experimentelor a fost nula.

Cazul sistemelor multivariabile - MIMO

Cazul estimatorului CMMP off-line multivariabil conduce la o forma similara celei
a estimatorului monovariabil.

Este de remarcat ca estimatorul care determina parametrii unui sistem cu iesiri,

respective intrari poate fi decuplat in estimatori care furnizeaza valori pentru
parametrii a sisteme cu o singura iesire si cu intrari.
Mai mult, in estimatiile CMMP ale parametrilor celor sisteme care compun
sistemul multivariabil, matricea care trebuie inversata este una singura (este aceeasi), ceea ce
simplifica mult implementarea estimatorului.

Daca s-ar cunoaste (impune) din start anumiti parametrii din matricile: , de
exemplu, s-ar face zero in conformitate cu anumite informatii apriorice, estimatorul CMMP
care ar rezulta nu ar mai fi atat de simplu si de eficient de implementat numeric.

4.1 APLICATIE:

Se considera urmatorul model liniar al unui proces:

(4.9)
Se cere:
1) Sa se scrie expresia explicita a estimatorului CMMP off-line bazat pe N masuratori
ale intrarii, respectiv iesirii.
2) Sa se determine estimatorul CMMP off-line pentru urmatoarele 2 cazuri in care se
considera secventa de zgomot nula.
CAZ A:

CAZ B:

In ambele cazuri secventa este o secventa cu , exceptand situatia pentru care

3) Adaugand o secventa de zgomot observatiilor:

Sa se determine din nou estimatul CMMP pentru vectorul parametrilor.

Rezolvare

1) Expresia estimatorului CMMP off-line data de relatia (4.3) este

- care corespunde unei ecuatii de regresie in forma matriciala:
- rescriind relatia (4.9) pentru rezulta sistemul de N ecuatii:

16
-sau in forma vectorial matriciala:

Y S Z

2) Cazul A.
Secventa de zgomot este nula {z(t)=0}.
Trebuie determinata matricea masuratorilor S, care pentru secventa de intrare {u(t)}
corespunzatoare cazului A devine:
(secventa de zgomot )

( pentru )

In acest caz:

unde:

17
respectiv:

Trebuie calculat

deci:

-Pentru aceste date, estimatul parametrilor calculat cu devine:

- estimatul vectorului parametrilor

( - vectorul parametrilor)

Verificare:

deci:

Cazul B:

18
respectiv:

,( )
si:

rezulta:

Comentariu:
In cazul A, secventa de intrare este bine proiectata (aleasa), conduce la o buna
estimare a lui elementele diagonale ale lui fiind nule.
In cazul B, desi s-a obtinut o estimare corecta in lipsa zgomotului, matricea este
slab conditionata, ceea ce poate conduce la inacuratete, care poate deveni importanta in
estimarea parametrilor in prezenta perturbatiilor.

3) -adaugand o secventa de zgomot z(t) la y(t) pentru cele 2 cazuri, se determina estimatul

-iesire perturbata se calculeaza cu:

Procedand analog se ajunge pentru cele doua cazuri la:

Caz A:

Caz B:

Valoarilereale ale parametrilor fiind

Se observa ca in cazul A, unde secventa de intrare a fost bine aleasa, chiar in cazul prezentei
perturbatiilor estimatia parametrilor este una buna.

In cazul B, estimatia parametrilor este una eronata.

4.2 ANALIZA ESTIMATORULUI CELOR MAI MICI PATRARE (C.M.M.P)

Se utilizeaza urmatoarele notatii:

19
Cu aceste notatii estimatorul CMMP OFF-LINE poate fi rescris ca fiind:

(4.12)
- s-a introdus dependenta de t

Observatie: Desi sistemul a fost considerat invariant, deci cu coeficientii constanti, estimatul
vectorului parametrilor este dependent de numarul de masuratori disponibile t (dependenta de
t trebuie astfel considerata).
Matricile: P(t) si J(t) sunt pozitiv definite si simetrice fata de diagonal principala.

Rezultatul este exploatat in formularea algoritmilor de estimare bazati pe tehnicile de

factorizare.
Definind eroarea estimatorului ca fiind:

(4.14)
relatia de calcul a acesteia devine:

(4.14)

Deci eroarea estimatorului este o functie liniara de perturbatie.

Exemplu:

Sa se calculeze eroarea estimatorului pentru cazurile A si B din cadrul aplicatiei 4.1. Pentru
cazul A:

rezulta ca eroarea estimate este:

Pentru cazul B rezulta:

Considerand zgomotul de medie nula, deci (zgomot alb de medie nula) si varianta
(dispersia) σ2 se pot evidentia urmatoarele Proprietati:

1) Estimatorul CMMP este un estimator nemarcat

20
2) Matricea de covarianta a estimatorului este data de:

rezulta:

Observatie: (fiind zgomot alb), si STS = P-1

Deci matricea P este proportionala cu matricea de covarianta a estimatorului, factorul de

proportionalitate fiind dispersia zgomotului. Din acest motiv matricea P mai este numita
matricea de covarinata a estimatorului.

4.3 ESTIMATORUL PARAMETRILOR IN SENSUL C.M.M.P.P

(cele mai mici patrate ponderate)

Estimatorul CMMP a fost obtinut in ipoteza unei secvente Z(t) de forma zgomotului
alb, adica Z(t) si Z(l) sunt necorelate pentru .
In situatiile mai generale, daca aceasta ipoteza nu este satifacuta, minimizarea
Functiei de cost conduce la Estimatorul CMMPP dat de ecuatia:

cu { W = matrice pozitiv definita}

Se poate arata ca in acest caz matricea de covarianta a estimatorului va fi egala cu :

(4.16)
Se noteaza:

(4.17)

Daca se alege atunci estimatorul obtinut este:

(4.18)
care este un estimator liniar, nemarcat si de matrice de covarianta minima.

Este cunoscut sub denumirea: Estimator MARKOV

Estimatorul variantei minime (MV) sau
Estimator BLUE (Best Linear Unbased
Estimator)
(Cel mai bun estimator liniar nemarcat!)

(4.19)

21
 5. METODE ON-LINE DE ESTIMARE
Algoritmi recursivi

Algoritmii de estimare recursivi sunt de cea mai mare importanta in ceea ce priveste
problemele de conducere a proceselor, in special in cadrul structurilor de reglare adaptiva.
-Se presupune ca pe baza a t date disponibile se obtin vectorii parametrilor estimati
si intre tinp s-a mai obtinut o masuratoare (t+1).
-Pentru a obtine trebuie prelucrat intreg sirul celor (t+1) masuratori si toata
informatia si efortul de calcul legate de se pierd.

O schema inerent On-Line este reprezentata in fig. 5.1

z
w u y
PC

Bloc Identificare
(Estimare Parametri)

Regulator
Fig. 5.1

Se poate pune intrebarea:

-Ce opreste sa se faca o determinare Off-Line?
Raspuns:
Timpul de executie este timpul de esantionare.

O metoda Off-Line furnizeaza un model mediu, deoarece modelul este constant, nu se

poate urmari procesul in desfasurarea lui.
Metoda On-Line furnizeaza un sir de valori, nu o singura valoare ca si in cazul
metodelor Off-Line.
Metoda On-Line permite calculul noului estimator prin actualizarea celui vechi,
tinand cont de ultimele observatii.
Deci, nu mai trebuie memorate toate datele obtinute prin masuratori, cerintele de
memorie si de calcul fiind reduse semnificativ.

O metoda On-Line conduce la o serie de avantaje, cum ar fi cele:

-legate de calcul
-posibilitatea colectarii datelor masurate pana la atingerea unei anumite precizii a
parametrilor
-in cazul in care procesele sunt lent variante, variatiile parametrilor pot fi urmarite.

Estimarea recursiva utilizeaza:

 Datele S(t) = matricea masuratorilor
 Estimatorul parametrilor la momentul t

22
  Noile masuratori: u(t+1), y(t+1), pentru determinarea estimatorului , la
momentul (t+1)

cu:

Se noteaza:

Va trebuisa se dispuna de un algoritm capabil sa rezolve recursiv sistemul de ecuatii

liniare in sensul obtinerii lui .
Un astfel de algoritm va fi numit in cele ce urmeaza algoritm recursiv.
Algoritmul de estimare se va numi in timp real daca e recursiv si daca are in plus
proprietatea de a “urmari” in timp real variatiile lente ale parametrilor.

In contrast cu Algoritmul Off-Line, ambele variante de algoritmi:cel recursiv, cel in timp real
se vor referi atunci cand nu e necesara definirea exacta a lor, ca algoritmi de tip On-Line.

Reducerea volumului de calcul, (implicit de memorie), se face cu pretul unei precizii

de calcul, mai mici fata de metodele nerecursive (in general, varianta On-Line este o
aproximare a celei Off-Line).
Estimarea recursiva a parametrilor poate fi abordata in principal prin urmatoarele
Categorii de metode:
Variante On-Line ale metodelor standard Off-Line
Metode de aproximare stohastica (aleatoare)
Metode utilizand model de referinta

Forma generala a unui Algoritm On-Line este:

,
unde: (5.1)

= trebuie sa fie usor de calculat si sa depinda doar de masuratorile de la momentul (t+1)

si de cateva momente anterioare.

5.1 ALGORITMUL ON-LINE AL MATRICII DE COVARIANTA

Estimatia CMMP Off-Line bazata pe t masuratori de intrare-iesire este:

cu: (5.2)

23
Din definitia Matricii de covarianta se poate scrie, tinand cont de relatia (5.2):

Notand STt St=A, st+1=B; sTt+1=BT

Se aplica legea de inversiune matriciala:

Atunci:

Sau tinand cont de (4.10) si (4.11)

(5.3)

Estimare bazata pe (t+1) masuratori va fi data de:

Tinand cont de (5.3) se ajunge la:

Sau

Unde:

In care numitorul reprezinta o marime scalara. Rezulta in final:

24
 (5.4)

Notand cu:

(5.5)

(5.6)

(5.4) devine:

(5.7)

Unde:

Se observa ca estimatul corespunzand la (t+1) esantioane este egal cu estimatul

bazat pe t corectat cu un termen proportional cu eroarea .

Produsul poate fi considerat ca o predictie a valorii obtinuta folosind:

Predictia este egala cu valoarea corecta numai daca este

cunoscut modelul exact al sistemului cu parametrii si daca zgomotul este absent. In
acest caz valoarea corectiei este nula.

In consecinta:

Estimatorul CMMP On-Line (recursiv) CMMP-R este:

CMMP-R (5.8)

25
 Implementarea algorutmului CMMP-On-Line

-Se presupune ca la pasul t se dispune de:

-La pasul (t+1) se mai obtine: u(t+1), y(t+1)

-Suntem la pasul (t+1) si analizam trecerea:

Pasul 1:

Pasul 2:
-Se sacrifica cateva elemente din memorie pentru a se memora o cantitate care este folosita in
mai multe relatii:

(5.9-1)

Pasul 3:
(5.9-2)

Pasul 4:
(5.9-3)

Pasul 5:
(5.9-4)

Pasul 6:
(5.9-5)

Pasul 7:
(5.9-6)

Initializarea algoritmilor de estimare On-Line

Desi, in cazul in care algoritmul On-Line (Recursiv) converge la valori adevarate,

alegerea valorilor de initializare a algoritmilor nu va influenta in mod asimptotic Convergenta,
totusi o alegere buna a valorilor initiale (cat mai aproape de valorile finale) va influenta in
mod clar comportarea tranzitorie a algoritmului (viteza de convergenta este mult sporita).
Initializarea capata o importanta mult sporita in cazul existentei mai multor puncte
posibile de convergenta.
Considerand algoritmul On-Line CMMP-R, procesul recurent de estimare trebuie
initializat cu

26
Observatie: matricea de covarianta a estimatiei initiale . Daca nu se dispune de
nici o informatie apriorica despre aceasta valoare initiala, atunci o alegere naturala a
estimatiei initiale este (5.10)

-Pentru a exprima incertitudinea mare a initializarii anterioare, P(0) trebuie sa aiba elemente
diagonale mari.

In mod frecvent se alege

cu (5.11)
-Este necesara realizarea unui compromis in alegerea lui , care trebuie sa
aiba valori mari pentru o estimare corecta, dar nu foarte mari, pentru a nu produce
instabilitate numerica.

-Se recomanda alegerea (determinata prin simulari) (5.12)

-Se poate demonstra ca relatiile (5.10) si (5.11) initializeaza corect algortmul CMMP-R.

Algoritmi in timp real

(Versiune in timp real pentru Algoritmul de Estimare ON-LINE)

Algoritmii On-Line de tipul celor mentionati sunt utili atunci cand parametrii de estimare
sunt constanti in timp.
In unele aplicatii practice insa, parametrii sistemului supus identificarii variaza in timp.
Algoritmii de estimare On-Line, in care toate esantioanele sunt
egal ponderate, nu se pot adapta la aceste variatii.
Pentru procese lent variante este necesar sa se urmareasca variatia parametrilor pe
masura evolutiei lor in timp.

In acest tip de situatii este util sa se ataseze factori de ponderare de valoare minima
celor mai vechi valori observate (valori cu indicele cel mai mic), in scopul ca cele mai
recente dintre valori sa influenteze cel mai semnificativ rezultatele estimarii parametrilor,
adica esantioanele mai vechi sa fie deponderate in favoarea celor de data mai recenta,
ajungandu-se astfel la un algoritm in timp real.

Exista mai multe posibilitati de obtinere a variantelor in timp real a algoritmilor

Recursivi descrisi de relatii de tipul celor prezentate.

Cel mai natural mod de abordare consta in determinarea estimatului (valoarea

numerica a lui ) prin introducerea unui factor de ponderare a erorii (reziduului) in
expresia Criteriului de Minimizat.

In continuare se va lua in considerare problema utilizarii in timp real a Algoritmului

CMMP-R, rezultatele obtinute fiind direct aplicabile si celorlalte metode On-Line.
Astfel, daca parametrii sistemului sunt variabili in timp, atunci va fi normal ca
reziduurile (erorile ecuatiei) la momente “indepartate” de esantionare (cand parametrii
sistemului aveau de fapt alte valori) sa conteze mai putin decat reziduurile “recente”.

Astfel estimatul vectorilor parametrilor (valoarea lui ) trebuie determinat ca (utilizand

criterial erorii patratice):

27
 (5.11)

unde:

ρ(j) – functia de pondere corespunzatoare (de exemplu: crescatoare).

In mod frecvent, functia de pondere se alege ca:

(5.12)
Iar functia de cost (criterial erorii patratice):

(5.13)

cu alese in functie de aplicatia avuta in vedere.

Se poate demonstra ca:

Estimatia care minimizeaza criteriul dat de relatia (5.13) satisfice urmatoarele relatii
recursive:

-Pentru procese in care parametrii sunt lent variabili in mod continuu, se recumanda o
alegere:
v (5.15)

Criteriul de minimizat devine:

(5.16)
Care este un criteriu ponderat al sumei reziduurilor patratice.

-Se poate demonstra ca in mod aproximativ, criteriul (5.16) utilizeaza efectiv: masuratori,
celelalte masuratori anterioare sunt puternic deponderate, aproape ignorate.

28
Valoarea lui depinde de viteza de variatie a parametrilor sistemului.
Pentru , se observa ca algoritmul (5.14) este chiar algoritmul CMMP-R On-Line in care
toate esantioanele sunt egal ponderate.
Pentru , cele mai recente esantioane capata o pondere cat mai mare in
defavoarea celor mai vechi, a caror pondere scade rapid.
Este cazul variatiei mai rapide a parametrilor, memoria estimatorului (5.14)
trebuie sa fie mai redusa pentru a putea urmarii variatia acestor parametrii.

Se impune evident un compromis intre viteza mare de adaptabilitate intre noile cerinte pe de
o parte si pierderea de precizie datorata trunchierii, pe de alta parte.
In mediul uzual se alege in plaja de valori: .

Daca procesul investigat este invariant in timp (parametrii sunt constant, nu variaza in timp),
atunci va fi de asteptat ca .
Chiar daca in aceste cazuri ar fi avantajos sa se varieze ca de exemplu dupa urmatoarea
schema:
a) pentru primele cateva zeci de esantioane

pentru t
Aceasta deoarece reziduurile ε(t) pentru t={1,2,…} corespund unor estimatii imprecise ale
parametrilor datorate unor estimari imprecise ale lui .
Aceste reziduuri ar trebui deponderate in Criteriul CMMP.
Acest deziderat se poate realiza cu a), apoi se alege pentru a se asigura convergenta.
Daca: , convergenta nu este asigurata (estimatiile nu converg); indiferent cate
masuratori se realizeaza, ele vor continua sa fluctueze avand in vedere ca in acest caz se vor
prelucra masuratori.

ESTIMAREA DISPERSIEI ZGOMOTULUI

In multe situatii practice = dispersia zgomotului (COVARIANTA) este necunoscuta.

Pentru un esantion N de date se obtine o estimatie a zgomotului:

sau in varianta matriciala:

(4) - norma euclidiana
Estimatia este CONSISTENTA adica .
Desi estimatia (3) sau(4) este ASIMPTOTIC NEMARCATA, ea poate deveni
MARCATA ( ) in cazul in care se estimeaza un numar mare de paremetrii (n =
mare) dintr-un numar de esantioane care nu este semnificativ mai mare decat numarul
parametrilor n.
-In astfel de situatii se recomanda utilizarea unei relatii pentru estimatia
NEMARCATA de tipul:

29
APLICATIE:
Fie modelul static multivariabil de forma:

u1(t) v(t)
a1
u2(t) y(t)
a2 ∑
un(t)
an

Vectorul parametrilor:
Vectorul masuratorilor (observatiilor):
Se pune problema determinarii dimensiunilor MODELULUI.
Aceasta consista de fapt in testarea daca parametrul este sau nu egal cu zero.
(Adica )

30