1/16

Hardware Hardware
Software Software
O
O
Semnale
Semnale
de
de
stimul
stimul
O.O Clase de semnale persistente
O O. .O O Clase Clase de de semnale semnale persistente persistente
120
120
Semnalul ideal
Semnalul Semnalul ideal ideal
Zgomotul alb
Zgomotul Zgomotul alb alb
k
0
e
r

2
=r
e
[0]
k
0
e
r

2
=r
e
[0]

0
2

0
2 2

- Nu poate fi generat pe cale artificial.

- - Nu Nu poate poate fi fi generat generat pe pe cale cale artificial artificial. .
Propoziia 3
Propozi Propozi ia ia 3 3
[ ] e Sp
Ce Ce se se poate poate face? face?
Se ncearc generarea unor semnale care s
aproximeze zgomotul alb n sensul auto-covarianei.
Se Se ncearc ncearc generarea generarea unor unor semnale semnale care care s s
aproximeze aproximeze zgomotul zgomotul alb alb n n sensul sensul auto auto- -covarianei covarianei. .

Cu Cu c c t t secven secven a a de auto de auto- -covarian covarian a a semnalului semnalului artificial artificial este este mai mai apropiat apropiat
de de cea cea a a zgomotului zgomotului alb, cu alb, cu at at t t acesta acesta este este mai mai bine bine aproximat aproximat. .
- Cu toate acestea, semnalele artificiale au ordin de persisten finit.
- - Cu Cu toate toate acestea acestea, , semnalele semnalele artificiale artificiale au au ordin ordin de de persisten persisten finit finit. .
Semnale practice
Semnale Semnale practice practice
Semnal Pseudo-Aleator (Binar) (SPAB)
S Semnal emnal P Pseudo seudo- -A Aleator leator ( (B Binar inar) ( ) (SPAB SPAB) )

Semnale Semnale generate cu generate cu ajutorul ajutorul unui unui mijloc mijloc automat de automat de calcul calcul. .

n n consecin consecin , , SPA(B SPA(B) ) sunt sunt semnale semnale periodice periodice. .
Cum pot Cum pot fi fi generate generate SPA(B SPA(B)? )?
Exist dou tehnici de baz.
Exist Exist dou dou tehnici tehnici de de baz baz. .
2/16
- Periodic.
- - Periodic. Periodic.
3
( )
def
x x x = +
O
O
Semnale
Semnale
de
de
stimul
stimul
O O. .O O Clase Clase de de semnale semnale persistente persistente
Generarea SPA(B) pe cale hardware
Generarea Generarea SPA(B SPA(B) ) pe pe cale cale hardware hardware
Componenta principal
Componenta Componenta principal principal
SPAB
SPAB
XOR XOR
SPA
SPA
SPA
SPAB
SPAB SPAB
b
3
b b
3 3
b
2
b b
2 2
b
1
b b
1 1
b
0
b b
0 0
SPA
SPA SPA
1
1 1
0
0 0
1
1 1
1
1 1
1
1 1
7
7 7

0
0 0
1
1 1
0
0 0
1
1 1
1
1 1
11
11 11

0
0 0
0
0 0
1
1 1
0
0 0
1
1 1
5
5 5
1
1 1
0
0 0
0
0 0
1
1 1
0
0 0
2
2 2
1
1 1
1
1 1
0
0 0
0
0 0
1
1 1
9
9 9
1
1 1
1
1 1
1
1 1
0
0 0
0
0 0
12
12 12
0
0 0
1
1 1
1
1 1
1
1 1
0
0 0
14
14 14
1
1 1
0
0 0
1
1 1
1
1 1
1
1 1
7
7 7
b
3
b
b
3 3
0 0
b
2
b
b
2 2
1 1
b
1
b
b
1 1
1 1
b
0
b
b
0 0
1 1
Lost Lost
MSB MSB LSB LSB
Registrul de
deplasare
Registrul Registrul de de
deplasare deplasare
N

N
2 1
N
N
Numrul Numrul de de bi bi i i ai ai registrului registrului de de deplasare deplasare. .
Numrul Numrul maxim de maxim de valori valori ale ale SPA SPA. .
1,2 1
N
P Perioada Perioada SPA(B SPA(B) ). .
- Iniializarea nul
se exculde.
- - Ini Ini ializarea ializarea nul nul
se se exculde exculde. .

Activarea bi Activarea bi ilor care contribuie la ilor care contribuie la

producerea valorii MSB este de regul producerea valorii MSB este de regul
indicat de indicat de polinomul caracteristic polinomul caracteristic. .
121
121
1 2
1 2 1 0
( )
def
N N
N N
x x x x


= + + + +
parametri parametri de de activare activare ( (binari binari) )
3/16
Date de ieire
Date de Date de ie ie ire ire
O
O
Semnale
Semnale
de
de
stimul
stimul
122
122
O O. .O O Clase Clase de de semnale semnale persistente persistente
Generarea SPA(B) pe cale software
Generarea Generarea SPA(B SPA(B) ) pe pe cale cale software software

Algoritmii deriva Algoritmii deriva i sunt destul de numero i sunt destul de numero i, complexitatea lor variind mult. i, complexitatea lor variind mult.
Exemplu
Exemplu Exemplu
Un algoritm bazat pe lungimea cuvntului mainii
Un Un algoritm algoritm bazat bazat pe pe lungimea lungimea cuvntului cuvntului mainii mainii
Date de intrare
Date de Date de intrare intrare
a

Z
( (amplificarea amplificarea) )
\{1} b

N
( (numrul numrul maxim maxim reprezentabil reprezentabil pe pe
lungimea lungimea cuv cuv ntului ntului ma ma in in) )
Iniializare
Ini Ini ializare ializare
Bucl iterativ
Bucl Bucl iterativ iterativ
( (valoarea valoarea ini ini ial ial a SPA) a SPA)
Pentru
Pentru Pentru 1 n
[0] u
( )
[ ] [ 1] % u n a u n b =
Limbajul C
Limbajul Limbajul C C
restul restul mpr mpr irii irii dintre dintre 2 2 ntregi ntregi
SPA
SPA SPA
- Practic, se ignor biii rezultai din
depirea cuvntului main.
- - Practic Practic, se , se ignor ignor bi bi ii ii rezulta rezulta i i din din
dep dep irea irea cuv cuv ntului ntului ma ma in in. .

Semnalul Semnalul rezultat rezultat este este periodic, periodic, iar iar perioada perioada este este n n general general mai mai mare mare
pentru pentru amplificri amplificri negative negative dec dec t t pentru pentru cele cele pozitive pozitive. .

Algoritmii Algoritmii cabla cabla i i hardware hardware

pot pot fi fi de de asemenea asemenea emula emula i i
( (implementa implementa i i pe pe cale cale
software) software). .
SPAB
SPAB SPAB
SPA
SPA SPA
4/16
O
O
Semnale
Semnale
de
de
stimul
stimul
123
123
O O. .O O Clase Clase de de semnale semnale persistente persistente
Proprieti fundamentale ale SPA(B)
Propriet Proprieti i fundamentale fundamentale ale ale SPA(B SPA(B) )
TQBC
1
Periodicitate
TQBC TQBC
1 1
Periodicitate Periodicitate
Hardware
Hardware Hardware
Software
Software Software
2 1
N
P
1 P b
Tq
2
Tq Tq
2 2
Ordinul de persisten al unui SPA(B)
este finit i cel mult egal cu perioada.
Ordinul Ordinul de de persisten persisten al al unui unui SPA(B SPA(B) )
este este finit finit i i cel cel mult mult egal egal cu cu perioada perioada. .
TQBC
2
Mrginire
TQBC TQBC
2 2
Mrginire Mrginire
1 [ ] 2 1
N
u n 1 [ ] 1 u n b
Hardware
Hardware Hardware
Software
Software Software
TQBC
3
Configuraia auto-covarianei
TQBC TQBC
3 3
Configura Configura ia ia auto auto- -covarian covarian ei ei
Auto-covariana unui SPA(B)
este periodic i de perioad P.
Auto Auto- -covariana covariana unui unui SPA(B SPA(B) )
este este periodic periodic i i de de perioad perioad P P. .
Mai mult, valorile auto-covarianei pentru
pivoi diferii de multiplii ntregi ai perioadei
sunt invers proporionale cu perioada.
Mai Mai mult mult, , valorile valorile auto auto- -covarianei covarianei pentru pentru
pivoi pivoi diferii diferii de de multiplii multiplii ntregi ntregi ai ai perioadei perioadei
sunt sunt invers invers proporionale proporionale cu cu perioada perioada. .
[ ]
u
u
r k
P

\ k P Z Z
Exemplu
Exemplu Exemplu
SPAB generat prin cablare hardware
SPAB SPAB generat generat prin prin cablare cablare hardware hardware
r r
u u
k k
0 0
1 1
- -1/P 1/P
... ...
P P
2 2

u u
2 2
P P- -1 1
- -1 1
... ...
- -2 2 1 1- -P P
- -P P
- Cu ct perioada este mai mare, cu att ordinul de persisten este mai mare
i SPA(B) aproximeaz mai bine zhomotul alb (n sensul auto-covarianei).
- - Cu Cu c c t t perioada perioada este este mai mai mare, cu mare, cu at at t t ordinul ordinul de de persisten persisten este este mai mai mare mare
i i SPA(B SPA(B) ) aproximeaz aproximeaz mai mai bine bine zhomotul zhomotul alb ( alb ( n n sensul sensul auto auto- -covarian covarian ei ei). ).
5/16
Tehnicile euristice de IA sau strategiile
evoluioniste (AG) sunt mult mai indicate.
Tehnicile Tehnicile euristice euristice de de IA IA sau sau strategiile strategiile
evoluioniste evoluioniste ( (AG AG) ) sunt sunt mult mult mai mai indicate indicate. .
Hardware Hardware Software Software
O
O
Semnale
Semnale
de
de
stimul
stimul
124
124
O O. .O O Clase Clase de de semnale semnale persistente persistente
Aadar
Aadar Aadar
Att ordinul de persisten al unui SPA(B) ct i precizia de aproximare
a zgomotului alb sunt controlabile prin intermediul perioadei.
Att Att ordinul ordinul de de persisten persisten al al unui unui SPA(B SPA(B) ) ct ct i i precizia precizia de de aproximare aproximare
a a zgomotului zgomotului alb alb sunt sunt controlabile controlabile prin prin intermediul intermediul perioadei perioadei. .
Rezolvnd o problem granular de optimizare.
Rezolvnd Rezolvnd o o problem problem granular granular de de optimizare optimizare. .
Func Func ia ia criteriu criteriu poate poate fi fi evaluat evaluat n n toate toate
punctele punctele domeniului domeniului de de defini defini ie ie, , dar dar
numrul numrul de de valori valori ale ale acestuia acestuia este este
extrem extrem de mare de mare. .
Perioada este determinat de 3 parametri.
Perioada Perioada este este determinat determinat de de 3 3 parametri parametri. .
N
Numrul Numrul de de bi bi i i ai ai
registrului registrului de de deplasare deplasare. .
0, 1
{ }
n
n N

Configura Configura ia ia polinomului polinomului caracteristic caracteristic. .

0
0, 1
{ }
n
n N
b

Ini Ini ializarea ializarea registrului registrului de de deplasare deplasare. .
b
Numrul Numrul maxim de maxim de valori valori
ce ce pot pot fi fi generate. generate.
a
Amplificarea Amplificarea. .
[0] u
Ini Ini ializarea ializarea algoritmului algoritmului. .

De De regul regul, , registrul registrul de de deplasare deplasare are are

16 16, , 32 32, , 64 64 sau sau 128 128 de de bi bi i i. .

De De regul regul, , numrul numrul maxim de maxim de valori valori este este cel cel
mai mai mare mare numr numr reprezentabil reprezentabil folosind folosind cuv cuv ntul ntul
ma ma in in, , amplificarea amplificarea este este negativ negativ, , iar iar
ini ini ializarea ializarea este este returnat returnat de de ceasul ceasul
calculatorului calculatorului pe pe care care este este implementat implementat
algoritmul algoritmul. .
- Perioada trebuie s fie sensibil mai mare
dect dimensiunea orizontului de msur.
- - Perioada Perioada trebuie trebuie s s fie fie sensibil sensibil mai mai mare mare
dec dec t t dimensiunea dimensiunea orizontului orizontului de de msur msur. .
Cum Cum s s- -ar ar putea putea genera genera SPA(B SPA(B) de ) de
perioade perioade maximale maximale? ?
Cutarea exhaustiv a perioadei
maximale este adesea ineficient.
Cutarea Cutarea exhaustiv exhaustiv a a perioadei perioadei
maximale maximale este este adesea adesea ineficient ineficient. .
6/16
Bazate Bazate pe pe Teoria Teoria Optimiz Optimizrilor rilor Bazate Bazate pe pe Toria Toria Estima Estima iei iei
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
O.O Scurt clasificare
O O. .O O Scurt Scurt clasificare clasificare

Metode Metode care care conduc conduc la la diferi diferi i i algoritmi algoritmi numerici numerici
de de identificare identificare, de , de regul regul, , eficien eficien i i i i accesibili accesibili
implementrii implementrii pe pe un un mijloc mijloc automat de automat de calcul calcul. .

Metode Metode specifice specifice modelelor modelelor de de complexitate complexitate i i

precizie precizie limitate limitate, de , de preferat preferat liniare liniare n n parametri parametri. .

Metode Metode dificil dificil de implementat de implementat, , n n general general

nealgoritmice nealgoritmice, cu , cu caracter caracter mai mai mult mult teoretic teoretic. .
Metode Metode
Metode

Metode Metode specifice specifice modelelor modelelor de de complexitate complexitate i i

precizie precizie ridicate ridicate, , nu nu neaprat neaprat liniare liniare n n parametri parametri, ,
cu cu performan performan e e statistice statistice determinate determinate. .
Neadaptive Neadaptive (de (de tip tip off off- -line line) ) Adaptive (de Adaptive (de tip tip on on- -line) line)

Folosite Folosite ori ori de de c c te te ori ori parametrii modelului parametrii modelului
matematic asociat sunt constan matematic asociat sunt constan i pe durata i pe durata
orizontului de msur orizontului de msur, a , adic nu necesit adaptri dic nu necesit adaptri
succesive dictate de varia succesive dictate de varia iile datelor iile datelor
achizi achizi ionate. ionate.

C Conduc, de r onduc, de regul egul, la algoritmi de timp real , la algoritmi de timp real i se i se
adreseaz adreseaz proceselor/sistemelor cu caracteristici proceselor/sistemelor cu caracteristici
variabile variabile n timp n timp, , crora trebuie s li se asocieze crora trebuie s li se asocieze
modele cu parametri variabili, adapta modele cu parametri variabili, adapta i la i la
varia varia iile datelor achizi iile datelor achizi ionate. ionate.
Metode Metode
Metode
Metode de
identificare
Metode Metode de de
identificare identificare
Modele de
identificare
Modele Modele de de
identificare identificare
Semnale
de stimul
Semnale Semnale
de de stimul stimul
IS IS
Metode de
identificare
Metode Metode de de
identificare identificare
Modele de
identificare
Modele Modele de de
identificare identificare
Semnale
de stimul
Semnale Semnale
de de stimul stimul
IS IS IS IS
Metode de
identificare
Metode Metode de de
identificare identificare
Modele de
identificare
Modele Modele de de
identificare identificare
Semnale
de stimul
Semnale Semnale
de de stimul stimul
IS IS
Metode de
identificare
Metode Metode de de
identificare identificare
Modele de
identificare
Modele Modele de de
identificare identificare
Semnale
de stimul
Semnale Semnale
de de stimul stimul
IS IS IS IS
125
125
- Aceste dou categorii nu sunt disjuncte, deoarece parametrii nu numai c se pot determina
cu ajutorul unor proceduri numerice, dar pot fi caracterizai i din punct de vedre statistic.
- - Aceste Aceste dou dou categorii categorii nu nu sunt sunt disjuncte disjuncte, , deoarece deoarece parametrii parametrii nu nu numai numai c c se pot se pot determina determina
cu cu ajutorul ajutorul unor unor proceduri proceduri numerice numerice, , dar dar pot pot fi fi caracteriza caracteriza i i i i din din punct punct de de vedre vedre statistic. statistic.
7/16
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
O.O Metoda Celor Mai Mici Ptrate (MCMMP)
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate ( (MCMMP MCMMP) )
126
126

MCMMP MCMMP se bazeaz pe se bazeaz pe Teoria regresiei liniare Teoria regresiei liniare ini ini iat de iat de Carl Gauss Carl Gauss. .

Beneficiind de un telescop destul de performant pentru acea epoc Beneficiind de un telescop destul de performant pentru acea epoc , Carl Gauss a observat , Carl Gauss a observat i i
notat timp de c notat timp de c iva ani pozi iva ani pozi iile mai multor planete fa iile mai multor planete fa de Pam de Pam nt, calcul nt, calcul nd apoi coordonatele nd apoi coordonatele
acestor pozi acestor pozi ii fa ii fa de Soare de Soare. .
Soare Soare
Planet Planet
(Saturn) (Saturn)
Carl Gauss Carl Gauss
(1777 (1777- -1855) 1855)
Pozi Pozi ie ie
observat observat
y[n y[n] ]
Pozi Pozi ie ie
estimat estimat
y y
KC KC
[n [n, , ] ]
Eroare Eroare
[n, [n, ] ]
Nicolaus Nicolaus Copernicus Copernicus
(1473 (1473- -1543) 1543)
Johannes Johannes Kepler Kepler
(1571 (1571- -1630) 1630)
- n pofida modelului de
sistem solar propus
intuitiv de Nicolaus
Copernicus i a Teoriei
lui Johannes Kepler
poziiile obinute nu se
situau pe o elips.
- - n pofida modelului de n pofida modelului de
sistem solar propus sistem solar propus
intuitiv de intuitiv de Nicolaus Nicolaus
Copernicus Copernicus i a Teoriei i a Teoriei
lui lui Johannes Kepler Johannes Kepler
pozi pozi iile iile ob ob inute inute nu nu se se
situau situau pe pe o o elips elips. .
parametrii parametrii elipsei elipsei ( (semiaxele semiaxele sale) sale)
8/16
Adic elipsa ai crei parametri
minimizeaz un criteriu ptratic.
Adic Adic elipsa elipsa ai ai crei crei parametri parametri
minimizeaz minimizeaz un un criteriu criteriu ptratic ptratic. .
Se ncearc determinarea
elipsei care trece cel mai bine
printre toate poziiile observate.
Se Se ncearc ncearc determinarea determinarea
elipsei elipsei care care trece trece cel cel mai mai bine bine
printre printre toate toate poziiile poziiile observate observate. .
127
127
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare

V Verificarea erificarea legilor lui Kepler legilor lui Kepler- -Copernicus Copernicus impune ca impune ca toate pozi toate pozi iile observate ale planetei iile observate ale planetei
( ( n numr de n numr de N N) ) s se situeze pe o anumit elips s se situeze pe o anumit elips. .
[ ] [ , ]
KC
y n y n =
1, n N
+ +Sistem Sistem de de ecua ecua ii ii din care din care ar ar trebui trebui
s s rezulte rezulte parametrii parametrii elipsei elipsei. .
- Sistemul este de regul incompatibil,
deoarece numrul de ecuaii este sensibil
mai mare dect numrul de parametri iar
poziiile rezultate din observaii i
calcule sunt afectate de erori.
- - Sistemul Sistemul este este de de regul regul incompatibil incompatibil, ,
deoarece deoarece numrul numrul de de ecua ecua ii ii este este sensibil sensibil
mai mai mare mare dec dec t t numrul numrul de de parametri parametri iar iar
pozi pozi iile iile rezultate rezultate din din observa observa ii ii i i
calcule calcule sunt sunt afectate afectate de de erori erori. .
Ce Ce se se poate poate face? face?
( )
2
2
1 1
( ) [ , ] [ ] [ , ]
N N
def
KC
n n
n y n y n
= =
= =

V
( (eroarea eroarea ptratic ptratic total total) )

argmin ( )
n

R
V
De aici rezult numele metodei.
De De aici aici rezult rezult numele numele metodei metodei. .

Pentru rezolvarea Pentru rezolvarea problemei problemei ptratice ptratice de de optimizare optimizare, se poate apela la , se poate apela la gradient gradient ( (dac func dac func ia ia
criteriu este derivabil criteriu este derivabil i gradientul ei se exprim printr i gradientul ei se exprim printr- -o rela o rela ie explicit sau cel pu ie explicit sau cel pu in implicit in implicit) )
sau sau la alte mijloace la alte mijloace ( (dac dac, dintr , dintr- -un motiv sau altul, un motiv sau altul, aceasta aceasta nu permite evaluarea gradientului). nu permite evaluarea gradientului).

Aceast Aceast t tehnic ehnic ( (propus de Gauss propus de Gauss) ) se poate extinde se poate extinde i pentru gsirea altor modele optimale i pentru gsirea altor modele optimale n n
raport cu criteriul ptratic raport cu criteriul ptratic, plec , plec nd de la un set de date msurate nd de la un set de date msurate. .
9/16
128
128
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Exemplu
Exemplu Exemplu
Evaluarea dreptei de regresie liniar prin metoda gradientului
Evaluarea Evaluarea dreptei dreptei de de regresie regresie liniar liniar prin prin metoda metoda gradientului gradientului
y y
n n
0 0
an+b an+b
n n
y y
n n
1,
{( , )}
N n
n N
n y

= C
N N
y y
N N
1 1
y y
1 1
Cum pot Cum pot fi fi determinai determinai cei cei 2 2
parametri parametri ai ai dreptei dreptei? ?
Prin minimizarea erorii
ptratice totale.
Prin Prin minimizarea minimizarea erorii erorii
ptratice ptratice totale totale. .
Eroare Eroare de de
pozi pozi ie ie
[ [n, n,a,b a,b] ]
2
2
,
1
2
,
1

argmin ( ) argmin [ , , ]
argmin ( )
N
a b
n
N
n
a b
n
n a b
y an b

=

=

= = =



=

R R R
R R
V
paraboloid paraboloid de de rota rota ie ie
Soluia problemei de optimizare se
gsete anulnd valorile gradientului.
Soluia Soluia problemei problemei de de optimizare optimizare se se
gse gsete te anulnd anulnd valorile valorile gradientului gradientului. .
( , ) 0
( , ) 0
( , ) 0
a b
a
a b
a b
b

V
V
V
1
1
2 ( ) 0
2 ( ) 0
N
n
n
N
n
n
n y an b
y an b
=
=

2
1 1
1 1
6
2 ( 1)
( 1)
2

(2 1) 3
( 1)
N N
n n
n n
N N
n n
n n
a ny N y
N N
b N y ny
N N
= =
= =

= +

= +

10/16
Metoda Metoda matricial matricial
129
129
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Soluia general a MCMMP n cazul modelelor de regresie liniar
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ , ] [ ]
def
T
y n n =
M

1,
{( [ ], [ ])}
N
n N
n y n

= D
[ , ] [ ]
def
T
y n n =
M

n

N
model model
date date ( )
( )
2
2
2
1 1 1
( ) [ , ] [ ] [ , ] [ ] [ ]
N N N
def def
T
n n n
n y n y n y n n
= = =
= = =


M
V
n
R
Criteriul ptratic
Criteriul Criteriul ptratic ptratic
- Tot un paraboloid de rotaie,
dar generalizat.
- - Tot un Tot un paraboloid paraboloid de de rota rota ie ie, ,
dar dar generalizat generalizat. .
[ [1] [2] [ ]]
def
T N
y y y N = Y R
Vectorul Vectorul global al global al datelor datelor de de ie ie ire ire msurate msurate. .
n

N
Metoda Metoda matricial matricial
Metoda Metoda gradientului gradientului Metoda Metoda ptratelor ptratelor perfecte perfecte
Exerciiu
Exerciiu Exerciiu
Exerciiu
Exerciiu Exerciiu
Metode de minimizare
Metode Metode de de minimizare minimizare
[ ]
1 2
[1]
[2]
[ ]
T
T
def
N n
n
T
N

= =

Matricea Matricea regresorilor regresorilor. .

- De regul, o
matrice monic.
- - De De regul regul, o , o
matrice matrice monic monic. .
( ) n N = < rank
linii linii
coloane coloane
coloane coloane liniar liniar independente independente
[ ]
( ) [1, ] [2, ] [ , ]
def
T
N
N = R Vectorul Vectorul erorilor erorilor de de msur msur fa fa de model. de model.
Minim unic.
Minim Minim unic unic. .
[]
[ [ ] ]
11/16
130
130
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Soluia general a MCMMP n cazul modelelor de regresie liniar []
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ [ ] ]
Metoda matricial
Metoda Metoda matricial matricial
De De ce ce matricea matricea regresorilor regresorilor este este de de regul regul monic monic? ?
Mulimea matricilor neinversabile
este mai parsimonioas.
Mul Mul imea imea matricilor matricilor neinversabile neinversabile
este este mai mai parsimonioas parsimonioas. .
Test
Test Test

Completa Completa i i la la nt nt mplare mplare o o matrice matrice de de ordin ordin 3. 3.
Este Este aceast aceast matrice matrice inversabil inversabil? ?
Ce Ce anse anse sunt sunt ca ea ca ea s s nu nu fie fie inversabil inversabil? ?

Paradoxal Paradoxal, , tocmai tocmai perturba perturba iile iile stocastice stocastice care care afecteaz afecteaz datele datele msurate msurate aduc aduc matricea matricea regresorilor regresorilor
n n stare de stare de rang maxim rang maxim. .
[ , ] [ ]
def
T
y n n =
M

1, n N
def
N
= Y
M
R
+ +Ecua Ecua ia ia global global a a modelului modelului de de regresie regresie liniar liniar. .
Ecuaii matriciale
Ecua Ecua ii ii matriciale matriciale
[ , ] [ ] [ ]
def
T
n y n n =
1, n N
( )
def
N
= Y R
+ +Eroarea Eroarea global global de model. de model.
2
1
( ) [ , ]
N
def
n
n
=
=

V
+ +Criteriul Criteriul
ptratic ptratic. .
2 2
( ) ( ) ( ) ( ) ( ) ( ) )
def
T T
= = = = Y Y Y V
Teorema 1 (Soluia general a MCMMP)
Teorema Teorema 1 1 ( (Solu Solu ia ia general general a a MCMMP MCMMP) )
Solu Solu ia ia problemei problemei ptratice ptratice de de optimizare optimizare este este exprimat exprimat de de urmtoarele urmtoarele ecua ecua ii ii: :
; ;
( )
1

def
T T

= Y
. .
( )
1

( )
T T T T

= Y Y Y Y V
estima estima ie ie MCMMP MCMMP precizie precizie
12/16
- Dei valoarea optim a criteriului
ptratic se exprim printr-o diferen, ea
este nenegativ (cum era de ateptat).
- - De De i i valoarea valoarea optim optim a a criteriului criteriului
ptratic ptratic se se exprim exprim printr printr- -o o diferen diferen , ea , ea
este este nenegativ nenegativ (cum era de (cum era de a a teptat teptat). ).
Operator de deparazitare
Operator de Operator de deparazitare deparazitare
( )
1

T T

= Y
131
131
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Metoda matricial
Metoda Metoda matricial matricial
( )
1

def
T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V
Aadar
Aadar Aadar
Pseudo-inversa Moore-Penrose
Pseudo Pseudo- -inversa inversa Moore Moore- -Penrose Penrose

Practic Practic, , orice orice sistem sistem liniar liniar incompatibil incompatibil: :
= Y
cu cu matricea matricea monic monic admite admite o o
unic unic pseudo pseudo- -solu solu ie ie: :
= Y
T

( )
T T
= Y
- Inversabil.
- - Inversabil Inversabil. .
( )
1

( )
T T T
N

=

Y I Y V
N N
Q R
Proprieti elementare ale operatorului de deparazitare
Propriet Proprieti i elementare elementare ale ale operatorului operatorului de de deparazitare deparazitare

Simetrie Simetrie
( )
1
T T T
N

= = Q I Q

Ortogonalitate Ortogonalitate fa fa de de matricea matricea regresorilor regresorilor
( ) ( )
1
T T T

= = = Q 0 Q

Operatorul Operatorul este este i i proiector proiector
( ) ( ) ( )( )
( )
1 1 1
2
1
2
.
T T T T T T
N
T T
N

= + =
= =
Q I
I Q

Pozitiv Pozitiv (semi (semi- -definire definire) )
2
0
T
= = Q Q Q Q

( ) 0
T
= Y QY V
Soluia general a MCMMP n cazul modelelor de regresie liniar []
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ [ ] ]
13/16
132
132
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Demonstraie geometric a Teoremei 1
Demonstra Demonstra ie ie geometric geometric a a Teoremei Teoremei 1 1
< < > >

< < > >
Y Y
R R
n n
R R
N N
Y Y
^ ^
^ ^
Problema Problema optimizrii optimizrii folosind folosind criteriul criteriul ptratic ptratic
se se reformuleaz reformuleaz n n termeni termeni geometrici geometrici. .

Spaiul Euclidian
al datelor
Spa Spa iul iul Euclidian Euclidian
al al datelor datelor
hiperplanul hiperplanul modelului modelului de de regresie regresie
( (generat generat de de coloanele coloanele matricii matricii regresorilor regresorilor) )
h
i
p
e
r
p
l
a
n
u
l
h
i
p
e
r
p
l
a
n
u
l
p
a
r
a
z
i
t
p
a
r
a
z
i
t
( (
i
m
a
g
i
n
e
a
i
m
a
g
i
n
e
a
o
p
e
r
a
t
o
r
u
l
u
i
o
p
e
r
a
t
o
r
u
l
u
i
d
e

d
e

d
e
p
a
r
a
z
i
t
a
r
e
d
e
p
a
r
a
z
i
t
a
r
e
) )
- Este practic imposibil ca vectorul
global al datelor s fie generat numai
de coloanele matricii regresorilor.
- - Este Este practic practic imposibil imposibil ca ca vectorul vectorul
global al global al datelor datelor s s fie fie generat generat numai numai
de de coloanele coloanele matricii matricii regresorilor regresorilor. .
Se caut vectorul din hiperplanul modelului de regresie
care este cel mai apropiat de vectorul datelor.
Se Se caut caut vectorul vectorul din din hiperplanul hiperplanul modelului modelului de de regresie regresie
care care este este cel cel mai mai apropiat apropiat de de vectorul vectorul datelor datelor. .
Adic proiecia acestuia pe
hiperplanul modelului de regresie.
Adic Adic proiec proiec ia ia acestuia acestuia pe pe
hiperplanul hiperplanul modelului modelului de de regresie regresie. .
Aadar
Aadar Aadar
Problema revine la determinarea proieciei
vectorului datelor pe hiperplanul modelului de
regresie, adic la minimizarea normei erorii
dintre vectorul de date i al proieciei sale.
Problema Problema revine revine la la determinarea determinarea proiec proiec iei iei
vectorului vectorului datelor datelor pe pe hiperplanul hiperplanul modelului modelului de de
regresie regresie, , adic adic la la minimizarea minimizarea normei normei erorii erorii
dintre dintre vectorul vectorul de date de date i i al al proiec proiec iei iei sale. sale.
- Eroarea minim dintre cei doi vectori este un element al
hiperplanului parazit, ortogonal pe hiperplanul modelului de regresie.
- - Eroarea Eroarea minim minim dintre dintre cei cei doi doi vectori vectori este este un element al un element al
hiperplanului hiperplanului parazit parazit, , ortogonal ortogonal pe pe hiperplanul hiperplanul modelului modelului de de regresie regresie. .
2
2

T T T T T
= = = = Y Q QY Y Q Y Y QY

= = Y Y QY
( (datorit datorit
propriet propriet ilor ilor
operatorului operatorului Q Q) )
Metoda matricial
Metoda Metoda matricial matricial
vectorul vectorul global global
al al datelor datelor
Soluia general a MCMMP n cazul modelelor de regresie liniar []
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ [ ] ]
14/16
133
133
O O. .O O Metoda Metoda Celor Celor Mai Mai Mici Mici Ptrate Ptrate
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Demonstraie (Teorema 1)
Demonstra Demonstra ie ie ( (Teorema Teorema 1) 1)
Urmeaz Urmeaz determinarea determinarea proieciei proieciei vectorului vectorului datelor datelor. .

Metoda matricial
Metoda Metoda matricial matricial
Acesta Acesta este este un element al un element al hiperplanului hiperplanului modelului modelului de de regresie regresie: :

1 1 2 2

n n
= = + + + Y
( (combinaie combinaie liniar liniar a a coloanelor coloanelor
matricii matricii de de regresie regresie liniar liniar) )
coeficien coeficien i i necunoscu necunoscu i i
Pentru a determina coeficien Pentru a determina coeficien ii ii necunoscu necunoscu i i, e , este suficient exprima ste suficient exprimarea rea condi condi i iei ei de de
ortogonalitate pe hiperplanul ortogonalitate pe hiperplanul modelului modelului de de regresie regresie, , adic adic pe pe fiecare fiecare vector care vector care l l
genereaz genereaz: :

0
T
i
=

( ) 0
T
i
= Y Y , 1, i n
1 1 2 2

T T T T
i i n i n i
+ + + = Y , 1, . i n
Matricial Matricial, , sistemul sistemul rezultat rezultat se se exprim exprim astfel astfel: :

1
1 1 1 2 1 1
2 1 2 2 2 2
2
1 2

T T T T
n
T T T T
n
T T T T
n n n n n
n

Y
Y
Y

1
1 1
2 2
2
1 2

T T
T T
n
T T
n n
n
T T

( )
1

T T

= Y
- Aceste interpretri de natur geometric sunt valabile n condiiile n
care modelele matematice pot fi exprimate n forma de regresie liniar.
- - A Aceste interpretri de natur geometric sunt valabile ceste interpretri de natur geometric sunt valabile n condi n condi iile iile n n
care modelele matematice pot fi exprimate care modelele matematice pot fi exprimate n forma de regresie liniar n forma de regresie liniar. .
Soluia general a MCMMP n cazul modelelor de regresie liniar []
Soluia Soluia general general a a MCMMP MCMMP n n cazul cazul modelelor modelelor de de regresie regresie liniar liniar [ [ ] ]
15/16
Prin gruparea convenabil a factorilor, astfel
nct s se opereze cu vectori i matrici avnd
dimensiunea vectorului parametrilor.
Prin Prin gruparea gruparea convenabil convenabil a a factorilor factorilor, , astfel astfel
nc nc t t s s se se opereze opereze cu cu vectori vectori i i matrici matrici av av nd nd
dimensiunea dimensiunea vectorului vectorului parametrilor parametrilor. .
134
134
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Contextul de lucru
Contextul Contextul de de lucru lucru
P(
*
)
P
P ( (
* *
) )
M()
M
M( ( ) )
[ ] [ ] [ ]
T
y n n v n

= + [ ] [ ] [ , ]
T
y n n n = +
n

N n

N
perturba perturba ie ie stocastic stocastic
( (zgomot zgomot de de msur msur) )
eroarea eroarea dintre dintre
proces proces i i model model
Modelul este conform cu procesul
Modelul Modelul este este conform conform cu cu procesul procesul [ , ] [ ] n v n

=
n

N
- Modelul perfect difer de proces
numai prin zgomotul de msur.
- - Modelul Modelul perfect perfect difer difer de de proces proces
numai numai prin prin zgomotul zgomotul de de msur msur. .
Problema const n minimizarea erorii ptratice globale dintre proces i model pe durata orizontului de
msur, pentru determinarea unei estimaii a vectorului parametrilor necunoscui din date experimentale.
Problema Problema const const n n minimizarea minimizarea erorii erorii ptratice ptratice globale globale dintre dintre proces proces i i model model pe pe durata durata orizontului orizontului de de
msur msur, , pentru pentru determinarea determinarea unei unei estima estima ii ii a a vectorului vectorului parametrilor parametrilor necunoscu necunoscu i i din date din date experimentale experimentale. .
1,
{( [ ], [ ])}
N
n N
n y n

= D
( )
2
2
1 1

argmin ( ) argmin [ , ] argmin [ ] [ ]

n n n
N N
T
n n
n y n n


= =

= = =





R R R
V
Teorema 1
Teorema Teorema 1 1
( )
1

T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V
- Relaii care pot fi neimplementabile dac
dimensiunea orizontului de msur este prea mare.
- - Rela Rela ii ii care pot care pot fi fi neimplementabile neimplementabile dac dac
dimensiunea dimensiunea orizontului orizontului de de msur msur este este prea prea mare. mare.
Cum pot Cum pot fi fi totui totui implementate implementate aceste aceste relaii relaii? ?
n N <

O.O Teorema fundamental a MCMMP

O O. .O O Teorema Teorema fundamental fundamental a a MCMMP MCMMP
16/16
2 2
,
1
[ ]
N
def
T
N y
n
N y n
=
= =

Y Y
135
135
O O. .O O Teorema Teorema fundamental fundamental a a MCMMP MCMMP
O
O
Metode
Metode
de
de
identificare
identificare
i
i
validare
validare
Formulele de implementare ale MCMMP
Formulele Formulele de de implementare implementare ale ale MCMMP MCMMP
Matricea i vectorul de
covarian a datelor
Matricea Matricea i i vectorul vectorul de de
covarian covarian a a datelor datelor
[ ]
1
[1]
[2]
[1] [2] [ ] [ ] [ ]
[ ]
T
T
N
def
T T n n
n
T
N n n
N

=



= = =

( )
1

T T

= Y
( )
1

( )
T T T T

= Y Y Y Y V

[ ]
1
[1]
[2]
[1] [2] [ ] [ ] [ ]
[ ]
N
def
T n
n
y
y
N n y n
y N

=



= = =

r Y

R
produsul produsul exterior exterior
{ }
1
1 1
[ ] [ ] [ ] [ ]
N
def
T T T
N
n
n n E n n
N N
=
= =

R
1
1
1 1

[ ] [ ] [ ] [ ]
N N
T
n n
n n n y n

= =

= =



R r
1
1
1 1
1 1

[ ] [ ] [ ] [ ]
N N
T
N N N
n n
n n n y n
N N

= =

= =



R r
{ }
1
1 1
[ ] [ ] [ ] [ ]
N
def
T
N
n
n y n E n y n
N N
=
= =

r Y
( )
2 1
,

T
N N y N N N
N

= r R r V
dispersie dispersie estimat estimat
[ ] n
E
( )
( )
1
{ [ ] [ ]} { [ ] [ ]} { [ ] [ ]}
T
E n n E n y n E n v n

=
[ ] [ ] [ ]
T
y n n v n

= +