05-Mnimos Cuadrados.

doc 1

1. Mnimos Cuadrados





1. Mnimos Cuadrados __________________________________ 1
1.1. Introduccin_____________________________________ 2
1.2. Mtodo de Mnimos Cuadrados_____________________ 2
1.1.1. Forma Recursiva: ___________________________________ 4
1.1.2. Inclusin del Factor de Olvido. _________________________ 5
1.3. Caractersticas Estadsticas de la Estimacin_________ 8
1.1.3. Correlacin de la Estimacin: __________________________ 9
1.4. Influencia del Valor Medio________________________ 10
1.5. Ejemplo: Sistema de Primer Orden. ________________ 10

05-Mnimos Cuadrados.doc 2


1.1. Introduccin
Se abordar en este captulo la modelizacin de sistemas
lineales mediante tcnicas de mnimos cuadrados ya que es uno de
los pilares para el desarrollo del control adaptativo. Este mecanismo
es llamado comnmente Identificacin de Sistemas. Lo que intenta el
mtodo es automatizar la bsqueda de la relacin causa-efecto entre
excitacin y respuesta de un proceso dado. De igual manera, se per-
turba al sistema con una determinada seal y se toman pares de
muestras de entrada y salida. Se construye una tabla con estos pares
para calcular los coeficientes de un modelo previamente definido. El
mtodo ms usual para este cmputo es el de mnimos cuadrados del
cual se desprenden una cantidad apreciable de algoritmos modifica-
dos. Se particularizar el anlisis para modelos lineales expresados
en ecuaciones en diferencias. La representacin grfica del mtodo
se puede ver en la figura siguiente en donde se observa que la
excitacin tiene efecto sobre la planta y sobre el modelo. Ambos
generan una salida que sern ms o menos similares dependiendo de
la bondad del modelo. La diferencia, llamada tambin error de
estimacin o prediccin, es la que se utiliza como realimentacin para
corregir el modelo.
Excitacin
-
+
Planta
Modelo
Salida de la Planta
Salida del Modelo
Error de Estimacin

Ilustracin 1-1 Identificacin de Parmetros

1.2. Mtodo de Mnimos Cuadrados
Se considera, a los efectos del anlisis, la siguiente planta real:
1 1
0
n m
T
i i k k
k i k k k k-i
i=1 i=
= + u + e = + e y y
a b x
+ +
[1-1]
siendo e una perturbacin o incertidumbre por momento
genrica.
Se propone un modelo de la misma forma es decir:
1 1
0


n m
T
i k-i k
k k-i i k
i=1 i=
= + = y y
a u x
b + +
[1-2]
05-Mnimos Cuadrados.doc 3

donde
1
0
1 1 1 1

1
k
n
k-n
k
k
k
k-m
m
N n m N n m
y
a
y
a
= =
x
u
b
u
b

+
+ + + +
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
1 1
] ]
M M
M M
[1-3]
Se ha definido una forma vectorial de escribir el modelo y planta
a fin de compactar la notacin. Para cada instante k habr un error o
diferencia entre la salida de la planta y la del modelo:
1 1 1

k k k
e y y
+ + +
[1-4]
Si se toman todas las muestra, desde 0 hasta k se puede
construir un vector de errores de la forma:
1
1 1
1

k
k k k
e
E = -
Y
e

+
+ +
1
1

1
1
]
M [1-5]
con
1
1
1
k
k
y
=
Y
y
+
+
1
1
1
1
]
M ,
1
0

n
m
a
a

b
b

1
1
1
1
1
1
1
1
1
]
M
M
[1-6]

1
0
0 1
T
k k k-m
k k-n
k
T
0 -m
-n
y y
x u u
= =
y y
x u u

+
1 1
1 1
1 1
1 1
] ]
K K
M M M M M
K K
[1-7]
El modelo ser ms exacto cuanto ms pequeo sea el error de
estimacin. Este error es dependiente de las mediciones y del vector
de parmetros

. Ahora el objetivo es buscar este vector tal que el

error entre modelo y planta sea el menor posible. Una forma de
lograrlo es construyendo un funcional J de la forma
k
J
T
k k
=
e e
[1-8]
y minimizarlo, es decir estamos calculando el mnimo error
cuadrtico en el modelo. Para realizar esto se deriva con respecto a

resultando:
05-Mnimos Cuadrados.doc 4

J 0
T T
p
p
= 2 Y - 2 = |

[1-9]
el valor de

que hace mnimo J es:

1

T
* T
k
k k
k k
=
Y

1
1
]
[1-10]
Con esto estara resuelto el problema de encontrar un modelo ya
que

queda expresado en funcin de datos. Existen en esta forma

de expresar el modelo dos inconvenientes: primero, se debe conocer
previamente todas las muestras y segundo, en el clculo se presenta
la inversin de una matriz que no es muy cmodo desde el punto de
vista computacional. Se analizar ms adelante una va de llegar a
otra expresin que evite estos problemas.

1.1.1. Forma Recursiva:
Analicemos una forma ms cmoda de expresar la ecuacin
[1-10]. Primero definamos la matriz P como sigue:
[ ]
T
k-N
k-N
T
T T -1 -1
k k-1 k-N 0 i i k k
k
i=0
T
0
x
= +
x x x x x x P P
x

1
1
1

] 1
1
]

K M [1-11]
Del mismo modo el vector b ser:
[ ]
k-N
k-N
T
k k k-N 0 i k-1 k
k i k
i=0
0
y
= = = + y y
b x x x b x Y
y

1
1

1
1
]

K M [1-12]
Entonces [1-10] se expresar

k k
k
=
b P

[1-13]
La inversa de la matriz P en un instante k puede expresarse en
funcin de su valor anterior ms otra matriz
T -1 -1
k k-1 k k
= +
x x P P
[1-14]
Si la premultiplicamos por
k
P
-1
T -1
k-1 k k k k k k
I =P +P P P
x x P
[1-15]
y luego, posmultiplicando por
1 k
P

resulta:
T
k-1 k k k-1 k k
= +
x x P P P P
[1-16]
o lo que es lo mismo
T
k-1 k k k-1 k k
- =
x x P P P P
[1-17]
Posmultipliquemos [1-16] por
k
x
T T
k-1 k k k-1 k k-1 k k k k k k k k
= + = 1 +
x x x x x x x x P P P P P P
1
]
[1-18]
y agrupemos.
05-Mnimos Cuadrados.doc 5

-1
T
k-1 k-1 k k k k k
1 + =
x x x x P P P
1
]
[1-19]
Ahora, reemplazando [1-19] en [1-17]
T
k-1 k-1 k k
k-1 k
T
k-1 k k

x x P P
- =
P P
1 +
x x P
[1-20]
o su equivalente
T
k-1 k-1 k k
k k-1
T
k-1 k k

x x P P
= -
P P
1 +
x x P
[1-21]
Haremos lo mismo con el vector . Por la ecuacin [1-19]
tenemos
[ ]
[ ]

T
k k-1 k k
k-1 k-1 k
k k
T
k-1 k k
T
k-1 k-1 k k
k-1 k-1 k k
k k k-1
T
k-1 k k

x x P P
- + y
b x P
1 +
x x P

x x P P
- + + y y b x x P
1 +
x x P

1
]

[1-22]
por [1-19] sabemos que:
k-1 k
k k
T
k-1 k k

x P
=
x P
1 +
x x P
[1-23]
reemplazando en la anterior


T T
k k-1 k k-1 k-1 k k k-1 k k k k
k k k k-1
T T
k k-1 k k-1 k k k k k
k-1 k k-1
= - - + y y
x x b x x x x P P P P P
= - + - p y
x x x x x P P P P

1
]
[1-24]
de [1-17] resulta
T
k k-1 k k-1 k k
= -
x x P P P P
[1-25]
quedando

T
k k k
k k k-1 k-1
= - - y
x x P

1
]
[1-26]
en resumen el algoritmo est formado por las dos ecuaciones
siguientes:
[ ]

k k
k k k k-1
T
k-1 k-1 k k
k k-1
T
k-1 k k
- - y y
x P

x x P P
= -
P P
1 +
x x P

'

[1-27]
1.1.2. Inclusin del Factor de Olvido.
En el algoritmo anterior pesamos de igual manera las medidas
muy viejas y las nuevas. Esto puede traer complicaciones cuando la
planta cambie sus parmetros. En este caso el vector no podr
converger al nuevo valor. Modificaremos este algoritmo para pesar de
forma exponencial las distintas muestras segn el instante en que han
sido tomadas. Esto se logra modificando el funcional J siendo ahora
J
T
k k
= Q
e e
[1-28]
05-Mnimos Cuadrados.doc 6

donde
1 0 0
0
0 0
k
k-N
0
Q

1
1
1

1
1
]
L
L
M M M
L
[1-29]
La matriz Q pondera las muestras dndole ms o menos
importancia a la historia con respecto al ltimo valor segn el
parmetro el cual se llama factor de olvido.
Igual que antes derivamos J para obtener el mnimo.

J
T T
p
p
= 2 Q Y - 2 Q p = 0 |

[1-30]
resultando

-1
*
T T
k k k k
k k k
= Q Q
Y

1

]
[1-31]
La matriz P ahora ser:
[ ]
T
k- N
T
-1
k k-N 0
k
T
0
k-N
i T T -1
k-1 i k k
i
i=0
x
Q Q
x x P
x
x
x x x P


1
1
1

] 1
1
]
+

K M
[1-32]
T
T -1 -1
k k-1 k k k k k
= Q
x x P P

1 +
]
[1-33]
Del mismo modo el vector b ser:
[ ]
k- N
k-N
T i
k k k-N 0 i k-1 k
k i k
i=0
0
y
= Q = y y
b x x x b x Y
y

1
1
+
1
1
]

K M [1-34]
T
k k k-1 k k k k
x y Q
b b Y
+ [1-35]

Entonces se expresar

k k
k
=
b P

[1-36]
La inversa de la matriz P en un instante k puede expresarse en
funcin de su valor anterior ms otra matriz
1 1
1
T
k k k k
P P x x

+ [1-37]
Si la premultiplicamos por
k
P
1 1
1
T
k k k k k k k
PP I P P P x x

+ [1-38]
y luego, posmultiplicando por
1 k
P

resulta:
1 1
T
k k k k k k
P P P x x P

+ [1-39]
o lo que es lo mismo
05-Mnimos Cuadrados.doc 7

1 1
T
k k k k k k
P P P x x P

[1-40]
Posmultipliquemos [1-39] por
k
x
1 1 1
T T
k k k k k k k k k k k k k k
P x P x P x x P x P x x P x

1 + +
]
[1-41]
y agrupemos.
1
1 1
T
k k k k k k k
P x x P x P x


1 +
]
[1-42]
Ahora, reemplazando [1-19] en [1-17]
1 1
1
1
T
k k k k
k k
T
k k k
P x x P
P P
x P x

+
[1-43]
o su equivalente
1 1
1
1
1
T
k k k k
k k
T
k k k
P x x P
P P
x P x

1

1
+
]
[1-44]
Haremos lo mismo con el vector . Por la ecuacin [1-19]
tenemos
[ ]
1 1
1
1
1 1
1

1 1

T
k k k k
k-1
k k k k T
k k k
T
k-1 k-1 k k
k k k k k k k-1
T
k-1 k k
P x x P
P x y
b
x P x

x x P P
b P x y y
x
+
x x P

1
+
1
+
]
1
+ +
1
]
[1-45]
por [1-19] sabemos que:
k-1 k
k k
T
k-1 k k

x P
=
x P

x x P
+
[1-46]
reemplazando en la anterior
1 1

1 1

1

T
k k-1 k-1 k k k-1 k k
k k k k-1
T T
k k-1 k k-1 k-1 k k k-1 k k k k
k k k-1
T T
k k-1 k k-1 k k k k k
k k-1 k-1
y y
x x b x x P P P
y y
x x b x x x x P P P P P
y
x x x x x P P P P

1
+ +
1
]
+
+ 1
]
[1-47]
de [1-17] resulta
1
T
k k-1 k k-1 k k
= -
x x P P P P

1
]
[1-48]
1 1
T
k k k k k k
P P x x P P

[1-49]
quedando

T
k k k
k k k-1 k-1
= - - y
x x P

1
]
[1-50]
en resumen el algoritmo est formado por las dos ecuaciones
siguientes:
05-Mnimos Cuadrados.doc 8

[ ]
1 1
1
1

1
k k
k k k k-1
T
k k k k
k k
T
k k k
- - y y
x P
P x x P
P P
x P x

' 1

1
+
]
[1-51]

Se puede asemejar esta idea a la introduccin de un filtro en el
clculo de la inversa de P segn lo muestra la figura siguiente:

1
1
1 q

T
k k
x x
1
k
P

Figura 4-1Inclusin del factor de olvido
1.3. Caractersticas Estadsticas de la Estimacin
A continuacin se ver qu caractersticas estadsticas tiene el
modelo obtenido y qu condiciones se deben cumplir para que ste
converja al sistema real. Primeramente se observar la forma que
tiene el corchete de la ecuacin [1-10] que, desplegado resulta:
0
1
1 1
0
0
0 1
k
k k-m
k k-n
T k-n -n
k k
k
-m
-n
k-m -m
y y
y y
u u
y y

u u
y y
u u
u u

+
+
1
1
1
1
1
1

1
1
1
1
]
1
1
1
]
K
M M
K K
K
M M M M
K
K K
M M
K
[1-52]
Si se supone que, tanto entradas como salidas tienen media
nula, cada elemento corresponder, para un gran nmero de
muestras, a la autocovarianza o covarianza cruzada segn sea el
trmino. Tomando el elemento [1,1] como ejemplo se verifica que
tiene la siguiente forma:
( )
2 2 2
0
0
0
k
T
k i y k
i
[1,1] = y y = y r

+ +

L [1-53]
La matriz total se llama matriz de covarianza del algoritmo y ser:
05-Mnimos Cuadrados.doc 9

y y uy uy
uy uy
T
k k
uy uy u u
uy uy u u
(o) (n-1) ( n- m- 1) (n-1)
r r r r
(n-1) ( n- m- 1)
r r

( n- m- 1) (n-1) (0) (m)
r r r r
(n-1) ( n- m- 1) (m) (0)
r r r r

1
1
1
1

1
1
1
1
1
]
K K
M M M M
M M K
K K
M M M M
K K
[1-54]
Veremos ahora qu condiciones se deben cumplir para que
exista una convergencia del algoritmo. Para esto calculemos la
media de

.
[ ]
[ ]

lim lim
lim
lim lim
-1
T T
k k k k k k
k k
-1
T T
k
k k k k
k
-1
T T
k
k k k
k k
E E E
Y
E +
e
E E
e

1
1 1
1
] ] ] 1
]
1
1

]
1
]
1
1
+
]
1
]
[1-55]
[ ]

lim lim
-1
T T
k k k k k
k k
E E E
e


1
1
1 +
] ] 1
]
[1-56]
Por lo tanto la media de la estimacin coincidir con el valor real
de si el error e es incorrelado con
-1
T T

1
]
. En cualquier otro
caso existir un sesgo en la estimacin.
Tambin debemos notar que para que exista solucin la
matriz
T
1debe ser invertible o sea
det
T
0
1
]
[1-57]
Observando la ecuacin 0 podemos inferir que esto se puede
lograr si el sistema est persistentemente excitado.

1.1.3. Correlacin de la Estimacin:
Calculemos la correlacin de que tiene la siguiente forma:
[ ] [ ]

T
k k
T
-1 -1
T T T T
-1 -1
T T T
T
E - - =
E + e - + e -
= E e
e




1
1 1
] ]
]
1
1 1
1 1
1 ] ]
1 1
] ]
]
1
1 1
] ]
1
]
[1-58]
si se cumple que e es incorrelado con
-1
T T

1
]
4 se verifica:
05-Mnimos Cuadrados.doc 10

-1 -1
T T T
T
-1
T
T
= E e
e r
= E E e
e

1
1 1
] ]
1
]
1
1
1
]
]
1
]
[1-59]
Suponiendo que el ruido es incorrelado consigo mismo
llamaremos
T 2
e e
= E e = I
e r
1
]
[1-60]
y se cumplir que
T
k k+
E = 0 0
e e
1
]
[1-61]
por lo tanto la correlacin de resulta:

-1
T
2
e
= E
r


1
1
]
1
]
[1-62]
1.4. Influencia del Valor Medio
Otra consideracin a tener en cuenta en una estimacin es que
las mediciones de u e y no deben tener un valor medio distinto de
cero ya que estamos suponiendo que el modelo del sistema es lineal.
En caso de que ste exista deberemos eliminarlo. Si las variaciones
son muy lentas se puede usar el siguiente filtro de primer orden:
n
n n-1
= + (1- )
x x x
[1-63]
1.5. Ejemplo: Sistema de Primer Orden.
Para familiarizarnos un poco ms con el funcionamiento del
estimador veamos un ejemplo sencillo. Sea un sistema de primer
orden cuya ecuacin en diferencias es:
k-1
k k-1
= a + b y y
u
[1-64]
con 0,5 a y 1 b

En la siguiente tabla se muestran los valores de la respuesta a un
escaln.

k

k
y
k
u
0 0 1
1 1 b 1
2
( )
1 1,5 b a +
1
05-Mnimos Cuadrados.doc 11

3
( )
2
1 1,75 b a a + +
1
4
( )
2 3
1 1,875 b a a a + + +
1

El vector ser, para tres muestras,
1,75 1
1,5 1
1 1
=
1
1
1
1
]
[1-65]
su transpuesta,
1,75 1,5 1
1 1 1
T
=
1
1
]
[1-66]
el vector de medidas de la salida,
1,875
1,75
1,5
k
=
Y
1
1
1
1
]
[1-67]
la matriz de covarianza,
6,3125 4,25
4.25 3
T
=
1
1
]
[1-68]
la matriz P:
3.4286 -4.8571
-4.8571 7.2143
-1
T
=
1
1
1
]
]
[1-69]
y finalmente el vector
7,4063

5,125
T
Y =
1
1
]
[1-70]
Con estos datos ya podemos calcular la estimacin de los dos
parmetros del sistema resultando obviamente,
0,5

1
-1
T T
Y
1
1
1
]
]
[1-71]