CAPITULO 2 :EL METODO DE ESTIMACIÓN DE MÍNIMOS CUAADRADOS

ORDINARIOS:
MODELO DE REGRESIÓN BIVARIADO

El método de Mínimos Cuadrados Ordinarios (MCO) presupone una minimización de la suma de

los errores elevados al cuadrado, para de ese modo estimar los parámetros de la regresión. Los
parámetros parten de un problema de predicción condicional donde el mejor predictor de Y
condicional en X es una predicción que minimiza la pérdida esperada con respecto de una
función de pérdida específica.

Métodos de estimación de minimos cuadrados ordinarios para un modelo d regresión lineal

simple:

En este modelo la variable endógena sólo se explica mediante una variable exógena fija o no
aleatoria. Para resolver este sistema conviene plantearlo en forma matricial para luego
resolverlo utilizando para ello el método de Kramer. Estas ecuaciones son llamadas ecuaciones
normales de la línea de regresión. Como vemos es un sistema de ecuaciones donde el número
de incógnitas es igual al número de ecuacion.

Todo estimador es una función de los datos y como éstos pueden cambiar en cada muestra
tenemos que serán variables aleatorias. Alguien podría decir que si las X están fijas siempre
tendremos la misma muestra pero pensando de dicha forma se dejaría de lado la naturaleza
aleatoria de Y que, sabemos, depende del vector de errores. Estos errores no son fijos y si
tomamos una nueva muestra podrían variar lo que implicaría un nuevo valor de Y para cada
realización de la muestra. Un estimado es un valor particular de la función de los datos
(estimador) cuando utilizamos una muestra en particular.

Propiedades del estimador MCO

Estas son el insesgamiento y la eficiencia. Intuitivamente la primera se refiera a que el centro de

la distribución del estimador es igual al parámetro verdadero mientras que la segunda nos
asegura que nuestro estimador será el de varianza mínima lo que nos dará una mayor seguridad
porque el grado de imprecisión inherente será menor.

 Insesgamiento del estimador MCO.

La distribución del estimador de mínimos cuadrados ordinarios coincide con el

verdadero valor del parámetro. Si se cumple esta propiedad podemos usar con cierta
tranquilidad nuestro estimador porque sabremos que cada estimado que obtengamos
provendrá de una distribución cuya media es el verdadero valor del parámetro por lo
que el estimado será equivalente, en términos estadísticos al verdadero parámetro.

Se dice que el estimador MCO es lineal, ya que es una función lineal de la variable
endógena (Y). β1 es una combinación lineal ponderada de Y, donde ki representa las
ponderaciones y dado que las X son fijas estas ponderaciones se pueden interpretar
como constantes.

 Varianzas y covarianzas de los estimadores de MCO

Los estimadores βson una variable aleatoria que provienen de una distribución de
probabilidad cuya esperanza matemática es el verdadero valor del parámetro lo que
implica que es el valor con la mayor probabilidad de ocurrencia.
 Es preciso disponer también de medidas de dispersión de los estimadores, de modo
que se pueda juzgar el grado en que se aproximan al verdadero valor del parámetro
que se pretende estimar. las observaciones de X, cuanto mayor sea la varianza de μ
mayor será la del estimador. Por lo tanto, para garantizar una mayor precisión en la
estimación debemos buscar que las variables explicativas presenten mucha
variabilidad. es preciso estimar mediante el método de Mínimos Cuadrados Ordinarios
el valor de la varianza del modelo, pues como se recordará, la naturaleza aleatoria de
la variable endógena proviene del término de error, por lo que la varianza de Y resulta
igual a la varianza de μ .

La eficiencia del Estimador MCO: El Teorema de Gauss Markov

El cálculo de las varianzas y covarianzas de los estimadores MCO del modelo lineal simple es
indispensable para conocer el grado de dispersión que presenta nuestro estimador. Sin
embargo, si deseamos tener una mayor confiabilidad en nuestro estimador deberíamos tener
alguna certeza que dicha varianza es la menor posible.

Los estimadores obtenidos por el método de Mínimos Cuadrados Ordinarios resultan los
mejores estimadores lineales e insesgados (MELI) pues poseen la mínima varianza entre todas
las clases de estimadores lineales e insesgados. El mejor estimador será aquel que posea mayor
probabilidad de acercarse a β1, lo que se cumple cuando la distribución de probabilidad del
estimador está menos dispersa alrededor del valor de su media, es decir cuando presenta una
menor varianza.

Otros resultados referidos al estimador MCO

1. La línea de regresión muestral a través del estimador MCO atraviesa los puntos que
representan las medias muestrales de X e Y.
2. En promedio, el valor estimado de la variable endógena es igual a la media del valor
observado de dicha variable. Este resultado se puede comprobar fácilmente, partiendo
de la ecuación de la función de regresión muestral y haciendo algunas operaciones
algebraicas.
3. La media de los errores estimados es nula.
4. El error estimado no está correlacionado con el valor estimado o predicho de la
variable endógena. Garantiza que el método de MCO cumple con el supuesto de
ortogonalidad entre la parte explicada del modelo de regesión lineal simple y la parte
no explicada.

ESTIMACIÓN MCO DE σμ
Hasta el momento hemos estimado únicamente los parámetros del modelo propuesto pero aún
nos queda la estimación de una última magnitud: la varianza del error. Nótese que hasta el
momento cuando obtuvimos la varianza de los estimadores el término 2μσ ésta quedó
expresado en términos teóricos. Para poder estimar la varianza de los parámetros y la propia
varianza de la variable dependiente necesitamos un estimador de esta magnitud.

MEDIDAS DE BONDAD DE AJUSTE

El criterio de Mínimos Cuadrados Ordinarios garantiza que la línea de regresión obtenida es la

que proporciona la menor suma de cuadrados de residuos de todas las que se podrían obtener
si se trazan a través de los valores observados de X e Y. Así, se hace necesario considerar la
bondad de ajuste de la línea de regresión dado el conjunto de observaciones.
 En otras palabras, se desea verificar qué tan bueno es el ajuste de la línea de regresión a los
datos, o cuán cerca están las predicciones del modelo con respecto a las observaciones reales.
De hecho, al construir un modelo estamos suponiendo una estructura que gobierna el
comportamiento de la variable dependiente. Así, la bondad de ajuste nos permite conocer el
grado en que esta estructura recoge el comportamiento de la variable endógena, dadas las
observaciones muestrales.

El coeficiente de determinación se interpreta como la proporción de la variación total de Y que

la regresión es capaz de explicar. En otras palabras, el r2 mide la efectividad que poseen las
variables independientes X para explicar la variación que la variable dependiente experimenta
a lo largo de la muestra. Por lo tanto, cuando r2 es muy cercano a 1 se dice que el modelo de
regresión es capaz de explicar un alto porcentaje de las variaciones que registra la variable
explicada. Por lo tanto, el ajuste de la línea de regresión obtenida por MCO es bastante bueno,
en el sentido que los valores estimados de Y son casi idénticos a los observados y que los
residuos son muy pequeños. Existen algunos casos en los que el coeficiente de determinación
no es una medida confiable, por ello se debe tener cuidado al interpretarlo. Por ejemplo, si el
número de observaciones es reducido, quizá algún residuo alto puede hacer que el r2 sea
insignificante y por tanto se concluya que la regresión es mala, aunque en realidad el ajuste sea
bueno.

PROPIEDADES DEL COEFICIENTE DE DETERMINACION

1. Es un número no negativo. Para demostrarlo basta recordar que éste simboliza el

cociente entre dos sumas de cuadrados. Sin embargo, se debe advertir que en los casos
en los que no se especifique un intercepto en el modelo, el r2 podría resultar negativo y
por tanto no debería tomarse en consideración. Por ello, es preciso hallar el coeficiente
de determinación ajustado o corregido, el cuál se estudiará en el siguiente capítulo.
2. Puede tomar valores entre cero y uno, (0≤ r 2 ≤ 1) ¿Qué pasaría si r 2 fuese cero? No
existiría ninguna relación entre la variable endógena y la explicativa y, por tanto, el
estimador de la pendiente de la variable explicativa (β1) sería igual a cero y se obtendría
una la línea de regresión horizontal al eje X.
3. No tiene unidades de medida. Recuérdese que es una proporción, siendo, por tanto,
un número puro.

CONCLUSION

En este capítulo hemos obtenido el estimador MCO para el modelo lineal simple. Este modelo
considera sólo una variable explicativa aparte del intercepto. El estimador MCO cumple con una
serie de propiedades deseables como el insesgamiento y la eficiencia lo que asegura que es el
mejor estimador lineal insesgado en el sentido que los estimados obtenidos tendrán la menor
incertidumbre asociados a ellos.

Dentro del largo camino que aún nos queda por recorrer en la exploración de las aplicaciones
del estimador MCO, este ha sido un paso importante porque nos ha permitido comprender la
lógica a partir del cual se deriva el estimador. Hasta aquí la herramienta más utilizada han sido
las sumatorias.
 MATRICES

Una matriz es una forma eficiente de ordenar información en columnas y filas. El tamaño de una
matriz está determinado por el número de filas y de columnas; así, se dice que la matriz M es
una matriz de dimensiones 2´3 (2 filas por 3 columnas).

Matriz triangular y diagonal.

La diagonal principal de una matriz cuadrada A, es el conjunto de elementos cuya posición

corresponden a la misma fila y columna. Son los elementos que se encuentran formando una
“diagonal” entre la esquina superior izquierda y la esquina inferior derecha de la matriz. La
matriz triangular superior/inferior son si todos los elementos por debajo/encima de la diagonal
principal son cero. Si una matriz es al mismo tiempo una matriz triangular superior y triangular
inferior, entonces ésta se conoce como una matriz diagonal. En otras palabras, una matriz
diagonal es una matriz cuyos elementos por fuera de la diagonal principal son cero.

Adición, multiplicación por un escalar y multiplicación de matrices.

Sean dos matrices A y B , cada una de dimensiones n ´m (conformes para la suma), entonces la
adición de estas dos matrices corresponde a una matriz con dimensiones n ´m , cuyos elementos
son iguales a la suma elemento por elemento de las matrices A y B. La multiplicación de matrices
presenta varias propiedades, pero antes es importante recalcar que la propiedad conmutativa
de la multiplicación para los escalares no se cumple para las matrices (aún si este producto
cumple la condición de conformidad).

La matriz identidad y la matriz de ceros.

La matriz identidad es una matriz diagonal especial, cuyos elementos de la diagonal principal
son iguales a uno. La matriz de ceros, o sea una matriz cuyos elementos son iguales a cero.
Esta matriz no necesariamente debe ser cuadrada.

 La matriz transpuesta de A(M*N) es una matriz cuyas filas corresponden a las columnas
de la matriz original A; o lo que es lo mismo, la transpuesta de A, es una matriz cuyas
columnas corresponden a las filas de la matriz A.
 Una matriz simétrica es una matriz cuya transpuesta es igual a ella misma.
 Una matriz cuadrada A se denomina idempotente si y solamente si A× A = A . Un ejemplo
de matriz idempotente es la matriz identidad.
 Dos matrices A y B son matrices ortogonales si y solamente si A×B = 0.

Los Vectores serán linealmente dependientes si al menos uno de los vectores puede expresarse
como una combinación lineal de los otros, los vectores linealmente independientes es cuando
ningún vector del conjunto se puede expresar como combinación lineal de otro u otros vectores
que pertenecen al mismo conjunto.

La traza de una matriz simétrica A es la suma de los elementos de la diagonal principal y se

denota por tr ( A) .

Rango de una matriz

Si el rango de una matriz A es igual al número de sus columnas, entonces se dice que la matriz
A tiene rango columna completo. En caso de que el rango de la matriz A sea igual al número de
filas, se dice que la matriz A tiene rango fila completo.
Para el caso de una matriz cuadrada, si el rango de la matriz es igual al número de filas y por
tanto al número de columnas, se dice que la matriz tiene rango completo.

Determinante de una matriz

Es un escalar asociado de manera unívoca con esta matriz, el determinante de una matriz de
orden n puede ser calculado, a partir de cualquier columna o fila. Los valores propios son
importantes pues en muchos casos facilitan ciertos cálculos, en especial tenemos los siguientes
resultados importantes para nuestro estudio