1

¿Supuestos del
modelo?
Redes neuronales
Club de Ciencia de Datos La Paz
reunión_09
José Miguel Molina Fernández
 2

Supuestos vs Propiedades
En modelo lineal estimado por MCO:
Supuestos
- Homocedasticidad
- Ausencia de correlación entre
término de error y variables
independientes
- Normalidad
- ……
 3

Supuestos vs Propiedades
En modelo lineal estimado por MCO:
Supuestos Propiedades
- Homocedasticidad - Consistencia en estimación
- Ausencia de correlación entre de parámetro puntual
término de error y variables - Estimación insesgada de
independientes varianza del parámetro
- Normalidad - Posibilidad de inferencia
- …… mediante distribuciones de
probabilidad teóricas
convencionales
 4

Halbert White
 5

¿No linealidad en parámetros?

» Dadas las exigencias de una red neuronal, no es
mala idea intentar examinar la posibilidad de
ausencia de no linealidades (Kuan y White, 1994).
» Comparación de alternativas de pruebas con
simulaciones de Monte Carlo y énfasis en series de
tiempo en Lee et al. (1993) y Barnett et al. (1997).
 6

Aproximación al estudio de propiedades

» El problema de optimización de las redes
neuronales en regresión es esencialmente un
problema de estimación por mínimos cuadrados no
lineales.
» ¿Los supuestos del modelo de regresión lineal
estimado por MCO se mantienen?
» Advertencia: Énfasis en problema de regresión.
 7

Consistencia de estimación de
pesos de la red
» White (1989) prueba que la estimación de los pesos
de la red será consistente bajo condiciones
generales.
» En caso de multiplicidad de soluciones para el
problema de optimización, las estimaciones serán
consistentes respecto al conjunto de soluciones.
 8

Distribución de probabilidad de
pesos en el límite
» Bajo condiciones generales, si hay una solución
óptima localmente identificada, los pesos se
distribuyen según la normal multivariada con
matriz de varianzas y covarianzas con expresión
definida (White, 1989)
 9

Distribución de probabilidad de
pesos en el límite
» Bajo condiciones generales, si no hay una solución
óptima localmente identificada, los pesos tienen
una distribución perteneciente a la familia «limiting
fixed Gaussian» de Philips (1989) … sigue
existiendo una distribución definida.
 10

Distribuciones de muestra finita

» Todo lo discutido previamente es asintótico…
» Con muestras «finitas», se puede recurrir a técnicas
como bootstrap, bagging, etc. para tener
distribuciones de muestra finita.
» A veces, esta es la única solución, por ejemplo si
queremos tomar en cuenta la selección del modelo
en la varianza de los pesos (Efron y Hastie, 2016).
11
 12

Referencias
» Barnett, W. A., Gallant, A. R., Hinich, M. J., Jungeilges, J. A., Kaplan, D. T., & Jensen, M.
J. (1997). A single-blind controlled competition among tests for nonlinearity and
chaos. Journal of econometrics, 82(1), 157-192.
» Efron, B., & Hastie, T. (2016). Computer age statistical inference (Vol. 5). Cambridge
University Press.
» Kuan, C. M., & White, H. (1994). Artificial neural networks: An econometric
perspective. Econometric reviews, 13(1), 1-91.
» Lee, T. H., White, H., & Granger, C. W. (1993). Testing for neglected nonlinearity in time
series models: A comparison of neural network methods and alternative tests. Journal
of Econometrics, 56(3), 269-290.
» Phillips, P. C. (1989). Partially identified econometric models. Econometric Theory,
5(2), 181-240.
» White, H. (1989). Learning in artificial neural networks: A statistical perspective.
Neural computation, 1(4), 425-464.