Proyecto: IA Interpretable para el aprendizaje profundo (Deep Learning)

1. Introducción:

Los modelos de aprendizaje de maquina son considerados cajas negras y entender las
razones detrás de cada predicción es importante para determinar la confianza, que es
fundamental si se desea tomar una acción basado en una predicción.

Entender el modelo de una red neuronal en su interior es útil para que dicho modelo sea
digno de confianza y entender porque un clasificador está haciendo una predicción.

El diseño de modelos de aprendizaje profundo que se aplican a texto, gráficos o imágenes se

basa principalmente en hipótesis. Comprender el contexto, las representaciones y los datos
subyacentes se vuelve cada vez más desafiante.

Interpretabilidad: Es el grado en que un humano puede entender la causa de una decisión.

Es el grado en que un humano puede predecir el resultado del modelo.

https://christophm.github.io/interpretable-ml-book/interpretability-importance.html

A pesar de que en la era de Deep Learning se tienen enormes conjuntos de datos para el
entrenamiento , no se puede asegurar que una CNN (convolutional neural network) codifique
representaciones correctas, por ejemplo una CNN podría usar un contexto no confiable como
características del ojo para identificar el atributo de lapiz labial en una imagen de un rostro.
Por lo que no se puede confiar plenamente en un red, a menos que una CNN pueda explicar
su lógica de manera semántica o visual. Por ejemplo determinando los patrones que se
utilizan para una predicción.

Los modelos actuales obtienen un alto poder de discriminación con resultados de alta
precisión a costa de la baja interpretabilidad de sus representaciones de caja negra. Las
ventajas para entender los modelos al aumentar la interpretabilidad son múltiples:

1. Aprender de pocas anotaciones

2. Aprendizaje con intervención humana en el proceso intermedio
3. Depuración semántica de modelos
4. Redes resistentes a ataques adversarios (de gran problema para aplicaciones de
seguridad crítica como conducción autónoma)

Varios trabajos han abordado este problema, en la comunidad de Visión Artificial por ejemplo
se han abordado las siguientes técnicas:

1. Visualización de representaciones CNN en capas intermedias. Tales métodos invierten

los mapas de características de conv-layer de nuevo a la imagen de entrada.
2. Diagnóstico de representaciones CNN.
 3. Desenredar la mezcla de patrones codificados en cada filtro. Esto implica
principalmente representaciones complejas en capas de conv y formación de datos en
gráficos interpretables.
4. Algunas obras también han construido métodos InfoGAN y R-CNN interpretables para
solucionar este problema.

2. Idea de proyecto:
En los últimos años, las redes neuronales profundas artifciales (DNN) han transformado
fundamentalmente un gran número de campos de investigación, incluida la informática y la
neurociencia. Si bien los DNN han demostrado un rendimiento superhumano en algunas
tareas, también han demostrado ser vulnerables a muestras fuera de distribución y ataques
adversos, que son particularmente problemáticos para aplicaciones críticas para la seguridad
como la conducción autónoma.

Para aumentar la robustez y el rendimiento de generalización de los DNN, se requiere una

mejor comprensión de su funcionamiento interno.

Desafortunadamente, los DNN todavía son poco conocidos. No está claro cómo se forman
las decisiones dentro de una representación jerárquica profunda y qué representaciones
intermedias son más útiles para lograr una determinada tarea.

Si bien gran parte del trabajo contemporáneo se enfoca en visualizaciones de red de caja
negra que conducen a una visión relativamente pequeña, se propone como objetivo el
desarrollo de arquitecturas de red neuronal que sean interpretables por diseño.

3. Pregunta: Cómo realizar aprendizaje por representaciones interpretables (evaluar arboles

de decisión, redes adversarias, redes recurrentes, modelos de diseño Feed Forward,
explicación de modelos por teoría de información, modelos híbridos) para disminuir la brecha
de poca interpretabilidad de las redes tradicionales en la toma de decisiones críticas.

4. Aplicación: Los Vehículos autónomos tienen tareas visuales críticas para la detección de
objetos en ciertas condiciones de iluminación o ambientales dificultando la toma de
decisiones, una arquitectura por representación interpretable permitiría comprender los
procesos de decisión que debe tomar un carro autónomo al procesar imágenes y de esta
manera poder reducir respuestas inciertas.
5. ESTADO DEL ARTE:

1. (cómo funcionan las redes) Understanding Convolutional Neural Networks with A

Mathematical Model (C.-C. Jay Kuo): UCLA, Nov 2016 y CNN as Guided Multi-layer RECOS
Transform
https://arxiv.org/pdf/1609.04112.pdf
https://arxiv.org/pdf/1810.02786.pdf

Explicaciones de la estructura de una red neuronal convolucional a traves de un modelo

llamado RECOS (REctified-COrrelations on a Sphere)

2. (FF) Interpretable Convolutional Neural Networks via Feedforward Design (C.-C. Jay Kuo,
Min Zhang, Siyang Li, Jiali Duan and Yueru Chen) UCLA. Oct 2018
https://arxiv.org/pdf/1701.08481.pdf

Los modelos del estado del arte utilizan backpropagation (BP) que consiste principalomente
en aplicar descenso de gradiente e iterar es multiples epochs, estos modelos obtienen alta
precisión en el conjunto de validación pero su interpretabilidad es nula.

Este artículo propone una metodología de diseño llamada Feed Forward que rescata
técnicas de aprendizaje no supervisado como: PCA y métodos estadísticos para proponer
transformadas de la representación de la información en cada capa intermedia. Los
resultados son altamente interpretables pero con menor precisión comparados con BP.

Como rasgo positivo a este trabajo es que la red es robusta a ataques adversos.

3. (FF) Ensembles of feedforward-designed convolutional neural networks (Yueru Chen,

Yijing Yang, Wei Wang and C.-C. Jay Kuo) UCLA. Ene 2019
https://arxiv.org/pdf/1901.02154v1.pdf
Ene 2019
Es un trabajo extendiendo el del anterior paper donde se adiciona una conocida técnica
conocida como Ensembling, consiste en tener varias redes y fusionar las decisiones finales,
con este trabajo se mantiene la buena interpretabilidad y aumenta la precisión, aunque no
supera BP. El conjunto de datos evaluado es MNIST y CIFAR-10

4. (FF) Semi-Supervised learning via feedforward-designed CNN (Yueru Chen, Yijing Yang,
Min Zhang and C.-C. Jay Kuo) UCLA, Feb 2019
https://arxiv.org/pdf/1902.01980v1.pdf
Es un comparativo entre FF-CNN y BP-CNN como rasgo positivo la primera red tiene mejor
desempleño con menos muestras etiquetadas, y FF-CNN+Ensembles presenta un
rendimiento sin precedente. Evaluado con MNIST, SVHN y CIFAR-10.

5. (BP) Interpretable Convolutional Neural Networks (Quanshi Zhang, Ying Nian Wu, and
Song-Chun Zhu) UCLA. Feb 2018
https://arxiv.org/pdf/1710.00935.pdf

6. (cómo funcionan las redes) Unsupervised Learning of Neural Networks to Explain Neural
Networks (Quanshi Zhang, Ying Nian Wu, and Song-Chun Zhu) UCLA. May 2018
https://arxiv.org/pdf/1805.07468.pdf

7. (cómo funcionan las redes) Network Transplanting (Quanshi Zhang, Yu Yang, Qian Yu,
Ying Nian Wu) UCLA. Dic 2018
https://arxiv.org/pdf/1804.10272.pdf

8. (BP) Visual Interpretability for Deep Learning: a Survey (Quanshi Zhang and Song-Chun
Zhu) UCLA. Feb 2018
https://arxiv.org/pdf/1802.00614.pdf

9. (BP) Interpreting CNN Knowledge Via An Explanatory Graph (Quanshi Zhang, Ruiming
Cao, Feng Shi, Ying Nian Wu, and Song-Chun Zhu) UCLA. Nov 2017
https://arxiv.org/pdf/1708.01785.pdf

10. (BP) Deeper Interpretability of Deep Networks (Tian Xu, Jiayu Zhan, Oliver G.B. Garrod,
Philip H.S. Torr) University of Oxford, UCLA. Nov 2018
https://arxiv.org/pdf/1811.07807v1.pdf

11. (BP) Analyzing the Noise Robustness of Deep Neural Networks (Mengchen Liu, Shixia
Liu,Hang Su, Kelei Cao, Jun Zhu) Tsinghua University. Oct 2018
https://arxiv.org/pdf/1810.03913v1.pdf

12. (cómo funcionan las redes) Learning the Number of Neurons in Deep Networks
(Mathieu Salzmann, Jose M. Alvarez) EPFL Suiza. Oct 2018
https://arxiv.org/pdf/1611.06321v3.pdf

13. (Decision Trees) Interpreting CNNs via Decision Trees (Quanshi Zhang, Yu Yang,
Haotian Ma, Ying Nian Wu) UCLA. Feb 2019
https://arxiv.org/pdf/1802.00121.pdf
14. (BP) Grad-CAM: Visual Explanations from Deep Networks via Gradient-based
Localization (Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna
Vedantam) Virginia Tech, 2Georgia Institute of Technology. Mar 2017
https://arxiv.org/pdf/1610.02391.pdf

15. (cómo funcionan las redes) Explaining Explanations: An Overview of Interpretability of

Machine Learning (Leilani H. Gilpin, David Bau, Ben Z. Yuan, Ayesha Bajwa, Michael Specter
and Lalana Kagal) MIT. Feb 2019
https://arxiv.org/pdf/1806.00069.pdf

16. (estadistico) “Why Should I Trust You?” Explaining the Predictions of Any Classifier
(Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin) University of Washington. Ago 2016
https://arxiv.org/pdf/1602.04938.pdf

17. (cómo funcionan las redes, teoría información) The information bottleneck method
(Naftali Tishby, Fernando C. Pereira, William Bialek) Institute for Computer Science, and
Center for Neural Computation, Hebrew University. Abr 2000
https://arxiv.org/pdf/physics/0004057.pdf

18. (cómo funcionan las redes, teoría información) Opening the black box of Deep Neural
Networks via Information (Ravid Schwartz-Ziv, Naftali Tishby) The Hebrew University of
Jerusalem. Abr 2017
https://arxiv.org/pdf/1703.00810.pdf

19. (cómo funcionan las redes, teoría información) Deep Variational Information
Bottleneck (Alexander A. Alemi, Ian Fischer, Joshua V. Dillon, Kevin Murphy) Google
Research Jul 2017
https://arxiv.org/pdf/1612.00410.pdf

20. (cómo funcionan las redes) Network Dissection: Quantifying Interpretability of Deep
Visual Representations (David Bau, Bolei Zhou, Aditya Khosla, Aude Oliva, Antonio Torralba)
MIT. Abr 2017
https://arxiv.org/pdf/1704.05796.pdf