Clasificación de datos plana con una capa oculta

Bienvenido al segundo ejercicio de programación de la especialización de aprendizaje profundo. En este cuaderno, generará puntos rojos y azules
para formar una flor. Luego se ajustará a una red neuronal para clasificar correctamente los puntos. Intentarás diferentes capas y verás los
resultados.

Al completar esta tarea, usted:

- Desarrollar una intuición de back-propagation y ver que funcione en los datos.

- Reconoce que cuanto más capas ocultas tienes, más compleja es la estructura que puedes capturar.

- Construye todas las funciones de ayuda para implementar un modelo completo con una capa oculta.

Esta tarea te prepara bien para la próxima tarea. Tómese su tiempo para completarlo y asegúrese de obtener los resultados esperados al trabajar
con los diferentes ejercicios. En algunos bloques de código, encontrará el comentario "#GRADED FUNCTION: functionName". Por favor no lo
modifique. Después de que haya terminado, envíe su trabajo y verifique sus resultados. Debes obtener un 70% para aprobar. Buena suerte :) !

Entrevista de Ian Goodfellow

Hola, Ian. Muchas gracias por acompañarnos hoy. Gracias por invitarme, Andrés. Estoy contento de estar aquí. Hoy, eres uno de los
investigadores de aprendizaje profundo más visibles del mundo. Permítanos compartir un poco acerca de su historia personal. Entonces, ¿cómo
terminas haciendo este trabajo que ahora haces? Sí. Eso suena genial. Supongo que primero me interesé por el aprendizaje automático justo antes
de conocerte, en realidad. Había estado trabajando en neurociencia y mi consejero de pregrado, Jerry Cain, en Stanford, me animó a llevar tu
introducción a la clase de IA. Oh, yo no sabía eso. Bueno. Así que siempre pensé que AI era una buena idea, pero que en la práctica, el principal,
creo, la idea que estaba sucediendo era como juego AI, donde la gente tiene muchas reglas codificadas para personajes no jugadores en los
juegos para decir diferentes líneas escritas en diferentes puntos en el tiempo. Y luego, cuando tomé tu introducción a la clase de inteligencia
artificial y cubriste temas como regresión lineal y la descomposición de la varianza del error de regresión lineal, Empecé a darme cuenta de que
esta es una ciencia real y que en realidad podría tener una carrera científica en AI en lugar de neurociencia. Ya veo. Estupendo. ¿Y entonces qué
pasó? Bueno, volví y me gustaría TA a su curso más tarde. Oh ya veo. Derecha. Como un TA. Entonces, un punto de inflexión realmente grande
para mí fue cuando estaba TA-ing ese curso, uno de los estudiantes, mi amigo Ethan Dreifuss, se interesó en el profundo papel de la red de
creencias de Geoff Hinton. Ya veo. Y los dos terminamos construyendo una de las primeras máquinas basadas en GPU CUDA en Stanford para
operar máquinas Watson en nuestro tiempo libre durante las vacaciones de invierno. Ya veo. Y en ese punto, comencé a tener una intuición muy
fuerte de que el aprendizaje profundo era el camino a seguir en el futuro, que muchos de los otros algoritmos con los que estaba trabajando,
como máquinas de vectores de soporte, no parecía tener las asintóticas correctas, que agrega más datos de entrenamiento y se vuelven más
lentos, o por la misma cantidad de datos de entrenamiento, es difícil hacer que funcionen mucho mejor al cambiar otras configuraciones. En ese
punto, comencé a enfocarme en el aprendizaje profundo tanto como sea posible. Y recuerdo el viejo papel GPU de Richard Reyna lo reconoce
por haber hecho mucho trabajo temprano. Sí. Sí. Eso fue escrito usando algunas de las máquinas que construimos. Sí. La primera máquina que
construí fue algo que Ethan y yo construimos en La casa de la mamá de Ethan con nuestro propio dinero, y luego, usamos dinero de laboratorio
para construir los primeros dos o tres para el laboratorio de Stanford. Wow eso es genial. Nunca supe esa historia Eso es genial. Y luego, hoy,
uno de las cosas que realmente se toman el mundo del aprendizaje profundo por tormenta es su invención de GAN. Entonces, ¿cómo se te
ocurrió eso? He estado estudiando modelos generativos durante mucho tiempo, entonces los GAN son una forma de hacer modelado generativo
donde tienes una gran cantidad de datos de entrenamiento y te gustaría para aprender a producir más ejemplos que se parezcan a los datos
comerciales, pero son imaginarios. Nunca antes se habían visto exactamente en esa forma. Había muchas otras maneras de hacer modelos
generativos que habían sido popular durante varios años antes de que tuviera la idea de GAN. Y después de haber estado trabajando en todos
esos otros métodos durante la mayor parte de mi doctorado, Sabía mucho sobre las ventajas y desventajas de todos los otros marcos como
Máquinas Boltzmann y escasa codificación y todos los otros enfoques que han sido realmente populares durante años. Estaba buscando algo que
evite todas estas desventajas al mismo tiempo. Y finalmente, cuando discutía sobre modelos generativos con mis amigos en un bar, algo hizo clic
en su lugar, y comencé a decirles, tienes que hacer, esto, esto y esto y te juro que funcionará. Y mis amigos no me creyeron que funcionaría. Se
suponía que debía escribir el libro de texto de aprendizaje profundo en ese momento, Ya veo. Pero creía lo suficiente que funcionaría que se fue
a casa y lo codificó la misma noche y funcionó. Entonces, ¿te lleva una noche implementar la primera versión de GAN? Lo implementé
alrededor de la medianoche después de ir a casa desde el bar donde mi amigo tenía su fiesta de despedida. Ya veo. Y la primera versión funcionó
que es muy, muy afortunado. No tuve que buscar hiperparámetros ni nada. Había una historia, la leí en alguna parte, donde tuvo una experiencia
cercana a la muerte y eso reafirmó su compromiso con la IA. Dime ese. Así que sí. En realidad, no estaba cerca de la muerte pero brevemente
pensé que lo era. Tuve un dolor de cabeza muy fuerte y algunos de los doctores pensaron que podría tener una hemorragia cerebral. Y durante el
tiempo que estaba esperando mis resultados de MRI para descubrir si tuve una hemorragia cerebral o no, Me di cuenta de que la mayoría de los
pensamientos que tenía eran sobre hacer Seguro que otras personas eventualmente probar las ideas de investigación que tenía en ese momento.
Ya veo. Ya veo. En retrospectiva, todas son ideas de investigación bastante tontas. Ya veo. Pero en ese punto, Me di cuenta de que esta era en
realidad una de mis prioridades más importantes en la vida, estaba llevando a cabo mi trabajo de investigación de aprendizaje automático. Ya
veo. Sí. Eso es genial, que cuando creías que te estarías muriendo pronto, solo estás pensando en cómo hacer la investigación. Sí. Sí. Ese es el
compromiso. Sí. Sí. Sí. Así que hoy, todavía estás en el centro de muchas de las actividades con GAN, con redes generativas de adversarios
Entonces dime cómo ves el futuro de los GAN. En este momento, los GAN se utilizan para muchas cosas diferentes, como el aprendizaje semi-
supervisado, generando datos de entrenamiento para otros modelos e incluso simulando experimentos científicos. En principio, todas estas cosas
podrían ser hechas por otros tipos de modelos generativos. Entonces, creo que los GAN están en una encrucijada importante en este momento.
En este momento, funcionan bien algunas veces, pero puede ser más un arte que una ciencia para realmente sacar ese rendimiento de ellos. Es
más o menos lo que las personas pensaban sobre el aprendizaje profundo en general hace 10 años. Y en ese entonces, estábamos usando redes de
creencias profundas con máquinas Boltzmann como bloques de construcción, y fueron muy, muy meticulosos. Con el tiempo, cambiamos a
cosas como unidades lineales rectificadas y normalización de lotes, y el aprendizaje profundo se volvió mucho más confiable. Si podemos hacer
que los GANs se vuelvan tan confiables como se ha convertido el aprendizaje profundo, entonces creo que seguiremos viendo GANs utilizados
en todos los lugares donde se utilizan hoy con mucho mayor éxito. Si no somos capaces de descubrir cómo estabilizar las GAN, entonces creo
que su principal contribución a la historia del aprendizaje profundo es que habrán mostrado a las personas cómo hacer todas estas tareas que
implican modelos generativos, y eventualmente, los reemplazaremos con otras formas de modelos generativos. Así que gasto aproximadamente
el 40 por ciento de mi tiempo trabajando ahora en la estabilización de GAN. Ya veo. Guay. Bueno. Ah, y así como mucha gente que se unió al
aprendizaje profundo hace unos 10 años, como usted mismo, terminaron siendo pioneros, tal vez las personas que se unen a GAN hoy, si
funciona, podrían terminar siendo los primeros pioneros. Sí. Mucha gente ya es pionera de los GAN, y creo que si quisieras dar cualquier tipo de
historial de GAN hasta ahora, realmente necesitarías mencionar otros grupos como Indico y Facebook y Berkeley por todas las cosas diferentes
que han hecho. Entonces, además de toda su investigación, también fue coautor de un libro sobre aprendizaje profundo. ¿Como va eso? Así es,
con Yoshua Bengio y Aaron Courville, quienes son mi Ph.D. co-asesores. Escribimos el primer libro de texto sobre la versión moderna de
aprendizaje profundo, y eso ha sido muy popular, tanto en la edición en inglés como en la edición china. Hemos vendido, creo que hay alrededor
de 70,000 copias entre esos dos idiomas. Y recibí muchos comentarios de estudiantes que dijeron haber aprendido mucho de eso. Una cosa que
hicimos un poco diferente a otros libros es que comenzamos con una introducción muy enfocada al tipo de matemáticas que necesitas hacer en el
aprendizaje profundo. Creo que una cosa que obtuve de tus cursos en Stanford es que el álgebra lineal y la probabilidad son muy importantes,
que la gente se entusiasma con los algoritmos de aprendizaje automático, pero si quieres ser un practicante realmente excelente, para comenzar,
debes dominar las matemáticas básicas que subyacen a todo el enfoque. Así que nos aseguramos de dar una presentación muy enfocada de los
conceptos básicos de matemáticas al comienzo del libro. De esta forma, no necesitas seguir adelante y aprender todo ese álgebra lineal, que
puedes obtener un curso acelerado muy rápido en las piezas de álgebra lineal que son los más útiles para el aprendizaje profundo. Entonces,
incluso alguien cuyas matemáticas son un poco inestables o no ha visto las matemáticas para algunos años podrán comenzar desde el comienzo
de su libro y obtener ese fondo y entrar en el aprendizaje profundo? Todos los hechos que necesitarías saber están ahí. Definitivamente tomaría
algún esfuerzo enfocado para practicar haciendo uso de ellos. Sí. Sí. Estupendo. Si alguien tiene realmente miedo de las matemáticas, puede ser
una experiencia un poco dolorosa Pero si estás listo para la experiencia de aprendizaje y crees que puedes dominarlo, Creo que todas las
herramientas que necesitas están ahí. Como alguien que trabajó en aprendizaje profundo durante mucho tiempo, Sería curioso, si miran hacia
atrás a lo largo de los años. Cuéntame un poco sobre cómo estás pensando de AI y el aprendizaje profundo ha evolucionado a lo largo de los
años. Hace diez años, sentí que, como comunidad, el mayor desafío en el aprendizaje automático era cómo para que funcione en tareas
relacionadas con la inteligencia artificial. Teníamos herramientas realmente buenas que podíamos usar para tareas más simples, donde queríamos
reconocer patrones en cómo extraer características, donde un diseñador humano podría hacer mucho el trabajo al crear esas características y
luego pasarlo a la computadora. Ahora, eso fue realmente bueno para cosas diferentes como predecir en qué anuncios haría clic un usuario en o
diferentes tipos de análisis científico básico. Pero realmente tuvimos problemas para hacer cualquier cosa que implique millones de píxeles en
una imagen o una forma de onda de audio en bruto donde el sistema tuvo que construir todo su entendimiento desde cero. Finalmente superamos
el obstáculo realmente a fondo tal vez hace cinco años. Y ahora, estamos en un punto donde hay se abren tantos caminos diferentes que alguien
que quiere involucrarse en la IA, tal vez el problema más difícil que enfrentan es elegir qué camino quieren bajar. ¿Desea que el trabajo de
refuerzo de aprendizaje, así como el trabajo de aprendizaje supervisado? ¿Desea que el aprendizaje no supervisado funcione, así como el trabajo
de aprendizaje supervisado? ¿Desea asegurarse de que los algoritmos de aprendizaje automático sean justos? y no reflejan los prejuicios que
preferiríamos evitar? ¿Desea asegurarse de que los problemas sociales que rodean a la IA funcionen bien, que podemos asegurarnos de que la IA
beneficie a todos en lugar de causar agitación social y problemas con la pérdida de puestos de trabajo? Creo que ahora mismo simplemente hay
una increíble cantidad de cosas diferentes que se pueden hacer, tanto para evitar desventajas de la IA, sino también para asegurarse que
aprovechamos todos los aspectos positivos que nos ofrece. Y entonces, hoy en día, hay muchas personas que desean ingresar a la IA. Entonces,
¿qué consejo tendrías para alguien así? Creo que mucha gente que quiere ingresar a AI comienza a pensar que absolutamente necesitan obtener
un Ph.D. o algún otro tipo de credencial como esa. No creo que eso ya sea un requisito. Una forma de llamar la atención es escribir un buen
código y ponerlo en GitHub. Si tienes un proyecto interesante que resuelve un problema que alguien que trabaja en el nivel superior quería
resolver, una vez que encuentren su repositorio de GitHub, irán a buscarte y te pedirán que vengas a trabajar allí. Mucha de la gente que he
contratado o reclutado en OpenAI el año pasado o en Google este año, Primero me interesé en trabajar con ellos debido a algo que vi que
lanzaron en un foro de código abierto en Internet. Escribir documentos y ponerlos en Archive también puede ser bueno. Mucho del tiempo, es
más difícil llegar al punto en el que tienes algo lo suficientemente pulido como para ser realmente una nueva contribución académica a la
literatura científica, pero a menudo puede llegar al punto de tener un producto de software útil mucho antes. Así que lee tu libro, practica los
materiales y publica en GitHub y tal vez en Archivo. Creo que si aprendiste leyendo el libro, es realmente importante trabajar también en un
proyecto al mismo tiempo, para elegir alguna forma de aplicando el aprendizaje automático a un área que ya le interesa. Como si fuera un
biólogo de campo y desea profundizar en el aprendizaje, tal vez podrías usarlo para identificar pájaros, o si no tiene una idea de cómo le gustaría
usar el aprendizaje automático en su propia vida, podrías elegir algo así como hacer un clasificador de números de casa de Street View, donde
todos los conjuntos de datos están configurados para que sea muy sencillo para usted. Y de esa manera, puedes ejercitar todos las habilidades
básicas mientras lees el libro o mientras ves videos de Coursera que te explican los conceptos. Entonces en los últimos años, También te he visto
hacer un trabajo más sobre ejemplos adversarios. Cuéntanos un poco sobre eso. Sí. Creo que los ejemplos contradictorios son el comienzo de un
nuevo campo que llamo seguridad de aprendizaje automático. En el pasado, hemos visto problemas de seguridad informática donde los atacantes
podrían engañar a una computadora para que ejecute el código incorrecto. Eso se llama seguridad a nivel de aplicación. Y ha habido ataques
donde la gente puede engañar a una computadora para que crea que los mensajes en una red provienen de alguien que no es realmente quien dice
ser. Eso se llama seguridad a nivel de red. Ahora, estamos comenzando a ver que también puedes engañar algoritmos de aprendizaje automático
para hacer cosas que no deberían, incluso si el programa que ejecuta el algoritmo de aprendizaje automático está ejecutando el código correcto,
incluso si el programa se ejecuta el algoritmo de aprendizaje automático sabe De quién provienen todos los mensajes en la red. Y creo que es
importante construir seguridad en una nueva tecnología cerca del inicio de su desarrollo. Descubrimos que es muy difícil construir un sistema
que funcione primero y luego agregar seguridad más adelante. Así que estoy muy entusiasmado con la idea de que si nos sumergimos y
comenzamos a anticipar problemas de seguridad con el aprendizaje automático ahora, podemos asegurarnos de que estos algoritmos sean
seguros desde el inicio en vez de intentar parchearlo retroactivamente años después. Gracias. Eso fue genial. Hay mucho acerca de tu historia
que pensé que era fascinante y que, a pesar de conocerte desde hace años, Realmente no lo sabía, así que gracias por compartir todo eso. Oh,
muy bienvenido. Gracias por invitarme. Fue un gran tiro. Bueno. Gracias. Muy bienvenido.