REDES NEURONALES Presentado por: DAIRO OSORIO QUIROGA ROLAND MARQUEZ

TRABAJO DE INTELIGENCIA ARTIFICIAL

DAIRO OSORIO QUIROGA ROLAND MARQUEZ

COD: 279559 COD: 269390

UNIVERSIDAD COOPERATIVA DE COLOMBIA INTELIGENCIA ARTIFICIAL

IBAGUE 2013

CONTENIDO

Desarrollo de la I.A. en imitar el aprendizaje animal a nivel neuronal

Pg. 5

Concepto y estructura Redes neuronales de alimentacin positiva Perceptrones Redes de interpolacin y de aproximacin Redes de interpolacin Redes de aproximacin

Pg. 6 Pg. 6 Pg. 11 Pg. 13 Pg. 13 Pg. 14

Ejemplos

Pg. 16

Bibliografa

Pg. 17

1. Desarrollo de la I.A. en imitar el aprendizaje animal a nivel neuronal R/. Conocida como redes neuronales biolgicas, Las neuronas se modelan mediante unidades de proceso, caracterizadas por una funcin de activacin que convierte la entrada total recibida de otras unidades en un valor de salida, el cual hace la funcin de la tasa de disparo de la neurona. Las conexiones sinpticas se simulan mediante conexiones ponderadas; la fuerza o peso de la conexin cumple el papel de la efectividad de la sinapsis. Las conexiones determinan si es posible que una unidad influya sobre otra, los pesos definen la intensidad de la influencia. Una unidad de proceso recibe varias entradas procedentes de las salidas de otras unidades de proceso. La entrada total de una unidad de proceso se suele calcular como la suma de todas las entradas ponderadas, es decir, multiplicadas por el peso de la conexin. El efecto inhibitorio o excitatorio de las sinapsis se logra usando pesos negativos o positivos respectivamente. Redes Neuronales Biolgicas Neuronas Conexiones sinpticas Efectividad de las sinapsis Efecto excitatorio o inhibitorio Estimulacin total Activacin -> tasa de disparo Redes Neuronales Artificiales Unidades de proceso Conexiones ponderadas Peso de las conexiones Signo del peso de una conexin Entrada total ponderada Funcin de activacin -> Salida

La unidad de proceso la podemos apreciar en:

(Estimulacin total recibida = sumatorio de las entradas ponderadas) (Salida = Activacin = funcin de la estimulacin total recibida)

2. Concepto, estructura y ejemplo de: a. Redes neuronales de alimentacin positiva b. Perceptrones c. Redes de interpolacin y de aproximacin

R/. REDES NEURONALES DE ALIMENTACIN POSITIVA: Una red neuronal de alimentacin positiva, es el tipo ms comn de red neuronal artificial y se construye a partir de varias capas de elementos de procesamiento que simulan las neuronas. Los elementos en la primera capa se alimentan con datos, cada elemento suma todas sus entradas, as mismo, cada elemento en una capa transfiere los datos a todos los elementos de la siguiente capa, pero, as mismo, cada elemento de esa capa recibe una seal distinta a causa de los diferentes factores de ponderacin o procesos de conexin de los elementos. La ltima capa es la de salida, dentro de la cual cada elemento se compara con la salida deseada, de esta manera, la del proceso que es simulado. La diferencia entre la salida deseada y la calculada (El error) se retroalimenta a la red, cambiando los pesos de las conexiones en una forma que reduce ese error. Despus de repetir varias veces ese procedimiento, la red se ha Adiestrado y ya se puede usar con datos de entrada que no se haban presentado antes a ese sistema. Una neurona consta de, cuerpo, dendritas y un Axn, as mismo, una neurona es un dispositivo de todo o nada. La neurona no hace nada a menos que la influencia colectiva de todas sus entradas (sinapsis) alcance un nivel de umbral. En ese caso la neurona se dispara, es decir, produce una salida de potencia completa, que se manifiesta como un pulso estrecho que se desplaza del cuerpo por el axn, hasta las ramas de este. Teniendo en cuenta esto, podemos decir que una neurona es:

Los pesos wi modelan las propiedades de las sinapsis; la sumatoria de la funcin de activacin modela la capacidad de combinar la influencia de todas las dendritas; la funcin de umbral que da como resultado 1 o 0 modela la caracterstica de todo o nada de los mecanismos del cuerpo de la clula. En la figura que se mostrara a continuacin, podemos ver que la primera columna de la red es la que recibe la alimentacin inicial. Cada neurona de una columna produce una salida que alimenta a las neuronas de la siguiente columna. Finalmente la ltima capa de neuronas es la nica que produce una salida visible, y por esto el resto de las neuronas se denominan nodos ocultos.

Se puede decir que la tarea ms difcil es la asignacin de pesos wi y los umbrales para que la red se comporte como se desea. Las redes neuronales se entrenan con una serie de muestras de entrenamiento de manera que realizan el aprendizaje automtico de los pesos y umbrales. En cada paso se realizan pequeos ajustes a los valores de pesos y umbrales para acercarlos a los valores que proporcionarn el comportamiento deseado de la red. El entrenamiento finaliza cuando la salida obtenida sea la deseada. La medida de calidad estar dada en funcin de los pesos y umbrales, y por lo tanto puede considerarse una funcin en el campo vectorial de los pesos y umbrales. En particular puede usarse la siguiente medida de calidad P:

Donde

S: ndice para las muestras de entrenamiento Z: ndice para las salidas = , es el error entre la salida z-sima deseada y la salida z-sima obtenida para la muestra s-sima. El objetivo del algoritmo de entrenamiento es obtener en cada paso, los cambios de los valores de pesos y umbrales que proporcionen la mxima mejora de la medida de calidad. Esto es lo que se denomina ascenso del gradiente (el gradiente de una funcin indica la direccin en la que se encuentra la mxima variante de la funcin). Antes de seguir con el algoritmo de entrenamiento, cuestiones:

se consideran dos

Es conveniente tratar a pesos y umbrales de manera similar, por esto se unifica dicho tratamiento. En lugar de considerar una funcin de activacin 1 si F > umbral 0 si F <= umbral Se considera una nueva F

1 si F=F umbral > 0 0 si F=F umbral <= 0 De esta manera, el umbral es tratado como un peso de una entrada extra que siempre est en 1. Las ecuaciones son las siguientes:

Algoritmo de retro propagacin 1.- Tomar parmetro de rapidez r 2.- Inicializar los pesos 3.- Hasta que la medida de calidad P sea satisfactoria,
o

Por cada muestra de entrada: a.- Calcular la salida resultante b.- Para los nodos de la capa de salida, calcular ecuacin 9.a c.- Para los dems nodos ocultos, calcular ecuacin 9.b d.- Calcular los cambios en los pesos con la ecuacin 10 e.- Acumular los cambios de los pesos

Cambiar los pesos con los cambios acumulados para todas las muestras Los cambios en los pesos son proporcionales a los errores de salida, y las salidas tendern a 1 y 0, en consecuencia la medida de calidad normalmente se considera satisfactoria cuando, todas las salidas cuyo valor deseado es: - 1, muestran valores > 0.9 - 0, muestran valores < 0.1

Algunas caractersticas son:

El entrenamiento puede requerir un nmero de pasos grande.

Los pesos iniciales pueden ser puestos al azar, o siguiendo algn patrn regular con la condicin de que sean diferentes entre s. Si el parmetro de rapidez r es muy alto, los pesos se ajustan ms rpido pero puede producirse inestabilidad en la red El entrenamiento de una red con muchas salidas puede hacerse: en etapas: primero se entrena para una salida, luego se agrega otra y se entrena comenzando con los pesos ya entrenados para la primera, a continuacin se entrena agregando una tercera salida, etc. simultneamente: la red se entrena para todas las salidas a la vez. Las redes neuronales se vuelven errticas y poco confiables si tienen muchos pesos, situacin denominada sobre entrenamiento. La siguiente heurstica se usa para evitarlo: nmero de pesos < nmero de muestras de entrenamiento Una red neuronal entrenada puede usarse para predecir la salida de un elemento de entrada para el cual no fue entrenada. El diseo de redes neuronales es ms considerado arte que exactitud. Se pueden enumerar diferentes consideraciones a la hora de disear una red neuronal:

Representar la informacin y el problema a resolver mediante una red neuronal. Es decir, expresar los datos conocidos como entradas de la red, e interpretar las salidas de la red para determinar la solucin del problema. Nmero nodos, capas ocultas, entradas, salidas, pesos, debe tener la red neuronal: si es muy pequea tal vez no aprenda, pero si es muy grande es lenta de entrenar y se puede producir sobreentrenamiento. Parmetro de rapidez r: si muy es pequeo el entrenamiento es muy lento, pero si es muy grande se puede producir inestabilidad. Entrenamiento en etapas o simultneo. Muestras de entrenamiento.

10

PERCEPTRONES:

El Perceptrn es un tipo de red neuronal artificial desarrollado por Frank Rosenblatt, tambin puede entenderse como perceptrn la neurona artificial y unidad bsica de inferencia en forma de discriminador lineal, que constituye este modelo de red neuronal artificial, esto debido a que el perceptrn puede usarse como neurona dentro de un perceptrn ms grande u otro tipo de red neuronal artificial. Son un ejemplo de redes de alimentacin progresiva. Es una red neuronal de dos capas, una de entrada y otra de salida. Definamos que entendemos por capa de entrada y por capa de salida: Hay otro tipo de capas, en las redes neuronales, llamadas capas intermedias u ocultas: Representar funciones booleanas como el AND, el OR o la negacin es sencillo, por ejemplo para representar el AND:

Capa de Salida: un nodo de procesamiento se encuentra en la capa de salida de una red neuronal (N, U) si es la salida de un nodo de U y no es la entrada de ningn nodo de U. Capa de entrada: un nodo de procesamiento se encuentra en la capa de entrada de una red neuronal (N, U) si es la entrada de un elemento de U y no es la salida de ningn nodo de U. Hay otro tipo de capas, en las redes neuronales, llamadas capas intermedias u ocultas:

Capa Intermedia: un nodo de procesamiento se encuentra en la capa intermedia de una red neuronal (N, U) si es la entrada de al menos un elemento de U y adems es la salida de algn elemento de U. Representar funciones booleanas como el AND, el OR o la negacin es sencillo, por ejemplo para representar el AND:

11

Representacin del AND por un perceptrn La ecuacin , donde f es la funcin de activacin, W j los pesos correspondientes a las entradas y xj las entradas, es la que determina si el perceptrn se activa o no. Sin prdida de generalidad, se puede suponer el umbral integrado como una entrada ms y el uso de alguna de las funciones de activacin vistas. La sumatoria es ni ms ni menos que el producto escalar entre dos vectores W = <W 1..W n> y X= <x1xn>, es decir es igual a: W X. Es trivial deducir que el perceptrn se activar cuando: W X > 0 y no se activar si: Si el espacio de entrada tiene n elementos decimos que es ndimensional (hiperespacio). La ecuacin W X = 0 define un plano ndimensional (denominado hiperplano) que divide el hiperespacio en dos, el perceptrn podr reconocer tipos de tramas que puedan ubicarse a un lado y a otro del mismo.

12

REDES DE INTERPOLACIN Y DE APROXIMACIN: REDES DE INTERPOLACION:

Tiene dos capas de neuronas Cada neurona de la primera capa responde a una entrada de muestra m en particular. Calcula la funcin Gaussiana de la distancia entre el vector de entrada actual x y el vector muestra asociada a la neurona m: g( | x - m | )

Cada neurona de la segunda capa realiza la suma ponderada de sus entradas:

Los pesos entre las dos capas se ajustan de manera que cada salida de neurona de la segunda capa sea exactamente la salida deseada de cada entrada muestra m.

El entrenamiento de la red de interpolacin es casi directo: 1- Por cada muestra m se crea un nodo centrado en la muestra.

13

2- Por cada entrada de muestra x se crea una ecuacin de la forma siguiente: - Calcular la distancia entre la muestra x y los centros mi, |x - mi| - Calcular la funcin gaussiana de cada distancia g(|x - mi|) - Multiplicar cada funcin por el correspondiente peso wi, g(|x - mi|) wi - Igualar la salida de la muestra x con la suma de las funciones gaussianas ponderadas de la distancia. 3- Resolver las ecuaciones para los pesos wi

REDES DE APROXIMACION

Si el nmero de muestras es muy grande, el nmero de nodos puede volverse irracionalmente grande. El planteamiento natural es tratar de aproximar la funcin desconocida con un nmero razonable de nodos representativos. Si se tienen menos nodos que muestras, ninguna seleccin de pesos puede asegurar que la red produzca la salida correcta para todas. Las redes de aproximacin construyen aproximaciones razonables para un conjunto de muestras, considerando slo un subconjunto pequeo de las mismas.

Donde s: ndice para las muestras de entrenamiento Z: ndice para las salidas = obtenida y la salida z-sima deseada , es el error entre la salida z-sima para la muestra s-sima.

Los cambios de un peso wi se hacen proporcionalmente a la derivada parcial de la medida de calidad P con respecto al peso wi. Finalmente se llega a la siguiente frmula para calcular los cambios de peso:

Para mejorar an ms la calidad de la red sobre los datos de muestra, se pueden ajustar no slo los pesos sino tambin los puntos centrales o muestras con las que se crea la red de interpolacin inicial.

14

Los cambios de una muestra o centro mi se hacen proporcionalmente a la derivada parcial de la medida de calidad P con respecto a la muestra mi. Finalmente se llega a la siguiente frmula para ajustar la componente j de la isima muestra:

Para crear y entrenar una red de aproximacin se realiza lo siguiente:

1.- Crear una red de interpolacin mediante un subconjunto de muestras o centros. 2.- Tomar parmetro de rapidez r 3.- Hasta que la medida de calidad P sea satisfactoria, por cada muestra de entrada del conjunto total:

A.- Calcular la salida resultante b.- Calcular los cambios en los pesos con la ecuacin 11 c.- Acumular los cambios de los pesos d.- Calcular los cambios en los centros o muestras con la ecuacin 12 e.- Acumular los cambios de los centros o muestras
o

Cambiar los pesos y centros con los cambios acumulados

15

EJEMPLOS

En las redes de aproximacin o interpolacin, podemos encontrar diversas aplicaciones, una de las ms conocidas es la del reconocimiento de voz, en donde, los datos de entrenamiento consisten de pares de patrones de entrada y salida.

En los Perceptrones, podemos tomar como ejemplo aquellos circuitos en los cuales encontramos displays de 7 entradas, para de esta manera identificar que numero se puede mostrar, o se est mostrando en un momento determinado.

En las redes neuronales artificiales de alimentacin positiva, y generalizando las redes neuronales, podemos encontrar una aplicacin muy importante como lo es la reduccin de ruido en los telfonos, reconocimiento de voz y el control de procesos. Por ejemplo, se pueden usar para predecir el acabado superficial de una pieza obtenida con fresado lateral (se maquina el lado de una pieza de trabajo), con base en parmetros de entrada como fuerza de corte, par de torsin, emisin acstica. Como podemos concluir, las redes neuronales artificiales, en la actualidad, se han consolidado como una herramienta de trabajo indispensable para miles de procesos que se ejecutan a diario en cualquier cantidad de empresas, siendo desde telefona, hasta incluso aplicaciones mecnicas, pero, unas de sus ms conocidas y ms importantes aplicaciones, reconocimiento de voz y prediccin.

16

BIBLIOGRAFIA

OOCITIES. Redes Neuronales Artificiales. [En Linea]. A living memorial on early Web culture and an effort to maintain an amazingly extensive collection of information. Disponible en internet. <http://www.oocities.org/motorcity/shop/3186/redes_neuronales.htm>

SLIDESHARE. Redes Neuronales Artificiales. [En Lnea]. Present Yourself. Disponible en internet. <http://www.slideshare.net/goritmo/redes-neuronalesartificiales>

SMARTCOMPUTING. Arquitectura de las Redes Neuronales. [En Lnea]. Inteligencia Artificial Explicada. Disponible en internet. <http://www.smartcomputing.com.ar/arquitecturas-.aspx>

INTELIGENCIA ARTIFICIAL. Redes Neuronales. [En Lnea]. Inteligencia Artificial. Disponible en internet. <http://inteligenciaartificialudb.blogspot.com/2008/01/redesneuronales.html> Departament de Cincies Matemtiques i Informtica. Introduccin a la Inteligencia Artificial. [En Lnea]. Universitat de les Illes Balears. Disponible en internet. <http://dmi.uib.es/~abasolo/intart/3-aprendizaje.html#3.9.3.> WIKIPEDIA. Perceptrn. [En Lnea]. Wikipedia la enciclopedia libre. Disponible en internet. <http://es.wikipedia.org/wiki/Perceptr%C3%B3n>

17

KALPAKJIAN, SEROPE; R. SCHMID, STEVEN. Cuarta Edicin. Manufactura, Ingeniera y Tecnologa. Editorial Prentice Hall

18