REDES NEURONALES ARTIFICIALES

TEORA Y APLICACIONES
Dr. Hctor Allende
Departamento de Informtica
Universidad Tcnica Federico Santa Mara
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 2
SOM/KOHONEN Network
Mapas Autoorganizativos
Captulo 3
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 3
Estructura de la Red
SOM (Self-Organization Map o Kohonen Network)
Teuvo Kohonen Rev. Information Science(1984)
Red de aprendizaje no supervisado.
Posee una nica capa, la capa de salida.
Posee un feedback lateral. En general es de forma indirecta
( tipo Sombrero Mejicano).
Consiste en K neuronas.
Puede ser unidimensional (K) o multidimensional ( KxK).
La capa adicional de entrada solo distribuye la entrada en la
capa de salida.
Consiste en N neuronas (dimensin de la entrada).
No hay procesamiento

Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 4
Estructura de la red de Kohonen
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 5
Sombrero mejicano
Las Neuronas cercanas reciben un feedback (+)
Las Neuronas a mediana distancia reciben feedback (-).
Las Neuronas lejanas no son afectadas.
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 6
Estructura de la Red.
Obervaciones:
La distancia entre neuronas es discreta. 0 para la
neurona misma, 1 para las neuronas ms cercanas etc.
La funcin de feedback determina la velocidad de
aprendizaje.
Vecindad Neuronal: Area afectada por el feedback
lateral.
Para grandes vecindades, la distancia puede
considerarse funcin continua.
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 7
El Proceso de aprendizaje
Matriz de pesos:
Vector de entrada:
Entrada es una funcin paramtrizada x = x(t)
Entrada total: a = W x
La neurona k que tiene un peso asociado
tal que:

se declara ganadora.
N i
K j ij
w W
,.., 1
,.., 1
} {
=
=
=
N i i
x X
,.., 1
} {
=
=
|| :) , ( || || :) , ( ||
min
,.., 1
x j W x k W
T
K j
T
=
=
N
k W 9 e :) , (
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 8
Proceso de aprendizaje
Todas las neuronas incluidas en la vecindad neuronal
incluida ella misma participan en el proceso de
aprendizaje. Las otras neuronas no son afectadas.
El proceso de aprendizaje consiste en cambiar el
vector de pesos en la direccin del vector de entrada
(feedback positivo).
Existe tambin un proceso de olvido proceso que
retarda el progreso (feedback negativo)
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 9
Proceso de aprendizaje
Aprendizaje lineal: cambios ocurren en direccion
de la combinacin lineal de X y W(j,:) para cada
neurona:


donde | y son funciones escalares (no lineales).
| : feedback positivo : feedback negativo
A continuacin se considera que la vecindad
neuronal es toda la red.


) , ( ) , ( W x W x
dt
dW
| =
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 10
Tipos de aprendizaje
La ecuacion diferencial Trivial:

t
t
t T
T
T
e W dt e t x t W
W x
dt
dW
j W x
dt
j dW
| |
o
| o
| o | o

(
(

+
|
|
.
|

\
|
=
=
=
> > =
}
0
0
'
0
' ) ' ( 1

) (
: Solucin
. W W(0) : inicial Condicin
1

: matricial forma
0 0, :) , (
:) , (
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 11
Tipos de Aprendizaje
La ecuacin simple:

. W W(0) : inicial Condicin
] ) ( ) ( )[ ( ) 1 (
] ) ( ) ( )[ (
) 1 (
) ( ) 1 (
: discreto en tiempo Aprox.
) ( ) ( 1
: matricial, forma
0 0, :) , ( ) (
:) , (
0
=
+ = +
=
+
+
=
A
A

= =
=
> > =
I I t x t x t W t W
I t x t x t W
t t
t W t W
t
W
dt
dW
I xx W W x t a
dt
dW
Wx a
j W x t a
dt
j dW
T
T
T T
T
j
| o
| o
| o | o
| o | o
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 12
Tipos de Aprendizaje
La Solucin de la ecuacin simple:


La solucin puede ser divergente o convergente
a cero, casos ambos casos son inaceptables.
Para tiempos cortos la solucin se aproxima a
procesos asintticamente estables.
Para t ; o relativamente pequeos y |~0:



[

=
+ =
1
0 '
0
] ) ( ) ( [ ) (
t
t
T
I I t x t x W t W | o
(

+ ~

=
1
0 '
0
) ' ( ) ' ( ) (
t
t
T
t x t x I W t W o
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 13
Tipos de Aprendizaje
La Ecuacin diferencial de Riccati:
W Wx x
dt
dW
j W j W I x
dt
j dW
j W x x j W a
j W a x
dt
j dW
T T
T T
T T
j
j
T
=
=
= =
> > =
) 1

( 1

: matricial notacin En
:)] , ( :) , ( [
:) , (
:) , ( :) , ( como
0 , 0 :) , (
:) , (
| o
| o
| o | o
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 14
Tipos de Aprendizaje
Ecuacin de Riccati:
Proposicin: Considerando un acercamiento
estadstico a la ecuacin de Riccati, si una
existe solucin, la solucin de W es de la
forma:



Todo W(j,:) llega a estar paralelo a <x> y
tendr la norma

cte W x E x
x
x
x
W
T
t
= >= <
>= <
> <
> <
=

} / { donde
0

si
|| ||
1

lim
|
o
| o / || :) , ( || = j W
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 15
Tipos de Aprendizaje
Ecuaciones ms generales:
Teorema: Sea o > 0, a =Wx y (a) una funcin arbitraria tal
que E{(a)|W} existe. Sea x = x(t) un vector con
propiedades estadsticas estacionarias (e independiente de
W). Entonces, si el proceso de aprendizaje es del tipo:




tiene soluciones W acotada para t, entonces debe tener
la forma:
donde <x> es la esperanza de x(t). ie., W(j,:) llega a ser
paralelo a <x>
W a x
dt
dW
j W a x
dt
j dW
T T
j
T
=
= =
] 1

) ( [ 1

: matricial notacin en
K 1,.., j :) , ( ) (
:) , (
o
o
T
t
x W > <

1

lim
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 16
Tipos de Aprendizaje
Teorema: Sea o > 0, a = Wx y (a) una funcin arbitraria tal
que E{(a)|W} existe. Sea <xx
T
>=E{xx
T
|W}. Sea
max
=mx
l

l
el valor propio mximo de < xx
T
> y u
max
el vector propio
asociado. Entonces, si el proceso de aprendizaje es del tipo:





tiene soluciones no triviales W acotada para t, entonces
debe tener la forma:
donde Wu
max
= , W(0) = W
0
; ie, W(j,:) llega a ser paralelo
a u
max


W a ax
dt
dW
j W a x a
dt
j dW
T T
T
j
=
=
] 1

) ( [
: matricial notacin en
:) , ( ) (
:) , (
o
o
T
t
x W > <

1

lim
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 17
Dinmica de la Red
Funcin de ejecucin de la red:
Para cada vector de entrada X ,
la neurona k para la cual


se declara ganadora. El ganador es usado para
decidir que pesos sern cambiados. Todas las
neuronas pertenecientes a la vecindad neuronal
participan en el aprendizaje.

|| :) , ( || || :) , ( ||
min
,.., 1
X j W X k W
T
K j
T
=
=
n T
j W 9 e :) , (
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 18
Dinmica de la Red
Funcin de aprendizaje de la red:
El proceso de aprendizaje es no-supervisado.
El aprendizaje se desarrolla en tiempo discreto.
W=W(t)
En t = 0 los pesos son inicializados con valores
aleatorios pequeos W(0) = W
0
.
Los pesos se actualizan de la siguiente forma:
Para x(t) encontrar la neurona ganadora k.
Actualizar los pesos segn modelo elegido:
) / ( ) 1 ( ) ( dt dW t W t W W = = A
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 19
Dinmica de la Red
Inicializacin y condicin de parada:
Los pesos son inicializados con valores
aleatorios pequeos.
La condicin de parada del proceso de
aprendizaje puede ser:
Elegir un nmero fijo de pasos.
El proceso de aprendizaje contina hasta que la
cantidad de ajuste: Aw
ji
= w
ji
(t+1)-w
ji
(t) sc
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 20
El Algoritmo
Para toda las neuronas en la capa de salida: inicializar los pesos con
valores aleatorios
Si se trabaja con vectores normalizados, Normalizar vectores
Elegir el modelo de aprendizaje ( Ecuacin diferencial)
Elegir un modelo de vecino neuronal ( fu. de feedback lateral).
Elegir condicin de parada.
Construir a partir de la ED, la frmula de adaptacin de los pesos.
Considerando tiempo discreto, repetir los pasos anteriores hasta que la
condicin de parada se cumpla:
Tomar la entrada x(t)
Para todas las neuronas j en la capa de salida, encontrar la ganadora.
Conociendo la ganadora, actualizar los pesos.

) 1 , 0 (
2
U
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 21
Frmula de adaptacin de pesos
La ecuacion diferencial Trivial:

{
] ) ( exp[ h j) h(k,
,. 0 ; , , j) h(k,
j) h(k, lateral feedback de fu la Dada
1

2
j k
etoc N j para o
W x
dt
dW
c
T
=
s e =
=
+

| o
Para t, W(j,:) es un promedio exponencialmente ponderado de X.
Profesor: Dr. Hctor Allende Redes Neuronales Artificiales 22
Frmula de adaptacin de pesos
La ecuacin Trivial:

. W W(0) : inicial Condicin
] ) ( 1

[ ] 1

) ( )[ ( ) ( ) 1 (
)) ( exp( ) (
exp ) , (
0
0
=
+ = +
=

W t x normx h t t W t W
t f t
j k h
T T
| o t
t t