Documente Academic
Documente Profesional
Documente Cultură
DESCRIPCION
El presente trabajo es una pequea introduccin a las redes neuronales, en base a los videos subidos al canal de
Javier Garcia. Dichos videos se pueden ver en el siguiente enlace:Redes neuronales: Facil desde cero.
1.
1
2
ez
1
ez
z
1+e
1 + ez
(ez + 1) 1
1
1 + ez
1 + ez
1
1
f 0 (z) = 1
1 + ez
1 + ez
f 0 (z) =
= (1 f (z)) f (z)
u1
z
u1
u1
y
f (z) z
z
=
= (1 f (z)) f (z)
w1
z
w1
w1
Deiner Zapata S.
RED MULTICAPA
y
f (z) z
z
=
= (1 f (z)) f (z)
w2
z
w2
w2
y
f (z) z
z
=
= (1 f (z)) f (z)
w3
z
w3
w3
Donde:
y = f (z) y
Por lo tanto:
z = u1 + x1 w1 + x2 w2 + x3 w3
z
z
z
z
=1,
= x1 ,
= x2 ,
= x3
u1
w1
w2
w3
Reemplazando:
y
= (1 y) y
u1
2.
y
= (1 y) y x1
w1
y
= (1 y) y x2
w2
y
= (1 y) y x3
w3
RED MULTICAPA
2.1.
a1
(3)
u1
(3)
(3)
= a1 1 a1
(3)
a1
(2)
w11
(3)
(2)
(3)
= a1 1 a1 a1
(3)
a1
(2)
w21
(3)
(2)
(3)
= a1 1 a1 a2
Las expresiones subrayadas en la primera ecuacin, son funciones dadas por las siguientes ecuaciones:
(2)
(2)
(1)
(1)
(2)
(2)
(1)
(1)
a1 = f u1 + w11 a1
a2 = f u2 + w12 a1
Cuyas derivadas parciales son:
Deiner Zapata S.
2.1
(2)
a1
(1)
u1
(2)
(2)
= a1 1 a1
(2)
a1
(1)
w11
(2)
(2)
(1)
= a1 1 a1 a1
(2)
a2
(1)
u2
(2)
(2)
= a2 1 a2
RED MULTICAPA
(2)
a2
(1)
w12
(2)
(2)
(1)
= a2 1 a2 a1
n
o
(3)
(2)
(1)
(2)
(1)
Las derivadas parciales de la salida y = a1 con respecto a los pesos u1 , w11 , u2 , w12 son:
(3)
(3)
(2)
(3)
h
i h
i h
i
f
z
1
z1
a1
a1
(3)
(3)
(2)
(2)
(2)
=
=
a
a
1
1
1
11
1
1
(2)
(3)
(2)
(2)
u1
z1
a1
u1
(3)
(3)
(2)
(3)
h
i h
i h
i
f
z
1
z1
a1
a1
(3)
(3)
(2)
(2)
(2)
(1)
=
=
a
a
1
1
11
1
1
1
(1)
(3)
(2)
(1)
w11
z1
a1
w11
(3)
(3)
(2)
(3)
h
i h
i h
i
f z1
z1
a2
a1
(3)
(3)
(2)
(2)
(2)
=
=
a
a
1
1
1
21
2
2
(2)
(3)
(2)
(2)
u2
z1
a2
u2
(3)
(3)
(3)
(2)
h
i h
i h
i
f
z
1
a1
z1
a2
(3)
(3)
(2)
(2)
(2)
(1)
=
=
a
a
1
1
21
2
2
1
(1)
(3)
(2)
(1)
w12
z1
a2
w12
Analizando y reescribiendo las frmulas anteriores, tenemos que:
y1
(1)
w11
y1
(1)
w11
de forma visual
h
i
(2)
(2)
(2)
= x1 a1 1 a1
w11 [y1 (1 y1 )]
Partimos desde x1 hacia y1 , como la primera no es una neurona real se pone el termino x1 , seguimos la
(1)
linea y nos topamos con w11 , pero como estamos derivando con respecto a esta variable,no la consideramos,
(2)
(2)
seguimos avanzando y nos topamos con una neurona real, por lo tanto agregamos a1 1 a1
(2)
w11 y
w12
, seguimos
h
i
(2)
(2)
(2)
w21 [y2 (1 y2 )]
= x1 a1 1 a1
(2)
(2)
De forma similar partimos de x1 hacia y1 , se agrega x1 , luego a1 1 a1 , avanzamos y el peso que une
(2)
2.2
y1
(2)
u1
y2
(2) ,
u2
y1
(2)
u1
y2
(2)
u2
2.2.
RED MULTICAPA
h
i
(2)
(2)
(2)
= 1 a1 1 a1
w11 [y1 (1 y1 )]
h
i
(2)
(2)
(2)
= 1 a1 1 a1
w21 [y2 (1 y2 )]
wjk
h
i
h
i
(2)
(2)
(2)
(3)
(3)
= xj ak 1 ak
wkp a(3)
wpi [yi (1 yi )]
p 1 ap
Recordar que:
Unicamente se atravieza 1 neurona falsa :
n
o
(1)
aj = xj ,por lo tanto se coloca xj al inicio.
n
o
(2) (3) (4)
Se atraviezan 3 neuronas reales : ak , ap , ai = yi , cuyas derivadas son de la forma : a (1 a)
wkp : Une la neurona k con la neurona p.
wpi : Une la neurnoa p con la neurona i
Deiner Zapata S.
2.2
RED MULTICAPA
wjk
3 =4 h
nX
i
(2)
(2)
(2)
(3)
(3)
= xj ak 1 ak
wkp a(3)
wpi yi (1 yi )
p 1 ap
p=1
(2)
Para analizar las derivadas parciales de yi con respecto a wjk , los caminos posibles se muestran en la figura
acontinuacin:
yi
(2)
wjk
h
i
(2)
(3)
(3)
(3)
= aj ak 1 ak
wki [yi (1 yi )]
(3)
Para analizar las derivadas parciales de yi con respecto a wjk , los caminos posibles se muestran en la figura
acontinuacin:
Deiner Zapata S.
2.2
RED MULTICAPA
(3)
= aj yi (1 yi )
Para el caso de los umbrales, como ya se vio anteriormente, unicamente se cambia el primer termino por 1,
es decir:
yi
(2)
uj
2.2.1.
yi
b
(1) xj =1,k=j
wjk
yi
(3)
uj
yi
b
(2) aj =1,k=j
wjk
yi
(4)
uj
yi
b
(3) xj =1,k=j
wjk
Definiendo el error
error
error y1
error y2
=
m
y1
m
y2
m
y1
y2
error
= [ (s1 y1 )]
+ [ (s2 y2 )]
m
m
m
Expresando en terminos generales:
Deiner Zapata S.
2.2
RED MULTICAPA
n4
yi
error X
(si yi )
=
m
m
i=1
2.2.2.
La variacion del error con el cambio de los pesos, quedar de la siguiente forma:
(3)
wji
= (si yi )
error
(3)
wji
yi
(3)
wji
h
i
(3)
= [ (si yi )] aj yi (1 yi )
(3)
= aj yi (1 yi ) ( (si yi ))
(2)
(s
y
)
=
(
(s
y
))
(1
y
)
i
i
i
i
i
i
j
k
k
ki
(2)
(2)
wji
wji
i=1
i=1
Ordenando y sacando los terminos que no influyen en la sumatoria:
error
(2)
wji
n4 h
X
i
(3)
(2)
(3)
(3)
wki yi (1 yi ) ( (si yi ))
= aj ak 1 ak
i=1
(1)
wji
n4
X
"
(si yi )
i=1
yi
(1)
wji
n4
X
"
( (si yi ))
xj
(2)
ak
(2)
ak
!
3 =4 h
nX
i
(2)
(3)
(3)
(3)
wkp ap 1 ap wpi yi (1 yi )
p=1
i=1
wji
i=1
error
(1)
wji
error
(1)
wji
4 =2 n
3 =4 h
nX
i
X
(2)
(2)
(2)
(3)
(3)
= xj ak 1 ak
( (si yi )) wkp a(3)
(1
y
)
i
i
p
p
pi
p=1
3 =4 n
4 =2 h
nX
i
X
(2)
(2)
(2)
(3)
(3)
= xj ak 1 ak
wkp a(3)
wpi yi (1 yi ) ( (si yi ))
p 1 ap
p=1
i=1
4 =2 h
3 =4 h
nX
i nX
i
(2)
(3)
(2)
(2)
(3)
= xj ak 1 ak
wkp a(3)
wpi yi (1 yi ) ( (si yi ))
p 1 ap
p=1
i=1
Como se observa que hay expresiones que se repiten, introduciremos algunas variables:
(3)
wji
(3)
(4)
= aj i
(4)
, donde i
= yi (1 yi ) [ (si yi )]
Deiner Zapata S.
2.2
RED MULTICAPA
(2)
wji
(2)
(3)
= aj k
n4 h
X
i
(4)
(3)
(3)
(3)
(4)
, donde k = ak 1 ak
wki i
i=1
(1)
wji
(2)
(2)
= aj k
3 =4 h
nX
i
(2)
(2)
(2)
(2)
, donde k = ak 1 ak
wkp p(3)
p=1
Para hallar las derivadas del error respecto al umbral, unicamente se cambian
por 1, quedando:
error
(3)
ui
(4)
= i
error
(2)
ui
(3)
= i
error
(1)
ui
n
o
(1) (2) (3)
aj , aj , aj
se reemplazan
(2)
= i
Por tanto, los valores nuevos valores de los pesos {w, u} en general, viene dado por:
wn+1 = wn +
error
wn
un+1 = un +
Deiner Zapata S.
error
un