Esquemas Entropa:

Desde estos dibujos se pueden sacar todas las relaciones posibles:

) | ( ) (
) | ( ) (
) ; ( ) | ( ) | ( ) , (
) , ( ) ( ) ( ) ; (
) | ( ) ( ) | ( ) ( ) ; (
X Y H Y H
Y X H X H
Y X I X Y H Y X H Y X H
Y X H Y H X H Y X I
X Y H Y H Y X H X H Y X I

+ +
+

etc
Cuando las variables son independientes H(X,Y)=H(X)+H(Y) la in!or"aci#n "utua
ser$ nula %(X;Y)=&'
Ejemplo:
) ( X H
) (Y H
) | ( X Y H ) | ( Y X H ) ; ( Y X I
) , ( Y X H
H(X,Y)
H(X)
H(Y)
H(Y|X) %(Y;X) H(X|Y)
Dadas dos variables aleatorias discretas (X,Y) (ue pueden asu"ir ) valores distintos
cada una, conoce"os la densidad Conjunta (en *eneral puede ser$ una matriz
rectangular) :

1
1
1
1
1
1
1
1
]
1

& & &

)
+
+,
+
+,
+
+,
+
+,
+
-.
+
-.
+
/
+
+,
+
-.
+
-.
+
+,
+
/
+
) , ( y x p

0e puede ver clara"ente (ue la su"a de todos los valores da +, co"o debe de ser:
+ & -
-.
+
)
+,
+
,
)
+
/
+
. ) , (
)
+
)
+
+ + + +

i j
i
y x p
Con la conjunta tene"os toda la in!or"aci#n necesaria; pode"os calcular las
marginales (ser$n vectores) !$cil"ente:

)
+
) , ( ) (
i
i
y x p x p
Sumar las Filas!=
,
_

/
+
,
/
+
,
)
+
,
.
+

)
+
) , ( ) (
j
j
y x p y p
Sumar las Columnas!=
,
_

)
+
,
)
+
,
)
+
,
)
+
1ode"os ver (ue las variables son dependientes por(ue:
) ( ) ( ) , ( y p x p y x p
1ara 2allar las densidades condicionales (ser$n "atrices), utili3are"os:
) (
) , (
) | (
y p
y x p
y x p
;
) (
) , (
) | (
x p
y x p
x y p
4sto si*ni!ica por eje"plo:
[ ]

,
_

/
+
,
/
+
,
)
+
,
.
+
) 5 +
-. 5 + , -. 5 + , +, 5 + , / 5 +
) + | ( Y X p
4s decir, si "ira"os bien esta"os normalizando las Filas de la conjunta:
X
Y
Marginales
Condicionales
) ( ); ( y p x p
) | ( ); | ( y x p x y p
1
1
1
1
1
1
1
]
1

& & & +

+
+
)
+
)
+
)
+
/
+
/
+
.
+
)
+
/
+
/
+
)
+
.
+
) | ( y x p
(nor"ali3ando las !ilas)
Donde las l6neas su"an +; normalizando las columnas lo*ra"os:
1
1
1
1
1
1
1
1
]
1

& & &

.
+
.
+
.
+
)
+
/
+
)
+
)
+
.
+
/
+
)
+
)
+
)
+
)
+
) | ( x y p
(nor"ali3ando las colu"nas)
Donde las colu"nas su"as +'
Calculo de las Entropas:
bits bits H X H 78 ' +
)
7
/
+
lo*
/
+
/
+
lo*
/
+
)
+
lo*
)
+
.
+
lo*
.
+
/
+
,
/
+
,
)
+
,
.
+
) (
. . . .

,
_

bits H Y H .
)
+
lo*
)
+
)
)
+
,
)
+
,
)
+
,
)
+
) (
.

,
_

,
_

9as !or"ulas de las entrop6as condicionales son:

)
+
) | ( ) ( ) | (
i
i i
y X H y p Y X H
;

)
+
) | ( ) ( ) | (
j
j j
x Y H x p X Y H
9as
) | (
i
y X H
las
) | (
j
x Y H
son respectiva"ente las entropas de las filas de
) | ( y x p
y las entropas de las columnas de
) | ( x y p
:

1
1
1
1
1
1
1
]
1

& & & +

+
+
)
+
)
+
)
+
/
+
/
+
.
+
)
+
/
+
/
+
)
+
.
+
) | ( y x p
) 5 7 ) + | ( y X H
) 5 7 ) . | ( y X H
. ) - | ( y X H
& ) ) | ( y X H
9a entrop6a condicional ser$ !inal"ente el pro"edio de todas:

bits
/
++
&
)
+
.
)
+
)
7
)
+
)
7
)
+
) | ( + + + Y X H
: la "is"a "anera, trabajando sobre las colu"nas de
) | ( x y p
pro"ediando
lo*ra"os:
bits
/
+-
) | ( Y X H
9a Informacin Mutua ser$:
bits
/
-
) | ( ) ( ) | ( ) ( ) ; ( X Y H Y H Y X H X H Y X I
9a Entropa Conjunta pode"os calcularla directa"ente de la "atri3
) , ( y x p
:
bits -7 ' - bits
/
.7
-.
+
lo*
-.
)
+,
+
lo*
+,
,
)
+
lo*
)
+
/
+
lo*
/
.
) , (
. . . .
Y X H
; a trav<s de una de las !or"ulas:
bits
/
.7
/
- +, +)
/
-
.
)
7
) ; ( ) ( ) ( ) , (
+
+ + Y X I Y H X H Y X H
Observaciones importantes:
+' 1ode"os notar co"o, por eje"plo,
& ) ) | ( y X H
es "enor de
) ( X H
, pero
. ) - | ( y X H
es mayor (ue
) ( X H
== 1arece incre6ble: en unos caso
>aprender? in!or"aci#n de la variable Y nos 2ace incre"entar la incertidu"bre
sobre X=== Pero promediando Y nos aporta informacin sobre X (siendo no
independientes), de 2ec2o:

) ( ) | ( X H Y X H
.' 0i "ira"os
) . | ( y x p
ve"os (ue es una densidad di!erente de
) (x p
! pero la
las entrop6as son i*uales
) ( ) . | ( X H y X H
' 4sto por(ue la entropa es una
cantidad independientes de permutaciones, o "ejor dic2o, de los valores que
asumen las variables (del soporte de la densidad)' !a entropa depende solo de
los "alores de las probabilidades' 4sto no pasa con otras "edidas de dispersi#n
co"o la varianza, (ue en *eneral ser$ distinta'
+ . +&
+ . -
4ntrop6a i*ual
@arian3a distinta
Calcular la Capacidad de un Canal discreto sin memoria:
4n la !i*ura anterior, se "uestra una representaci#n t6pica de un canal discreto de
co"unicaci#n; esto e(uivale a una "atri3 de probabilidad condicional
) | ( x y p
' Habr6a
(ue aAadir o suponer al*Bn tipo de in!or"aci#n "$s sobre
) (x p
o
) ( y p
, por
eje"plo'
"#SC$E%O: se de!ine as6 por(ue las entradas x las salidas y pueden to"ar un
conjunto discreto de valores'
S#& 'E'O$#(: si las salidas solo depende de las entradas al tie"po en cuesti#n,
son condicionalmente independientes de otras entradas otras salidas en otro instante
de tie"po (es e(uivalente a la !or"ula ruido X Y + )'
0abe"os (ue por de!inici#n de capacidad de canal:
@a"os a ver los pasos (ue *eneral"ente 2abr$ (ue 2acer para calcular la capacidad, en
los proble"as t6picos' 4"pe3a"os diciendo (ue la !or"ula (ue suele ser "$s Btil para
eCpresar la in!or"aci#n "utua es:

) | ( ) ( ) ; ( X Y H Y H Y X I
4sto no (uiere decir (ue 2aa (ue utili3ar sie"pre esta' 9os pasos para en c$lculo
ser$n:
)* +allar la matriz
) | ( x y p
e(uivalente al *ra!ico del canal,

M
x
+
x
.
x
#
y
''''
'
''''
+
y
j
y
D E
"atri3 ) | (

x y p
) ; ( "aC
) (
Y X I C
x p

M
x
+
x
.
x
#
y
''''
'
''''
+
y
j
y
[ ]
M
C C C x y p ''' ) | (
. +

>de canal
Donde con
1
1
1
1
]
1

"alor#
"alor
"alor
C
i
'''
.
+
2e"os indicado los M vectores colu"na (de # !ilas) (ue
co"ponen las "atrices; por de!inici#n de la "atri3
) | ( x y p
, las su"as de los valores a
lo lar*o de cada colu"na dar$ +'
-* Calcular
) (Y H
; esto necesita de dos pasos: pri"ero 2a (ue calcular
) ( y p

lue*o la 4ntrop6a' 4n !or"ula:
[ ] [ ] [ ]
Y M
C M x p C x p C x p C y p + + + ) ( ''' ) . ( ) + ( ) (
. +
lue*o:
) ( ) (
Y
C H y H
4s decir para 2allar
) ( y p
desde
) | ( x y p
, 2a (ue pro"ediar las colu"nas a trav<s de
la densidad
) (x p
; el resultado ser$ un vector colu"na
Y
C
(cuos ele"entos tendr$n
(ue su"ar +, por construcci#n) (ue representa
) ( y p
' :s6 (ue se podr$ calcular la
entrop6a utili3ando la de!inici#n'
.* Calcular
) | ( X Y H
; ta"bi<n en este caso necesitar6a"os . pasos: calcular las
entrop6as de cada colu"na
i
C
lue*o pro"ediar' Funtando los dos pasos, pode"os
escribir en !or"ula:
( ) ( ) ( ) ) ( ''' ) . ( ) + ( ) | (
. +
M x p C H x p C H x p C H X Y H
M
+ + +
4s decir: respecto al punto precedente, a(u6 pri"ero calcula"os las entrop6as de las
colu"nas lue*o pro"edia"os' :ntes para 2allar
) (Y H
, 2e"os pro"ediado lue*o
calculado la entrop6a'
/* Co"o te"e"os
) (Y H

) | ( X Y H
! tene"os ta"bi<n:
) | ( ) ( ) ; ( X Y H Y H Y X I
a2ora, nos tocar$ ma0imizarla se*Bn al*Bn par$"etro, para 2allar C'
1ara (ue se entienda "ejor, va"os a 2acer un eje"plo:
-
x
+
x
.
x
+
y
.
y

+ +
+
1
]
1

+
&
&
+
+
) | (

x y p
p
p
p . +
Co"o se puede ver a 2e"os 2allado la "atri3
) | ( x y p
, cuas colu"nas son:
@a"os a calcular
) ( y p
:
[ ] [ ] [ ] ) ( ''' ) . ( ) + ( ) (
. +
M x p C x p C x p C C y p
M Y
+ + +
1
]
1

1
]
1

+
+

1
]
1

+
1
]
1

+
1
]
1

p
p
p p
p p
p p p C y p
Y
) . (
) . ( +
) + (
) . + (
+
&
) . + (
&
+
+
) (

1
]
1

1
]
1

1
]
1

+
&
;
&
+
;
+
- . +
C C C

0e puede co"probar (ue los ele"entos de

Y
C
su"an e!ectiva"ente +, co"o debe de
ser siendo una densidad de probabilidad' :s6 (ue la entrop6a de las salidas ser$:
[ ] [ ] [ ] [ ] p p p p C H Y H
Y
) . ( lo* ) . ( ) . ( + lo* ) . ( + ) ( ) (
. .
+ +
:2ora nos 2ace !alta la entrop6a condicional
) | ( X Y H
:
( ) ( ) ( ) p C H p C H p C H X Y H + +
- . +
) . + ( ) | (
( )
( )
( ) &
&
) + ( lo* ) + ( ) ( lo*
-
.
. . +

C H
C H
C H
( ) [ ] p X Y H ) + ( lo* ) + ( ) ( lo* |
. .

:s6 (ue la in!or"aci#n "utua ser$:
[ ] [ ] [ ] [ ] [ ] p p p p p
X Y H Y H Y X I
+ + + +

) + ( lo* ) + ( ) ( lo* ) . ( lo* ) . ( ) . ( + lo* ) . ( +
) | ( ) ( ) ; (
. . . .

Eos (ueda solo derivar respecto a p:
[ ] [ ]
[ ] & ) + ( lo* ) + ( ) ( lo*
''' ) . ( ) . ( lo* ) . ( ) . ( ) . ( + lo* ) . (
) ; (
. .
. .
+ +
+ +

p p
p
Y X I
[ ] [ ] { } [ ] & ) + ( lo* ) + ( ) ( lo* ) . ( lo* ) . ( + lo* ) . (
) ; (
. . . .
+ + + +

p p
p
Y X I
'''' G p
Hinal"ente, la capacidad ser$:
[ ] [ ] [ ] [ ] [ ] p p p p p C G ) + ( lo* ) + ( ) ( lo* G ) . ( lo* G ) . ( G ) . ( + lo* G ) . ( +
. . . .
+ + + +
%#POS "E C(&(1ES (discretos sin "e"oria):
Canal Sim2trico: (caso particular del caso sucesivo) donde todas las !ilas pueden
eCpresarse co"o per"utaciones de cual(uier otra !ila' 9o "is"o tiene (ue ocurrir con
las colu"nas' :de"$s, la su"a de las !ilas ( no solo de las colu"nas, co"o era nor"a
2asta a2ora) tiene (ue dar +' 4n este caso la "atri3
) | ( x y p
se deno"ina biestocastica
("atri3 cuadrada cuas !ilas colu"nas su"an +)' Iesu"iendo para (ue un canal sea
si"<trico:
+'
) | ( x y p
tiene (ue ser biestocastica'
.' Cada !ilaJcolu"na tiene (ue ser per"utaci#n de otra !ilaJcolu"na'
1or eje"plo:
1
1
1
]
1

8 ' & - ' & . ' &

- ' & . ' & 8 ' &
. ' & 8 ' & - ' &
) | ( x y p
Canal d2bilmente Sim2trico: donde todas las colu"nas son per"utaciones de
cual(uier otra colu"na, la suma de las filas es constante ' 4n el caso anterior, a"bas
!ilas colu"nas, ten6an (ue poderse eCpresar co"o per"utaciones de las otras'
Iesu"iendo:
+' las !ilas tendr$n (ue su"ar un valor i*ual, constante c' 0e puede de"ostrar (ue
este valor ser$ sie"pre # M c 5 '
.' cada colu"na ((ue por de!inici#n de
) | ( x y p
tendr$ (ue su"ar +) tiene (ue ser
per"utaci#n de otra'
Kn eje"plo es canal binario con borrado con - 5 + :
@a"os a de"ostrar (ue # M c 5 , sie"pre; sabe"os (ue por de!inici#n de
) | ( x y p

las colu"nas su"an + (ue las !ilas su"an un "is"o valor >desconocido? c:

#
i
j j i
x x y p
+
+ ) | (

M
j
i j i
y c x y p
+
) | (
:s6 (ue todos los ele"entos de
) | ( x y p
su"ar M; es !$cil de ver, si se piensa (ue
tene"os M colu"nas, (ue cada una su"a +:
M x y p
M
j
#
i
j i
+ + +

+ '''' + + ) | (
+
:2ora va"os a invertir el orden de las dos su"atorias:
M
+
x
.
x
+
y
-
y
- 5 .
- 5 +
1
1
1
]
1

- 5 .
- 5 +
&
&
- 5 +
- 5 .
) | ( x y p
.
y
- 5 +
- 5 .
c # c c c x y p
#
i
M
j
j i
+ + +

'''' ) | (
+
Co"o se trata se las "is"as su"atorias, tiene (ue dar el "is"o resultado:
salidas nu"'
entradas nu"'

#
M
c c # M
4n el caso de un canal si"<trico + c ("atri3 cuadrada, nu"ero de entradas i*ual a
nu"ero de salidas)'

1ara canales d2bilmente sim2tricos y sim2tricos, vale lo si*uiente:
+ ) Colu"na ( ) ( ) ( ) Colu"na ( ) ( ) ( ) ( ) ( ) ; (
) | ( ) ( ) ( ) | ( ) ( ) ; (
+ +
+

H Y H x p H Y H C H x p Y H Y X I
x Y H x p Y H X Y H Y H Y X I
M
j
j
M
j
j j
M
j
j j
Donde 2e"os aprovec2ado el 2ec2o (ue cada colu"na representa una "is"a densidad
(en le caso de canales si"<tricos):
) Colu"na ( ) ( ''' ) ( ''' ) ( ) (
. +
H C H C H C H C H
M j

:s6 (ue 2e"os lla*ado a:
) Colu"na ( ) ( ) ; ( H Y H Y X I
Ia3ona"os un "o"ento: en esta eCpresi#n tene"os una constante
) Colu"na ( H
(ue
depende del canal (de su "atri3
) | ( x y p
) , las entrop6a de las salidas
) (Y H
; para
calcularla necesita"os de las probabilidades
) ( y p
(ue en *eneral depender$n de las
probabilidades de las entradas
) (x p
, co"o se puede ver en la !or"ula:

M
j
j j
x p x y p y p
+
) ( ) | ( ) (
0abe"os, ade"$s, (ue en "$Ci"o valor (ue puede to"ar
) (Y H
es #
.
lo* , cuando la
) ( y p
es una densidad uni!or"e' :2ora, necesita"os de una observaci#n "$s:
Observacin #'PO$%(&%E: $ara canales d%bilmente sim%tricos y sim%tricos, la
densidad de las salidas
) ( y p
ser& uniforme solo si lo ser& la densidad de las entradas
) (x p
'
De"ostra"os esta observaci#n; si
M x p 5 + ) (
:
#
# #
M
M
c
M
x y p
M M
x y p y p
M
j
j
M
j
j
+ + +
) | (
+ +
) | ( ) (
+ +



Donde la su"atoria a lo lar*o de las !ilas es i*ual a c por de!inici#n de canal d<bil"ente
si"<tricos (

M
j
j
c x y p
+
) | (
)'
:s6 (ue la capacidad de un canal d<bil"ente si"<trico ( si"<trico) ser$:

) Colu"na ( lo* ) ; ( "aC
.
) (
H # Y X I C
x p


Lue se obtienen con entradas e(uiprobables (
M x p 5 + ) (
)'
Observacin: el canal binario con borrado, *en<rico:
4n *eneral, &O es ni sim2trico ni d2bilmente sim2trico! por(ue las !ilas no su"an un
"is"o valor'
De todas !or"as, "irando el *ra!ico se puede notar una cierta si"etr6a: podr6a"os decir
(ue las dos entradas >ven un "is"o canal?' De 2ec2o, nos encontra"os ta"bi<n en este
caso con la propiedad (ue las colu"nas tienen "is"a entrop6a:
) J ,+ ( ) Colu"na ( ) ( ) (
. +
H H C H C H

:s6 (ue ta"bi<n la in!or"aci#n "utua (uedar6a:

) Colu"na ( ) ( ) ; ( H Y H Y X I
9o (ue E; pode"os ase*urar a2ora es (ue 2aa una densidad de las entradas
) (x p
(ue
*enere una densidad uni!or"e de las salidas
) ( y p
' :s6 (ue "aCi"i3ando
) (Y H
, en
*eneral, ser$ distinto del valor
#
.
lo*
' De 2ec2o, suponiendo
) + , ( ) ( p p x p

encontra"os:
)) + )( + ( , , ) + (( ) ( p p y p
Lue no podre"os !or3ar a ser uni!or"e para cual(uier valor de

, por(ue la
probabilidad
) . ( y p
no depende de la distribuci#n de las entradas' 9o "ejor (ue
pode"os 2acer es i*ualar el pri"er el Blti"o valor:
c
+
x
.
x
+
y
-
y
+

1
1
1
]
1

+
&
&
+
) | ( x y p
.
y

+
.
+
) + )( + ( ) + ( p p p
4l 2ec2o (ue nos encontre"os otra ve3 con una densidad uni!or"e a la entrada, pod6a
ser predic2o "irando la simetra geom%trica del *ra!ico de canal'
C(&(1ES E& P($(1E1O:
@ale la relaci#n:
. +
. . .
C C C
tot
+
4n *eneral sobre el concepto de capacidad de canal C, pode"os a!ir"ar (ue:

@a"os a aclarar esta a!ir"aci#n:
4n este caso, pode"os enviar . bits (uno por cada entrada) sin co"eter nin*Bn !allo en
recepci#n; es decir la capacidad ser$ C=+' ;tro eje"plo:

C1
C2
error sin enviar pode"os (ue entradas de nu"eros .
C
+
x
.
x
+
y
.
y
+
+

+
x
.
x
+
y
.
y
+
+
4n este caso, pode"os in"ediata"ente a!ir"ar (ue + < C ; va"os a ver a2ora este
caso:
@eo (ue, se utili3o solo . entradas, no "e e(uivoco nunca= Con todas las probabilidades
de transici#n a +5. nuestra observaci#n no lleva directa"ente a 2allar la capacidad:
+ . . C
C

Haciendo todos los calculo, lle*ar6a"os al "is"o resultado:
+ + . + ) ( lo* ) . ( lo* ) ( lo* ) . 5 ( lo*
. . . .
M M M C
1ero nuestro ra3ona"iento nos da eCacta"ente la C solo cuando todas las
probabilidades de transici#n val*an +5.; con probabilidades *en<ricas, las cosas ir$n
>"ejor? pero no pode"os decir cuanto sin 2acer los c$lculos:
+ C
0e*ura"ente el caso "ejor en absoluto ser$:

+
x
+
y
.
y
. 5 +
. 5 +
-
x
-
y
. 5 +
. 5 +
)
y
+
x
.
x
+
y
.
y
+
p
+
+ p
-
x
.
p
.
x
-
y
.
+ p
-
p
-
+ p
)
p
)
y
)
+ p
+
x
.
x
+
y
.
y
. 5 +
. 5 +
-
x
. 5 +
.
x
-
y
. 5 +
. 5 +
. 5 +
. 5 +
)
y
. 5 +
+
x
.
x
+
y
.
y
-
x
+
.
x
-
y
)
y
+
+
+
. C entradas nu"ero ) .
.

:s6 (ue en el caso "$s *eneral:
. + C