Teoría de la Información

Transmisión de Información
Canales de comunicación
Curso 2006

Canal de comunicación
„ Medio por el que se transmite la información
„ Relaciona una fuente de entrada con un
conjunto de símbolos de salida

Teoría de la Información - 2006

 Canal de comunicación
„ Consideraciones:
• Canal digital
• Tiempo discreto
• Tasa fija

x1 y1

X xi pj/i yj Y
entrada salida
xn ym

Teoría de la Información - 2006

Ejemplo

ruido
señal de entrada señal de salida

Teoría de la Información - 2006

 Ejemplo
„ Entrada: „ Salida:
+E Æ X=0 y ≥ 0 Æ Y=0
- E Æ X=1 y= x + r y < 0 Æ Y=1

0 1
0
BSC
1

Teoría de la Información - 2006

Entropías
„ Entropía de Entrada: H ( X ) = − ∑ p( x) log p( x)
„ Entropía de Salida: H (Y ) = − ∑ p ( y ) log p ( y )

H ( X , Y ) = − ∑ p ( x, y ) log p ( x, y )

H ( X , Y ) = H ( X ) + H (Y / X )
H ( X , Y ) = H (Y ) + H ( X / Y )

Teoría de la Información - 2006

 Balance de Entropías
Ruido
H ( X , Y ) = H ( X ) + H (Y / X )
preguntas binarias preguntas binarias preguntas binarias
para determinar la para determinar para determinar
entrada y la salida la entrada la salida dada la entrada

Pérdida
H ( X , Y ) = H (Y ) + H ( X / Y )
preguntas binarias preguntas binarias
para determinar para determinar
la salida la entrada dada la salida

Teoría de la Información - 2006

Tipos de canales
X Y X Y
0 0 0 0
Y/X 0 1 Y/X 0 1
1 1 1 1
0 1 0 0 0 1
canal ideal 1 0 1 1 1 0

Y/X x1 x2 x3 x4 Y/X x1 x2
y1 0 1 0 0 y1 1/2 0
y2 1 0 0 1 y2 1/2 0
y3 0 0 1 0 y3 0 1
canal sin ruido canal sin pérdida
(con pérdida) (con ruido)
Teoría de la Información - 2006
 Tipos de canales
Y/X x1 x2 x3
y1 1/2 1/4 0 Y/X x1 x2
y2 1/4 1/2 1/4 y1 3/4 1/4
y3 1/4 0 1/4 y2 1/4 3/4
y4 0 1/4 1/2 canal binario simétrico
canal uniforme o simétrico
Y/X x1 x2
Y/X x1 x2 x3
y1 1/3 1/3
y1 1/2 1/2 1/2
y2 1/3 1/3
y2 1/2 1/2 1/2
y3 1/3 1/3
Canal de “destrucción” de información
Teoría de la Información - 2006

Binary Symmetric Channel

1-β
x1 y1
β
prob. de cruce
β
x2 y2
1-β

HBSC (Y / X ) = − β log β − (1 − β ) log(1 − β )

= HBSC ( β )

Teoría de la Información - 2006

 Información Mutua
ahorro por acople
entre entrada y salida

H ( X , Y ) = H ( X ) + H (Y ) − I ( X , Y )
H(X,Y)

I ( X , Y ) = H (Y ) − H (Y / X )

I ( X ,Y ) = H ( X ) − H ( X / Y ) H(X/Y) H(Y/X)

H(X) I(X,Y) H(Y)

Teoría de la Información - 2006

Ejemplo M1 M2 A B
1 1 0 2
Se arrojan 2 monedas M1, M2 1 0 1 1
cara Æ M = 1 A= M1-M2|
0 1 1 1
seca Æ M = 0 B= M1+M2 0 0 0 0
P(A) 1/2 1/2

AB 0 1 P(B)
B/A 0 1 A/B 0 1
0 1/4 0 1/4
0 1/2 0 0 1 0
1 0 1/2 1/2
1 0 1 1 0 1
2 1/4 0 1/4 2 1/2 0 2 1 0

H(B)= - 2. ¼ log ¼ - ½ log ½ = ½ . 2 + ½ . 1= 3/2

H(B/A)= -½.[2.½ .log ½] – ½.0= ½ Æ I(A,B)= H(B)-H(B/A)= 3/2-1/2= 1

H(A)= - 2.½.log ½ = 1 bit

H(A/B)= 0 Æ I(A,B) = H(A)-H(A/B)= 1

Teoría de la Información - 2006

Información Mutua
„ Propiedades:
• I(X,Y) ≥ 0
• Función continua y cóncava
• Depende de la distribución de entrada
• Tiene un máximo:

max I ( X , Y ) = Capacidad
V (X )

Teoría de la Información - 2006