Información mutua de un canal determinante

Integrantes: Miguel Chavez

Danny Guamán
Braulio Morocho

- Información mutua.

La Información mutua mide la cantidad de información que se puede obtener cerca de una variable al
azar observando otra. Es importante en la comunicación donde puede ser utilizado para maximizar la
cantidad de información compartida entre las señales enviadas y recibidas[1].
Por tanto, es necesario disponer de herramientas para modelar el canal, ya que usualmente suele ser un
entorno hostil en el que está presente ruido, interferencias y demás impedimentos que dificultan la
comunicación. Normalmente, los terminales de comunicación se consideran perfectos (sin ruido, sin
distorsión, etc.) y es en el canal en el que se tienen en cuenta todas estas no idealidades. Por tanto el
canal se considera el vehículo de transmisión al que se le suman todos los fenómenos que tienden a
limitar la comunicación. El hecho de que haya límites físicos para el envío de información nos lleva a
la noción de capacidad del canal.
Del mismo modo que la entropía mide la cantidad de información que una fuente puede dar en un
tiempo determinado, la capacidad del canal mide la cantidad de información que un canal puede
transmitir por unidad de tiempo.Teniendo en cuenta la capacidad del canal, el teorema fundamental de
la teoría de la información se puede reescribir como:

C y una fuente con una tasa de entropía R, si R≤C, existe una técnica de codificación tal que la salida
de la fuente puede ser transmitida a lo largo del canal con una frecuencia de errores arbitrariamente
pequeña a pesar de la presencia de ruido. Si R>C, si esto se da, no es posible transmitir datos sin
errores.

Considerando un canal de información con r entradas y s salida, y Seleccionando las entradas de

acuerdo con las probabilidades P (a ), i = 1, 2, ..., r, la entropía de la fuente entrada será
i

Conocidas las probabilidades de entrada y las probabilidades hacia adelante P (b ,a ), pueden

i i

calcularse las probabilidades hacia atrás P (a ,b ), las probabilidades afines P (a ,b ) y, finalmente, la

i i i i

equivocación

Según el primer teorema de Shannon la determinación de un símbolo de entrada ai exige una media de
H (A) binits. Es normal decir, en consecuencia, que, como media, la observación de un símbolo de
salida proporciona [H (A)-H (A/B)] bits de información. Esta diferencia se denomina información
mutua (de A y B), o información mutua del canal. Se escribe

I(A:B)=(A)-H (A/B)

La información mutua de la extensión de orden n de un canal se calcula a partir de la relación anterior.

Si los símbolos de A se eligen de acuerdo con P (a ) = P (a ) P (a ) . . . P (a ), la información mutua
n
i 1 2 n

de la extensión de orden n es precisamente n veces la información mutua del canal original:

I(A : B )=nI(A:B)
n n

Propiedades de información mutua

De acuerdo a la información mutua I(A ; B)=H(A) - H (A/B) se plantea la cuestión del signo.

De acuerdo:

Y, I(A;B)≥0

que será una igualdad cuando

P( ai ,bj )=P(ai )P(bj) para cualquier i,j

La información media recibida por un canal ha de ser siempre positiva. No se pierde información por
observar la salida del canal. La condición para que la información mutua sea nula es que los símbolos
de entrada y salida sea estadísticamente independientes[2].

La información mutua, es simétrica respecto ai bj , sustituyendo la entrada por la salida y viceversa:

I(A:B)=I(B:A)
de forma que I(A:B)=H(B)-H(B/A)

Además de las entropías H (A) y H (B), puede definirse la entropía afín, que mide la incertidumbre
del suceso simultáneo (ai, bj). La probabilidad de este suceso es P(ai, bj), de modo que la entropía afín
valdrá
La relación entre H(A,B) ,H(A) y H(B) se puede deducir por:

La entropía afín de A y B, H(A, B) es simétrica respecto a A y B.

De acuerdo al siguiente diagrama,El círculo de la izquierda representa la entropía de A, y la de B el de

la derecha. La zona común corresponde a la información mutua,mientras que el resto de H (A) y H (B)
representa las equivocaciones respectivas[1].

H (A/B)=H(A)-I(A:B)
H (B/A)=H(B)-I(B:A)

La entropía afín H (A, B) es la suma de H (A) y H (B), con la salvedad de que la zona común se ha
incluido por partida doble, de modo que

H(A,B)= H(A) + H(B)-I(A; B)

También

H (A, B) = H (A) + H (B/A)

H (A, B) = H (B) + H (A/B)

Todas estas ecuaciones se deducen directamente a partir de las entropías de H (A/B), H (B/A) y H(A,B)
o bien analizando la figura. Pueden interpretarse en el sentido de que la incertidumbre total de A y B
es la suma de la incertidumbre de A más la de B una vez conocido A, o viceversa.

Las diferentes medidas de información expuestas en la figura pueden aplicarse a dos conjuntos
cualesquiera de variables. La información mutua tendrá signo positivo siempre que ambos conjuntos
no sean estadísticamente independientes.

Ejemplo

𝑝 𝑝̅
Calcularemos la informacion mutual de un BSC. Su matriz es [
𝑝̅ 𝑝]

Donde 𝑝̅ = 1 − 𝑝, las probabilidades de transmitir un 0 = 𝜔 y 1 = 𝜔

̅

Fácilmente se comprueba que las probabilidades de que 𝑏𝑗 = 0 𝑏𝑗 = 1son iguales a 𝜔𝑝̅ + 𝜔 ̅𝑝 y 𝜔𝑝 +

𝜔
̅𝑝̅ respectivamente. Por lo tanto.
1 1 1 1
𝐼(𝐴: 𝐵) = [(𝑤 𝑝̅ + 𝑤̅𝑝) log 2 + (𝑤 𝑝 + 𝑤̅𝑝̅ ) log 2 ] − (𝑝 log 2 + 𝑝̅ log 2 )
𝑤 𝑝̅ + 𝑤̅𝑝 𝑤𝑝+ 𝑤 ̅𝑝̅ 𝑝 𝑝̅
𝐼(𝐴: 𝐵) = 𝐻(𝑤𝑝 + 𝑤 ̅𝑝̅ ) − 𝐻(𝑝)
Canal determinante
Un canal definido por una matriz con un elemento, y solo uno, distinto de cero en cada fila, recibe el
nombre de canal determinante[1].
Ejemplo de la matriz de un canal determinante:

1 0 0
1 0 0
𝑃= 0 1 0
0 1 0
[0 0 1]
Si observamos, en cada fila de la matriz de un canal determinante hay un elemento distinto de cero y
si sumamos cada fila será igual a la unidad. si consideramos un canal sin ruido y observamos una
salida bi, sabemos que el símbolo transmitido es ai y las probabilidades condicionales P(ai/bi) son 0 y
1. La equivocación H(A/B) puede escribirse de la siguiente forma

1
𝐻(𝐴/𝐵) = ∑ 𝑃(𝑏𝑖 ) ∑ 𝑃(𝑎𝑖 /𝑏𝑖 ) log
𝑃(𝑎𝑖 /𝑏𝑖 )
𝐵 𝐴
si desarrollamos la sumatoria nos damos cuenta de que su valor es nulo
H(A/B)=0 por lo tanto es un canal sin ruido.
Mediante las salidas de un canal sin ruido podemos determinar las entradas del canal, por ende el
número medio de binits necesarios para definir la entrada es nulo. Como sabemos que la información
mutua (de A y B) del canal es:

𝐻(𝐴; 𝐵) = 𝐻(𝐴) − 𝐻(𝐴/𝐵)

Según la ecuación anterior en un canal sin ruido se verifica que

𝐼(𝐴; 𝐵) = 𝐻(𝐴)
la cantidad de información transmitida por este canal es igual a la entropía de entrada. En un canal
determinante ocurre de manera análoga que en un canal sin ruido.el símbolo de entrada ai es
suficiente para determinar, con probabilidad 1, el símbolo de salida bi. consecuentemente las
probabilidades P(bi/ai) seran 0 o 1.

1
𝐻(𝐵/𝐴) = ∑ 𝑃(𝑏𝑖 ) ∑ 𝑃(𝑏𝑖 /𝑎𝑖 ) log
𝑃(𝑏𝑖 /𝑎𝑖 )
𝐴 𝐵
𝐻(𝐵/𝐴) = 0

𝐼(𝐴; 𝐵) = 𝐻(𝐵)
Bibliografia

[1] B. Yorch, Inf ormacion y Codificación. .

[2] “TEORÍA DE LA INFORMACIÓN Y CODIFICACIÓN. - Unefa Curso de Comunicaciones.”
[Online]. Available: https://sites.google.com/site/unefacursodecomunicaciones/teora-de-la--
informacin--y--codificacin. [Accessed: 06-Nov-2018].