Nombre: Fernando Josu Oviedo Gonzlez. Docente: Ing. Enrique Hernndez Garca. Asignatura: Comunicaciones Digitales.

Fecha de entrega: 15 de abril del 2013. Grupo: 4T1-Telecomunicaciones

1) Una fuente tiene un alfabeto {a1, a2, a3, a4, a5, a6} con probabilidades {0.1, 0.2, 0.3, 0.05, 0.15, 0.2}. Calcule la entropa de la fuente y compare dicha entropa con la de una fuente uniformemente distribuida con el mismo alfabeto. ( ) ( ) ( ( ) ( ) ( ) ,( ) ) ( ( ( ) ) ( ) ( ) ) ( ( ) ( )] ) ( ) ( ) ( )

,(-0.332)+(-0.4641)+(-0.5208)+(-0.216)+(-0.4103)+(-0.4641)]

( )

( )

( )

( ) ( ) ( ) 2) Sea Y = g(X), donde g(X) denota una funcin determinista. Demuestre que, en general H(Y) H(X). Cuando se cumple la igualdad? ( ( ( ( ( ) ) ) ) ) ( ( ) ( ) ( ) ( ) ( ( )) ( )) ( ( ) ) ( ( ))

( ( ) )

( ( ) ) ya que la probabilidad de g(X) es 1 por que es una funcin determinista y ya sabemos lo que va a pasar y como ya conocemos su respuesta no se presenta ninguna entropa. ( ) ( ) ( ) ( ) ( ( ))

En el caso que queramos que H(X) = H(Y) es cuando la variable X llega a ser 1 y la entropa llega a ser 0 ya que su probabilidad es 1 tambin.

3) Demuestre que si Y = g(X), donde g(X) es una funcin determinista, entonces H(Y|X)=0. ( ) ( ) ( ) ( )

( ( ) )

( ) ( ( ) )

( ( ) )

( ( ) )

( ) ( )

( )

( ( ) ) ya que como g(X) es determinista ya conocemos su respuesta y nos quedara en 1 por la siguiente manera: ( ( ) ) ( ( ) ) ( ( ) ) por lo tanto: ( ( ) ) ( ( ) )

( ( ))

4) Dos variables aleatorias binarias X e Y estn distribuidas de acuerdo a la distribucin conjunta ( ) ( ) ( )

Calcule H(X), H(Y), H(X|Y), H(Y|X) y H(X,Y). 0 1-p p 1 0 ( ) ( ) ( ) ( ) ( ( ( ( ( ( ) ) ) ( )) 1-p ) ( 1 )) 0

( ) ( ) ( )

( ) ( ) ( ) ( )

) ( )

( ( )

) ( )

Lo mismo sucede con H(Y) ya que las probabilidades son similares a la de H(X) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ( ) ) ( )

( )

( )

La serie se desarrolla de 1 a 3 debido a su funcin de densidad de probabilidad que es: ( ) { }

( ( (

) ) )

[( ) , -

( )]

( ( (

) ) )

( )

( ( (

) ) )

( )

5) Sea C la capacidad de un canal discreto sin memoria con un alfabeto de entrada {x1, x2, ..., xn} y un alfabeto de salida {y1, y2,..., yn}. Demuestre que: C min {log M, log N}. La capacidad de un canal es:
( )

( )

, ( )

)-

( )

, ( )

)-

y por lo general ( ) y ( )

as que : * , ( ), ( )-+

sin embargo el mximo de H(X) se alcanza cuando estn distribuidos uniformemente , ( )lo mismo pasa con H(Y) , ( )llegando as a: * +

6) Una fuente binaria simtrica de n-smbolos en la salida a) Cul es la probabilidad de que esta secuencia consista de solo ceros? La probabilidad de que una secuencia de todo es cero es: ( ) ( ) ( ) ( ) ( )

ya que como estn distribuidos uniformemente la probabilidad en cada secuencia es de 0.5. b) Cul es la probabilidad de que esta secuencia consista de solo unos? La probabilidad de que una secuencia de todo es unos es ya que es similar a la secuencia de los ceros: ( ) ( ) ( ) ( ) ( )

ya que como estn distribuidos uniformemente la probabilidad en cada secuencia es de 0.5. c) Cul es la probabilidad de que esta secuencia los primeros K-smbolos sean 1 y los restantes n-k smbolos sean 0? ( ) ( ) ( ( ) = p( ) ) . / . / . /

donde la secuencia de los ceros empieza en K+1 ya que K es una variable aleatoria y no conocemos su valor exacto

d) Cul es la probabilidad de que la secuencia tenga k=1 y n-k=0? El nmero de ceros o unos sigue la distribucin binomial, por lo tanto: ( ) . /( ) ( ) . /( )

e) Cmo serian las respuestas anteriores si en lugar de una fuente binaria simtrica se utilizara una fuente discreta sin memoria con P(Xi =X)=p? En el caso que se cambiaran la fuente binaria por una fuente discreta sin memoria seria de la siguiente manera: 0 1-p p 1 (0 ( ( ( ) . / ) ( ) 1-p 1 ) ) ( ) ( ) 0

7) Una fuente ternaria sin memoria con alfabeto de salida {a1, a2, a3} con respectiva probabilidad {0.2, 0.3, 0.5}, produce una secuencia de longitud 1000. a) Aproximadamente Cual es el numero de secuencias a la salida de la fuente? El nmero total de secuencias tpicas es de aproximadamente 2nH(X) en donde n = 1000 ( ) ( ) ( ) entonces # secuencias tpicas
( )( )

( ) ,( ) (

( ) ) ( ) ( ) ( ) ( )-

b) Cul es la relacin entre las frecuencias tpicas y no-tpicas? El nmero de todas las secuencias de longitud n es Nn, donde N es el tamao del alfabeto de la fuente, por lo tanto:
( ) ( )

c) Cul es la secuencia ms probable?Cual es su probabilidad? La secuencia ms probable es el que tiene todos los a3 que es {a3, a3,. . . , a3}. La probabilidad de esta secuencia es: (* + ( ) ( )

donde ponemos 1/2 porque es igual a la probabilidad que posee a3. La secuencia ms probable de la pregunta anterior no es una secuencia tpica. En general, en un secuencia tpica, smbolo a1 se repite 1000p(a1) = 200 veces, a2 smbolo se repite aproximadamente, 1000 p(a2) = 300 veces y a3 smbolo se repite casi 1000p(a3) = 500 veces. (* (* (* + + + ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

8) Una fuente tiene el siguiente alfabeto A={a1, a2, a3, a4} con una respectivas probabilidades {0.1, 0.2, 0.3, 0.4} a) Cul es la longitud mnima promedio de cdigo para representar esta fuente? La longitud promedio depende de la entropa del alfabeto. ( ) ( ) ( ) ( ) ,( ) ( ( ) ) ( ) ( ) ( ) ( ) ( ) ( )-

b) Disear un cdigo Huffman para la fuente y compare la longitud promedio del cdigo con su entropa. 0 0.4 0 ( ) ( ) ( ) 0.3 0.6 0 0.2 1 1 1 0.1 0.3