1
Universidad de Cuenca.
EVALUACION CAPTULO 3
Aland Camposano aland.camposano@ucuenca.ec
Cesar Adrian Guayara Granda adrian.guayara@ucuenca.ec
Universidad de Cuenca
Facultad de Ingeniera
Abstract Source coding is important for the efficient
transmission and storage of information. In this exercise we
develop the basic formulas related to source coding as well as
implement schemes for efficient coding.
I. INTRODUCCIN
Un problema importante en las comunicaciones digitales y el
almacenamiento informtico es la transmisin y
almacenamiento eficaz de informacin. Adems, la transmisin
y el almacenamiento de datos digitales requiere que la
informacin se represente en forma digital o binaria. Por lo
tanto, existe la necesidad de realizar la codificacin de origen,
el proceso de codificar el mensaje de fuente de informacin a la
palabra de cdigo binario y la decodificacin sin prdida y fiel
de La palabra de cdigo binario al mensaje de fuente de
informacin original [1].
II. MARCO TERICO
Fuente de codificacin.
La salida que se tiene del codificador est en muchos casos
correlada, y algunos bits o cadenas de bits son mucho ms
probables que otros. Esto provoca que se transmitan ms bits de
los que son estrictamente necesarios para enviar la informacin
deseada entre el transmisor y el receptor. La cantidad de
informacin por smbolo generada por una fuente viene medida
por su entropa. Suponiendo que una fuente discreta es capaz de
generar un total de M valores distintos, cada uno de ellos con
probabilidad , su entropa se define como:
Desigualdad de Kraft.
Longitud media.
La longitud media de un cdigo se define como la longitud en
promedio de una palabra del mismo:
donde ni es el nmero de bits usados para codificar el smbolo
i-simo.
Eficiencia del cdigo.
Mide lo cercana que se encuentra su longitud media del lmite
terico dado por la entropa:
Varianza del cdigo.
Es una medida de dispersin definida como la esperanza del
cuadrado de la desviacin de dicha variable respecto a su
media. [2].
III. DESARROLLO
A. PLANTEAMIENTO
RESOLVER POR GRUPOS:
Dos fuentes S1 y S2 emiten smbolos {A,B,C,D,E,F,G,H,I} con
una probabilidad P(A) = 1/3; P(B) = P(C) = P(D) = P(E) = P(F)
= 1/9; P(G) = P(H) = P(I) = 1/27, ambas fuentes emplean
respectivamente un canal de comunicaciones ternario para
transmitir la informacin. Para maximizar la explotacin del
ancho de banda del canal se emplea en cada caso un codificador
de fuente cuyos cdigos emplean los smbolos del alfabeto {-
1,0,1}. Calcular:
a) Si existe un cdigo instantneo en el que la codificacin de
todos los smbolos de fuente d lugar a palabras de cdigo de
longitud 2.
b) Cul es la longitud media mnima de las palabras de cdigo
para una fuente S1 o S2?
c) Mediante algoritmo de Fano las palabras de cdigo para cada
uno de los smbolos de fuente. Cul es la eficiencia del cdigo
 2
Universidad de Cuenca.

resultante?
d) Mediante algoritmo de Huffman las palabras de cdigo para
cada uno de los smbolos de fuente. Cul es la eficiencia del
cdigo resultante? LETRA PROBABILIDAD DIV1
e) Cul sera una cota superior de la entropa conjunta de las A 1/3 1
fuentes S1 y S2 en bits? Se observa en la generacin de B 1/9 -1
smbolos de las fuentes que existe una dependencia entre las C 1/9 -1
fuentes S1 y S2, esta dependencia se manifiesta de la siguiente D 1/9 -1
manera: E 1/9 0
Cuando S1 emite A, entonces S2 solo emite A F 1/9 0
Cuando S1 emite B, C o D, entonces S2 solo emite B, G 1/27 0
CoD H 1/27 0
Cuando S1 emite E; F; G; H o I, entonces S2 solo I 1/27 0
emite E; F; G; H o I
f) Teniendo en cuenta de dependencia entre las fuentes, calcule AGREGAR BITS QUE SEAN UNICOS
la entropa de la fuente S2 en bits para los casos en los que la LETRA PROBABILIDAD DIV1 DIV2
fuente S1 toma el valor: S1 = A y S1 = C. A 1/3 1 0
B 1/9 -1 1
B. RESOLUCIN
C 1/9 -1 0
D 1/9 -1 -1
IV. DESARROLLO
E 1/9 0 1
Dos fuentes de informacin, S1 y S2 F 1/9 0 0
G 1/27 0 -1
P(A) =1/3
H 1/27 0 -1
P(B) = P(C) = P(D) = P(E) = P(F) =1/9 I 1/27 0 -1
P(G) = P(H) = P(I) =1/27
AGREGAR BITS QUE SEAN UNICOS
Para que un cdigo sea instantneo, ha de cumplir la LETRA PROBABILIDAD DIV1 DIV2
desigualdad de Kraft: A 1/3 1
B 1/9 -1 1
C 1/9 -1 0
D 1/9 -1 -1
E 1/9 0 1
F 1/9 0 0
Longitud L=2 G 1/27 0 -1
H 1/27 0 -1
I 1/27 0 -1
b) La longitud mnima est determinada por la entropa
de la fuente, Lmin = H Puesto que el cdigo es ternario, LETRA PROBABILIDAD DIV1 DIV2 DIV3
debemos utilizar base 3. A 1/3 1
c) B 1/9 -1 1
C 1/9 -1 0
D 1/9 -1 -1
E 1/9 0 1
F 1/9 0 0
G 1/27 0 -1 1
H 1/27 0 -1 0
I 1/27 0 -1 -1

Eficiencia

c) Calculamos Fano
 3
Universidad de Cuenca.

d) Calculamos la codificacin por Huffman.

Ordenamos porFuente Fuente Fuente Fuente d) Una cota superior de H(S1, S2) se obtiene cuando
probabilidad reducida 1reducida 2reducida 2reducida 3
ordenada ordenada ordenada
ambas fuentes son independientes:
A 1/3 A 1/3 A 1/3 A 1/3 A 1/3
B 1/9 B 1/9 B 1/9 K 1/3 K 1/3
H(S1, S2) H(S1) + H(S2)|{H(S1 ) = H(S2 )} = 2 H(S1) = 2 H(S2)
C 1/9 C 1/9 C 1/9 B 1/9 L 1/3 Para expresar la informacin en bits, empleamos base 2:
D 1/9 D 1/9 D 1/9 C 1/9
E 1/9 E 1/9 K 1/3 D 1/9
F 1/9 F 1/9
G 1/27 J 1/9
H 1/27 e) Cuando
I 1/27
S1 = A = S2 = A
Y obtenemos como resultado:
S1 = C = S2 = B o S2 = C o S2 = D

las probabilidades condicionadas son: P(S2 = A|S1 = A) = 1

Para el caso S1 = C, hay tres smbolos. Considerando que estos

smbolos mantienen la relacin de probabilidades de la fuente
S2, entonces:

A 1
B 1 1
C 1 0
D 1 1
E 0 1
F 0 0 V. CONCLUSIONES
G 0 1 1
H 0 1 0
Como conclusin se puede mejorar la eficiencia recortando las
I 0 1 1
longitudes.
Dado que la longitud del cdigo de cada smbolo coincide
con la informacin que proporciona (en base 3), entonces
es inmediato que: La codificacin de fuente es importante para la eficiente
transmisin y almacenamiento de datos asumiendo un canal sin
ruido.

VI. AUTOEVALUACION
Aland Camposano 9
Adrian Guayara 9
 4
Universidad de Cuenca.

VII. REFERENCIAS
[1] R. Togneri y C. DeSilva, Fundamentals of information
theory and coding design, 1ra ed. Boca Raton, FL: Chapman
& Hall/CRC, 2003.
[2] Javier Ramos Lpez, Fernando Daz de Mara,
Codificacin de Fuente y de Canal, Disponible en:
http://www.tsc.uc3m.es/~hmolina/wp-content/upl
oads/2010/02/lsyc_ittst_p7.pdf