Documente Academic
Documente Profesional
Documente Cultură
K= 0,1,,k-1
pk =1
Se considera que los smbolos son estadsticamente independientes. Y el sistema se
conoce como una fuente discreta sin memoria.
Los smbolos con mayor probabilidad, debern tener un cdigo de menor nmero de
bits que el de ms baja probabilidad.
CANTIDAD DE INFORMACIN
Para un evento S=sk, que describe el suceso de la emisin de unsmbolo, si pk=1 y
pi=0 para todo i k; se dice que no existe sorpresa y no existe transmisin de
informacin. Si pk es bajo existe mayor sorpresa y por tanto mayor cantidad de
informacin; por tanto la cantidad de informacin es la inversa de la probabilidad de
emisin de un smbolo
I(sK)=log(1/ pk)
ENTROPA
Cantidad promedio de informacin por smbolo
Ejemplo: Considere un sistema con una fuente que genera los smbolos S={So, S1,
S2} con probabilidades 1/4,1/4 y 1/2 respectivamente. Determine la entropa de la
fuente y de la fuente extendida para la combinacin de 2 smbolos.
TEOREMA DE CODIFICACIN DE LA FUENTE
Para representar eficientemente los datos, se debe considerar codificar los datos,
mediante un dispositivo conocido como codificador fuente. Para que se produzca la
eficiencia requerida, es necesario el codificador conozca las probabilidades de los
smbolos de la fuente, lo que se utiliza para determinar el tamao de los cdigos de
los smbolos (menos probables, ms bits.)
Ejemplo de clave morse: (E=.; Q= --.-)
En comunicacin digital se debe considerar que los cdigos que se generan estn en
forma binaria y luego deben ser decodificables, es decir que el receptor debe conocer
los cdigos para poderlos reconstruir en forma perfecta.
Para un sistema binario que genera cadenas de bits de 0 y 1s, se considera que la
fuente tiene K smbolos posibles a generar y que cada smbolo Sk, tiene una
probabilidad pk. Con K=01,2,.,k-1
LONGITUD PROMEDIO DE UN CDIGO
En un sistema de k smbolos con longitudes lk, la longitud promedio se define como:
Es decir que la entropa define el lmite fundamental del valor medio de la longitud de
los cdigos
VARIANZA DE UN CDIGO
GENERACIN DE CDIGOS
1) CDIGOS DE PREFIJO
Un cdigo de prefijo se define como un cdigo en el cual ningn cdigo es la parte
inicial de otro cdigo. El de mayor probabilidad de ocurrencia; tiene una asignacin
menor de bits. Ejemplo:
Smbolo
So
S1
S2
S3
Probabilidad
0,5
0,3
0,1
0,1
Cdigo 1
Cdigo 2
0
1
00
11
0
10
110
111
Cdigo 3
0
01
011
0111
Se cumple que
CDIGO DE HUFFMAN
Es un cdigo que se acerca en bits; al lmite fundamental, fijado por la entropa; este
establece un algoritmo especfico, que se explica a continuacin:
-
Cdigos generados:
So: 11
S1: 01
S2: 00
S3:101
S4: 100
Ejercicio: Las probabilidades de la fuente vocales son:
P(a)=0.5
P(e)=0.15
P(i)=0.12
P(o)=0.18
P(u)=0.05
a)
b)
c)
d)