Facultad de Ingeniería de

Sistemas y Electrónica

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

SISTEMAS Y TRANSMISIÓN DE DATOS

PERIODO 2019
 PRESENTADO POR:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Oficial Científica y Tecnológicamente especializado
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Diseño, Implantación y
Control de Servicios de Telecomunicaciones y
Telemática
Estudios Teóricos de Radiaciones No Ionizantes
Consultoría en Temas de Seguridad Integral
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 INTRODUCCIÓN

SUMARIO
1. TRANSMISIÓN DE INFORMACIÓN
2. ENTROPIA
3. INFORMACIÓN MUTUA
4. CAPACIDAD DE UN CANAL

BIBLIOGRAFIA
Bibliografía base:
• Thomas Cover and Joy A. Thomas, "Elements of Information Theory". De
John Willey & Sons.
• Shu Lin & Daniel Costello. "Error Control Coding". Ed. Prentice Hall.
Bibliografía complementaria:
• GIL ÁLVAREZ, P. Teoría matemática de la información.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

INFORMACION MUTUA

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
La información mutua I(X;Y) es una medida de la información proveída por
los pares de símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información

transmitida por el canal, es positiva y simétrica en X y Y
H (X,Y)

H (Y)
H (X)

H (Y/X)
H (X/Y)
I (X;Y)

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

CAPACIDAD DE CANAL

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

EL CANAL DE COMUNICACIÓN:

 ES LA TRAYECTORIA O MEDIO A TRAVÉS DEL QUE FLUYEN LOS SÍMBOLOS DEL ORIGEN AL
DESTINO.

 UN CANAL DISCRETO SIN MEMORÍA, (DMC), ES UN MODELO ESTADÍSTICO, CON UNA

ENTRADA X, Y UNA SALIDA Y. DURANTE CADA UNIDAD DE TIEMPO, O INTERVALO DE
SEÑALIZACIÓN, EL CANAL ACEPTA UN SÍMBOLO DE ENTRADA DE X, Y EN RESPUESTA
GENERA UN SÍMBOLO DE SALIDA DE Y.

o EL CANAL ES DISCRETO, CUANDO LOS ALFABETOS X, Y, SON FINITOS.

o UN CANAL ES “SIN MEMORIA”, CUANDO EL SÍMBOLO DE SALIDA CORRIENTE, DEPENDE

SOLAMENTE DEL SÍMBOLO CORRIENTE A LA ENTRADA, Y NO DE NINGÚN SÍMBOLO
PREVIO.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

P( X = 1) = p11+p12+p13+p14= 4/16 = 1/4
P( Y = 2) = p12+p22+p32+p42= 5/16

X/Y 1 2 3 4
1 2/16 1/16 1/16 0/16 4/16

2 1/16 2/16 1/16 0/36 4/16

3 0/16 1/16 2/16 1/16 4/16

4 0/16 1/16 1/16 2/16 4/16

3/16 5/16 5/16 3/16

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

CAPACIDAD DEL CANAL:

ES UN PARÁMETRO QUE NOS INDICA CUAL ES LA CANTIDAD MÁXIMA DE BITS, QUE UN CANAL
PUEDE SOPORTAR. ASÍ POR EJEMPLO PARA UN CANAL PERTURBADO POR RUIDO GAUSSIANO, LA
CAPACIDAD DE CANAL PUEDE CALCULARSE COMO:

 S
C  Bw.Log 2 1   bit
 N seg

DONDE C = CAPACIDAD MÁXIMA DE TRANSPORTE DEL CANAL EN BITS POR SEGUNDO.

BW = ES EL ANCHO DE BANDA DEL CANAL EN HERTZ.
S = ES LA RELACIÓN DE POTENCIA DE SEÑAL A POTENCIA DE RUIDO QUE
N
SOPORTA EL CANAL.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 La capacidad de un canal definida por Shannon es C = max I (X;Y),

Max I (X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es

cero o cuando la incertidumbre de recibir Y dado X es cero:

Si I (X;Y) = H(X) – H(X | Y), cuando H(X | Y) = 0 → max I (X;Y) = C

Si I (X;Y) = H(Y) – H(Y | X), cuando H(Y | X) = 0 → max I (X;Y) = C

H(Y|X) máxima H(Y|X) “grande” H(Y|X) “chica” H(Y|X) = 0

H (X,Y) H (X,Y) H (X,Y) H (X,Y)

H (X) H (Y/X)= H(Y) H (X)=H(Y)=H(X,Y)=I(X;Y)

I (X;Y)=0 I (X;Y)
I (X;Y)

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

MATRIZ DEL CANAL:

 UN CANAL PUEDE ESPECIFICARSE POR EL CONJUNTO COMPLETO DE PROBABILIDADES

DE TRANSICIÓN.
 SE GENERA LA MATRIX [P(Y/X)], CONOCIDA COMO MATRIZ DEL CANAL.
 SI LAS PROBABILIDADES DE ENTRADA SE REPRESENTAN POR LA MATRX FILA: [P(X) =
[P(X1) P(X2) .....P(XM) ]; LAS PROBABILIDADES DE SALIDA SE REPRESENTAN POR LA
MATRIX FILA: [P(Y) = [P(Y1) P(Y2) .....P(YM) ] LUEGO: [P(Y)] = [P(X)] * [P(Y/X)].

……………..

……………..
[ P ( Y/X ) ] =
……………..

……………..

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 EN LA MATRIZ DE CANAL:

Y=
1 2 3 4

X= 1 2/16 1/16 1/16 0/16 4/16

2 1/16 2/16 1/16 0/16 4/16

3 0/16 1/16 2/16 1/16 4/16

4 0/16 1/16 1/16 2/16 4/16

3/16 5/16 5/16 3/16

P( X = 1) = p11+p12+p13+p14= 4/16 = 1/4

P( Y = 2) = p12+p22+p32+p42= 5/16

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

Ejemplo:
Un sistema con input (X) y output (Y). Cual es la Prob{ 3 ≤ X ≤ 5, 2 ≤ Y ≤ 3 } y las
probabilidades marginales de X e Y?
Probabilidad de cada punto en la muestra: P{X=i, Y=j} = 1/36
P{ 3 ≤ X ≤ 5, 2 ≤ Y ≤ 3 } = 6/36 = 1/6
Probabilidades marginales:
P{ 3 ≤ X ≤ 5} = 18/36 = 1/2
P{ 2 ≤ Y ≤ 3} = 12/36 = 1/3
X e Y son independientes, ya que todos los valores del arreglo 1/36 =(1/6)(1/6)
X/Y 1 2 3 4 5 6

1 1/36 1/36 1/36 1/36 1/36 1/36 1/6

2 1/36 1/36 1/36 1/36 1/36 1/36 1/6

3 1/36 1/36 1/36 1/36 1/36 1/36 1/6

4 1/36 1/36 1/36 1/36 1/36 1/36 1/6

5 1/36 1/36 1/36 1/36 1/36 1/36 1/6

6 1/36 1/36 1/36 1/36 1/36 1/36 1/6

1/6 1/6 1/6 1/6 1/6 1/6

ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 SI SE QUIEREN COMPARAR FUENTES Y CANALES DE DATOS, SE PUEDEN
USAR MEDIDAS DE LAS DIFERENCIAS ENTRE ELLOS.
 ESTAS MEDIDAS NOS PUEDEN DAR UN REFLEJO DEL TIPO DE FUENTE Y
DEL TIPO DE CANAL QUE SE ESTA ESTUDIANDO

X SISTEMA DE Y
COMUNICACIONES

Ejemplo:
Binary Symmetric Channel (BSC), un modelo de un canal simple pero
que incluye gran parte de la complejidad del problema de
comunicaciones en general. Se requiere determinar P{Y|X}:

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 P{0|0} = P{1|1} = p, P{1|0} = P{0|1} = q

x p y
0 0
q q
1 1
p

Ejemplo:
Binary Erasure Channel (BEC). Para el BEC P{0|0} = P{1|1} = p, P{z|0} = P{z|1} = q

x p y
0 0
q
q z
1 1
p

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 LA TEORÍA DE LA INFORMACIÓN
(CLAUDE SHANON)

 TEORÍA MATEMÁTICA, QUE ESTABLECE LOS LÍMITES DE MÁXIMA

COMPRESIÓN DE DATOS Y MÁXIMA TASA DE TRANSMISIÓN DE
INFORMACIÓN TRANSMITIDA SIN ERRORES. PARA ESTE EFECTO, SE TRATA A
LA INFORMACIÓN COMO MAGNITUD FÍSICA, CARACTERIZANDOLA POR SU
ENTROPÍA, COMO MEDIDA DE LA CANTIDAD DE NOTICIA (SORPRESA) QUE
PROVEE.
 ENTONCES: SI LA CANTIDAD DE INFORMACIÓN DE LA FUENTE NO EXCEDE LA
CAPACIDAD DEL CANAL EXISTE UNA TÉCNICA DE CODIFICACIÓN TAL QUE LA
INFORMACIÓN PUEDE SER TRASMITIDA CON UNA PROBABILIDAD DE
OCURRENCIA DE ERRORES ARBITRARIAMENTE PEQUEÑA, A PESAR DE LA
PRESENCIA DE RUIDO.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

  LA TEORÍA PARTE DE LA IDEA DE QUE LOS CANALES NO SON IDEALES, AUNQUE
MUCHAS VECES SE IDEALICEN LAS NO LINEALIDADES, PARA ESTUDIAR DIVERSOS
MÉTODOS DE ENVÍO DE INFORMACIÓN O LA CANTIDAD DE INFORMACIÓN ÚTIL QUE
SE PUEDA ENVIAR A TRAVÉS DE UN CANAL.
Dada una Fuente de información y un canal de
comunicación, existe una técnica de
codificación tal que la información puede ser
transmitida sobre el canal y con una frecuencia
de errores arbitrariamente pequeña a pesar de
la presencia de ruido

EL MODELO UTILIZADO POR SHANNON PARA PRESENTAR SU TEORÍA ES UN SISTEMA GENERAL DE LA COMUNICACIÓN QUE
PARTE DE UNA FUENTE DE INFORMACIÓN DESDE LA CUAL, A TRAVÉS DE UN TRANSMISOR, SE EMITE UNA SEÑAL
PREVIAMENTE CODIFICADA, A TRAVÉS DE UN CANAL QUE PUEDE SER INTERFERIDO POR RUIDO. LA SEÑAL SALE DEL CANAL, Y
LLEGA A UN RECEPTOR QUE DECODIFICA LA INFORMACIÓN CONVIRTIÉNDOLA POSTERIORMENTE EN MENSAJE QUE PASA A UN
DESTINATARIO.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 RUIDO:
EXPRESIÓN GENÉRICA UTILIZADA PARA REFERIRSE A LAS DISTORSIONES ORIGINADAS EN
FORMA EXTERNA AL PROCESO DE COMUNICACIÓN.
 INFORMACION
AMALGAMA DE MUCHAS NOCIONES VAGAS E IMPRECISAS, CUYA MEDIDA ESTA BASADA
EN LA CANTIDAD DE NOTICIA (O SORPRESA) QUE PROVEE.
o CLAUDE SHANNON DEMOSTRO QUE LA INFORMACION PUEDE SER TRANSMITIDA

CON FIABILIDAD HASTA EL RITMO PERMITIDO POR LA CAPACIDAD DEL CANAL C ESTA
FIABILIDAD ERA INDEPENDIENTE DEL RITMO DE LA TRANSMISION SIEMPRE QUE

FUERA MENOR QUE C.

o EL TEOREMA DE CODIFICACION DE CANALES DE SHANNON PROMETIO LA EXISTENCIA
DE CODIGOS QUE PERMITIRIAN LA TRANSMISION DE INFORMACION A VELOCIDADES
MAS RAPIDAS. ALGUNOS CODIGOS QUE USARON ESTAS IDEAS SON LOS CODIGOS DE
HAMMING Y REED-SOLOMON.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 INFORMACIÓN DE UNA FUENTE

 UNA FUENTE DE MENSAJES SE CARACTERIZA POR EL NÚMERO DE MENSAJES QUE PUEDE

PRODUCIR Y POR LA PROBABILIDAD CON LA QUE SE PRODUCE CADA MENSAJE.
 LA FUENTE ASOCIADA A LA IMAGEN ORIGINAL PUEDE PRODUCIR
256 POSIBLES MENSAJES, CUYA PROBABILIDAD PUEDE
ESTIMARSE COMO EL HISTOGRAMA DIVIDIDO POR EL NÚMERO
TOTAL DE PUNTOS DE LA IMAGEN
 LA FUENTE DE MENSAJES ASOCIADA A LA SALIDA DEL
CODIFICADOR DIFERENCIAL CONTIENE, PARA EL CASO DE UNA
CODIFICACIÓN SIN ERROR, UN TOTAL DE 511 MENSAJES CON
UNA PROBABILIDAD MUCHO MAYOR PARA LOS MENSAJES
PRÓXIMOS AL VALOR NULO.
 EL HISTOGRAMA SE PUEDE INTERPRETRAR COMO PROBABILIDAD
DE APARICIÓN DE DETERMINADOS MENSAJES

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 CARACTERIZACIÓN DE UNA FUENTE DE MENSAJES

LA FUENTE QUEDA COMPLETAMENTE DETERMINADA SI CONOCEMOS TODOS LOS MENSAJES

POSIBLES Y LA PROBABILIDAD CON LA QUE SE PRODUCEN

¿Cuanta información lleva cada mensaje?

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
26
 Ejemplos de información
EJEMPLO 1

¿Qué información proporciona una moneda al caer?

Dos posibles mensajes, cara y cruz con la misma probabilidad de 1/2

Información asociada al mensaje cara  1 

I (cara )  log 2    1bit
 0,5 

EJEMPLO 2

La información asociada a cada uno de los mensajes de una fuente que puede
transmitir 8 mensajes equiprobables es:

 
1 log2(8)=log2(23)=3 bit
I (m)  log 2    3 bit
 1 
8
ESCUELA DE INGENIERÍA DE REDES Y
COMUNICACIONES
 SISTEMA DE COMPRESIÓN DE INFORMACIÓN
APLICA UN PROCESO DE REDUCCIÓN DE LA TASA DE BITS, SIN PÉRDIDA APARENTE DE
CALIDAD

Datos Transformación Codificación

originales de datos

Datos
idénticos a los Transformación Decodificación
originales de datos

SE EVIDENCIAN DOS ETAPAS: TRANSFORMACIÓN DE DATOS, CODIFICACIÓN

 LA TRANSFORMACIÓN DE LOS DATOS ES UN PROCEDIMIENTO GENÉRICO QUE SE UTILIZA

PARA REPRESENTAR LA INFORMACIÓN EN UNA FORMA ALTERNATIVA; LO QUE HACE MÁS
EVIDENTE LA REDUNDANCIA DE LOS DATOS ORIGINALES.

 ESTA TRANSFORMACIÓN DEBE SER INVERTIBLE, DE FORMA QUE SE PUEDA RECUPERAR

LA INFORMACIÓN ORIGINAL.

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
• UN COMPRESOR/DESCOMPRESOR SE VALE DE UN ALGORITMO QUE SE UTILIZA PARA
OPTIMIZAR LOS DATOS AL TENER EN CUENTA CONSIDERACIONES APROPIADAS PARA EL
TIPO DE DATOS QUE SE VAN A COMPRIMIR/DESCOMPRIMIR.

• TIPOS DE COMPRESION:
o LA COMPRESIÓN FÍSICA ACTÚA DIRECTAMENTE SOBRE LOS DATOS; POR LO TANTO,
ES CUESTIÓN DE ALMACENAR LOS DATOS REPETIDOS DE UN PATRÓN DE BITS A
OTRO.
o LA COMPRESIÓN LÓGICA, SE LLEVA A CABO POR RAZONAMIENTO LÓGICO AL
SUSTITUIR ESTA INFORMACIÓN POR INFORMACIÓN EQUIVALENTE.

• MODOS DE COMPRESION:
o LA COMPRESIÓN SIMÉTRICA, SE UTILIZA EL MISMO MÉTODO PARA COMPRIMIR Y
PARA DESCOMPRIMIR LOS DATOS. POR LO TANTO, CADA OPERACIÓN REQUIERE LA
MISMA CANTIDAD DE TRABAJO. EJM. TRANSMISIÓN DE DATOS.
o LA COMPRESIÓN ASIMÉTRICA REQUIERE MÁS TRABAJO PARA UNA DE LAS DOS
OPERACIONES. ES FRECUENTE BUSCAR ALGORITMOS PARA LOS CUALES LA
COMPRESIÓN ES MÁS LENTA QUE LA DESCOMPRESIÓN.

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
 CODIFICACIÓN DE LA FUENTE
 LOS MÉTODOS DE COMPRESIÓN RECURREN A LOS PROCEDIMIENTOS GENERALES DE
COMPRESIÓN DE DATOS
 CODIFICACIÓN RLC (RUN LENGTH CODING)
 CODIFICACIÓN VLC (VARIABLE LENGTH CODING)
 ADEMÁS UTILIZAN LA REDUNDANCIA ESPACIAL DE UNA IMAGEN, LA CORRELACIÓN
ENTRE PUNTOS CERCANOS Y LA MENOR SENSIBILIDAD DEL OJO A LOS DETALLES FINOS
DE LAS IMÁGENES.

CODIFICACIÓN POR LONGITUD DE SERIES (RUN LENGHT CODING)

 CUANDO UNA FUENTE DE INFORMACIÓN EMITE ELEMENTOS DE MENSAJE QUE PUEDEN
LLEVAR SERIES RELATIVAMENTE LARGAS DE ELEMENTOS IDÉNTICOS, ES CONVENIENTE
CODIFICAR JUNTOS EL VALOR/NÚMERO DE REPETICIONES.
 EL FACTOR DE REDUCCIÓN DE FLUJO ES MÁS IMPORTANTE CUANTO MÁS LARGA SEA LA
SERIE DE VALORES IGUALES
 CON ESTE PROCEDIMIENTO, NO SE PIERDE INFORMACIÓN, EL PROCESO ES REVERSIBLE
(COMPRESIÓN DE FICHEROS ZIP).

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
CODIFICACIÓN DE LONGITUD VARIABLE O ENTRÓPICA
 SE BASA EN EL HECHO DE QUE LA PROBABILIDAD DE QUE APAREZCA UN ELEMENTO
CODIFICADO SOBRE N BITS, ENTRE LOS 2N POSIBLES GENERADOS POR UNA FUENTE, NO
SEA IGUAL PARA TODOS LOS ELEMENTOS.
 ES INTERESANTE CODIFICAR CON MENOS BITS LOS ELEMENTOS DE APARICIÓN
FRECUENTE, Y CON MÁS LOS ELEMENTOS DE RARA APARICIÓN. SE OBTIENE ASÍ UNA
LONGITUD MEDIA INFERIOR A LA LONGITUD FIJA, LO QUE PERMITE UNA REDUCCIÓN DE
FLUJO
 PARA APLICAR ESTE PROCEDIMIENTO, HAY QUE CONOCER PREVIAMENTE LA SERIE DE
ELEMENTOS A TRANSMITIR (INCOMPATIBILIDAD CON EL TIEMPO REAL)

CANTIDAD DE INFORMACIÓN
 LA CANTIDAD DE INFORMACIÓN Q (EN BITS) TRANSMITIDA POR UN ELEMENTO ES IGUAL
AL LOGARITMO EN BASE 2 DE LA INVERSA DE SU PROBABILIDAD DE APARICIÓN P:
1
Q  log 2   log 2 ( p)
p
 Q = LONGITUD DE CÓDIGO ÓPTIMA POR ELEMENTO O NÚMERO DE BITS DE
INFORMACIÓN TRANSMITIDA CUANDO SE ENVÍA ESE ELEMENTO

ESCUELA DE INGENIERÍA DE REDES Y

COMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 ROL DE LAS PROBABILIDADES EN LAS COMUNICACIONES

o PROBABILIDAD, ES LA MAYOR O MENOR POSIBILIDAD DE QUE SUCEDA UN SUCESO.

o ESTA BASADA EN LAS FRECUENCIAS OBSERVABLES DE UN EVENTO, LO QUE PERMITE

OBTENER UN REFLEJO DEL TIPO DE FUENTE DE INFORMACIÓN Y DEL CANAL DE
COMUNICACIÓN; ASÍ TAMBIÉN, UNA MANERA DE DETERMINAR CUANTITATIVAMENTE
LAS CARACTERISTICAS DE UN SISTEMA, COMO:

 DISTRIBUCION DE LA INFORMACION EN UN ORIGEN

 LA CONFIABILIDAD DE UN CANAL

 LA RELACION ENTRE EL ORIGEN Y EL DESTINO DE LA INFORMACION

o UN CONCEPTO FUNDAMENTAL EN LA TEORÍA DE LA INFORMACIÓN ES QUE LA

CANTIDAD DE INFORMACIÓN CONTENIDA EN UN MENSAJE ES UN VALOR MATEMÁTICO
BIEN DEFINIDO Y MEDIBLE.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

o EL TÉRMINO CANTIDAD NO SE REFIERE A LA CUANTÍA DE DATOS, SINO A LA
PROBABILIDAD DE QUE UN MENSAJE, DENTRO DE UN CONJUNTO DE MENSAJES
POSIBLES, SEA RECIBIDO.

o EN LO QUE SE REFIERE A LA CANTIDAD DE INFORMACIÓN:

 AL MENSAJE QUE TIENE MENOS PROBABILIDADES DE SER RECIBIDO, SE LE

ASIGNA EL VALOR MÁS ALTO ( ≈ 1 ).

 SI SE SABE CON CERTEZA QUE UN MENSAJE VA A SER RECIBIDO, SU CANTIDAD

DE INFORMACIÓN ES CERO (0).

o UN CANAL DE COMUNICACIONES ES UN SISTEMA EN EL CUAL EL OUTPUT (M’)

DEPENDE PROBABILISTICAMENTE DEL INPUT (M).

o EL CONTENIDO DE INFORMACIÓN, DE CUALQUIER MENSAJE ES IGUAL AL MÍNIMO

NÚMERO DE DIGITOS QUE SE REQUIEREN PARA CODIFICARLO. LA ENTROPIA ES
IGUAL AL MÍNIMO NÚMERO DE DIGITOS POR MENSAJE O SIMBOLO, EN
PROMEDIO, NECESARIOS PARA CODIFICARLO.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

FUNCIÓN DISCRETA DE PROBABILIDAD (PDF) Y FUNCIÓN CUMULATIVA DE
PROBABILIDAD (CDF)

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

PDF: f(x, y) = Prob{X = x, Y= y}

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

Probabilidades Condicionales
Considere una matrix de probabilidades para dos variables aleatorias X, Y
representando un transmisor y un receptor: ¿Como se calcula la
probabilidad de X dado Y: P( X | Y } o Y dado X: P( Y | X } ?

P{ X = i | Y = j ) = p(xi | yj) = p(xi , yj) / Σi(pij)

P{ Y = j | X = i )= p(yj | xi) = p(xi , yj) / Σj(pij)

Ejemplo:

P( X = 1| Y = 2) = p(x1 , y2) / Σi(pi2) = (1/16) / (5/16) = 1/5

P( Y = 3| X = 3) = p(x3 , y3) / Σj(p3j) = (2/16) / (4/16) = 1/2

x/y 1 2 3 4
1 2/16 1/16 1/16 0/16 4/16
2 1/16 2/16 1/16 0/36 4/16
3 0/16 1/16 2/16 1/16 4/16
4 0/16 1/16 1/16 2/16 4/16
3/16 5/16 5/16 3/16 ESCUELA DE INGENIERÍA TELECOMUNICACIONES
GRACIAS POR SU ATENCIÓN

ESCUELA DE INGENIERÍA TELECOMUNICACIONES