Documente Academic
Documente Profesional
Documente Cultură
Historia
2 Desarrollo de la teora
5 ELEMENTOS DE LA TEORA
Finalidad
Otro aspecto importante dentro de esta teora es la resistencia a la distorsin que provoca el ruido, la facilidad
de codicacin y descodicacin, as como la velocidad
de transmisin. Es por esto que se dice que el mensaje
tiene muchos sentidos, y el destinatario extrae el sentido
que debe atribuirle al mensaje, siempre y cuando haya
un mismo cdigo en comn. La teora de la informacin
tiene ciertas limitaciones, como lo es la acepcin del concepto del cdigo. El signicado que se quiere transmitir
no cuenta tanto como el nmero de alternativas necesario para denir el hecho sin ambigedad. Si la seleccin
del mensaje se plantea nicamente entre dos alternativas
diferentes, la teora de Shannon postula arbitrariamente
que el valor de la informacin es uno. Esta unidad de informacin recibe el nombre de bit. Para que el valor de
la informacin sea un bit, todas las alternativas deben ser
igual de probables y estar disponibles. Es importante saber si la fuente de informacin tiene el mismo grado de
libertad para elegir cualquier posibilidad o si se halla bajo alguna inuencia que la induce a una cierta eleccin.
La cantidad de informacin crece cuando todas las alternativas son igual de probables o cuanto mayor sea el
nmero de alternativas. Pero en la prctica comunicativa
real no todas las alternativas son igualmente probables,
lo cual constituye un tipo de proceso estocstico denominado Marko. El subtipo de Marko dice que la cadena Ejemplo: sedet.com.mx 107.248.185.1
de smbolos est congurada de manera que cualquier seUna de las aplicaciones de la teora de la informacin son
cuencia de esa cadena es representativa de toda la cadena
los archivos ZIP, documentos que se comprimen para su
completa.
transmisin a travs de correo electrnico o como parte
de los procedimientos de almacenamiento de datos. La
compresin de los datos hace posible completar la transmisin en menos tiempo. En el extremo receptor, un soft4 Teora aplicada a la tecnologa
ware se utiliza para la liberacin o descompresin del archivo, restaurando los documentos contenidos en el arLa Teora de la Informacin se encuentra an hoy en da chivo ZIP a su formato original. La teora de la informaen relacin con una de las tecnologas en boga, Internet. cin tambin entra en uso con otros tipos de archivo; por
Desde el punto de vista social, Internet representa unos ejemplo, los archivos de audio y vdeo que se reproducen
signicativos benecios potenciales, ya que ofrece opor- en un reproductor de MP3 se comprimen para una fcil
tunidades sin precedentes para dar poder a los individuos descarga y almacenamiento en el dispositivo. Cuando se
y conectarlos con fuentes cada vez ms ricas de informa- accede a los archivos se amplan para que estn inmediacin digital. Internet fue creado a partir de un proyecto tamente disponibles para su uso.[4]
del departamento de defensa de los Estados Unidos llamado DARPANET (Defense Advanced Research Project
Network) iniciado en 1969 y cuyo propsito principal era
5 Elementos de la teora
la investigacin y desarrollo de protocolos de comunicacin para redes de rea amplia para ligar redes de transmisin de paquetes de diferentes tipos capaces de resistir las 5.1 Fuente
condiciones de operacin ms difciles, y continuar funcionando an con la prdida de una parte de la red (por Una fuente es todo aquello que emite mensajes. Por ejemejemplo en caso de guerra). Estas investigaciones dieron plo, una fuente puede ser una computadora y mensajes
como resultado el protocolo TCP/IP (Transmission Con- sus archivos; una fuente puede ser un dispositivo de transtrol Protocol/Internet Protocol), un sistema de comunica- misin de datos y mensajes los datos enviados, etc. Una
ciones muy slido y robusto bajo el cual se integran to- fuente es en s misma un conjunto nito de mensajes: todas las redes que conforman lo que se conoce actualmen- dos los posibles mensajes que puede emitir dicha fuente.
te como Internet. El enorme crecimiento de Internet se En compresin de datos se tomar como fuente el archivo
debe en parte a que es una red basada en fondos guberna- a comprimir y como mensajes los caracteres que confor-
5.5
Informacin
3
casos, representarse con un cdigo de menor longitud que
el mensaje original. Supongamos que a cualquier mensaje S lo codicamos usando un cierto algoritmo de forma
tal que cada S es codicado en L(S) bits; denimos entonces la informacin contenida en el mensaje S como
la cantidad mnima de bits necesarios para codicar un
mensaje.
5.5 Informacin
5.2
Tipos de fuente
6 Entropa e informacin
La informacin es tratada como magnitud fsica, caracterizando la informacin de una secuencia de smbolos
utilizando la entropa. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las
no linealidades, para estudiar diversos mtodos de envo
de informacin o la cantidad de informacin til que se
pueda enviar a travs de un canal.
La informacin necesaria para especicar un sistema fsico tiene que ver con su entropa. En concreto, en ciertas
5.3 Mensaje
reas de la fsica, extraer informacin del estado actual de
un sistema requiere reducir su entropa, de tal manera que
Un mensaje es un conjunto de ceros y unos. Un archivo, la entropa del sistema ( S ) y la cantidad de informacin
un paquete de datos que viaja por una red y cualquier cosa ( I ) extrable estn relacionadas por:
que tenga una representacin binaria puede considerarse
un mensaje. El concepto de mensaje se aplica tambin a
S SI 0
alfabetos de ms de dos smbolos, pero debido a que tratamos con informacin digital nos referiremos casi siempre
6.1 Entropa de una fuente
a mensajes binarios.
5.4
Cdigo
De acuerdo a la teora de la informacin, el nivel de informacin de una fuente se puede medir segn la entropa
de la misma. Los estudios sobre la entropa son de suma importancia en la teora de la informacin y se deben principalmente a C. E. Shannon. Existe, a su vez, un
gran nmero de propiedades respecto de la entropa de
variables aleatorias debidas a A. Kolmogorov. Dada una
fuente F que emite mensajes, resulta frecuente observar
que los mensajes emitidos no resulten equiprobables sino
que tienen una cierta probabilidad de ocurrencia dependiendo del mensaje. Para codicar los mensajes de una
fuente intentaremos pues utilizar menor cantidad de bits
para los mensajes ms probables y mayor cantidad de bits
para los mensajes menos probables, de forma tal que el
promedio de bits utilizados para codicar los mensajes
sea menor a la cantidad de bits promedio de los mensajes originales. Esta es la base de la compresin de datos.
A este tipo de fuente se la denomina fuente de orden-0,
pues la probabilidad de ocurrencia de un mensaje no depende de los mensajes anteriores. A las fuentes de orden
superior se las puede representar mediante una fuente de
orden-0 utilizando tcnicas de modelizacin apropiadas.
Denimos la probabilidad de ocurrencia de un mensaje
en una fuente como la cantidad de apariciones de dicho
mensaje dividido entre el total de mensajes. Supongamos
que Pi es la probabilidad de ocurrencia del mensaje-i de
una fuente, y supongamos que Li es la longitud del cdigo
utilizado para representar a dicho mensaje. La longitud
promedio de todos los mensajes codicados de la fuente
se puede obtener como:
H=
n
i=0
Pi Li
Promedio ponderado de las longitudes de los cdigos de acuerdo a sus probabilidades de ocurrencia,
al nmero H se lo denomina Entropa de la fuente
y tiene gran importancia. La entropa de la fuente
determina el nivel de compresin que podemos obtener como mximo para un conjunto de datos, si
consideramos como fuente a un archivo y obtenemos las probabilidades de ocurrencia de cada carcter en el archivo podremos calcular la longitud promedio del archivo comprimido, se demuestra que
no es posible comprimir estadsticamente un mensaje/archivo ms all de su entropa. Lo cual implica
que considerando nicamente la frecuencia de aparicin de cada carcter la entropa de la fuente nos
da el lmite terico de compresin, mediante otras
tcnicas no-estadsticas puede, tal vez, superarse este lmite.
El objetivo de la compresin de datos es encontrar
los Li que minimizan a H, adems los Li se deben determinar en funcin de los Pi, pues la longitud de los
cdigos debe depender de la probabilidad de ocurrencia de los mismos (los ms ocurrentes queremos
codicarlos en menos bits). Se plantea pues:
H=
n
i=0
Pi f (Pi )
A partir de aqu y tras intrincados procedimientos matemticos que fueron demostrados por Shannon oportunamente se llega a que H es mnimo cuando f(Pi) = log2
(1/Pi). Entonces:
H=
n
i=0
Pi ( log2 Pi )
La longitud mnima con la cual puede codicarse un mensaje puede calcularse como Li=log2 (1/Pi) = -log2 (Pi).
Esto da una idea de la longitud a emplear en los cdigos
a usar para los caracteres de un archivo en funcin de su
probabilidad de ocurrencia. Reemplazando Li podemos
escribir H como:
H=
n
i=0
Pi log2 Pi
De aqu se deduce que la entropa de la fuente depende nicamente de la probabilidad de ocurrencia de cada
mensaje de la misma, por ello la importancia de los compresores estadsticos (aquellos que se basan en la probabilidad de ocurrencia de cada carcter). Shannon demostr,
oportunamente que no es posible comprimir una fuente
estadsticamente ms all del nivel indicado por su entropa. [6][7]
5
Bits de redundancia
Mtodos de control de errores
Paridad
Cdigos autochequeo y autocorrectores
Cdigos de bloque
Distancia Hamming
Paridad horizontal y vertical
Cdigos lineales
Cdigos cclicos
CRC16
CRC32
Vase tambin
Informacin
Teora algortmica de la informacin
Referencias
10
10
10.1
10.2
Images
10.3
Content license