Codificacin en vdeo streaming. H.

264/MPEG 4
Roberto Magn Carrin Laboratorio de Aplicaciones Multimedia

mayo de 2011

LAM Mster en Sistemas Multimedia NDICE

1 2

Roberto Magn Carrin

INTRODUCCIN ................................................................................................ 3 H.26X ............................................................................................................... 5 2.1 2.2 H.261 .......................................................................................................... 5 H.263 .......................................................................................................... 5

3 4 5

H.264/MPEG 4. AVC.......................................................................................... 7 H.265/HEVC ................................................................................................... 10 REFERENCIAS ................................................................................................. 11

Video streaming: H.264

Pgina 2 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

1 Introduccin
Recientes avances en computacin y tecnologas de transmisin de datos, tecnologas de compresin, dispositivos con gran ancho de banda y redes de alta velocidad han hecho posible los servicios multimedia en tiempo real sobre internet. En este contexto, la videoconferencia es una de las aplicaciones ms atractivas y demandadas. En estas aplicaciones el vdeo stream tiene que ser enviado y reproducido continuamente. Si el stream de datos se interrumpe por encima de un cierto intervalo que exceda la capacidad del buffer del reproductor, el vdeo se pausa. Esto puede hacer que el usuario desista en la utilizacin de la aplicacin y la abandone. Tambin, existen contextos crticos, tales como servicios e-health, donde una baja calidad del servicio de vdeo streaming puede inducir a la toma de decisiones incorrectas, dando lugar a consecuencias impredecibles. Para minimizar las interrupciones en la transmisin del vdeo se han ideado nuevos codificadores. Claramente la calidad de los datos de vdeo enviados, el streaming de vdeo, ser mucho mejor si los enlaces de red garantizan una mnima calidad de servicio. Para logra que el vdeo streaming pueda ser usado en sistemas heterogneos la definicin de los estndares juegan un papel importante. Este requisito de estandarizacin no es slo para el intercambio de paquetes y su organizacin, sino tambin para definir la formacin del stream de datos, la codificacin. En este contexto los codecs ms importantes y ms usados son H.261, H.263, H.264/MPEG4, MJPEG, MPEG-1, MPEG-2. Estos codecs usan tasas de bits de p x 64 Kbits/s, donde p est entre 1 y 30. Los codecs MPEG fueron desarrollados para dotar de alta calidad de vdeo en dispositivos o formatos como CD o DVD. Por lo tanto, estos codecs tienen un grandes bit rates, desde 1.5 Mbits/s para CD-ROM video streams, entre 1 y 3 Mbits/s para la televisin estndar y hasta de 16 a 30 Mbits/s para la televisin de alta definicin. Por el contrario un cdec utilizado sobre internet para un servicio de vdeo streaming debe mantener una razonable calidad con una tasa de bits baja, robusto ante errores, baja complejidad computacional y baja latencia de codificacin y decodificacin, ya que la mayora de las videoconferencias que se realizan se

Video streaming: H.264

Pgina 3 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

efectan sin una calidad de servicio determinada, slo la que la red puede ofrecer en un determinado momento. En el presente documento haremos un breve resumen sobre los actuales codecs (estndares) actuales que se utilizan en el streaming de vdeo, aunque nos centraremos en uno que sin duda ofrece mejores resultados y por ello es uno de los ms utilizados en este tipo de servicios, H.264/MPEG-4 AVC (Advance Video Coding) Tambin haremos una introduccin al nuevo estndar en desarrollo HEVC/H.265 de compresin y codificacin, como futuro y sucesor de H.264.

Video streaming: H.264

Pgina 4 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

2 H.26x
En esta seccin nos centraremos en la familia de codecs H.26x, en concreto en H.261, H.263 y H.263+, utilizados sobre todo en videoconferencia con baja tasa de bits.

2.1 H.261
Usa un bit rate de p x 64 Kbits/s, donde p vara entre 1 y 30. Este cdec un coste computacional substancialmente menor que MPEG en codificaciones en tiempo real. H.261 se caracteriza por tener un bit rate constante de codificacin. H.261 es un hbrido de la prediccin inter-frame que explota la redundancia temporal y adems la irrelevancia espacial tambin. La prediccin temporal est basada en la estimacin por bloques del movimiento y la compensacin, mientras que la DCT se una para la reduccin de la irrelevancia espacial. Opera con bloques de 8x8 con operaciones intra-frame, similar a la trama I de MPEG. Si tenemos un error de prediccin alto es indicativo que existe un alto movimiento.

2.2 H.263
Es una extensin de H.261 lo que lo habilita para ser utilizado en aplicaciones tales como video-telfono/multimedia sobre PSTN (Public Switched Telephone Network); para H.261 esto slo era posible sobre ISDN (Integrated Services Digital Network). H.263 y H.261 comparten la misma estructura de codificacin con algunas diferencias menores y cambios en la recuperacin ante un error y en su rendimiento. Las principales diferencias residen en los formatos de imgenes soportados. H.261 solo soporta CIF (Common Intermediate Format 325x288 pixels) y QCIF (Quarter CIF 176x144 pixels), mientras que H.263 soporta un tercer formato sub QCIF (128x98 pixels). Ms an, H.261 est limitado en la exactitud en el movimiento a un entero de precisin de pixel, mientras que H.263 posee precisin sub-pixel, en concreto medio pixel. Tambin se diferencian en la manera es que subdividen las imgenes en grupos de bloques y macro bloques.

Video streaming: H.264

Pgina 5 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

Aparte de estas diferencias y mejoras que H.263 introduce, introduce tambin una serie de modos de funcionamiento que podemos ver en [1]. Existe la versin 2 de H.263 o H.263+, que todava introduce ms modos de funcionamiento [2]. Esto permite el uso de un amplio rango de formatos definiendo el tamao de la imagen la forma y la frecuencia de reloj. Con esta flexibilidad es posible tengo una gran abanico de formatos de imagen, ventanas redimensionables y altos ratios de refresco. Tambin posee una alta escalabilidad, pudiendo transmitir informacin de vdeo que es propensa al erro y a prdidas, permitiendo mltiples bit rates y resoluciones.

Video streaming: H.264

Pgina 6 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

3 H.264/MPEG 4. AVC
H.264 es una evolucin de H.263+. Ofrece una eficiencia de compresin para una baja tasa de bit en comunicaciones visuales. Es relativamente reciente ya que fue aprobado en Marzo de 2003 por la ITU Video Coding Experts Group. Slo el decodificador central est estandarizado. Para hacer frente a la necesidad de una configuracin para una buena codificacin, H.264/AVC [3] posee dos capas, VCL (Video Coding Layer), la cual es diseada para representar eficientemente el contenido de vdeo y la NAL (Network Abstract Layer). Esta ltima formatea la representacin que hace VCL del vdeo e introduce informacin de cabecera adecuada para transmitir a travs de una gran variedad de capas de transporte o medios de almacenamiento. La arquitectura y los bloques que componen el codificador y las mejores que introduce se muestran en la siguiente figura.

Video streaming: H.264

Pgina 7 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

Cada imagen es comprimida particionndola en una o ms partes; cada parte posee 16x16 MBs (Macro Bloques) de luminancia con los correspondientes de crominancia. Cada MB es a su vez dividido en sub MB particiones para la prediccin del movimiento. Estas subdivisiones pueden ser de: 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 y 4x4. Otros codificadores de vdeo tienen 8x8 tamao de bloque, as un tamao de 4x4 provee una mejora en la diferencia de localizacin residual de la seal. El tamao de bloque usado por la transformada espacial siempre es igual o menor que el bloque utilizado para la prediccin. Todas las muestras de luminancia y crominancia en un MB son predichas tanto espacial como temporalmente y el resultado de la prediccin es transmitida usando codificacin transformada. As, para cada componente de color para la prediccin residual es dividida en bloques. Cada bloque es transformado usando una transformacin entera, y los coeficientes de la transformacin son cuantizados y transmitidos usando mtodos de codificacin entrpica. Para mejorar la robustez ante la prdida de datos, se usan mtodos de encubrimiento en canales propenso a error, con aplicaciones de bajo retardo. FMO (Flexible Macro block Ordering) especifica un patrn que asigna el MB a una imagen para uno o varios grupos de particiones de MB que son transmitidas separadamente. Si uno de estos grupos de particiones se pierde, se utilizan los otros grupos de particiones para encubrir dicho error. Los MBs estn organizados en particiones que representan subconjuntos de una imagen dada los cuales pueden ser codificados independientemente. El orden de transmisin de stos depende del mapa de localizacin de MB. H.264 posee cinco tipos diferentes de estas particiones: La de referencia, particin I. La predictiva, particin P. La bi-predictiva.

Video streaming: H.264

Pgina 8 de 11

LAM Mster en Sistemas Multimedia SP (Switching P) and SI (Switching I)

Roberto Magn Carrin

Los ltimos dos tipos de particiones son especficas para una conmutacin eficiente entre bit streams codificado a diferentes bit rates. Ambos el codificador y el decodificador tienen que almacenar las imgenes de referencia usada para la prediccin inter-frame en un buffer multi-frame. El decodificador replica el buffer del codificador de acuerdo al tipo de frame de referencia que especifica el bit stream. Si el tamao del buffer es mayor que un frame, el ndice donde la imagen de referencia est localizada ser sealizado, y este ndice ser transmitido para cada bloque de compensacin de movimiento. H.264, define un filtro adaptativo en lazo que minimiza el efecto que introduce en la imagen el hecho de utilizar bloques. H.264 soporta dos mtodos de codificacin por entropa. Por defecto se usa un conjunto de palabras de cdigo simple para todos los elementos sintcticos, por ejemplo, en lugar de disear diferentes VLC tablas para cada elemento sintctico, slo se mapea en una tabla de palabras de cdigo seguido de la informacin estadstica. Otra codificacin entrpica es la CAVLC (Context Adaptative Variable Lenght Coding): las tablas VLC de varios elementos sintcticos se cambian en funcin de los elementos de sintaxis ya transmitidos. H.264 usa cuantizacin escalar, donde uno de los 52 cuantificadores es

seleccionado para cada MB mediante un parmetro de cuantificacin (QP). Bsicamente H.264, usa la arquitectura base de H.263 con unos posicionamientos estratgicos introduciendo pequeas optimizaciones en varios puntos los cuales, juntos, hace que se tenga una considerable ganancia en compresin y calidad.

Video streaming: H.264

Pgina 9 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

4 H.265/HEVC
High Efficiency Video Coding (HEVC) [5] es todava una propuesta de compresin de vdeo, que pretende ser el sucesor de H.264/AVC. Actualmente se est desarrollando por el JCT-VC (Joint Collaborative Team on Video Coding) para obtener lo que sera el nuevo estndar de compresin y codificacin. Pretende mejorar substancialmente la eficiencia de codificacin de AVC, por ejemplo reduciendo a la mitad los requisitos de bit rate con calidades similares, probablemente aumentando la complejidad computacional. La nueva generacin de pantallas HDTV y sistemas de captura con frame rate progresivos y resoluciones desde QVGA (320x240) hasta 1080p y Ultra HDTV (7680x4320), adems de la mejora en la calidad de imagen en trminos de nivel de ruido, color gamut y rango dinmico, son algunos de los objetivos de este nuevo estndar HECV. Se prev que en Enero de 2013 se presente el borrador final para ser evaluado como estndar.

Video streaming: H.264

Pgina 10 de 11

LAM Mster en Sistemas Multimedia

Roberto Magn Carrin

5 Referencias
[1] GIROD, B.; STEINBACH E.; FARBER, N.; Comparison of the H.263 and H.261 Video Compression Standards; Telecommunications Institute, University of Erlanger-Nuremberg, Germany; 1995 [2] CT, G.; EROL, B.; GALLANT, M; KOSSENTINI, F.; H.263+: Video Coding at Low Bit Rates; Transactions on circuits and systems for video technology, Vol. 8, N. 7, 1998 [3] RICHARDSON, I; H.264 / MPEG-4 Part 10: Overview;

http://www.vcodex.com/; 2002 [4] Video streaming codecs and standards review: http://needfortech.com/2011/03/video-streaming-codecs-and-standardsreview/#fifteen [5] HEVC H.265: http://en.wikipedia.org/wiki/High_Efficiency_Video_Coding [6] Eric Setton, Bernd Girod, Peer-to-Peer Video Streaming, Springer-Verlag, 2007

Video streaming: H.264

Pgina 11 de 11