4.

CODAREA SEMNALELOR VIDEO

4.1. Semnale video - concepte de baz
Proprietile sistemelor video se bazeaz pe proprietile de percepie ale ochiului. Cel mai mic detaliu ce poate fi reprodus ntr-o imagine este pixelul. Ideal, fiecare detaliu este redat de un pixel. Dar unele detalii se pierd prin efect Kell. Privite de la distan, dou linii apropiate din imagine sunt percepute ca o singur linie. Imaginea n care pixelii sunt succesiv alb sau negru, conine cele mai multe detalii (are frecvena maxim spaial):

Rata cadrelor: film 24 cadre/s TV (prin mprirea cadrelor n dou cmpuri): NTSC 30 cadre (29,97cadre) PAL 25 cadre (90 minute la cinema = 86,4 minute la TV).
STANDARDE INTERNAIONALE DE SCANARE N TV Raport ntre- Cadre/ Linii Banda de esere s Total/ MHz aspect Active NTSC (USA, Jap., Can., Mex.) 4:3 2:1 29.97 525/480 4.2 PAL (Marea Britanie) 4:3 2:1 25 625/580 5.5 PAL (Germania, Austria, Italia) 4:3 2:1 25 625/580 5.0 PAL (China) 4:3 2:1 25 625/580 6.0 SECAM (Frana, Rusia) 4:3 2:1 25 625/580 6.0 STANDARDE DE SCANARE LA COMPUTERE Color ntreCadre/s Linii Linii/s SVGA Mode esere

Banda (MB/s) 18.4 64.5 55.0 45.9

h h 4 Raportul de aspect: p = = v 3 Rata cadrelor: Fiecare imagine complet se numete cadru. Acesta se obine prin eantionare temporal. Rata minim de redare a cadrelor pentru ca ochiul s perceap continuitatea micrii: 50 Hz.

640480 640480 1024768 12801024

8bpp 24bpp 8bpp 4bpp

No No No No

60 70 70 70

525 525 800 1100

31,500 36,750 56,000 77,000

Fiecare cadru este format din linii prin eantionare vertical. Acestea pot fi obinute prin scanare progresiv:

a) scanarea progresiv;

b) scanarea ntreesut

sau scanare ntreesut, fiecare cadru este mprit n dou cmpuri, asigur o combinare ntre eantionarea temporal i vertical.
1

Codarea culorilor Semnalul RGB (Red, Green Blue) - monitoare, etc. - celelalte culori se obin ca o combinaie a culorilor primare. - alb: R+G+B=1. Reprezentarea YUV (Y luminana, U,V crominana). - Sistemul PAL, SECAM Y = 0.3R + 0.59G + 0.11B U = 0.493( B Y ) V = 0.877( R Y ) - Erorile de luminan sunt mai importante (mai suprtoare pentru ochi) dect erorile de crominan. Reprezentarea YIQ: - Sistemul NTSC Y = 0.3R + 0.59G + 0.11B I = 0.6 R 0.28G 0.32 B Q = 0.21R 0.52G + 0.31B
2

Apariia prelucrrii digitale a semnalului video: Televiziunea digital introduce eantionarea i pe linii fcnd legtura dintre standardele de televiziune i cele folosite la redarea pe ecranele monitoarelor calculatoarelor personale, unde se utilizeaz explorarea progresiv. Legtura dintre rezoluia pe orizontal, banda video i rata cadrelor este dat de relaia:

4.1. Standardul H.261

Standard ITU-T pentru videotelefonie i videoconferin prin ISDN (Integrated Services Digital Network). Pentru o conexiune ISDN sunt disponibile utilizatorului 2 canale B pentru transmisie bidirecional i un canal D pentru controlul transmisiunii (semnalizare). Un canal B are banda de 64kbii/s. Se poate mri debitul cu un multiplu ntreg p x 64kbits/s (p = 1..30) prin alocarea mai multor canale B. Standardul e cunoscut i ca p x 64. Rata de bit la compresie poate varia de la 40kbii/s pn la 2 Mbii/s. H.261 este realizat pentru codare i decodare n timp real. ntrzierea maxim nu trebuie s depeasc 150ms.

BW =

1 ( FR )( NL )( HR ) 2

FR = rata cadrelor, NL = numrul de linii/cadru, HR = rezoluia pe orizontal, = partea de timp alocat semnalului video activ dintro linie.
STANDARDE VIDEO DIGITAL ITU-R 601 ITU-R 601 525/60 625/50 NTSC PAL/SECAM Numr activ de pels/linie Luminana (Y) 720 720 Crominana (U,V) 360 360

4.1.1. Pregtirea imaginilor

CIF 360 180 H.261 definete un format foarte precis. Frecvena este de 29,97 cadre/s. n timpul compresiei este posibil s se genereze o imagine cu o frecven mai mic, de exemplu 10 sau 15 cadre/s. Numai imaginile cu explorare progresiv (non-interleaved) sunt permise la intrarea codorului. Semnalele sunt codate cu semnal de luminan Y i semnale diferen de crominan CB i CR.

Numr activ de linii/pic Luminana (Y) Crominana (U,V) Interlacing Rat temporal Raportul de aspect Rate brute de date (Mbps)

480 480 2:1 60 4:3 165.9

576 576 2:1 50 4:3 165.9

288 144 1:1 30 4:3 37.3

Poziia eantioanelor de luminan (Y) i crominan (CB i CR):

Televiziunea de nalt definiie (HDTV): 1280 pels 720 linii luminana, 640 pels 360 linii crominana 60 cadre/s 8 bii/pel/canal, = aproximativ 663.5 Mbps Pentru a transmite HDTV pe un canal de 6MHz trebuie o compresie de 663.5:20=34:1.

Numai dou formate (de raport 4/3) de imagini sunt permise: Common Intermediate Format (CIF) - componenta de luminan: 288 linii i 352 pixeli/linie. - componenta de crominan: 144 linii i 176 pixeli/linie. Quarter-CIF - componenta de luminan: 144 linii i 176 pixeli/linie. - componenta de crominan: 72 linii i 88 pixeli/linie.
4

 Toate implementrile H.261 trebuie s poat face codarea n ambele formate CIF i QCIF. Un semnal necomprimat QCIF la o rat de 29,97cadre/s are rata de bit 9,12Mbit/s, iar n format CIF la aceeai rat 36,45Mbit/s. n formatul H.261 unitile de date sunt de dimensiunea 8x8 pixeli i sunt utilizate pentru luminan i culoare. Un macro-bloc se obine prin combinarea a 4 blocuri de matrice Y cu cte un bloc al fiecrei component de culoare.

Vector de micare

Un grup de blocuri este definit prin 33 de macro-blocuri. Pentru obinerea vectorilor de micare se consider diferena dintre macroblocurile localizate pe aceeai poziie n imaginile care urmeaz. Blocul este codat DPCM i dac valoarea codat depete o anumit valoare de prag, se aplic DCT i se transmit coeficienii (codare intracadru). Altfel se transmit numai componentele vectorului de micare codate entropic fr pierderi (codare intercadru).

- imaginea QCIF are 3 grupuri de blocuri. - imaginea CIF din 12 grupuri de blocuri.

4.1.2. Algoritmul de codare

Utilizeaz dou metode diferite de codare: intercadre i intracadre. Pentru codarea intracadre nu este luat n considerare redundana ntre cadre. Pentru codarea intercadre informaia din cadrul anterior sau urmtor este folosit. Decizia privind modul de codare se ia pe msura compresiei n funcie de anumii parametrii. Codarea intracadre se realizeaz similar cu JPEG. Fiecare bloc de 8x8 pixeli este transformat cu DCT. Cei 64 coeficieni DCT sunt cuantizai (diferit pentru DC i AC) i apoi codai entropic. Codarea intercadre este bazat pe predicia fiecrui macro-bloc al imaginii. Aceasta se realizeaz printr-o comparare a macro-blocurilor dintre imaginile anterioare i cea curent. Vectorul de micare este definit de poziia relativ a blocului anterior fa de cel curent.
5

Toi coeficienii sunt cuantizai uniform i codai cu lungime variabil. n plus un filtru trece-jos poate fi aplicat naintea DCT pentru a elimina zgomotul de frecven nalt i acesta s nu fie codat. Acest filtru este opional. Cuantizarea este uniform i mrimea pasului de cuantizare este ajustabil n funcie de cantitatea datelor n bufferul unde se face transmisia. Acest mecanism foreaz un debit constant la ieirea codorului, deci calitatea datelor video codate depinde de coninutul imaginii ca i de micarea din scena respectiv.
6

 Schema detaliat a codorului:

Decodorul:

Codarea coeficienilor DCT se face similar ca la JPEG. Coeficienii sunt scanai n zig-zag. - Coeficientul DC este codat diferenial. - Coeficientul AC: codare zero-run+valoare i Huffman. Codarea zero-run+valoare: - zero-run numrul de repetiii a lui 0. - valore valoarea coeficienilor diferii de 0. Codarea Huffman - simbolurile cele mai frecvente sunt codate cu mai puini bii - tabel 2D pentru codare de lungime variabil (VLC). De exemplu: 0 0 0 1 6 0 3 EOB se codeaz: 001111 001000010 001001010 10
7 8

 Codarea vectorilor de micare (MV). Vectorii de micare au valori ntregi ntre 15 i 15. Se codeaz diferena ntre MV cu lungime variabil a codului.

Decizia codrii micrii

4.1.3. Cuantizarea coeficienilor

De exemplu: 15 14 13 12 ... diferena: 1 27 25 ... se codeaz: 011 00001010 00000111 ... Decizia codrii intercadre sau intracadre Ajustarea pasului de cuantizare se face n funcie de cantitatea datelor n bufferul unde se face transmisia. Pasul de cuantizare poate varia ntre 2 i 62 (din 2 n 2). Dimensiunea bufferului: q 64 kbii. Rata de bit: q 64 kbii/s. 30 Rata cadrelor: Hz, ( k = 1...4 ). k Numrul mediu de bii pe MacroBloc: CIF: 5 k q QCIF: 20 k q
umplerebuffer Pasul de cuantizare: 2 int +2 200 q Umplerea bufferului < 200*q < 400*q < 600*q < 800*q ... < 6000*q < 6200*q
9 10

Pasul de cuantizare 2 4 6 8 ... 60 62

 Debitul la decodare d n+1 bn +

tn +1 tn

R(t )dt B

Timpul este dat n multiplii ntregi de perioade CIF (1/29,97; 2/29,97 etc.)

4.1.4. Fluxul de date

Fluxul de date are o structur ierarhic format din mai multe niveluri. 1. Nivelul imagine - PSC (20 bii): Picture Start Code; - TR (5 bii): Temporal Reference; - PTYPE (6 bii): CIF sau QCIF; - dac PEI = 1, PSPARE: bii de rezerv; 2. Nivelul Grup de Blocuri (GOB) - GBSC (16 bii): GOB Start Code; - GN (4 bii): Group Number; - GQUANT: Group Cuantizer, 1...31; - dac GEI = 1, GSPARE: bii de rezerv; 3. Nivelul MacroBlocuri (MB) - MBA: MB Address; - MQUANT: MB Cuantizer, 1...31; - MVD: MV Data; - CBP: Coded Block Pattern 4. Nivelul Blocuri - TCOEFF: Coeficienii transformatei; Fluxul de date H.261 prezint urmtoarele caracteristici: - fluxul de date al unei imagini conine informaia pentru corecia erorilor - pentru fiecare imagine un numr de 5 bii sunt folosii ca referin temporal - dac o anumit comand este dat de la aplicaia decodorului, ultima imagine este ngheat ca un stop cadru. Aceasta permite aplicaiei ca la decodare s opreasc i s porneasc o scen video fr nici o dificultate. - utiliznd comenzi trimise de codor (i nu de aplicaie) este de asemenea posibil s se comute ntre imagini fixe i imagini n micare. Alternativ un semnal de time-out poate da aceeai comand.

11

12

4.2. Standardul H.263

Standard ITU-T pentru codare video la rate de bit foarte mici. Pentru transmisie prin reelele PSTN (Public Switched Telephone Network). Rate de bit ntre 10 i 24kbii/s. Este o combinaie ntre H.261 i codri similare MPEG pentru obinerea unei rate foarte mici. Comaraii cu H.261: - Permite mai multe formate dect H.261 i diferite structuri GOB. - Compensarea micrii la nivel de jumtate de pixel. - Codare VLC dup un tabel 3D. Performane: - are PSNR cu 3-4dB mai mare dect H.261 la rate mai mici de 64kbii/s. - reducere cu 30% a ratei de bii fa de MPEG-1. Formate de imagini: Sub-CIF QCIF CIF 4CIF 16CIF Pixeli/linie 128 176 352 704 1408 Linii 96 144 288 576 1152 Rezoluia de determinare a vectorilor de micare este jumtate de pixel.

Codarea cu tabel 3D: - Un simbol este format din: {last, run, level}. - last=1 indic ultimul coeficient diferit de zero. - nu mai este nevoie de EOB.

Exist patru moduri de codare: 1. Modul de codare a vectorilor de micare fr restricii (Unrestricted Motion Vector Mode) 2. Modul de predicie avansat (Advanced Prediction Mode) 3. Modul de codare a cadrelor PB (PB-Frame Mode) 4. Modul de codare bazat pe codarea aritmetic a sintaxei (Syntax-based Arithmetic Coding Mode) Decodorul semnaleaz codorului ce mod este capabil s decodeze. Dac codorul suport acele moduri, le va activa. Modul UMV (Unrestricted Motion Vector Mode) - Vectorii de micare pot indica n afara imaginii. - Pixelii de pe margini se repet. - Apare un ctig pentru codarea micarii spre marginea scenei. - Se face o extindere a valorilor vectorilor de micare la intervalul [-31.5, 31.5]. - Utilizat n formatele 4CIF i 16 CIF. - Este bun pentru codarea imaginilor n care se camera video se deplaseaz sau exist micare n fundal. Modul AP (Advanced Prediction Mode) - Se codeaz blocuri suprapuse. - Se folosesc patru vectori de 8x8 n loc de un vector de 16x16 pentru unele macroblocuri pentru o mai bun predicie a micrii. - Vectorii de micare pot indica n afara imaginii ca la UMV.

Intervalul de valori pentru vectorii de micare este [-16, 15.5]. Predicia vectorilor de micare:

13

14

 Modul PB-Frame - Un cadru PB cost din dou imagini - Imaginea P este prezis din ultima imagine decodat - Imaginea B este prezis att din ultima imagine decodat ct i din imaginea P care este decodat.

- Vectorii de micare din B sunt obinui din cei ai lui P. - Se codeaz un macro-bloc din P urmat de un macro-bloc din B. Modul SAC (Syntax-based Arithmetic Coding Mode) - Se utilizeaz codarea aritmetic n loc de VLC - Se obin mai puini bii pentru acelai raport semnal-zgomot.

15