UNIVERSITY POLITEHNICA of BUCHAREST

DEPARTMENT OF COMPUTER SCIENCE

Stanciu Adelina
<adelina.stanciu@yahoo.com>
Cuprins
 Introducere
 Arhitectura MoSES(MObile Streaming for vidEo
Surveillance)
 Caracteristici
 Solutii si componente pentru streaming video
 Supraveghere video
 Video Encoder Layer, PC/PDA Encoder Layer
 Evaluarea performantei
 Rezultate experimentale
 Concluzii
2
Introducere
 Supravegherea video - noua paradigma care include:
procesarea video omniprezenta si supravegherea
manuala sau automata.
 Sistemele trebuie sa mentina o latenta mica si o rata
mica de pierdere a cadrelor, chiar si in retele cu latime
de banda redusa
 MoSES - sisteme mobile de supraveghere video pentru
PC si PDA
 Algoritmi de control adaptiv pentru obtinerea celui
mai bun raport intre latenta mica si fluiditatea video
3
Arhitectura MoSES

4
Arhitectura MoSES

5
Human-based vs Computer-based
 Supravegherea manuala nu e practica
 numar crescut de canale
 lipsa de atentie
 nevoia crescuta de constientizare a situatiei(“situational
awareness” )

 Supraveghere automata
 scalabila(mai multe canale: mai multe servere si licente)
 oamenii tot vor trebui sa se descurce cu alarme (false)
 alerte in timp real
6
Caracteristici MoSES
 latenta mica
 mobilitatea omniprezenta(GPRS/EDGE/TETRA)
 calitate video(spatiala si temporala)
 componente software open-source
 modificari si optimizari la orice nivel
 compilata pe diferite arhitecturi si/sau siteme de operare
doar cu ajustari specifice

7
System requirements
 Supravegherea video implica live video streaming
pentru o vedere in timp real a scenei controlate

 MoSES bazat pe H.264/AVC (MPEG-4 10), raport mai

bun intre calitatea imaginii si latimea de banda

8
Video Streaming Solutions and
Components
 acopera toate etapele procesului in special codificarea,
transmiterea prin retea, playback video
 Microsoft Windows Media si Real Networks au
capacitatea de streaming a unui server, de ex:
broadcast-uri video
 Windows Media Streaming Server ruleaza doar pe
Windows Server OS
 latenta mica, dar performantele in conditii de
monitorizare video nu sunt neglijabile
 Player video pentru PC si PDA

9
Video Streaming Solutions and
Components(2)
 Skype cel mai popular tool free pentru live multimedia
streaming, audio si video
 limitari: sursa video, dimensiunea cadrelor, rata de
transmisie cadrelor nu sunt ajustabile
 VideoLan Client (VLC) cel mai faimos tool disponibil
 permite setarea celor mai fine detalii pentru codificare si
transmisia prin retea
 suporta multe tipuri de compresie (H.264) si de
streaming
 latenta poate fi pastrata destul de mica, dar cu
dezavantajul degradarii serioase a calitatii video
10
Video Streaming Solutions and
Components(3)
 Intel Integrated Performance Primitives (Intel IPP)
 este o suita de librarii care ofera algoritmi de procesare a
semnalului digital pe scara larga, incluzand codificare
video si in mod special codecul H.264.
 optimizate, dar nu open source si ruleaza doar pe
procesoare Intel

11
Streaming for Mobile Video
Surveillance
 lucrare care abordeaza aspectele procesarii semnalului
relevant si propune solutii(Lu, 2000)
 alta lucrare se axeaza pe arhitectura sistemului
 analiza se bazeaza pe sincronizarea datelor (comunicare
intre vehicule pentru transmiterea datelor in timp real,
dar bazata pe retele 802.11 WiFi, care nu sunt potrivite)
 lucrari care au propus sisteme pentru transmiterea
video in retele de capacitate redusa, de ex GPRS.
 Lim introduce un astfel de sistem bazat pe PDA

12
Video Encoder Layer
 contine blocurile de baza: captarea video, codificare si
trasmiterea prin retea si alti pasi de control

 scop:
 obtinerea unei flexibilitati in controlul sursei video si
compresia acesteia
 mentinerea unei latente si rate de pierdere a cadrelor cat
mai reduse

13
Video Encoder Layer
caracteristici
 Procesarea multithreaded

 Captarea video, codificarea si transmisia prin retea sunt

controlate de thread-uri dedicate, decuplate prin buffere
circulare
 Thread-urile asincrone optimizeaza procesul (executia
unuia este independenta de a celorlalte)
 Permite implementarea pipeline care reduce latenta
comparand cu procesarea simpla seriala

14
Video Encoder Layer
caracteristici
 Nivel scazut de ocupare a buffer-ului

 Evita pierderea datelor datorita decuplarii thread-urilor

 Adauga o mica latenta si din aceasta cauza este necesara
pastrarea buffer-ului la cel mai redus nivel de ocupare
 Setarea unei rate de transmitere a cadrelor<=media ratei
de codificare a cadrelor

15
Video Encoder Layer
caracteristici
 Transmisia UDP
 UDP este de preferat in caz de congestie, dar exista riscul
pierderii datagramelor
 mecanismul Automatic Repeat-reQuest (ARQ)
implementat pe Radio Link Control (RLC),
demonstreaza ca transmisia pe EDGE-GPRS/GPRS este
foarte robusta (rata datagramelor pierdute este extrem
de mica si fara ordine)
 MoSES ofera transmisia video fara audio sau text
sincronizat -> se prefera UDP in loc de RTP/UDP.

16
PC Video Encoder
 Pentru minimizarea latentei si mentinerea calitatii
video obtinuta din transmisia prin retea:

 redimensionarea dinamica a buffer-ului: se dubleaza

dimensiunea cand se umple la un anumit nivel sau
injumatateste cand nivelul scade sub o anumita valoare
 adaptarea ratei frame-urilor pentru playback: nivelul de
ocupare a buffer-ului mentinut intre valorile Tl(5%) si
Th(15%)

17
PC Video Encoder
caracteristici

 Daca se depaseste W, se ajunge la buffer overflow sau

underflow in scurt timp. ϱ reactivitea controlului
adaptiv, cu cat ajunge mai repede la 0, cu atat controlul
adaptiv este mai slab.
18
PDA Video Encoder
 Optimizari pentru a compensa puterea de calcul mai
mica pe aceste dispozitive
 Aspect important: schimbul de date video intre
procese si display
 Linux pentru sisteme embedded: open source, control
de nivel scazut pentru memorie, retea si
managementul proceselor si serviciilor, dar are suport
limitat pentru dispozitive si periferice(modemuri
GSM/GPRS)->Windows CE

19
PDA Video Encoder
caracteristici
 Optimizarea controlului pentru display
 scrierea de date video direct pe placa grafica e mai convenabil
decat folosirea functiilor standard ale SO-> GAPI (Game API)
si Direct Draw in loc de functii GDI+
 Comunicarea inter-proces
 decodificarea si modulele GUI sunt separate in planificare a.i
procesele sa nu interfereze (de exemplu cand modulul GUI
apeleaza garbage collector)
 IPC foarte eficient pentru prevenirea pierderii frame-urilor si
mentinerea fluiditatii datelor video
 Cea mai eficienta metoda de a folosi IPC este cu ajutorul
fisierelor mapate in memorie(MMFs), de ex un fisier virtual
pe memoria RAM 20
PDA Video Encoder
caracteristici(2)
 Adaptarea ratei cadrelor pentru playback:
 Windows CE nu permite cereri in legatura cu nivelul de
ocupare al buffer-ului UDP ->mai trebuie adaugat un
buffer deasupra buffer-ului UDP
 mentinerea nivelului de ocupare a buffer-ului UDP cat
mai mic pentru a minimiza intreruperile

\
 Redimensionarea dinamica a buffer-ului si cuplarea
decodificator –display acealeasi ca la PC decoder

21
Evaluarea performantelor
 Calitatea imaginii
 masurata cu PSNR (Peak Signal-to-Noise Ratio) arata
distorsiunea aparuta datorita procesului de codificare si
transmisie
 Latenta video
 o masurare aproximativa prin sincronizarea codificarii
si decodificarii in acelasi timp si modificarea
codificatorului a.i sa pastreze impreuna cu cadrele,
amprenta de timp
 masurarea sincronizarii datelor multimedia (video,
audio si text) prin observarea playerelor media folosind
diferiti senzori 22
Evaluarea performantelor(2)
 Pierderea cadrelor
 datorita pierderii datagramelor(mai multe consecutive
la rand, rata inalta de compresie si dimensiunea limitata
a cadrelor) sau suprascrierea cadrelor decodificatorului
 Fluiditatea video
 masurata ca dif dintre 2 cadre ale decodificatorului
 cu ajutorul nr de codificare a frame-urilor. In cel mai bun caz
timpul de decodificare este constant si cel putin egal cu
timpul de codificare

23
Evaluarea performantelor(3)
 Detectarea si identificarea obiectelor:

 Nivelul de segmentare a pixelilor evaluat considerand

posibile pierderi in segmentare datorita compresiei si
transmiterii video
 Identificarea obiectelor comparand rezultatele pe video
original si comprimat

24
Teste
 Testele pentru blocul de transmisie video sunt proiectate sa verifice cerintele
din tabel

25
Teste(2)
 Platforma PC-PC
 sistem mobil montat intr-o masina, echipat cu un laptop x86
(Intel Pentium Centrino 1.7 GHz), conectat fie la camera USB
Camera (LogitechQuickcam Pro 4000), fie la camera IP (Axis
2420 plus infrarosu) si un modem EDGE-GPRS pentru
transmisia video
 Platforma PC-PDA
 PDA folosite pentru test:
 i-Mate JasJar(WM 5.0, CPU: Intel Bulverde,520 MHz)
 i-Mate PDA2k(WM 2003, CPU: Intel PXA263,400 MHz);
conectivitatea prin GPRS.

26
Conditii
 Codificarea video: codecul H.264 a fost testat cu urmatoarele
profile: de baza (latenta mica cu costul calitatii mai slabe) si de
nivel inalt (pentru calitate video foarte buna cu costul latentei
crescute).
 Sursele video: evaluarile de performanta cu ajutorul video VLAB,
video VCAR pentru a replica experimentele pe aceleasi date
 video VLAB contine scene pentru diferite tipuri de miscare:
reduse(oameni care se misca dar camera statica),
medie(camera in miscare libera) si extrema(shaking camera)
 video VCAR din masina in timpul condusului in trafic
 bitrates: EDGE-GPRS -80 kbps si 20 kbps; GPRS-20 kbps si 5
kbps
27
Teste blocul computer-based
surveillance
 Analiza cu ajutorul unei camere statice pentru a
segmenta obiectul in miscare
 Scenarii:
 indoor: cativa oameni care se misca si fara schimbari de
iluminare(VHALL)
 outdoor(parc): mai multi oameni care se misca si cu
schimbari de iluminare(VPARK)

28
Rezultate experimentale
 Latenta

29
Rezultate experimentale PC-PC
 Comparatia calitatii imaginii (PSNR) masurata pe
video VCAR cu MoSES la 20 kbps (QQVGA), 80 kbps
(QVGA), and 120 kbps (QVGA).

30
Rezultate experimentale PC-PC
 Comparatia calitatii imaginii (PSNR) masurata pe
video VLAB (contine scene cu camera statica (cadrele
210–450 si 1030-sfarsit), camera in miscare (cadrele
450–640), shaking camera (restul).

31
Rezultate experimentale
 Pierderea cadrelor in video VLAB la QVGA si QQVGA

32
Rezultate PC-PDA
 Snapshots - identificarea obiectelor in parc
 (a) original, (b) MoSES - 5 kbps, (c) Real Media – 5
kbps.

33
Rezultate computer-based
surveillance
 Segmentarea si identificarea obiectelor

34
Concluzii
 Lucrarea subliniaza eforturile pentru a construi un
sistem complet pentru supraveghere video mobila.
 Cele 3 nivele de baza: encoder, decoder si supravegherea
video au fost implementate cu optimizari potrivite ale
modulelor open-source pentru a obtine o transmitere
eficienta prin retele GPRS/EDGE-GPRS
 Masuratorile in legatura cu calitatea imaginii, latenta
video, pierderea cadrelor si fluiditatea video obtinute
pentru MoSES sunt comparate cu alte sisteme

35
Concluzii(2)
 Supravegherea automata
 latenta mica este esentiala si fluiditatea nu neaparat
necesara ->sistemele MoSES sunt configurate fara
control de playback adaptabil
 Supravegherea manuala
 controlul ratei cadrelor imbunateste fluiditatea, dar
creste latenta(desi ramane la nivel scazut comparativ cu
alte sisteme)
 Raportul calitate/compresia ratei bitilor este bun

36