Detecia i urmrirea obiectelor.

Studiu comparativ




Universitatea Politehnica Bucureti
Facultatea de Automatic i Calculatoare
Departamentul de Automatic i Ingineria Sistemelor
















LUCRARE DE CERCETARE



Detecia i urmrirea obiectelor.
Studiu comparativ










Masterand
Cricon Iulian

Coordonator
Conf.dr.ing. Ciprian Lupu











Bucureti, 2014
Detecia i urmrirea obiectelor. Studiu comparativ

Abstract:

Scopul acestei lucrri este de a revizui metodele de identificare i de urmrire de
ultim or, de a le clasifica n diferite categorii si de a identifica noile tendine.
Identificarea i urmrirea obiectelor, n general, este o problem dificil. Dificulti n
urmrirea obiecte pot aprea ca urmare a micrilor brute, a schimbrii aspectelor att
ale obiectului ct i ale mediului, ale folosirii unor structuri de obiecte non-rigide sau
datorit ocluziei obiectelor i a micarii camerei.
Urmarirea este efectuat n contextul unor aplicaii de supervizare care necesit
locaia i / sau forma obiectului n fiecare cadru. De obicei, ipoteze sunt fcute pentru a
constrnge problema de urmrire n contextual unei anumite aplicaii.
n acest studiu, clasificm metodele de urmrire pe baza obiectului i ale
tipologiilor de cadru i oferim descrieri detaliate ale metodelor reprezentative din fiecare
categorie, examinnd avantajele i dezavantajele. Mai mult de att, vom discuta despre
problemele importante legate de urmrire, inclusiv utilizarea caracteristicilor adecvate
ale imaginilor, de selecia modelelor de micare, i de detecia obiectelor.







































Detecia i urmrirea obiectelor. Studiu comparativ



CUPRINS





1. Introducere ......................................................................................................................................... 4
2. Reprezentarea obiectelor ................................................................................................................... 6
3. Selectarea caracteristicilor pentru urmrire ....................................................................................... 9
4. Detectarea obiectelor ....................................................................................................................... 12
4.1 Detecia punctelor .......................................................................................................................... 12
4.2 Modelarea fundalului ...................................................................................................................... 14
4.3 Segmentarea ................................................................................................................................... 18
4.3.1 Translaia la medie ................................................................................................................... 18
4.3.2 Reduceri de graf ................................................................................................................ 19
4.3.3 Contururi active ........................................................................................................................ 20
4.4 Clasificatori supervizai .............................................................................................................. 22
4.4.1 Stimularea adaptiv .................................................................................................................. 23
4.4.2 Mecanisme de vectori suport ............................................................................................... 24
5. Urmrirea obiectelor ......................................................................................................................... 25
6. Concluzii ............................................................................................................................................ 26
7. Bibliografie ............................................................................................................................................ 27















Detecia i urmrirea obiectelor. Studiu comparativ

1. Introducere

Urmrirea obiectelor este o sarcin important n domeniul computer vision.
Proliferarea calculatoarelor de mare putere, disponibilitatea camerelor video de nalt
calitate, precum i nevoia tot mai mare a unei analize video automate a generat un mare
interes n algoritmii de urmrire a obiectelor. Identificm trei etape cheie n analiza
imaginilor: detectarea obiectelor n micare relevante, urmrirea acestor obiecte cadru
cu cadru i analiza obiectelor urmrite pentru a identifica comportamentul lor. Prin
urmare, utilizarea algoritmilor de urmrire este pertinent pentru operaiile de:
- recunoaterea micrilor, care reprezint n fapt, identificare oamenilor bazat pe
mers, detecia automat a obiectelor etc;
- supraveghere - automat, care const n monitorizarea unei scene pentru a detecta
activiti suspecte sau evenimente improbabile;
- indexare video - adnotare i recuperare coninut multimedia automat n baze de
date;
- interaciune om - calculator, care presupune recunoaterea gesturilor, urmrirea
ochilor pentru introducerea n sisteme de calcul;
- monitorizarea traficului, ce presupune colectarea n timp real a statisticilor de trafic
pentru direcionarea i monitorizarea fluxul de trafic;
- sistem de navigaie cu capabiliti de planificare a traseului i de evitare a
obstacolelor n timp real bazat pe video;
n forma sa cea mai simpl, urmrirea poate fi definit ca problema de estimare a
traiectoriei unui obiect n planul imaginii, n timp ce se deplaseaz ntr-un mediu. Cu
alte cuvinte, obiectelor urmrite le este atribuit contant o etichet n diferite cadre ale
unui video. n plus, n funcie de domeniul de urmrire, se pot obine, de asemenea,
informaii referitoare la obiect, cum ar fi orientarea, aria, sau forma. Obiecte urmrite
poe fi complexe datorit:
- pierderilor de informatii cauzate de proiecie 3D pe o imagine 2D;
- zgomotul din imagini;
- micri complexe ale obiectului;
- obiecte de natur non-rigid sau articulate;
Detecia i urmrirea obiectelor. Studiu comparativ

- ocluzii pariale sau complete ale obiectelor urmrite;
- forme complexe ale obiectului;
- modificri de iluminare n cadru;
- cerine de procesare n timp real.
Urmrirea se poate simplifica prin impunerea unor constrngeri cu privire la
micarea i / sau aspectul obiectelor. De exemplu, aproape toi algoritmii de urmrire
presupun c micarea obiectului este neted, fr schimbri brute. Se poate constrnge
i mai mult micarea obiectului fie la o vitez constant sau acceleraie constant pe baza
datelor existente anterior. Cunotine iniiale legete de numrul i mrimea obiectelor,
sau de aspect i form, pot fi de asemenea folosite pentru a simplifica problema.
Au fost propuse numeroase abordri pentru urmrirea obiectelor. Acestea difer
n primul rnd n funcie de modul de abordare al urmtoarelor ntrebri: care
reprezentare a obiectului este potrivit pentru urmrirea? Ce caracteristici de imagine ar
trebui s fie folosite? Cum ar trebui s fie modelate micarea, aspectul, i forma
obiectului? Rspunsurile la aceste ntrebri depind de context, de mediul n care se
efectueaz urmrirea i de utilizarea final pentru care se solicit informaiile referitoare
la locaia obiectului. Un numr mare de metode de urmrire care ncearc s rspund
la aceste ntrebri au fost propuse pentru o varietate de scenarii care se pot grupa n 3
categorii (ACM Computing, Vol.. 38, No. 4, articolul 13), pentru care vom oferi descrieri
complete i prezentri ale metodelor reprezentative din fiecare categorie.
Mai mult dect att, vom prezenta noile tendine i idei din perspectiva
dezvoltrii de noi metode de urmrire. Ne axam pe metodologiile folosite n urmrirea
obiectelor, n general, i nu pe aplicaii adaptate pentru anumite obiecte, de exemplu,
cele pentru persoane care folosesc cinematica uman ca baz a punerii lor n aplicare.
Exist progrese substaniale n aplicaii de urmrire a persoanelor care folosesc modele
de obiecte articulate, discutate i clasificate de Aggarwal i Cai [1999], Gavrilla [1999] i
Moeslund i Granum [2001]. Cu toate acestea, vom include i aplicaii folosite pe obiecte
articulate care sunt aplicabile i la alte obiecte.
Urmm o abordare de jos n sus n descrierea problemelor care trebuie abordate
n construirea unei aplicaii de urmrire. Prima problem o reprezint definirea adecvat
a obiectului. Vom descrie unele forme comune de reprezentri ale obiectelor, de
exemplu, puncte, forme geometrice primitive i contururi de obiecte i reprezentri ale
aspectului general. Urmtoarea problem este dat de selecie caracteristicilor imaginii
ce urmeaz a fi utilizate ca date de intrare. Vom discuta despre diferite caracteristici de
Detecia i urmrirea obiectelor. Studiu comparativ

imagine, cum ar fi culoarea, micare, margini etc, care sunt frecvent utilizate n urmrirea
obiectelor. Toi algoritmii de urmrire necesita detectarea obiectelor, fie n primul cadru
sau n fiecare cadru. Performanele unui algoritm de urmrire depind de apariiile
obiectelor, de formele acestora, de numrul lor, de miscarea camerei i a obiectelor,
precum i de condiiile de iluminare. Vom clasifica i descrie metodele de urmrire
existente explicnd punctele forte i punctele slabe ntr-o seciune rezumat la sfritul
fiecrei categorii i vom prezenta aspectele importante pentru urmrirea obiectelor. n
cele din urm, vom prezenta concluziile i direciile n cercetare pentru algoritmii de
urmrire.

2. Reprezentarea obiectelor

ntr-un scenariu de urmrire, un obiect poate fi definit ca ceva care este de interes
pentru analiz suplimentar. De exemplu, brci pe mare, peti n interiorul unui acvariu,
vehicule pe un drum, avioane in aer, oameni care merg pe jos pe un drum, sau bule n
ap sunt un set de obiecte care ar putea fi importante pentru a fi urmrite ntr-un
domeniu specific. Obiectele pot fi reprezentate prin forma i aspectul lor. n aceast
seciune, vom descrie mai nti formele obiectului folosite de obicei pentru urmrire i
apoi ne vom referi la formele comune i reprezentri ale aspectelor obiectelor.
- puncte. obiectul este reprezentat de un punct, care este, centrul de greutate
(figura 1 (a)) [Veenman i colab. 2001] sau de un set de puncte (figura 1 (b)) [Serby i col.
2004]. n general, reprezentarea sub forma de puncte este potrivit pentru urmrirea
obiectelor care ocup mici regiuni ntr-o imagine.
- forme geometrice primitive. Forma obiectului este reprezentat de un
dreptunghi, elips (Figura 1 (c), (d) [Comaniciu i col. 2003], etc. Micarea obiectelor
pentru astfel de reprezentri este, de obicei modelat prin translatare sau proiecie. Dei
forme geometrice primitive sunt mai potrivite pentru reprezentarea obiectelor rigide
simple, ele sunt, de asemenea, utilizate i pentru urmrirea obiectelor non-rigide.
- siluete i contururi. Reprezentarea prin contur definete limita unui obiect
(Figura 1 (g), (h). Regiunea din interiorul conturului se numete silueta obiectului (a se
vedea figura 1 (i)). Reprezentri prin siluete i contururi sunt potrivite pentru urmrirea
formelor complexe non-rigide [Yilmaz i col. 2004].
- forme de modele articulate. Obiecte articulate sunt compuse din pri ale
corpului, care sunt conectate prin articulatii. De exemplu, corpul uman este un obiect
Detecia i urmrirea obiectelor. Studiu comparativ

articulat cu trunchi, picioare, mini, cap i picioarele legate de articulaii. Relaiile dintre
pri sunt guvernate de modele de micare cinematice, de exemplu, unghi comun, etc.
Pentru a reprezenta un obiect articulat, se pot modela elementele constitutive folosind
cilindri sau elipse cum se arat n figura 1 (e).
- modele scheletice. Scheletul obiectului poate fi extras prin aplicarea
transformrii axei mediane pe silueta obiectului [Ballard i Brown 1982, cap. 8]. Acest
model este frecvent folosit ca o forma de reprezentare pentru recunoaterea obiectelor
[Ali i Aggarwal 2001]. Reprezentarea scheletic poate fi folosit pentru a modela obiecte
att articulate ct i rigide (vezi Figura 1 (f)).



Fig. 1. Reprezentri obiecte. (a) Centroid, (b) mai multe puncte, (c) form
dreptunghiular , (d) form eliptic, (e) forme din multiple seciuni, (f) schelet, (g)
contur complet (h) punctele de control de pe contur, (i) siluet.
Exist un numr de metode prin care se pot reprezenta caracteristicile de aspect
ale obiectelor. Reprezentrile dup form pot fi de asemenea combinate cu
reprezentrile dup aspect [Cootes i colab. 2001] pentru urmrire. Reprezentrile cele
mai frecvente folosite n urmrire n funcie de aspectul obiectelor sunt:
- densitatea de probabilitate a aspectului obiectului. Estimrile de densitate de
probabilitate ale aspectului obiectului pot fi parametrice, cum ar fi distribuia Gaussian
[Zhu i Yuille 1996] i un amestec de distribuii Gaussiene [Paragios i Deriche 2002], sau
neparametric, precum Parzen-Window [Elgammal i col. 2002] i histograme
[Comaniciu i colab. 2003]. Densiti de probabilitate ale caracteristicilor aspectului
obiectului (culoare, textura) pot fi calculate din regiunile de imagine specificate de
modelul formei obiectului (regiunea interioar a unei elipse sau un contur).
Detecia i urmrirea obiectelor. Studiu comparativ

- abloane. abloanele sunt formate utiliznd forme geometrice simple sau siluete
[Fieguth i Terzopoulos 1997]. Un avantaj ale ablonului este c acesta conine att
informaii spaiale ct i referitoare la aspectul obiectului. Cu toate acestea, abloanele
codifica aspectul obiectului generat dintr-o singur referin. Astfel, ele sunt potrivite
doar pentru urmrirea obiectelor a cror ipostaz nu variaz considerabil n cursul
procesului de urmrire.
- modele active ale aspectului. Modelele active ale aspectului obiectului sunt
generate prin modelarea simultan a formei i a aspectului obiectului [Edwards i col.
1998]. n general, forma obiectului este definit de un set de repere. Similar cu
reprezentarea pe baz de contur, reperele se pot afla pe contur sau, alternativ, n
interiorul regiunii obiectului. Pentru fiecare reper, un vector ce conine aspectul
obiectului este stocat i care poate conine culoarea, textura, sau gradient. Modelele
active ale aspectului unui obiect necesit o etap de antrenare unde att forma ct i
aspectul obiectului este nvat dintr-un set de probe.
- modele multiple ale aspectului. Aceste modele codifica ipostaze diferite ale unui
obiect. O abordare pentru a reprezenta ipostazele diferite ale obiectului este de a genera
un subspaiu din aceste ipostze. Astfel de abordri, de exemplu, analiza componentei
principale (Principal Component Analysis - PCA) i Analiza componentel independente
(Independent Component Analysis - ICA), au fost folosite pentru reprezentri att ale
formei ct i ale aspectului [Mughadam i Pentland 1997; Negru i Jepson 1998]. O alt
abordare pentru a afla ipostazele diferite ale unui obiect este de a antrena un set de
clasificatori, de exemplu, vectori de sprijin [Avidan 2001] sau reele Bayesian [Park i
Aggarwal 2004]. O limitare a acestei abordri este c aspectele obiectelor pentru fiecare
ipostaz sunt necesare nainte.
n general, exist o relaie puternic ntre reprezentarea obiectelor i algoritmii de
urmrire. Reprezentrile obiectelor sunt de obicei alese n funcie de domeniu de
aplicare. Pentru obiectele urmrite, care apar foarte mici ntr-o imagine, reprezentarea
prin puncte este, de obicei adecvat. De exemplu, Veenman i colab. [2001] utilizeaz
reprezentarea prin puncte pentru a urmri seminele ntr-o bol aflat n micare. n mod
similar, Shafique i Shah [2003] folosesc reprezentarea prin puncte pentru a urmri
psrile. Pentru obiectele ale cror forme pot fi aproximate prin dreptunghiuri sau
elipse, reprezentrile prin forme geometrice primitive sunt mai adecvate. Comaniciu
colab. [2003] folosesc reprezentarea printr-o form eliptic i genereaz o histograma de
culoare calculat n regiunea eliptic pentru modelarea aspectului obiectului. n 1998,
Black i Jepson au folosit vectori proprii pentru a reprezenta aspectul obiectelor. Vectorii
proprii au fost generai de abloane de form dreptunghiular. Pentru urmrirea
Detecia i urmrirea obiectelor. Studiu comparativ

obiectelor cu forme complexe, de exemplu, persoane, o reprezentare bazat pe contur
sau siluet este necesar. Haritaoglu colab. [2000] a folosit reprezentarea prin siluete
pentru a urmri obiectele ntr-o aplicaie de supraveghere.

3. Selectarea caracteristicilor pentru urmrire

Selectarea caracteristicile potrivite joaca un rol critic n urmrire. n general, cel
mai de dorit proprietate a unui element vizual este unicitatea, astfel nct obiectele pot
fi cu uurin depistate. Selecie caracteristicilor este strns legat de reprezentarea
obiectului.
De exemplu, culoarea este folosit ca o caracteristic pentru reprezentri ale
aspectului obiectului bazate pe histogram, n timp ce pentru reprezentri pe baza de
contur, conturul obiecte sunt de obicei utilizate ca i caracteristici. n general, muli
algoritmi de urmrire utilizeaz o combinaie a acestor caracteristici. Detaliile cu privire
la caracteristicile vizuale comune sunt:
- culoarea. Culoarea aparent a unui obiect este influenat n principal de doi
factori fizici, 1) Distribuia spectral a luminii i 2) gradul de reflexie al suprafeei
obiectului. n procesare a imaginii, modelul de culoare RGB (rosu albastru, verde) este
de obicei folosit pentru a reprezenta culoarea. Cu toate acestea, modelul RGB nu este un
model uniform perceptual prin faptul c diferenele dintre culori n modelul RGB nu
corespund diferenelor de culoare percepute de oameni [Paschos 2001]. n plus,
dimensiunile RGB sunt puternic corelate. n contrast, L * u * v * i L * a * b * sunt modele
de culoare uniform perceptual, n timp ce HSV (Nuan, Saturaie, Valoare) este un
model aproximativ uniform. Cu toate acestea, aceste modele de culoare sunt sensibile la
zgomot [Song i col. 1996]. Prin urmare, nu exist nicio concluzie privind care model de
culoare este mai eficient, o varietate de spaii de culoare fiind folosite n urmrire.
- marginile. Marginile obiectelor genereaz, de obicei, schimbri puternice n
intensiti de imagine. Detecia marginilor este folosita pentru a identifica aceste
schimbri. O proprietate important a marginilor este c ele sunt mai puin sensibile la
lumin n raport cu caracteristicile de culoare. Algoritmii care detecteaz marinea
obictelor folosesc, de obicei, ca i caracteristic reprezentiv margine. Datorit simplitii
i preciziei sale, cea mai populara metoda de detectare a marginilor este Detector de
margini Canny [Canny 1986]. O evaluare a algoritmilor de detecie a marginilor este
furnizat de Bowyer i col. [2001].
Detecia i urmrirea obiectelor. Studiu comparativ

- fluxul optic. Flux optic este un cmp dens de vectori de deplasare care definete
translatarea fiecrui pixel ntr-o regiune. Acesta este calculat folosind constrngeri de
luminozitate, care presupune o luminozitate constant a pixelilor n cadre consecutive
[Horn i Schunk 1981]. Flux optic este de obicei folosit ca o caracteristic n segmentarea
i urmrirea pe baz de micare. Tehnici populare pentru determinarea fluxului optic
includ metodele Horn i SCHUNCK [1981], Lucas i Kanade [1981], Negru i Anandan
[1996] i Szeliski i Couglan [1997], un studiu comparativ al performanelor metodelor
de determinare a fluxului optic este Barron i colab. [1994].
- textura. Textura este o msur a variaiei intensitii unei suprafee care
cuantific proprieti, cum ar fi netezimea i regularitatea. Comparativ cu culoare,
textura necesit un pas de prelucrare pentru a genera descriptorii. Exist diferii
descriptori de textura: matricea concurenta de nivele gri (GLCMs) [Haralick et al. 1973]
(o histogram 2D care arat corelaia intensitilor ntr-o direcie i distan specificat),
msurtorile de textur Law [Laws 1980] (25 de filtre 2D generate de cinci filtre 1D
corespunztoare nivel, margine, locaie, und i pulsaie), unde [Mallat 1989] (seturi de
filtre ortogonale), i piramide orientabile [Greenspan i col. 1994]. Asemntor cu
caracteristicile de margine, caracteristicile de textur sunt mai puin sensibile la
schimbrile de iluminare comparativ cu culoarea.
n general, caracteristicile sunt alese manual de ctre utilizator n funcie de
domeniu de aplicare al algoritmului de urmrire. Cu toate acestea, problema de selecie
automat a caracteristicilor devinde din ce n ce mai important. Metodele pentru
selectarea automat a caracteristicilor pot fi mprite n metode de filtrare i metode de
nveli [Blum i Langley 1997]. Metodele de filtrare ncerc selectarea caracteristicilor
bazate pe un criteriu general, de exemplu, caracteristicile ar trebui s fie necorelate.
Metodele de nveli selecteaz caracteristicile bazate pe utilitatea acestora ntr-un
domeniu specificic, de exemplu, clasificarea performanelor folosind un subset de
caracteristici. Analiza componentelor principale (ACP) este un exemplu de metode de
filtrare pentru reducerea caracteristicilor. ACP implic transformare a unui numr de
(posibil) variabile corelate ntr-un (mic) numr de variabile necorelate numite
componentele principale. Prima component principal este rspunztoarea de o ct mai
mare variabilitate a datelor posibil, i fiecare componenta ulterioar pentru o ct mai
mare parte din variabilitatea rmas e acoperit. O metod de nveli ce selecteaz
caracteristicile discriminatorii pentru urmrirea unei anumite clase de obiecte este
algoritmul Stimulri adaptive [Tieu i Viola 2004]. Stimulri adaptive este o metod
pentru identificarea unui clasificator puternic bazat pe o combinaie de clasificatori
aproximativ inexaci.
Detecia i urmrirea obiectelor. Studiu comparativ

Avnd un set mare de caracteristici, un clasificator poate fi instruit pentru fiecare
caracteristic. AdaBoost, va calcula o combinaie ponderat a clasificatorilor
(caracteristici reprezentative) care maximizeaz performanele de clasificare ale
algoritmului. Cu ct mai mare ponderea caracteristicii, cu att mai discriminatorie este.
Pentru urmarire se pot folosi primele n caracteristici cu ponderea cea mai mare.
Categorie
Metode reprezentative
Detecia punctelor Detectorul Moravec [Moravec 1979],
Detectorul Harris [Harris and Stephens 1988],
Transformarea caracteristiclor invariate scalate (SIFT)
[Lowe 2004].
Detectorul de puncte afin invariant [Mikolajczyk and
Schmid 2002].
Segmentarea Translaia la medie [Comaniciu and Meer 1999],
Graph-cut [Shi and Malik 2000],
Contururi active [Caselles et al. 1995].
Modelarea fundalului Amestec de distribuii Gaussiene [Stauffer and Grimson
2000],
Eigenbackground[Oliver et al. 2000],
Wall flower [Toyama et al. 1999],
Texturi dinamice de fundal [Monnet et al. 2003].
Clasificatori supervizai Mecanisme de vectori support [Papageorgiou et al. 1998],
Reele neuronale [Rowley et al. 1998],
Stimulri adaptive[Viola et al. 2003].
Tabelul. 1. Categorii de detecie ale obiectelor.
Dintre toate caracteristicile, culoarea este una dintre caracteristicile cele mai
utilizate pe scar larg n algoritmii de urmrire. Comaniciu i colab. [2003] folosesc o
histograma de culoare pentru a reprezenta aspectul obiectului. n ciuda popularitii,
cele mai multe modele de culoare sunt sensibile la variaiile de iluminare. Prin urmare
n scenarii n cazul n care acest efect este inevitabil, alte caracteristici sunt incluse n
modelul de aspect al obiectului. Cremers i colab. [2003] folosesc fluxul optic ca o
caracteristic de urmrire a conturului. Jepson i colab. [2003] folosesc rspunsurile
filtrelor orientabile pentru urmrire. Alternativ, o combinaie a acestor caracteristici este
de asemenea utilizat pentru a mbunti performanele de urmrire.



Detecia i urmrirea obiectelor. Studiu comparativ

4. Detectarea obiectelor

Fiecare metod de urmrire necesit un mecanism de detectare a obiectului, fie n
fiecare cadru sau atunci cnd obiectul apare pentru prima dat n. O abordare comun
pentru detectarea obiectului este de a utiliza informaii ntr-un singur cadru. Cu toate
acestea, unele metode de detectare a obiectelor folosesc informaia temporal calculat
dintr-o secven de cadre pentru a reduce numrul de detecii false. Aceast informaie
temporal este, de obicei, sub form de cadru cu diferene succesive, care subliniaz
schimbarea regiuni n cadre consecutive. Avnd regiunile obiectului algoritmul are
sarcina de a efectua corespondena obiectului dintr-un cadru n altul pentru a efectua
urmrirea acestuia. Mai multe metode de detectare ale obiectelor au fost prezentate n
tabelul 1, iar n continuare vom prezenta cele mai populare metode.

4.1 Detecia punctelor

Algoritmii de detecia a punctelor sunt folosii pentru a gsi puncte de interes n
imagini care au o textur expresiv n regiunile respective. Puncte de interes au fost
folosite mult timp n contextul problemelor de urmrire. O calitate de dorit a unui punct
de interes este invarianta la schimbri n iluminare i locaia camerei. n literatura de
specialitate, detectoare de puncte de interes frecvent utilizate includ operator de interes
Moravec [Moravec 1979], detectorul de punctul de interes Harris [Harris i Stephens
1988], detectorul KLT [Shi i Tomasi 1994] i detectorul SIFT [Lowe 2004]. Mikotajczyk
i Schmid [2003] prezint o evaluare comparativ a detectoarelor de puncte de interes.
Pentru a gsi puncte de interes, operatorul Moravec calculeaz variaia intensitile
de imagine ntr-o seciune de 4 4 n direciile orizontale, verticale, diagonale, i
antidiagonale i selecteaz minimul dintre cele patru variante ca valori reprezentative
pentru cadru. Un punct este declarat punct de interes n cazul n care variaia sa de
intensitate este un maxim local ntr-o seciune de 12 12.


Detecia i urmrirea obiectelor. Studiu comparativ


Fig. 2. Puncte de interes detectate aplicnd operatorii (a) Harris, (b) KLT i (c) SIFT

Detectorul Harris calculeaz derivatele de oridnul I ale imaginii pentru (

), n
direciile x i y pentru a evidenia variaiile de intensitate direcionale, apoi o matrice pe
stare, care codific aceast variaie, este evaluat pentru fiecare pixel dintr-o seciune
mic:
= (

2
)

(1)


Un punct de interes este identificat cu ajutorul determinantului i urmei lui M care
msoar variaia ntr-o seciune local
= det() ()
2


(2)


unde k este constant. Punctele de interes sunt marcate de limita R dup aplicarea
criteriului de eliminare non-maximal (Figura 2 (a)). Aceeai matrice M din ecuaia (1)
este folosit la pasul de detecie al punctelor de interes a metodei de urmrire KLT.
Punctul de interes R, se calculeaz folosind valoarea proprie minim a lui M,

. Sunt
selectate punct de interes relevante prin limita R, dintre care KLT le elimin pe cele care
sunt spaial aproape unul de altul (Figura 2 (b)).
Cantitativ att detectorul Harris ct i cel KLT subliniaz variaiile de intensitate,
folosind msurtori foarte similare. De exemplu, R n Harris este legat de polinomul
caracteristic folosit pentru a gsi valorile proprii ale matricei M:

2
+det() () = 0

(3)
Detecia i urmrirea obiectelor. Studiu comparativ



n timp ce KLT calculeaz valorile proprii direct. n practic, ambele metode pot gsi
aproape acelai puncte de interes. Singura diferen este criteriul suplimentar KLT care
impune o distana spaial predefinit dintre punctele de interes detectate.
n teorie, matricea M este invariant att la rotaie ct i la translaie. Cu toate acestea,
ea nu este invariant la transformri afine sau proiecii. n scopul de a introduce
detectarea robust a punctelor de interes n diferite transformri, Lowe [2004] a introdus
Transformarea caracteristiclor invariate scalate SIFT (Scale Invariant Feature Transform)
metod care este compus din patru etape. n primul rnd, un spaiu de dimensiuni este
construit prin convoluia imaginii cu filtre de distribuie Gaussiene la diferite
dimensiuni. Imaginile ca rezultat al convoluiei sunt folosite pentru a genera imagini
diferene de distribuii Gaussiene (DoG). Puncte de interes relevante sunt apoi
selectate din minimele i maximele dn imaginile DoG pentru toate dimensiunile.
Urmtorul pas actualizeaz locaia fiecrui punct relevant prin interpolarea valorilor de
culoare utiliznd pixeli adiaceni. n a treia etap, punctele relevante cu contrast sczut
sau care sunt situate de-alungul marginilor sunt eliminate. n cele din urm, punctelor
de interes rmase le sunt atribuite orientri bazate pe vrfurile din histogramele de
direcii de gradient ntr-o arie restrns n jurul unui punct relevant. Detectorul SIFT
genereaz un numr mai mare de puncte de interes comparativ cu alte detectoare. Acest
lucru se datoreaz faptului c sunt cumulate punctele de interes de la diferite
dimenisiuni i rezoluii. Empiric, s-a artat n Mikotajczyk i Schmid [2003], c metoda
SIFT surclaseaza cele mai multe detectoare de puncte i nu este la fel de sensibil la
deformri ale imaginilor.

4.2 Modelarea fundalului

Detectarea obiectelor poate fi realizat prin construirea unei reprezentri a unui
cadru numit model de fundal i apoi prin identificarea modificrilor fa de model
pentru fiecare cadru consecutiv. Orice modificare semnificativ ntr-o regiune a imaginii
de la modelul de fundal semnific o micare a unui obiect. Pixelii care constituie
regiunile n curs de schimbare sunt marcate pentru mai multe prelucrri. De obicei, un
algoritm de conectate a componentelor este aplicat pentru a obine regiunile conectate
corespunztoare obiectelor. Acest proces este extragerea fundalului. Itentificarea
modificrilor ntre dou cadre adiacente a fost studiat nc de la sfritul anilor '70 [Jain
Detecia i urmrirea obiectelor. Studiu comparativ

i Nagel 1979]. Cu toate acestea, extragerea fundalului a devenit popular odat cu Wren
i colab. [1997]. Pentru a nva schimbrile graduale ce se petrec n timp, Wren i colab.
propune modelarea culorii fiecrui pixel, I (x, y), a unui fundal staionar cu un singur
model de distribuie Gaussian 3D (Y, U i V)
I (x, y) ~ N( (x, y), (x, y))

(4)


Parametrii modelului, valoarea medie a (x, y) i covariana (x, y), sunt nvate prin
observarea culorilor n mai multe cadre consecutive. Odat ce modelul de fundal este
derivat, pentru fiecare pixel (x, y) din cadrul de intrare, probabilitatea ca culoarea de
fundal a acestuia s proven din (4) este calculat, iar pixelii care se abat de la modelul de
fundal sunt etichetai ca pixelii de prim-plan. Cu toate acestea, o singur distribuie
gaussian nu este reprezint un model adaptat pentru scene exterioare [Gao i colab.
2000], deoarece multe culori pot fi observate ntr-o anumit locaie datorit micrii
repetitive a obiectului, umbre, sau reflexii. O mbuntire substanial n modelarea
fundalului se realizeaz prin utilizarea unor modele statistice multimodale pentru a
descrie culoarea de fundal pentru fiecare pixel. De exemplu, Stauffer i Grimson [2000]
folosesc un amestec de distribuii Gaussiene pentru a modela culoarea pixelilor. n
aceast metod, un pixel n cadrul curent este comparat cu modelul fundalului prin
comaprndul cu fiecare distribuie Gaussian din model. Dac se gsete o potrivire,
media i variana distribuiei Gaussiane identificate este actualizat, altfel o nou
distribuie Gaussian cu media egal cu culoarea pixelului curent i cu o varian iniial
este introdus n amestec. Fiecare pixel este clasificat n baza faptului dac distribuia
Gaussian asociat reprezint modelul fundalului. Regiunile n micare, care sunt
detectate folosind aceast abordare, mpreun cu modelele de fundal sunt prezentate n
Figura 3.



Detecia i urmrirea obiectelor. Studiu comparativ


Fig. 3 Amestec de modele de distribuii Gaussine pentru extragerea fundalului. (a)
cadru n care o persoan merge pe jos. (b) media distribuiilor Gaussiene cu cea mai
mare pondere la fiecare poziie a pixelilor. Aceste medii reprezint culorile temporale
cele mai constante la nivel de pixel i, prin urmare, ar trebui s reprezinte fundalul
staionar. (c) mediile distribuiilor Gaussiane cu cea de-a doua cea mai mare pondere;
aceste medii reprezint culorile care sunt observate mai puin frecvent. (d) rezultatul
extragerii fundalului. Prim plan-ul format din pixelii din cadrul curent care au
corespuns unui distribuii Gaussiane cu pondere redus.

O alt abordare este de a ncorpora informaii din anumite regiuni din cadru n loc
de a folosi doar informaii bazate pe culoare. Elgammal i Davis [2000] folosesc un
estimator de nucleu al funciei de densitate, un model neparametric, pentru a modela
fundalul la nivel de pixel. n timpul procesului de extracie, pixelul curent este comparat
nu doar cu pixelul corespunztor din modelul de fundal, ci i cu pixelii din jur. Astfel,
aceast metod poate s compenseze bruiajul camerei sau micri mici n fundal. Li i
Leung [2002] folosesc caracteristicile de textura si culoare pentru a efectua extragerea de
fondul pe seciuni de 5 5 pixeli. Deoarece textura nu variaz foarte mult cu schimbrile
de iluminare, metoda este mai puin sensibil la iluminare. Toyama i colab. [1999]
propune un algoritm pe trei niveluri care s se ocupe de problema extragerii fundalului.
n plus fa de extragerea la nivel de pixeli, autorii folosesc informaiile de la nivel de
regiune i de cadru. La nivel de pixel, autorii propun utilizarea filtrrii Wiener pentru a
face predicii probabilistice legate de culoare de fundal. La nivelul regiunii, regiunile din
prim-plan formate din culori omogene sunt completate. La nivel de cadru, n cazul n
care cei mai muli pixeli dintr-un cadru se schimb brusc, se presupune c modelele de
fundal bazate pe pixeli nu mai sunt valabile. n acest moment, modelul bazat pe pixeli
este schimbat cu unul stocat sau modelul este reiniializat.
O abordare alternativ pentru extragerea fundalului este de a reprezenta variaiile
de intensitate ale unui pixel ntr-o secven de cadre ca stri discrete corespunztoare
evenimentelor din locaie. De exemplu, pentru a urmri maini pe o autostrada, pixelii
din imagine pot fi n fundal, n prim-plan (main), sau n umbr. Rittscher i colab.
Detecia i urmrirea obiectelor. Studiu comparativ

[2000] folosesc modelele Hidden Markov (HMM) pentru a clasifica blocuri mici ale unei
imagini ca aparinnd uneia dintre aceste trei stri. n contextul de a detecta schimbrile
de iluminare ntr-o camer, Stenger et al. [2001] folosete HMM pentru extracia
fundalului. Avantajul de a folosi HMM este c anumite evenimente, care sunt greu de
modelat n mod corect utiliznd abordri de modelare ale fundalului nesupravegheate,
pot fi nvate prin folosirea unor abloane. n loc de a modela variaia individual a
pixelilor, Oliver i col. [2000] propune o abordare holistic prin descompunerea valorilor
proprii. Pentru k cadre de intrare,

= 1 . . de dimensiune n x m, o matrice de fundal

B de dimenisune k x l este format prin adugarea a m linii din fiecare cadru unul dup
altul, unde l = (n x m). Descompunea pe baza valorilor proprii este aplicat covarianei
lui , =

. Fundalul este apoi reprezentat de primii vectori proprii,

, unde i <
< k, care s cuprind toate iluminrile posibile din cmpul vizual (FOV). Astfel, aceast
metod este mai puin sensibil la schimbrile de iluminare. Obiectele din prim-plan
sunt detectate prin proiecia imaginii curente pe vectorul valorilor proprii i identificarea
diferenei dintre imaginea reconstruit i cea real. Figura 4 prezint regiunile de obiecte
detectate utiliznd abordarea valorilor proprii.

Fig. 4 Extragerea fundalului bazat pe descompunearea valorilor proprii (cadrul
este contruit cu obiecte din cmpul vizual): (a) o imagine de intrare cu obiecte, (b)
imagine reconstruit dup proiecia imaginii de intrare pe vectorul valorilor proprii, (c)
diferena dintre cele dou imagini n care obiectele din primplan sunt clar identificabile
O limitare a abordrilor menionate mai sus este faptul c acestea necesit un fundal
static. Aceast limitare se adreseaz de ctre Monnet i colab. [2003], i Zhong i Sclaroff
[2003]. Ambele metode sunt n msur s compenseze variaiile n timp ale fundalului
(de exemplu, valuri, micarea norilor i a scrilor rulante). Aceste metode modeleaz
regiunile imaginilor ca un model de tip autoregresiv medie mobila (ARMA), procese
care ofer o modalitate de a nva i prezice modelele de micare ntr-un cadru. Un
proces ARMA este o serie de timp format din sume de componente autoregresive i
medii mobile, unde un proces autoregresiv poate fi descris ca o sum ponderat a
valorilor sale anterioare i o eroare de tip zgomot alb.
Detecia i urmrirea obiectelor. Studiu comparativ

Ce mai multe metode de urmrire de ultim generaie pentru radare fixe, de
exemplu, Haritaoglu colab. [2000] i Collins i colab. [2001] utilizeaz metode de
extragere a fundalului pentru a detecta regiuni de interes. Acest lucru se datoreaz
faptului c metodele recente de extragere au capacitile necesare de a modela
schimbrile de iluminare, zgomotul i micarea periodic a regiunilor din fundal i, prin
urmare, pot detecta cu precizie obiectele ntr-o varietate de circumstane. Mai mult dect
att, aceste metode sunt eficiente computaional. n practic, extragerea fundalului ofer
n multe cazuri regiuni incomplete ale obiectului, deoarece obiectele se pot afla n mai
multe regiuni, sau pot exista guri n interiorul obiectului, datorit faptului c nu exist
nicio garanie c elementele careacteristice ale obiectelor vor fi diferite de caracteristicile
fundalului. Cea mai important limitare a extragerii fundalului este cerina unor camere
staionare. Micare camerei denatureaz, de obicei, modelele de fundal. Aceste metode
pot fi aplicate la imaginile achiziionate de camere mobile prin regenerarea modelelor
de fundal la intervale reduse de timp, de exemplu, trei cadre, de la zero [Kanade i col.
1998] sau prin compensarea micarii senzorului, de exemplu, crearea unui mozaic de
fundal (imagine panoramic) [Rowe i Blake 1996; Irani i Anandan 1998]. Cu toate
acestea, ambele soluii necesit ipoteza unei suprafee plane i micari reduse n cadre
succesive.

4.3 Segmentarea

Scopul algoritmilor de segmentare a imaginii este de a mpri imaginea n regiuni
similare. Fiecare algoritm de segmentare abordeaz dou probleme, criteriile pentru
obinerea unei bune partiionri i metoda pentru obinerea unei partiionari eficiente
[Shi si Malik 2000]. Vom discuta despre tehnici de segmentare recente care sunt relevante
n urmrirea obiectelor.
4.3.1 Translaia la medie

Pentru problema de segmentare a imaginii, Comaniciu i Meer [2002] propun
abordarea prin translatare la medie pentru localizarea nodurilor n planul definit de
culoare i locaie [l, u, v, x, y], unde [l, u, v] reprezint culoarea i [x, y] reprezint locaia.
Avnd o imagine, algoritmul este iniializat cu un numr mare de noduri centrale
ipotetice alese aleator. Apoi, fiecare nod central este mutat la media datelor aflate n
interiorul elipsoidului multidimensional centrat n mijlocul nodului central. Vectorul
definit de vechiul i noul nod central este numit vectorul de translaie a mediei. Vectorul
Detecia i urmrirea obiectelor. Studiu comparativ

este calculat iterativ pn cnd poziiile nodurilor centrale rmn constante. De
menionat faptul c, n timpul iteraiilor, unele noduri centrale pot fi unificate. n figura
5 (b), este prezentat segmentarea folosind translaia la medie. Metoda poate fi utilizat
pe diverse aplicaii, cum ar fi detecia marginilor, regularizarea imaginilor [Comaniciu
i Meer 2002] i n urmrire [Comaniciu et al. 2003].
Segmentarea folosind translaia la medie necesit reglarea fin a diverilor parametri
pentru a obine o mai bun segmentare, de exemplu, selectarea culorii i a limitei pentru
dimensiunea minim a regiunii considerabil afectate de segmentarea rezultat.
4.3.2 Reduceri de graf

Segmentarea imaginii poate fi de asemenea formulate ca o problem de partiionare
de graf-uri, n care nodurile (pixelii), V = {u, v,. . .}, unui graf (imagine), G, sunt mprite
n N subgrafuri disjuncte (regiuni),

= ,

= , i j prin eliminarea
arcurilor ponderate ale graf-ului. Costul total dintre arcurile eliminate dintre 2
subgrafuri se numete reducere (engl. cut). Costul este de obicei dat de similaritile ntre
culoarea, luminozitatea i textura dintre noduri. Wu i Leahy [1993] utilizeaz criteriul
reducerii minime, cu obiectivul de a gsi partiiile care s minimizeze o reducere. n
demersul lor, ponderile sunt definite pe baza similitudinii de culoare. O limitare a
reducerilor de graf este tendina de a suprasegmenta imaginea. Acest efect se datoreaz
creterii costurilor unei reduceri cu numrul de arcuri care fac legtura ntre dou grafuri
partiionate.
Shi si Malik [2000] propune reducerea normalizat pentru a evita problematica
suprasegmentrii. n abordarea lor, reducerea nu depinde numai de suma consturilor
arcurilor din reducere, ci i de raportul dintre totalul costurilor nodurilor din fiecare
partiie fa de totalul costurilor tuturor nodurilor din graf. Pentru segmentarea bazat
pe imagine, costurile dintre noduri sunt definite prin produsul dintre similitudinea
culorilor i proximitatea spaial. Odat ce costurile dintre fiecare pereche de noduri sunt
calculate sunt construite o matrice de cost W i o matrice diagonal D, unde
,
=

,

=1
. Segmentarea se face nti prin calcularea vectorilor proprii i a valorilor
proprii ale sistemului generalizat (D W) y =

, apoi al doilea cel mai mic

vector propriu este utilizat pentru a diviza imaginea n dou segmente. Pentru fiecare
segment nou, acest proces se face recursiv pn cnd o limit este atins. n Figura 5 (c),
se arat rezultatele segmentrii obinute prin reducerea normalizat.

Detecia i urmrirea obiectelor. Studiu comparativ


Fig. 5 Segmentarea imaginii ilustrate n (a), folosind segmentarea prin translaie la
medie (b), respectiv prin reduceri de graf (c)
n segmentarea bazat pe reduceri normalizate, pentru imagini de mari dimensiuni,
cerinele in termeni de procesare i memorie pentru obinerea soluiilor sistemului
generalizat pot fi ridicate. Cu toate acestea, aceast metod necesit mai puini
parametrii selectai manual, comparativ cu segmentarea prin traslaie la medie. Reduceri
normalizate au fost, de asemenea, utilizate n contextul urmriri contururilor obiectelor
[Xu i Ahuja 2002].
4.3.3 Contururi active

n algoritmul cu contururi active, segmentarea obiectului este realizat prin dezvoltarea
unui contur nchis n jurul obiectului, astfel nct conturul cuprinde strns regiunea n
care se afl obiectul. Evoluia conturului este determinat de o funcie de energie care
definete gradul de potrivire al conturului fa de regiunea ipotetic n care se afl
obiectul. Funcia de energie pentru evoluia conturului are urmtoarea form:
() =

() +

() +

()
1
0


(5)


unde s este lungimea arcului conturului ,

include constrngeri de regularizare,

include energia imaginii, i

specific constrngeri suplimentare.

, de obicei,
include un termen de curbur de ordinul nti () sau un termen de continuitate de
ordinul 2 (
2
) pentru a gsi cel mai restrns contur. Energia imaginii,

, poate fi
calculat att la nivel local ct i la nivel global. Informaia local este, de obicei, sub
forma unui gradient al imaginii i se evalueaz n jurul conturul [Kass i colab. 1988;
Caselles colab. 1995]. n contrast, caracteristicile globale sunt calculate n interiorul i n
afara regiunii obiectului. Caracteristici globale includ culoarea [Zhu i Yuille 1996;
Yilmaz i colab. 2004; Ronfard 1994] i textura [Paragios i Deriche 2002].
Detecia i urmrirea obiectelor. Studiu comparativ

Diferii cercetatorii au folosit termeni diferii pentru termenul

n ecuaia (5). n 1995,

Caselles i colab. exclude

i folosete ca energie a imaginii gradientul acesteia

=
||, unde g este funcia sigmoid. Comparativ cu gradientul, o funcie de gradient
definete conturul obiectului ca o curb geodezic n spaiul Riemannia [Caselles i
colab. 1995]. Cu toate acestea, gradientul imaginii furniza informaii foarte locale i este
sensibil la minimele locale. Pentru a depi aceast problem, cercettorii au introdus in
energia imaginii informaii din regiunile acesteia. n 1996, Zhu i Yuille au propus
utilizarea informaiilor din regiuni n detrimentul gradientului imaginii. Cu toate
acestea, utilizarea informaiilor din regiuni n energia imaginii nu conduce la o bun
localizare a conturului obiectului. Recent, metode care combina informaiilor din regiuni
i gratientul imaginii n energia imaginii au devenit populare. Paragios i Deriche [2002]
propune, folosind o combinaie convex a energiilor imaginii date de gradient i de
informaiile din regiunile imaginii,

+(1 )

. n special,
autorii modeleaz apariia n

a unui amestec de distribuii Gaussiene. Evoluia

conturului este efectuat iniial la nivel global, i ulterior local prin varierea lui de la 0
la 1, la fiecare iteraie.
Un aspect important n metode bazate pe contur este iniializarea conturului. n
abordrile bazate pe gradientul imaginii, un contur este de obicei plasat n afara regiunii
obiect i micorat pn marginea obiectului este ntlnit [Kass i colab. 1988; Caselles
colab. 1995]. n cazul metodelor ce folosesc imformaiile din regiunile imaginii conturul
poate fi iniializat fie n interiorul sau n afara obiectului, astfel nct conturul poate, fie
s se extind, respectiv sp se micoreze, pentru a atinge marginea obiectului. Cu toate
acestea, abordrile menionate necesit n prealabil informaii legate de obiect i de
fundal [Paragios i Deriche 2002]. Folosind mai multe cadre sau un cadru de referin,
iniializarea poate fi efectuat fara a construi regiunile apriori. De exemplu, n Paragios
i Deriche [2000], autorii utilizeaz extragerea fundalului pentru a iniializa conturul. Pe
lng selectarea funciei de energie i iniializarea, o alt problem important este
selectarea conturului corespunztor. Conturul obiectului () poate fi reprezentat fie n
mod explicit (puncte de control, v) sau implicit (seturi de nivel, ). n reprezentarea
explicit, relaia dintre punctele de control sunt definite prin ecuatii spline (o curb
parametric definit prin puncte de control). n reprezentarea pe seturi de nivel, conturul
este reprezentat pe o reea spaial care codific distanele pozitive sau negative ale
reelei fa de contur, cu semne opuse pentru obiect i regiunile din fundal. Conturul
este implicit definit ca punctele nule din reeaua de nivel stabilit. Evoluia conturului
este reglementat prin schimbarea valorilor reelei conform energiei calculat utiliznd
ecuaia (5), evaluat pentru fiecare poziie a reelei. Schimbrile n valorile reelei conduc
la noi puncte nule, prin urmare, la noi poziii ale conturului. Cel mai important avantaj
Detecia i urmrirea obiectelor. Studiu comparativ

al reprezentrii implicite fa de reprezentare explicit este flexibilitatea sa n a permite
modificri topologice (mprire i mbinare).
4.4 Clasificatori supervizai

Detectarea obiectelor poate fi realizat prin nvarea n mod automat a diferitelor
ipostaze ale obiectelor pornind de la un set de eantioane prin intermediul unui
mecanism de nvare supravegheat. nvarea diferitelor ipostaze ale obiectului este
similar cu stocarea un set complet de abloane. Fiind dat un set de eantioane, metoda
de nvare supravegheat genereaz o funcie care mapeaz intrrile la ieirile dorite.
O formulare standard a nvrii supervizate este problema clasificarea unde se
aproximeaz comportamentul unei funcii prin generarea unei ieiri, sub forma fie a unei
valori continue, care se numete regresie, sau a unei clase etichet, care se numete
clasificare. n context detectrii obiectelor, eantioanele de nvare sunt compuse din
perechi ale caracteristicilor obiectului i o clas de obiecte asociat unde ambele entiti
sunt definite manual.
Selectarea caracteristici joac un rol important n performanele clasificrii, prin
urmare, este important s se utilizeze un set de caracteristici unice ntre clase. n plus
fa de caracteristicile menionate n seciunea 3, este de asemenea posibil s se utilizeze
alte caracteristici, cum ar fi zona obiectului, orientare acestuia i aspectul obiectului sub
forma unei funcii de densitate, de exemplu, histogram. Odat ce caracteristicile sunt
selectate, diferite ipostaze ale unui obiect pot fi nvate prin alegerea unei abordri de
nvare supravegheat.
Aceste abordri de nvare includ, dar nu sunt limitate la, reele neuronale [Rowley
i colab. 1998], stimulri adaptive [Viola et al. 2003], arbori de decizie [Grewe i Kak
1995] i mecanisme de vectori support [Papageorgiou et al. 1998]. Aceste metode de
nvare a calculeaz o suprafa care separ o clas de obiecte de alta ntr-un spaiu
multidimensional.
Metode de nvare supravegheat necesita, de obicei, o colecie mare de probe de la
fiecare clas de obiecte. n plus, aceast colecie trebuie s fie etichetat manual. O
posibil abordare pentru a reduce cantitatea de date etichetate manual este de a nsoi
nvarea supravegheat cu co-antrenarea [Blum i Mitchell 1998]. Ideea principala din
spatele co-antrenrii este de a antrena dou clasificatoare folosind un set mic de date
etichetate n care caracteristicile utilizate pentru fiecare clasificator sunt independente.
Dup ce co-antrenarea este finalizat, fiecare clasificator este folosit pentru a atribui
datele neetichetate la setul de formare al altui clasificator. A fost demonstrat c, pornind
Detecia i urmrirea obiectelor. Studiu comparativ

de la un set mic de date etichetate cu dou seturi de caracteristici statistic independente,
co-antrenarea poate oferi o regul foarte precis de clasificare [Blum i Mitchell 1998].
Co-antrenarea a fost folosit cu succes pentru a reduce numrul de intervenii
manuale necesare pentru antrenare n contextul stimulrii adaptive [Levin i colab. 2003]
i a mecanismelor de vectori suport [Kockelkorn i colab. 2003]. Vom prezenta
stimulrea adaptiv i mecanismele de vectori suport datorit aplicabilitii lor n
urmrirea obiectelor.
4.4.1 Stimularea adaptiv

Stimularea adaptiv este o metod iterativ de a identifica un clasificator de mare
precizie prin combinarea mai multor clasificatori de baz, dintre care fiecare poate fi
puin inexact [Freund i Schapire 1995]. n faza de formare a algoritmul de stimulare
adaptiv, primul pas este de a construi o distribuie iniial de ponderi pentru setul de
antrenare. Mecanismul de stimulare selecteaz un clasificator de baz care genereaz
eroarea minim, unde eroarea este proporional cu ponderile datelor clasificate
incorect. n continuare, ponderile asociate cu datele clasificate incorect de ctre
clasificatorul de baz selectat sunt crescute. Astfel, algoritmul ncurajeaz selectarea
unui alt clasificator care se comporta mai bine pe date rmase neclasificate n urmtoarea
iteraie.
n contextul deteciei obiectelor, clasificatorii slabe pot fi operatori simple precum un
set de limite, aplicate pe caracteristicile obiectui extrase din imagine. n 2003, Viola i
colab. au utilizat stimularea adaptiv pentru a detecta pietoni. n demersul lor,
perceptroni (aparate pentru clasificarea formelor prin metode adaptive) au fost alei ca
i clasificatori slabi i au instruii pe caracteristicile de imagine extrase printr-o
combinaie de operatori spaiali i temporali. Operatorii pentru extracia caracteristicilor
imaginii sunt n form de filtre dreptunghiulare, prezentate n Figura 6. Operatorii din
domeniul temporal sunt cadre cu diferene succesive care conin i informaii cu privire
la obiectele aflate n micare. Atunci cnd este utilizat ca un operator din domeniu
temporal, cadrul cu diferene succesive reduce numrul de detectii false prin impunerea
detectrii obiectelor doar n regiunile n care are loc micarea.

Detecia i urmrirea obiectelor. Studiu comparativ


Fig. 6 Un set de filtre dreptunghiulare utilizate de ctre Viola i colab. [2003] pentru
a extrage caracteristici utilizate n stimularea adaptiv. Fiecare filtru este compus din
trei regiuni: alb, gri deschis, gri nchis, cu ponderile asociate 0, -1 i respectiv 1. Pentru
a calcula caracteristicile unui cadru se realizeaz convoluia acestor filtre cu imaginea.
4.4.2 Mecanisme de vectori suport

Ca un clasificator, mecanismele de vectori suport (SVM) sunt folosite pentru a grupa
datele n dou clase prin identificarea maximului marginal al hiperplanului (ansamblu
de puncte ale cror coordonate scalare, ntr-un spaiu vectorial de n dimensiuni, raportat
la o origine fix, verific o relaie de gradul nti) care separ o clas de alta [Bser i
colab. 1992]. Marja de hiperplan, care este maximizat, este definit ca distana dintre
hiperplanul i cel punctele cele mai apropiate. Punctele care se afl la limita marjei de
hiperplan sunt numite vectori suport. n contextul detectaiei obiectui, aceste clase
corespund clasei de obiecte (eantioane pozitive) i clasa non-objectelor (eantioane
negative). De la eantioanele de instruire generate manual i etichetate ca obiect i non-
object, calculul hiperplanului pentru un numr infinit de posibile hiperplane se
efectueaz prin intermediul programrii ptratice.
Dei SVM este un clasificator liniar, poate fi de asemenea utilizat i ca un clasificator
neliniar prin aplicarea unui conucleu vectorului caracteristicilor de intrare. Aplicare
unui conucleu la un set de date care nu este liniar separabil, transform datele ntr-un
spatiu multidimensional superior, care este separabil. Nucleele folosite pentru conucleu
sunt nucleele polinoame sau funcii de baz radiale, de exemplu, nucleul distribuiei
Gaussiene i perceptroni cu dou straturi, de exemplu, o funcie sigmoid. Cu toate
acestea, selectarea nucleului-ul nu este o sarcin uoar. Odat ce un nucleu este ales,
trebuie testate performana de clasificare pentru un set de parametri care pot s nu
funcioneze la fel de bine cnd noi observaii sunt introduse n setul de eantioane.
n contextul deteciei obiectelor, Papageorgiou i colab. [1998] folosesc SVM pentru
detectarea pietonilor i a feelor din imagini. Caracteristicile utilizate pentru a diferenia
clasele sunt extrase prin aplicarea de wavelet-uri Haar la seturile de eantioane de
antrenare pozitive i negative. Pentru a reduce spaiul de cutare, informaiile temporale
sunt utilizate pentru a calcula proprietile fluxului optim al imaginii. n special,
Detecia i urmrirea obiectelor. Studiu comparativ

discontinuitile n proprietile fluxului optim sunt utilizate pentru a iniia cutarea
obiectelor posibile, fapt care rezult ntr-o scdere a numrului de detecii false.

5. Urmrirea obiectelor

Scopul unui algoritm de urmrire a obiectelor este de a genera traiectoria unui obiect n
timp prin localizarea poziiei sale n fiecare cadru. Algoritmul poate oferi, de asemenea,
regiunea complet din imagine pe care o ocup obiectul. Detectarea obiectului i
stabilirea unei corespondene a obiectului ntre cadre pot fi efectuate fie separat fie
simultan. n primul caz, regiunile posibile ale obiectului din fiecare cadru sunt obinute
cu ajutorul unui algoritm de detectare, dup care algoritmul de urmrire efectueaz
corespondena obiectului de-alungul cadrelor. n cel de-al doilea caz, regiunea obiectul
i corespondena sa n imaginea sunt estimat simultan prin updatarea iterativ a locaie
obiectului si a regiunilor adiacente obinute din cadrele anterioare. n ambele abordri
obiectele sunt reprezentate prin forma i / sau modele de aspect descrise n Seciunea 2.
Modelul selectat pentru a reprezenta forma obiectului limiteaz tipul de micare sau de
deformare la care algoritmul poate urmrii obiectul. De exemplu, dac un obiect este
reprezentat ca un punct, atunci numai un model de translaie poate fi folosit. n cazul n
care o form geometric ca o elips este folosit pentru reprezentarea obiectul, modele
parametrice de micare, cum ar fi transformri afine sau transformri de proiecie sunt
adecvate. Aceste reprezentri pot aproxima micarea obiectelor rigide din cadru. Pentru
un obiect nonrigid, silueta sau conturul este reprezentarea cea mai descriptiv i modele
att parametrice ct i neparametrice pot fi utilizate pentru a specifica micarea lor.

Fig. 7 Metode de urmrire
Detecia i urmrirea obiectelor. Studiu comparativ

6. Concluzii

n acest lucrare, am prezentat un studiu extins al metodelor de detecie i urmrire a
obiectelor. Am mprit metodele de urmrire n trei categorii bazat pe reprezentarea
obiectului, i anume, metode ce stabilesc corespondena punctelor, metode care folosesc
modele geometrice primitive, i metode ce folosesc evoluia conturului. Toate aceste
metode necesita detectarea obiect la un moment dat. De exemplu, aloritmul ce stabilete
corespondena punctelor necesit detectaia obiectului n fiecare cadru, n timp ce alte
metode necesita acest lucru numai atunci cnd obiectul apare pentru prima dat n
cadru. Deoarece detectaia obiectelor este un aspect foarte importnat pentru sistemele de
urmrire, am prezentat metodele cele mai populare pentru detectarea obiectelor. Am
descris reprezentarea obiectelor, modelele de micare, i schemele de estimare a
parametrilor utilizate de algoritmi de urmrire. Mai mult, am discutat despre contextul
de utilizare, gradul de aplicabilitate, criterii de evaluare, i comparaii calitative ale
algoritmilor de detectare.













Detecia i urmrirea obiectelor. Studiu comparativ

7. Bibliografie

1. AGGARWAL, J. K. AND CAI, Q. 1999. Human motion analysis: A review.
Comput. Vision Image Understand. 73, 3.
2. ALI, A. AND AGGARWAL, J. 2001. Segmentation and recognition of continuous
human activity. In IEEEWorkshop on Detection and Recognition of Events in Video. 8
35.
3. AVIDAN, S. 2001. Support vector tracking. In IEEE Conference on Computer
Vision and Pattern Recognition (CVPR). 184191.
4. BAR-SHALOM, Y. AND FOREMAN, T. 1988. Tracking and Data Association.
Academic Press Inc.
5. BARRON, J., FLEET, D., AND BEAUCHEMIN, S. 1994. Performance of optical flow
techniques. Int. J. Comput. Vision 12, 4377.
6. BEAULIEU, J. AND GOLDBERG, M. 1989. Hierarchy in picture image
segmentation: A step wise optimization approach. IEEE Trans. Patt. Analy. Mach. Intell.
11, 150163.
7. BERTALMIO, M., SAPIRO, G., AND RANDALL, G. 2000. Morphing active
contours. IEEE Trans. Patt. Analy. Mach. Intell. 22, 7, 733737.
8. BLACK, M. AND JEPSON, A. 1998. Eigentracking: Robust matching and tracking
of articulated objects using a view-based representation. Int. J. Comput. Vision 26, 1, 63
84.
9. BLAKE, A. AND ISARD,M. 2000. Active Contours:The Application ofTechniques
from Graphics,Vision, Control Theory and Statistics to Visual Tracking of Shapes in
Motion. Springer.
10. BLUM, A. AND MITCHELL, T. 1998. Combining labeled and unlabeled data with
co-training. In 11th Annual Conference on Computational Learning Theory. 92100.
11. BLUM, A. L. AND LANGLEY, P. 1997. Selection of relevant features and examples
in machine learning. Artific. Intell. 97, 1-2, 245271.
12. BOSER, B., GUYON, I. M., AND VAPNIK, V. 1992. A training algorithm for
optimal margin classifiers. In ACM Workshop on Conference on Computational
Learning Theory (COLT). 142152.
13. ACM Computing Surveys, Vol. 38, No. 4, Article 13, Publication date: December
2006. Object Tracking: A Survey 41
14. BROIDA, T. AND CHELLAPPA, R. 1986. Estimation of object motion parameters
from noisy images. IEEE Trans. Patt. Analy. Mach. Intell. 8, 1, 9099.
15. CANNY, J. 1986. A computational approach to edge detection. IEEE Trans. Patt.
Analy. Mach. Intell. 8, 6, 679698.
16. CHAM, T. AND REHG, J. M. 1999. A multiple hypothesis approach to figure
tracking. In IEEE International Conference on Computer Vision and Pattern Recognition.
239245.
17. CHEN, Y., RUI, Y., AND HUANG, T. 2001. Jpdaf based hmm for real-time contour
tracking. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 543
Detecia i urmrirea obiectelor. Studiu comparativ

550.
18. COMANICIU, D. 2002. Bayesian kernel tracking. In Annual Conference of the
German Society for Pattern Recognition. 438445.
19. COMANICIU, D. AND MEER, P. 1999. Mean shift analysis and applications. In
IEEE International Conference on Computer Vision (ICCV). Vol. 2. 11971203.
20. COMANICIU, D. AND MEER, P. 2002. Mean shift: A robust approach toward
feature space analysis. IEEE Trans. Patt. Analy. Mach. Intell. 24, 5, 603619.
21. COMANICIU, D., RAMESH, V., ANDMEER, P. 2003. Kernel-based object
tracking. IEEE Trans. Patt. Analy. Mach. Intell. 25, 564575.
22. ELGAMMAL, A.,DURAISWAMI, R.,HARWOOD, D., ANDDAVIS, L. 2002.
Background and foreground modeling using nonparametric kernel density estimation
for visual surveillance. Proceedings of IEEE 90, 7, 11511163.
23. ELGAMMAL, A., HARWOOD, D., AND DAVIS, L. 2000. Non-parametric model
for background subtraction. In European Conference on Computer Vision (ECCV). 751
767.
24. FIEGUTH, P. AND TERZOPOULOS, D. 1997. Color-based tracking of heads and
other mobile objects at video frame rates. In IEEE Conference on Computer Vision and
Pattern Recognition (CVPR). 2127.
25. GAO, X., BOULT, T., COETZEE, F., AND RAMESH, V. 2000. Error analysis of
background adaption. In IEEE Conference on Computer Vision and Pattern Recognition
(CVPR). 503510.
26. HARRIS, C. AND STEPHENS, M. 1988. A combined corner and edge detector. In
4th Alvey Vision Conference. 147151.
27. HARRISSRC. Harris Source Code
http://www.cs.uwa.edu.au/pk/Research/MatlabFns/Spatial/harris.m.
28. HORN, B. AND SCHUNK, B. 1981. Determining optical flow. Artific. Intell. 17,
185203.
29. HUANG, T. AND RUSSELL, S. 1997. Object identification in a bayesian context.
In Proceedings of International Joint Conference on Artificial Intelligence. 12761283.
30. HUTTENLOCHER, D., NOH, J., AND RUCKLIDGE, W. 1993. Tracking nonrigid
objects in complex scenes. In IEEE International Conference on Computer Vision (ICCV).
93101.
31. IRANI, M. AND ANANDAN, P. 1998. Video indexing based on mosaic
representations. IEEE Trans. Patt. Analy. Mach. Intell. 20, 6, 577589.
32. KALMANSRC. Kalman Filtering Source Code.
http://www.ai.mit.edu/murphyk/Software/index.html.
33. KANG, J., COHEN, I., AND MEDIONI, G. 2004. Object reacquisition using
geometric invariant appearance model. In International Conference on Pattern
Recongnition (ICPR). 759762.
34. KASS, M., WITKIN, A., AND TERZOPOULOS, D. 1988. Snakes: active contour
models. Int. J. Comput. Vision 1, 321332.
35. KLTSRC. KLT Source Code. http://www.ces.clemson.edu/stb/klt/.
36. LAWS, K. 1980. Textured image segmentation. PhD thesis, Electrical Engineering,
Detecia i urmrirea obiectelor. Studiu comparativ

University of Southern California.
37. LEVELSETSRC. Level Set Source Code.
http://www.cs.utah.edu/whitaker/vispack/.
38. LEVIN, A., VIOLA, P., AND FREUND, Y. 2003. Unsupervised improvement of
visual detectors using co-training. In IEEE International Conference on Computer Vision
(ICCV). 626633.
39. LIYUAN, L. AND MAYLOR, L. 2002. Integrating intensity and texture differences
for robust change detection. IEEE Trans. Image Process. 11, 2, 105112.
40. LOWE, D. 2004. Distinctive image features from scale-invariant keypoints. Int. J.
Comput. Vision 60, 2, 91110.
41. MATTHIES, L., SZELISKI, R., AND KANADE, T. 1989. Kalman filter-based
algorithms for estimating depth from image sequences. Int. J. Comput. Vision 3, 3, 209
238.
42. MEANSHIFTSEGMENTSRC. Mean-Shift Segmentation Source Code.
http://www.caip.rutgers.edu/riul/research/code.html.
43. MEANSHIFTTRACKSRC. Mean-Shift Tracking Source Code.
http://www.intel.com/technology/computing/opencv/ index.htm.
44. MIKOLAJCZYK, K. AND SCHMID, C. 2002. An affine invariant interest point
detector. In European Conference on Computer Vision (ECCV). Vol. 1. 128142.
45. MIKOLAJCZYK, K. AND SCHMID, C. 2003. A performance evaluation of local
descriptors. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
16151630.
46. MONNET, A., MITTAL, A., PARAGIOS, N., AND RAMESH, V. 2003.
Background modeling and subtraction of dynamic scenes. In IEEE International
Conference on Computer Vision (ICCV). 13051312.
47. PARAGIOS, N. AND DERICHE, R. 2000. Geodesic active contours and level sets
for the detection and tracking of moving objects. IEEE Trans. Patt. Analy. Mach. Intell.
22, 3, 266280.
48. PARAGIOS, N. AND DERICHE, R. 2002. Geodesic active regions and level set
methods for supervised texture segmentation. Int. J. Comput. Vision 46, 3, 223247.
49. PARTICLEFLTSRC. Particle Filtering Source Code. http://www-
sigproc.eng.cam.ac.uk/smc/software.html.
50. PASCHOS, G. 2001. Perceptually uniform color spaces for color texture analysis:
an empirical evaluation. IEEE Trans. Image Process. 10, 932937.
51. RASMUSSEN, C. AND HAGER, G. 2001. Probabilistic data association methods
for tracking complex visual objects. IEEE Trans. Patt. Analy. Mach. Intell. 23, 6, 560576.
52. COLLINS, R. AND LIU, Y.. 2003. On-line selection of discriminative tracking
features. In IEEE International Conference on Computer Vision (ICCV). 346352.
53. RITTSCHER, J., KATO, J., JOGA, S., AND BLAKE, A. 2000. A probabilistic
background model for tracking. In European Conference on Computer Vision (ECCV).
Vol. 2. 336350.
54. RONFARD, R. 1994. Region based strategies for active contour models. Int. J.
Comput. Vision 13, 2, 229251.
Detecia i urmrirea obiectelor. Studiu comparativ

55. ROWLEY, H., BALUJA, S., ANDKANADE, T. 1998. Neural network-based face
detection. IEEE Trans. Patt. Analy. Mach. Intell. 20, 1, 2338.
56. SCHUNK, B. 1986. The image flow constraint equation. Comput. Visison Graphics
Image Process. 35, 2046.
57. SCHWEITZER, H., BELL, J. W., AND WU, F. 2002. Very fast template matching.
In European Conference on Computer Vision (ECCV). 358372.
58. SERBY, D., KOLLER-MEIER, S., AND GOOL, L. V. 2004. Probabilistic object
tracking using multiple features. In IEEE International Conference of Pattern
Recognition (ICPR). 184187.
59. SHI, J. AND MALIK, J. 2000. Normalized cuts and image segmentation. IEEE
Trans. Patt. Analy. Mach. Intell. 22, 8, 888905.
60. SHI, J. AND TOMASI, C. 1994. Good features to track. In IEEE Conference on
Computer Vision and Pattern Recognition (CVPR). 593600.
61. SIFTSRC. SIFT Source Code.
http://www.cs.ucla.edu/vedaldi/code/siftpp/assets/siftpp/versions/.
62. SZELISKI, R. AND COUGHLAN, J. 1997. Spline-based image registration. Int. J.
Comput. Vision 16, 1-3, 185 203.
63. TIPPING, M. E. 2001. Sparse bayesian learning and the relevance vector machine.
J. Mach. Learn. Resear. 1, 1, 211244.
64. TOYAMA, K., J. KRUMM, B. B., AND MEYERS, B. 1999. Wallflower: Principles
and practices of background maintenance. In IEEE International Conference on
Computer Vision (ICCV). 255261.
65. VIDAL, R. AND MA, Y. 2004. A unified algebraic approach to 2-d and 3-d motion
segmentation. In European Conference on Computer Vision (ECCV). 115.
66. VIOLA, P., JONES, M., AND SNOW, D. 2003. Detecting pedestrians using
patterns of motion and appearance. In IEEE International Conference on Computer
Vision (ICCV). 734741.
67. WU, Z. AND LEAHY, R. 1993. An optimal graph theoretic approach to data
clustering: Theory and its applications to image segmentation. IEEE Trans. Patt. Analy.
Mach. Intell. 11, 11011113.
68. XU, N. AND AHUJA, N. 2002. Object contour tracking using graph cuts based
active contours. In IEEE International Conference on Image Processing (ICIP). 277280.