Sisteme de vedere artificial

Lucrarea de laborator nr. 5

LUCRAREA NR. 5
1. Scopul lucrrii
Cea de-a patra lucrare de laborator trateaz problema urmaririi colturilor obiectelor dintr-o
imagine.

2. Breviar teoretic
Algoritmi de reconstructie a miscarii in secvente de imagini
Este util s lum n considerare variatele cazuri de micare observabile printr-o
secven de imagini. Problema de rezolvat o reprezint analizarea formei diferitelor obiecte cu
scopul de a determina micarea acestora. [1],[2],[26]
S-au identificat patru cazuri generale ale micrii n care se ine cont de poziia
camerei video raportat la un anumit punct de referi:

camer fix, un singur obiect n micare, fundal constant;

camer fix, mai multe obiecte n micare, fundal constant;

camer mobil, scen relativ constant;

camer mobil, cteva obiecte n micare.

Primele dou cazuri sunt simple; un senzor fix este aezat deasupra unui fundal relativ
constant. Micarea obiectelor de-a lungul fundalului va rezulta prin modificarea pixelilor
asociai obiectelor din imagine. Detecia acestor pixeli ofer informaii cu privire la forma
obiectelor precum i viteza i traiectoria acestora. Astfel de senzori sunt utilizai n sisteme de
siguran i securitate. O camer fix poate fi utilizat cu scopul de a determina forma i
traiectoria unui anumit obiect care se mic ntr-o zon cunoscut.
O camer mobil produce schimbri n imagini datorit micrii sale, chiar dac
mediu nconjurtor nu se modific. Camera poate fi montat ntr-un punct fix, astfel prin
rotirea ei obinndu-se o vedere panoramic asupra mediului sau camera poate fi montat pe
un vehicul mobil (roboii mobili), n acest caz camera video oferind informaii cu privire la
mediul n care ptrunde vehicolul respectiv.
Cea mai important problem n detectarea micrii la senzorii mobili o reprezin
faptul c n scen sunt foarte multe obiecte n micare, ct i faptul c nu poate fi identificat
un fundal constant.
1

Sisteme de vedere artificial

Lucrarea de laborator nr. 5

2.1 Cross-Correlation
Aceast metod poate fi folosit n condiia n care se presupune c distana de
deplasare este relativ mic n comparaie cu dimensiunile obiectului din imagine. Fiind
determinat un punct de interes Pi din imaginea I1, se caut vecinul care se aseamn cel mai
mult din imaginea I2.

Punct de interes (xi,yi)

aproximare (xf,yf)

Cea mai buna

Vecinatate
de cautare

xi,,yi

masc
Imaginea I1

Imaginea I2

Punct
initial
(xi,yi)

Punct
final
(xf,yf)

Vector de micare

Fig. 8 Determinarea vectorilor de micare

Primul pas este de a determina punctele de interes (colurile) din imaginea I1 captat
la momentu t. Al doilea pas l constituie realizarea corespondeelor ntre punctele de interes
detectate n imaginea I1 i punctele corespunzatoare din imaginea I2 captat la momentul t+t.
Cutarea se realizeaz ntr-o vecintate centrat n pixelul Pi de coordonate (xi, yi), (Pi fiind pe
rand, fiecare col detectat n imaginea I1), mrimea acestei vecinti fiind corelat cu
amplitudinea micrii. Se caut n imaginea I2, cea mai bun aproximare a colului Pi din
imaginea I1. Pentru realizarea acestei operaii se utilizeaz o matrice (masc) de comparaie
care are ca element central intensitatea pixelului Pi, iar celelalte elemente reprezint
intensitile vecinilor (dimensiunea acestei matrice este stabilit n prealabil de utilizator). n
construcia vectorului de micare, punctul de coordonate (xi, yi) este considerat ca fiind iniial
(coada vectorului de micare), iar punctul de coordonate (xf, yf) determinat n imaginea I2, care
aproximeaz cel mai bine colul Pi, este considerat final (vrful vectorului de micare). Masca
de comparaie este deplasat prin vecintatea de cutare din imaginea I 2, reinndu-se pixelul
pentru care vecintatea acestuia aproximeaz cel mai bine masca de comparaie. Fiecare
pereche de pixeli astfel gsit este memorat ntr-un vector numit vector de micare. n figura
10, este evideniat modul de determinare a vectorilor de micare.

Sisteme de vedere artificial

Lucrarea de laborator nr. 5

2.2. Gradient Vector Matcher

Spre deosebire de Cross-corelation, Gradient Vector Matcher nu face o cutare pixel
cu pixel n imaginea I2, ci ncearca s gaseasca colul corespondent dintr-o mulime mult mai
mic de pixeli. Astfel, primul pas este de a determina colurile att din imaginea I1 ct i din
imaginea I2 folosind unul din operatorii de detecie a punctelor de interes prezentai n
capitolul 2. Pentru fiecare col detectat n imaginea I1 se testeaz care col dintre cele
detectate n imaginea I2 l aproximeaz cel mai bine realizndu-se astfel perechi de coluri
corespondente (fig. III.5).

Fig. 9. Cutarea colului corespondent n cazul GVM

Aceast tehnic de urmrire folosete ct mai multe informaii posibile rezultate n

urma procesului de detecie a colurilor. n acest scop, sunt folosite i comparate trei atribute:
I (intensitatea nivelului de gri), Ix (valoarea medie a nivelului de gri de-a lungul axei x), Iy
(valoarea medie a nivelului de gri de-a lungul axei y). Ix si Iy sunt calculate scond rdcina
ptrat a gradienilor < Ix2> si < Iy2> pentru fiecare pixel n parte, i fcnd media pe o masc
de suprafa 3x3. Un vector este construit cu cele trei componente, (I, Ix, Iy) i comparat cu
vectorul echivalent colului curent (figura III.6).

Fig. 10.

Gradient Vector Matcher (GVM)

Comparnd doi vectori, se poate calcula o valoare m(v,w) ntre punctul curent si
fiecare punct candidat, conform relaiei:

Sisteme de vedere artificial

Lucrarea de laborator nr. 5

m v, w

vw
x w

(13)

Deoarece schimbrile liniare ce apar n I duc la schimbri att n Ix si Iy, aceast

metod nu este sensibil la schimbri liniare a condiiilor de iluminare. Pixelul candidat, care
are cea mai mic valoare m(v,w), este considerat ca fiind colul corespondent, atta timp ct m
este mai mic dect o valoare de prag predefinit.
Modul de lucru in laborator:
3. Exercitii
1. Analizati implementarea existenta a celor doi algoritmi si realizati imbunatatiri din punct de
vedere a performantelor implementarilor (timp de lucru, bucle, etc.)
2. Realizati achizitii de secvente de imagini si reconstituiti traiectoriile de miscare a obiectelor
ce compun imagine analizand performantelor celor trei.