1.

NOIUNI INTRODUCTIVE
Imaginile reprezint o reflectare a realitii mediului nconjurtor pe baza simurilor. Dezvoltarea sistemelor informatice a condus la stocarea imaginilor sub form numeric. Pentru aceasta a fost necesar, n primul rnd, apariia de senzori capabili s furnizeze semnale electrice n concordan cu interaciunea dintre anumite obiecte din spaiu i anumite semnale luminoase. Astfel, au aprut primele sisteme capabile s furnizeze informai despre mediul nconjurtor astfel nct acestea s poat fi prelucrate ulterior. Utilizarea mai multor senzori i realizarea de conexiuni ntre acetia va determina formarea unei imagini, numit imagine digital. O imagine digital este format dintr-un numr finit de puncte, un astfel de punct reprezentnd elementul fundamental pentru o imagine (este vorba despre pixel).

1.1 Camere video digitale

O camer video digital este o camer capabil s achiziioneze imagini sau film i s le stocheze sau s le transmit ctre un alt dispozitiv (cum este calculatorul) ntr-un format digital. Camerele video digitale au n componena lor un senzor de imagine electronic, cu ajutorul cruia se face captarea reflexiei luminoase a mediului nconjurtor. Tehnologiile cel mai des utilizate pentru construcia senzorului video sunt [1]: CCD (C harge-Coupled Device) i CMOS (Complementary MetalOxideSemiconductor). Principalul avantaj al utilizrii tehnologiei CCD const n zgomotul redus introdus la achiziia imaginilor (situaia cel mai des ntlnit este aceea a achiziiei imaginilor n micare rapid). n cazul tehnologiei CMOS principal avantaj este reprezentat de preul de achiziie sczut [1]. O camer digital este caracterizat de parametri si. Pentru o camer video digital este necesar s se cunoasc att parametri intrinseci ct i cei extrinseci. Parametri extrinseci reprezint un set de parametri geometrici care identific n mod unic transformarea dintre sistemul de coordonate ataat interiorului camerei, respectiv sistemul de coordonate 1

NAVIGAIA ROBOILOR MOBILI AUTONOMI

Fig. 1 Camera ideal.

ataat exteriorului camerei, transformarea fiind reversibil [3, 9]. Parametri intrinseci pot fi definii ca setul de parametri necesari pentru a se caracteriza, din punct de vedere optic, geometric i digital, caracteristicile camerei digitale [3, 9].

1.2 Modelul unei camere video digitale

Modelul geometric al unei camere digitale este construit avnd la baz o camer ideal/generic (n literatura de limb englez este numit pinhole) [1]. O astfel de camer (v. fig. 1) const dintr-o ax central, numit ax optic i un plan perpendicular pe aceast ax, numit plan focal. Acest plan conine n mijlocul su (centrul optic) un orificiu, considerabil mai mic dect dimensiunea planului, ce se gsete la intersecia dintre planul focal cu axa optic. Un al doilea plan, numit planul imaginii, este situat n spatele planului focal, la distana f, numit distan focal. Punctul unde axa optic intersecteaz planul imaginii se numete punct principal. Pentru a se obine trecerea de la punctul real P(x, y, z) la punctul P ' ( x' , y ' , z ' ) din planul imaginii este nevoie de o transformare de perspectiv. Determinarea coordonatelor punctului de proiecie P ' , n planul imaginii, din punctul P, se numete transformare de perspectiv direct. Transformarea din planul imaginii n planul focal se numete transformare de perspectiv invers [1]. Din punct de vedere geometric, transformarea de perspectiv direct poate fi descris prin urmtorul sistem de ecuaii [1]:
x' = x f y f , y' = , z' = f . z z

(1.1)

n sens general procesul de calibrare al unei camere conduce la determinarea parametrilor interni i externi ai camerelor. La realizarea calibrrii stereo cele dou camere vor fi analizate n aa fel nct s se obin parametri interni (de exemplu: distan a focal, factor 2

NAVIGAIA ROBOILOR MOBILI AUTONOMI

de oblicitate) ct i cei externi (rotaia i translaia).

1. SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

Cele mai multe dispozitive de vedere artificial au la baz informaia obinut de la sisteme cu caracteristici fixe. Acestea includ, pe de o parte, sisteme de senzori pasive (aa cum sunt, de exemplu, camerele video), iar, pe de alt parte, sisteme senzoriale active (aa cum sunt, de exemplu, sistemele de estimare cu laser) [5].

1.3 Vederea stereo

Conceptul de vedere stereo reprezint interpretarea mediului din dou perspective, obinute cu ajutorul a dou camere, astfel nct s se rezolve problemele legate de ambiguitatea obinerii informaiei de profunzime [2]. Un sistem stereo de prelucrare video trebuie s rezolve dou probleme fundamentale. Prima problem, cunoscut i sub numele de problema corespondenei [9], const n stabilirea legturii dintre obiectele din imaginea achiziionat de camera din partea stng i obiectele din imaginea din partea dreapt. A doua problem, problema reconstruciei [9], reprezint capacitatea de modelare a spaiului 3D avnd la baz informaia video achiziionat de la sistemul stereo i informaiile legate de parametri interni i externi ai camerelor (parametri intrinseci i extrinseci).

1.4 Sistem stereo de vedere artificial. Elemente de geometrie epipolar

Modelul include o pereche de camere identice, poziionate la o distan cunoscut b, pe direcia x. Planele celor dou imagini sunt coplanare. Reprezentarea geometric a sistemului format din cele dou camere este prezentat n figura 2. O caracteristic a scenei este perceput de ctre cele dou camere n poziii diferite n planul imagini [5, 9]. 4

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

Geometria unui sistem video stereo se numete geometrie epipolar. Elementele ce fac parte din acest ansamblu geometric (v. fig. 3) sunt definite astfel [4]: - epipol: reprezint punctul de intersecie al liniei ce unete centrul camerei (linia de baz) de planul imaginii; plan epipolar: planul ce conine linia de baz; linie epipolar: intersecia dintre planul epipolar cu planul imaginii.

Informaia referitoare la elementele de geometrie epipolar sunt coninute n dou matrice. Prima matrice, matricea esenial E [4, 6, 9], conine informaia despre constrngerile geometrice i se utilizeaz atunci cnd sunt cunoscute informaii a priori despre parametri sistemului. Dac nu sunt cunoscute informaii a priori despre parametri sistemului (este vorba de un sistem necalibrat) atunci informaia referitoare la geometria epipolar este coninut n matricea fundamental F [4, 5, 9].

Fig. 2 Geometrie epipolar.

Calculul matricei fundamentale, respectiv eseniale are ca punct de plecare utilizarea a dou camere ideale i a unui punct P n spaiul 3D (v. fig. 3). Reprezentarea punctului P n spaiu este realizat cu ajutorul a doi vectori (pentru fiecare camer cte unul) astfel:
Pr = [ X r , Yr , Z r ]T , respectiv Pl = [ X l , Yl , Z l ]T . Proieciile coordonatelor punctului P n

planul imaginii sunt pr = [ xr , y r , z r ]T i pl = [ xl , yl , zl ]T . Ambele perechi de vectori sunt definite n coordonatele cadrului (frame-ului) de referin, prin parametri extrinseci ai camerelor. Dac se dorete o transformare de coordonate se poate folosi un vector de translaie T sau un vector de rotaie R.

1.5 Problema corespondenei

Cunoscndu-se elementele de geometrie epipolar, se poate determina corespondena dintre caracteristicile situate n perechea de imagini achiziionat cu sistemul stereo. 5

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

Pentru realizarea corespondenei pot fi utilizai mai muli algoritmi, diferena dintre ei fiind dat, pe de o parte, de viteza de execuie, iar pe de alt parte, de modalitatea de aplicare a algoritmului asupra imaginilor (aplicarea pe ntreaga imagine sau pe anumite zone din imagine). Majoritatea algoritmilor folosesc, pentru determinarea corespondenei, msurtori de culoare, nuan, intensitate sau informaii generale obinute prin filtrarea imaginilor. Cea mai simpl metod prin care se poate reduce numrul erorilor este folosirea unor ferestre de dimensiuni fixe [7]. De asemenea, se pot folosi algoritmi ce folosesc ferestre multiple, ferestre adaptive sau deplasabile [7]. n [9] este prezentat o structur de calcul pentru algoritmii ce au la baz ferestre pentru imagini. Un alt algoritm (propus n [6]), numit suma diferenelor absolute SAD (Sum of Absolute Differences), presupune calcularea anumitor costuri pentru grupuri de pixeli. Costul este determinat prin calcularea diferenei absolute dintre pixelii a dou grupuri i agregarea rezultatelor [6]. Calitatea rezultatelor obinute prin acest algoritm depinde de dimensiunea grupului. O alt categorie de algoritmi, care sunt construii pe alte principii dect algoritmii ce utilizeaz ferestre de cutare, este prezentat n [9]. Aceast categorie are la baz metode centrate pe caracteristici. Aceste metode nu utilizeaz ntreaga suprafa pentru realizarea corespondenei, ci se axeaz pe un set risipit (n literatura de specialitate se numete sparse) de caracteristici. Pentru a se realiza corespondena dintre caracteristici este nevoie de calcularea distanei dintre descriptorii de caracteristici. Cele mai importante caracteristici utilizate n sistemele stereo sunt muchiile, liniile sau colurile. Utilizarea metodelor ce au la baz ferestre de cutare sau a metodelor ce utilizeaz caracteristici depinde de tipul aplicaiei i de structurile de calcul folosite. Cu toate acestea, metodele de cutare generalizat sunt recomandate n aplicaiile al crui scop este recunoaterea de suprafee. Dar, n situaia unor iluminri necorespunztoare, metodele acestea pot conduce, la rndul lor, la rezultate necorespunztoare. Pe de alt parte, metodele axate pe caracteristici sunt recomandate n aplicaiile cu informaie a priori cunoscut. Aceste metode, ce au la baz caracteristici, sunt recomandate a fi aplicate n spaii interioare. Aceti algoritmi sunt costisitori, datorit necesitii utilizrii seleciei de caracteristici.

1.6 Problema reconstruciei

Reconstrucia unei scene 3D poate fi realizat prin trei modaliti. Acestea depind de cantitatea de informaie a priori cunoscut despre parametri sistemului video. Astfel, dac sunt cunoscui att parametri intrinseci ct i cei extrinseci ai sistemului de camere stereo, este posibil reconstrucia scenei fr ambiguiti prin utilizarea metodei triangulaiei [3, 4, 8, 9]. n situaia n care sunt cunoscui doar parametri intrinseci ai sistemului stereo, 6

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

problema reconstruciei poate fi soluionat prin estimarea parametrilor extrinseci ai sistemului, dar estimarea se poate face doar pn la un anumit raport de scalare necunoscut (n literatura de specialitate se numete unknown scaling factor) [3, 9]. Dac nu sunt cunoscui nici parametri intrinseci nici cei extrinseci, ci este disponibil doar informaia despre corespondena dintre pixeli, atunci problema reconstruciei poate fi rezolvat doar pn la o anumit transformare proiectiv global (necunoscut) (n literatura de specialitate se numete unknown global projective transformation) [3, 9]. Reconstrucia prin triangulaie. Aceast metod presupune utilizarea a dou camere, poziionate n zone diferite, ce achiziioneaz imagini ce conin un acelai punct P n interiorul lor. Un punct P din scen este observat ca un punct pl , respectiv p r n planul stng al imagini i planul drept al imagini (v. fig. 2). Presupunem c originea planului de coordonate coincide cu centrul lentilei camerei din partea stng. Determinarea profunzimii (distanei) se realizeaz cu urmtoarea formul:
z= bf . ( xl x r )

(3.4)

Astfel, profunzimea pentru puncte diferite ale scenei poate fi determinat prin utilizarea diferenei coordonatelor punctelor corespunztoare din imagine. n situaia n care cele dou trasee de proiecie n planul imaginii (v. fig. 3) nu se intersecteaz, atunci metoda triangulaiei presupune modificarea algoritmului. Pentru

Fig. 3 Structura unui sistem stereo utilizat la metoda triangulaiei.

aceasta este necesar introducerea unui punct mediu ntre cele dou trasee i determinarea acestuia. n acest sens se poate folosi algoritmul propus n [5, 9]. 7

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

1.7 Calibrarea imaginilor stereo i rectificarea acestora

n urma procesului de calibrare stereo se obine informaie despre parametrii interni i externi ai camerelor. Parametri interni, sau parametri intrinseci, reprezint informa ia necesar pentru a putea reconstrui un punct n planul 3D. Aceast informa ie este cuprins de matricea parametrilor intrinseci i are urmtoarea form:
fx 0 0 0 fy 0 cx cy , 1

(3.5)

unde, f x i f y reprezint distana focal pe direcie orizontal i vertical iar c x i c y reprezint deplasamentul centrului imaginii fa de poziia sa. Acest deplasament apare la realizarea fizic a camerelor. Tot n procesul de calibrare se mai ob ine matricea coeficienilor de distorsiune. Acetia apar datorit lentilelor, a formelor imperfect realizate. Procesul de calibrare mai returneaz i matricea parametrilor extrinseci, ce con ine informaii despre relaia geometric dintre camera din partea stng i cea din partea dreapt. Forma acesteia este dat de urmtoarea expresie:
R3 x 3 01x3 T3 x1 , 1

(3.6)

unde, R3 x3 reprezint matricea de rotaie, cu dimensiunea de trei linii cu trei coloane, T3 x1 reprezint matricea parametrilor de translaie pe toate cele trei coordonate. Primul parametru al matricei de translaie este valoarea de coordonata X, i reprezint distana dintre cele dou camere (v. fig. 3).

2. PREZENTAREA MODELULUI EXPERIMENTAL

Tema proiectului reprezint dezvoltarea unui sistem de vedere activ stereo care este capabil sa genereze traseul unei camere far a avea nevoie de date provenite de la o anten GPS. Realizarea proiectului s-a fcut in mai multe etape dup cum urmeaz. Astfel prima parte ce a fost realizat a fost partea mecanic ce este necesar pentru sus inerea servomotoarelor i a camerelor web apoi a fost realizat placa de achizi ie a datelor i de comand a servo-motoarelor iar n final a fost fcut legtura cu interfa a realizat in Visual Studio 2008 prin intermediul unui convertor Usb-Serial. Modelul experimental este alctuit din (v.fig.3.1.) : plac de achiziie i comand format din : alimentare prin intermediul unui ncrctor de laptop; 2 regulatoare de tensiune 7805; circuitul Integrat MAX 232; microcontroler Atmega8; conector DB-9; 2 servo-motoare Futaba S3305; 2 camere web Logitech Quick Cam Pro 9000;

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

Schema bloc de funcionare a sistemului este urmtoarea (v.fig.3.1.) :

Fig. 3.1. Schem bloc general a ntregului sistem de vedere activ.

Avnd la baz modelele matematice descrise n sec iunile anterioare s-a implementat n mediul Visual Studio o aplicaie ce realizeaz algoritmul pentru stereo odometrie. Procesul de stereo odometrie ncepe cu achiziia de la cele dou camere Logitech Quick Cam Pro 9000 a unei perechi de imagini de dimensiune 640x480. Asupra acestor imagini este aplicat un filtru (filtru median) pentru mbuntirea calitii imaginilor. Pentru a putea realiza procesul de odometrie este necesar calibrarea camerelor. Procesul de calibrare a constat n extragerea dintr-un set de 25 de imagini (ce cuprindeau imaginea unei table de ah) a parametrilor camerelor. Odat obinui nu mai este necesar recalibrarea acestora. Asupra acestor imagini se aplica un proces de rectificare ce presupune transformarea acestora n aa fel nct perechi de linii epipolare devin coliniare i paralele cu axele optice ale celor dou camere. Pentru a se putea realiza algoritmul de odometrie este necesar realizarea coresponden ei ntre perechi de imagini. Aceste corespondene sunt realizate de-a lungul aceleia i linii a imaginii, ntre dou valori numite disparitate de minim i de maxim. Disparitatea 10

SISTEME STEREO UTILIZATE N VEDEREA ARTIFICIAL

reprezint distana n spaiu pentru puncte i camer. Apoi dupa ce obtinem disparitea punctelor din imagini si parametrii interni ai camerei (distan focal , punctul principal , i distana dintre cele dou camere ) cu ajutorul metodei de triangulaie se face o transformare a punctelor din coordonate 2D (x,y ) in coordonate 3D (x,y,z ) n care z-este adncimea (depth). Z = ( b * f ) / ( x1 - x2 ) X = x1 * Z / f Y = y1 * Z / f Unde x1 ( disparitatea unui punct n imaginea din stnga ) , x2 (disparitatea unui punct n imaginea din dreapta ) iar y1- coordonat y a punctului din imaginea din stnga. Cu ajutorul acestor puncte memorate ntr-un vector se realizeaza cu ajutorul metodei SVD ( Single Value Decomposition ) o descompunere a vectorului n 3 matrici (U,V,D ) din care mai apoi putem obtine matricile de Rotaie i Translaie ale Camerelor. n figura 3.2 este prezentat o comporatie ntre rezultatele obinute cu ajutorul sistemului stereo de odometrie vizual si rezultatele obinute cu ajutorul unei antene GPS.

Fig. 3.2. Comparaie ntre rezultatele obinute cu ajutorul sistemului de odometrie vizual (ro u) i cu ajutorul unei antene GPS (albastru ).

11

BIBLIOGRAFIE
[1] Cojocariu, D. Achiziia, prelucrarea i recunoaterea imaginilor, Ed. Universitaria, Craiova, 2002. [2] Corke, P.I. Visual Control of Robots: A High-performance Visual Servoing , Research Studies Press Ltd., John Wiley & Sons Inc, Great Britain, 1996. [3] Cyganek, B., Siebert, J. P. An Introduction to 3D Computer Vision Techniques and Algorithms, John Wiley & Sons, Great Britain, 2009. [4] Hartley, R., Zisserman, A. Multiple View Geometry in Computer Vision, 2nd Edition, Cambridge University Press, United Kingdom, 2004. [5] Jimenez, E.V.C., Navarro, D.Z., Rojas, R. Intelligent Active Vision Systems for Robots, Cuvillier Verlag, Gottingen, Germany, 2007. [6] Kisacanin, B., Bhattacharyya, S.S., Chai, S. Embedded Computer Vision, Springer-Verlag, London, United Kingdom, 2009. [7] Ogale, A.S., Aloimonos, Y. Shape and the Stereo Correspondence Problem , Inter. Journal of Computer Vision, Vol. 65, 2005, pp. 147-162. [8] Szeliski, R. Computer Vision: Algorithms and Applications, Springer-Verlag New York Inc, New York, 2008. [9] Trucco, E., Verri, A. Introductory Techniques for 3-D Computer Vision , Prentice Hall PTR, New Jersey, USA, 1998.

12

BIBLIOGRAFIE

13