FACULTATEA DE AUTOMATIC I CALCULATOARE DEPARTAMENTUL DE CALCULATOARE

Ing. Daniel Moldovan

TEZ DE DOCTORAT
TEHNICI DE MODELARE 3D PENTRU SISTEME ULTRA-REALISTE

CONDUCTOR TIINIFIC, Prof.dr.ing.Sergiu Nedevschi

Cuprins
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Lista Figurilor 1 Introducere 1.1 1.2 1.3 Motivat ie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Abord arile alese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Structura Tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5 6 6 7 8 10

2 Tehnologii fundamentale 2.1 2.2 2.3 2.4 2.5 2.6

Modelarea si calibrarea camerelor de perspectiv a . . . . . . . . . . . . . . . . . . . . 10 Reconstruct ia 3D bazat a pe tehnicile de viziune pasiv a . . . . . . . . . . . . . . . . . 11 Reconstruct ia 3D bazat a pe tehnicile de viziune activ a . . . . . . . . . . . . . . . . . 11 Viziunea omnidirect ional a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Algoritmul RANSAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Rezumat si discut ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 14

3 Calibrarea Intern a a Camerelor pe Baza Detect arii Razelor Optice 3.1 3.2 3.3 3.4 3.5 3.6 Lucr ari anterioare

Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Calibrarea geometric a a camerelor de perspectiv a . . . . . . . . . . . . . . . . . . . . 15 Calibrarea geometric a a camerelor omnidirect ionale . . . . . . . . . . . . . . . . . . . 16 Rezultatele experimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 Rezumat si discut ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4 Reconstruct ia 3D a mediului nconjur ator folosind camere omnidirect ionale calibrate 19 4.1 4.2 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Lucr ari anterioare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

CUPRINS

4.3 4.4 4.5

Metoda noastr a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Rezultate experimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Rezumat si concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5 Inregistrarea automat a a mai multor imagini de distant a pe baza corespondent elor 2D respectiv a corespondent ei dintre tr as aturile 2D / 3D 25 5.1 5.2 5.3 5.4 5.5 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Lucr ari anterioare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Alinierea datelor de distant a pe baza imaginilor . . . . . . . . . . . . . . . . . . . . . 26 Rezultate experimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Rezumat si discut ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 29

6 Integrarea reconstruct iei 3D cu vizualizarea pe ecrane auto-stereoscopice 6.1 6.2 6.3 6.4

Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Descrierea sistemului nostru . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 Rezultate experimentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 Rezumat si discut ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 34

7 Discut ii 7.1 7.2 7.3

Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 Contribut ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 Publicat ii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 7.3.1 7.3.2 7.3.3 Publicat ii n Jurnal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Patent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Publicat ii n Conferint e Internat ionale: . . . . . . . . . . . . . . . . . . . . . . 36 38

Referint e

Abstract

Scopul acestei teze este de-a prezenta contribut iile activit a tii mele de cercetare n domeniul tehnicilor de modelare 3D pentru sistemele ultra-realiste. Pe parcursul acestei activit a ti am implementat tehnici active respectiv pasive din domeniul computer vision pentru generarea modelelor 3D ale mediului nconjur ator si ale obiectelor reale. Init ial am investigat o metod a de reconstruct ie ce apart ine domeniului pasiv care folosea un sistem imagistic omnidirect ional. Folosind o camera catadioptric a ce prezenta un singur centru optic am introdus un model de camer a pinhole omnidirect ional a virtual a capabil a s a (1) a seze imagini nedistorsionate pe un ecran cilindric si s a (2) detecteze locat ia corect a a centrului optic. Imaginile panoramice generate n aceast a modalitate pot folosite ulterior ca si surs a de a sare pentru un mediu ultra-realist ce prezint a un ecran cilindric. Ulterior, pe baza corectitudinii detect arii centrului optic am implementat o metod a de reconstruct ie 3D a mediului nconjur ator printr-o estimare a ad ancimii la care proiect iile pe un ecran planar provenite din dou a centre optice diferite au cel mai mare coecient de potrivire. Abordarea a fost bazat a pe ideea c a histogramele de culoare ale proiect iilor provenite de la dou a centre optice vor avea cel mai mare grad de potrivire pe suprafat a obiectului. Structura 3D reconstruit a poate folosit a ulterior pentru reprezentarea fundalului unui mediu ultra-realist dotat cu ecrane 3D de mari dimeniuni. In partea a doua a activit a tii mele am analizat o metod a automat a de reconstruct ie a modelului 3D al unui obiect real pe baza unei secvent e de imagini de distant a furnizate de un scanner laser ce avea o camer a nglobat a. Aceast a metod a elimin a init ial coresponden tele 2D false iar apoi continu a cu detectarea corespondent elor 3D pe baza corespondent elor de unu la unu furnizate de c atre scanner ntre punctele 3D si proiect iile de imagine 2D corespunz atoare. Datorit a abilit a tii sale de-a detecta puncte corespunz atoare ntr-o manier a rapid a, aceast a metod a este potrivit a aplicat iilor caracterizate de cerere de reconstruct ie 3D rapid a. Pentru a prezenta un exemplu real al unui mediu ultra-realist, partea a treia a acestei teze trateaz a integrarea dintre metodele de reconstruct ie 3D si vizualizarea pe un ecran auto-stereoscopic. O metod a de calculare a rezolut iei de a sare maxime pentru tipul de a saj auto-stereoscopic selectat este de asemenea furnizat a.

Lista Figurilor
3.1 3.2 3.3 4.1 4.2 4.3 4.4 4.5 Razele Optice Convergente pentru Camera Convent ional a . . . . . . . . . . . . . . . 17 Razele Optice Convergente pentru Camera Omnidirect ional a . . . . . . . . . . . . . 17 Eliminarea Distorsiunilor pentru cazul Camerelor Convent ionale . . . . . . . . . . . 18 Proiectiile pe ecrane planare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Coecient ii de Potrivire ai Histogramelor de Culoare . . . . . . . . . . . . . . . . . . 22 Cel mai Bun Coecient de Potrivire . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Harta Mediului Inconjur ator - 60 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 Harta Mediului Inconjur ator - 15 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.1 Inscriere Consecutiv a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 6.1 6.2 6.3 Conrmarea Rezolut iei Maxime de A sare a gCubik . . . . . . . . . . . . . . . . . . 31 Digitizarea unei P apu si din Plu s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Vizualizarea Modelelor 3D Adaptate pentru gCubik . . . . . . . . . . . . . . . . . . 33

Introducere
Abstract
Acest capitol prezint a caracteristicile celor dou a metode de computer vision care au fost abordate n aceast a activitate de cercetare cu scopul de-a genera modele 3D ale (1) mediului nconjur ator precum si ale (2) obiectelor reale. Integrarea acestor tehnici de modelare 3D va permite n viitor creearea de medii ultra-realiste n care persoanele aate zic n locat ii diferite vor putea s a aib a sentimentul c a mp art a ssesc acela si spat iu n acela si timp.

1.1

Motivat ie
igitizarea formelor 3D ale obiectelor reale precum si construirea de h art i ale mediului nconjur ator apart in aceluia si grup de modelare 3D pe baza realit a tii - o disciplin a a domeniului com-

puter vision aat a ntr-o expansiune rapid a - cu o larg a varietate de aplicat ii, incluz and achizit ia de forme, inspect ie, inginerie invers a si navigarea robot ilor. In mod tradit ional, majoritatea tehnicilor de computer vision au fost bazate pe imagini 2D si pe o analiz a ulterioar a a datelor prin excelent a 2D. Cu toate acestea, deoarece este recunoscut c a datele 3D ofer a o surs a de informat ii mai util a, mai bogat a si mai put in abstract a, un num ar tot mai mare de activit a ti de cercetare a fost direct ionat c atre generarea de modele 3D at at ale mediului nconjur ator c at si ale obiectelor reale folosind tehnici de computer vision. Integrarea acestor modele 3D va permite n viitor creearea unui mediu ultra-realist bazat pe imagini 3D naturale care vor creea impresia unei imersiuni intr-un mediu real. Astfel de sisteme vor contribui la stabilirea de noi modalit a ti de comunicare care vor permite persoanelor aate n locat ii zice separate s a aib a un sentiment autentic de existent a n acela si spat iu zic n acela si timp. Pentru a realiza un astfel de mediu cu un grad ridicat de prezent a folosind imaginile 3D va necesar a utilizarea a sajelor 3D pentru a permite mai multor utilizatori o vizualizare simultan aa

1.2 Abord arile alese

imaginilor 3D de mari dimensiuni a sate n fundal respectiv a obiectelor de mici dimensiuni a sate in prim-plan. Locat ia acestor a saje n ceea ce prive ste utilizatorii va trebui s a e variabil a pentru a pune de acord diferite tipuri de scenarii. R asp andirea recent a a ret elelor broadband, tehnologiile digitale avansate si performant a crescut a n achizit ia si a sarea de imagini a f acut posibil a producerea de a saje de o nalt a denit ie si a unor sisteme de imagistic a 3D la un pret rezonabil. Pentru a genera modele 3D corespunz atoare acestor tipuri de a saje va trebui s a folosim tehnici variate de modelare 3D a c aror performant a s a e caracterizat a pe baza urm atorului criteriu: (1) rezolut ia modelului 3D generat, (2) scopul utiliz arii ( n care parte a scenei va a sat modelul 3D: prim-plan sau fundal) si (3) scalabilitatea (tehnica de modelare poate folosit a pentru o reconstruct ie doar a obiectelor de mici dimensiuni sau si a obiectelor mai mari cum ar h art i 3D ale spat iilor de interior sau a cl adirilor). In aceast a lucrare voi prezenta dou a metode de reconstruct ie 3D - construirea de h art i respectiv digitizarea de obiecte - care pot folosite n creearea unui astfel de mediu ultra-realist. Astfel, metoda de reconstruct ie a h art ilor 3D este caracterizat a de o rezolut ie sc azut a de reconstruct ie 3D care este dedicat a reconstruct iei h art ilor spat iilor de interior sau exterior av and o aplicabilitate n a sajele 3D de fundal. Metoda de digitizare a obiectelor pe de alt a parte este caracterizat a de o nalt a rezolut ie a reconstruct iei 3D ind potrivit a pentru digitizarea obiectelor de mic a dimensiune cu o aplicabilitate n a sajele 3D de prim plan. Un scenariu idealizat al mediului ultra-realist pe care l preconiz am este reprezentat de integrarea lumii virtuale respectiv a celei reale ntr-un mod care s a e transparent pentru utilizator. Intr-un astfel de mediu, persoanele zice vor putea interact iona cu a saje 3D table-top n care vor reprezentate diferite tipuri de obiecte respectiv cu persoanele aate la distant a care vor reprezentate ca si imagini 3D ce plutesc n aer. Fundalul unui astfel de mediu ultra-realist va reprezentat de un a saj circular care va acoperi o suprafat a sucient de larg a pentru a creea sentimentul imersiunii ntr-un mediu aat la distant a. Chiar dac a n acest moment un astfel de scenariu ar putea ar ata futurist, la ora actual a exist a n lume grupuri de cercetare care avanseaz a pe calea transform arii acestui vis n realitate, dezvolt and sisteme de comunicat ii care vor integra nu doar video 3D ci si audio 3D respectiv aroma display si dispozitive haptice [1, 2].

1.2

Abord arile alese

In general, tehnicile de computer vision pot grupate n dou a mari categorii: Viziune Activ a si Viziune Pasiv a. Viziunea activ a se refer a la acele tehnici care utilizeaz a o surs a controlat a de emisie de energie structurat a cum ar o surs a de scanare cu laser sau un model proiectat de lumin a si un

1. INTRODUCERE

detector, cum ar camera foto. Tehnicile de viziune pasiv a pe de alt a parte, se refer a la m asurarea radiat iilor vizibile care sunt deja prezente n scen a. Obiectivul lor este acela de a achizit iona imagini ale scenei din diferite pozit ii si de a calcula forma scenei pentru ecare punct de suprafat a. De si detectarea activ a poate facilita calculul structurii scenei, abord arile active nu sunt ntotdeauna fezabile, n special pentru modelarea obiectele ndep artate sau n mi scare rapid a. Cu toate acestea, cele mai bune metode active care utilizeaz a dispozitive de scanare laser, n general, produc reconstruct ii mai precise dec at este posibil cu ajutorul tehnicilor pasive. Pentru a exploata punctele forte ale ambelor tipuri de detectare, n munca mea am utilizat dispozitive care apart in at at viziuni pasive c at si celei active. Am nceput activitatea de cercetarea concentr andu-m a pe nivelul de fundal al unui astfel de sistem de a sare ultra-realist si am propus dou a metode pentru a genera (1) imagini cilindrice, precum si (2) h art i 3D omnidirect ionale care s a e a sate pe un ecran plasat n fundal. Ambele metode au necesitat generarea unei camere virtuale omnidirect ionale obt inute prin utilizarea de imagini 2D omnidirect ionale respectiv a unui sablon de calibrare. Imaginile cilindrice au fost generate n urma unui proces de retro-proiect ie pe un ecran virtual iar harta 3D omnidirect ional a a fost construit a printr-un proces de inspect ie a mediului nconjur ator n care am vericat gradul de potrivire al proiect iilor pe o suprafat a planar a provenite de la dou a camere virtuale. Dup a nalizarea primei faze m-am concentrat pe urmatoarea tinta reprezentat a de generarea de modele digitale 3D ale obiectelor mici, care ar putea ulterior a sate pe ecrane 3D situate n imediata apropiere a utilizatorului. Pentru aceast a sarcin a am utilizat un scanner laser care a furnizat at at imaginile de distant a c at si imaginile 2D cu o corespondent a de unu-la-unu ntre punctele 3D si pixelii 2D. Prin utilizarea tehnicilor de detect ie a tr as aturilor corespondente din imaginile 2D am reu sit s a nregistrez n mod automat imaginile de distant a luate din mai multe locat ii necunoscute si s a generez n nal un model 3D complet.

1.3

Structura Tezei

Aceast a lucrare este structurat a n trei p art i. Prima parte prezint a un studiu bibliograc al tehnologiilor fundamentale care au fost utilizate n aceast a activitate de cercetare: Modelarea si calibrarea camerelor de perspectiv a (descris a n subcapitolul 2.1) Reconstruct ia 3D bazat a pe tehnicile de viziune pasiv a respectiv activ a (descris a n subcapitolele 2.2 si 2.3 )

1.3 Structura Tezei

Viziunea omnidirect ional a - o clasicare a tipurilor de senzori omnidirect ionali, modele de proiect ie pentru cazul sistemelor cu un singur centru optic respectiv cu mai multe centre optice) (descris a n subcapitolele 2.4) Algoritmul RANSAC (descris n subcapitolul 2.5). A doua parte prezint a contribut ii originale, teoretice si aplicative n urm atoarele domenii: Calibrarea intern a a camerelor video pe baza detect arii razelor de lumin a incidente (descris a n capitolul 3). Reconstruct ia h art ii 3D a mediului nconjur ator pe baza camerelor omnidirect ionale (descris a n capitolul 4). Inscrierea automat a n acela si sistem de coordonate a mai multor imagini de distant a pe baza corespondent elor dintre tr as aturile 2D si punctele 3D (descris a n capitolul 5). Exemplicarea unei aplicat ii de reconstruct ie automat a a modelului 3D al unui obiect de mici dimensiuni urmat a de vizualizarea pe un dispozitiv auto-stereoscopic (descris a n capitolul 6). A treia parte prezint a concluziile acestei teze precum si o trecere n revist a a contribut iilor originale si a planurilor de viitor. Publicat iile rezultate din activitatea de cercetare sunt de asemenea enumerate aici.

Tehnologii fundamentale
Abstract
Acest capitol prezint a o scurt a descriere a tehnicilor fundamentale care au fost utilizate n aceast a lucrare de cercetare. Init ial am introdus o serie de considerat ii geometrice legate de modelele de camera precum si proiect ia de perspectiv a respectiv procesul de calibrare. Ulterior am prezentat tehnicile de reconstruct ie 3D care folosesc o viziune pasiv a respectiv activ a si apoi am discutat despre senzorii de viziune omnidirect ional a incluz and si o descriere a procesului de formare a imaginii omnidirect ionale. O prezentare a structurii algoritmului RANSAC care permite o intrepretare / netezire a datelor care cont in un procent semnicativ de erori este realizat a la sf ar situl capitolului.

2.1

Modelarea si calibrarea camerelor de perspectiv a

Av and n vedere c a obiectivul acestei teze este de a dezvolta metode pentru efectuarea de reconstruct ii 3D din imagini achizit ionate folosind camere video, n acest capitol am introdus modele cantitative ale acestor dispozitive si am analizat camerele video de perspectiv a dintr-un punct de vedere geometric. Init ial am introdus dou a tipuri de modele de camer a: modelul (1) cu lentile subt iri respectiv modelul (2) pinhole. Majoritatea camerelor video folosesc lentilele optice pentru a realiza o focalizare a luminii pe senzorul de imagine cu scopul de-a capta sucient a lumin a ntr-o perioad a scurt a de timp. Pentru a simplica ns a analiza sistemelor de vizualizare, acest model a fost nlocuit cu o variant a idealizat a caracterizat a de o dimensiune innitezimal a a deschiderii aperturii. In continuare am prezentat o analiz a a modelului de proiect ie de perspectiv a si am derivat relat ia care descrie complet transformarea din sistemul de coordonate 3D al camerei n sistemul de

10

2.2 Reconstruct ia 3D bazat a pe tehnicile de viziune pasiv a

coordonate 2D al proiect iei n planul de imagine: xpix Z ypix = K 1 X Y Z 1 I 3 | 03

(2.1)

unde K reprezint a matricea de calibrare a camerei. In general sistemul de coordonate al camerei va legat de sistemul de coordonate global printr-o rotat ie si o translat ie (parametrii extrinseci ai camerei). Expresia care descrie complet transformarea din sistemul de coordonate global n cel al planului de imagine va dat a de relat ia: XW XW xpix R -RC YW = P YW Z ypix = K I3 | 03 T ZW ZW 03 1 1 1 1 unde P reprezint a matricea de calibrare complet a a camerei. Procesul de calibrare al camerei presupune detectarea parametrilor intrinseci si extrinseci si este demarat printr-o calculare a matricii P folosind corespondent e ntre punctele 3D din scen a si proiect iile corespunz atoare 2D din planul de imagine. Vectorul translat iei va apoi extras ca si vectorul unitate singular corespunz ator matricii P iar orientarea camerei respectiv parametrii extrinseci vor detectat i n urma unui proces de factorizare RQ.

(2.2)

2.2

Reconstruct ia 3D bazat a pe tehnicile de viziune pasiv a

Caracteristica principal a a tehnicilor de viziune pasiv a este reprezentat a de faptul c a nu e necesar a o emisie de energie pentru a realiza detectarea, ele folosind doar radiat iile vizibile din mediu. Acest subcapitol prezint a (1) o clasicare a metodelor de reconstruct ie a formelor folosind una sau mai multe imagini urmat a de (2) o prezentare a metodei de stereo viziune ce permite extragere de informat ii 3D din dou a imagini.

2.3

Reconstruct ia 3D bazat a pe tehnicile de viziune activ a

Tehnicile de detectare active au fost dezvoltate cu scopul de-a dep a si problemele nt ampinate n detectarea pasiv a: o recuperare incomplet a a datelor de distant a respectiv necesitatea de-a avea suprafet e bogate n tr as aturi. Acest subcapitol prezint a o clasicare a tehnicilor de detectare activ a precum si o prezentare a principiilor de funct ionare a dou a dintre tehnicile principale: (1) timpul de zbor al impulsului respectiv (2) triangulat ia activ a.

11

2. TEHNOLOGII FUNDAMENTALE

2.4

Viziunea omnidirect ional a

Folosirea unei viziuni omnidirect ionale pentru o monitorizare a zonelor largi poate util a n special n evitarea unor situat ii periculoase. In acest subcapitol am prezentat o clasicare a sistemelor video omnidirect ionale dezvoltate cu scopul de-a extinde aria aplicat iilor camerelor TV convent ionale. Suplimentar am discutat despre senzorii omnidirect ionali catadioptrici compact i introdu si de c atre Ishiguro [3]. In continuare am introdus modelul de proiect ie pentru cazul camerelor catadioptrice care ment in un singur centru optic. Acest model este reprezentat printr-o proiect ie n doi pa si: din spat iul de proiect ie pe o sfer a urmat a de proiect ia pe planul de imagine. Aceast a reprezentare permite modelarea diferitelor tipuri de senzori catadioptrici printr-o simpl a modicare a valorilor a doi parametri. Camerele catadioptrice care nu ment in un singur centru optic pot la r andul lor modelate prin determinarea traiectoriei razelor care pornesc din mediul nconjur ator sunt reectate de suprafat a oglinzii si apoi intersecteaz a planul de imagine. Astfel, consider and un sistem imagistic ce const a dintr-un reector conic si o camer a de perspectiv a am prezentat derivarea relat iei dintre unghiul de vedere vertical al camerei respectiv unghiul de vedere vertical al sistemului. C and ecuat ia reectorului este cunoscut a relat ia astfel derivat a furnizeaz a funct ia de proiect ie.

2.5

Algoritmul RANSAC

RANSAC (Random Sample Consensus) este un algoritm robust de detectare a parametrilor modelului pentru un anumit set de date. Acest algoritm a fost introdus de Fischler and Bolles [4] pentru a realiza o intrepretare / netezire a datelor care cont in un procent semnicativ de erori ind astfel ideal pentru analiza automat a a imaginilor. In acest subcapitol am prezentat structura algoritmului RANSAC si ulterior am oferit un exemplu de calculare a num arului maxim de iterat ii pentru asigurarea unei probabilit a ti predenite c a cel put in una din combinat iile de e santioane selectate aleator nu cont ine nici un outlier.

2.6

Rezumat si discut ii

Acest capitol a prezentat o scurt a trecere n revist a a unora dintre not iunile fundamentale cu privire la modelele de camere respectiv la procesul de imagistic a al proiect iei de perspectiv a. Tehnicile de estimare complet a a matricii de calibrare a camerei, a parametrilor de mi scare respectiv a parametrilor intrinseci au fost de asemenea evident iate.

12

2.6 Rezumat si discut ii

O solut ie mai put in complex a dar n acela si timp generic a pentru problema calibr arii camerei va introdus a n urm atorul capitol. De si este caracterizat a de o abordare empiric a, aceast a metod a poate emulat a at?t senzorilor de imagine convent ionali c?t si celor catadioptrici. O trecere n revist a a tehnicilor de reconstruct ie 3D care folosesc e viziune pasiv a e viziunea activ a a fost de asemenea prezentat a cu detalii despre modelele matematice respectiv o clasicare bazat a pe metoda folosit a. Ulterior, o clasicare a sistemelor video omnidirect ionale bazate pe combinat ia camer a / oglind a respectiv o descriere a modelelor imagistice pentru sistemele catadioptric cu un singur centru optic sau f ar a un centru optic x au fost de asemenea prezentate.

13

Calibrarea Intern a a Camerelor pe Baza Detect arii Razelor Optice

Abstract
Acest capitol prezint a o metod a de calibrare intern a a camerelor video care elimin a distorsiunile geometrice din planul de imagine si estimeaz a locat ia centrului optic. Camera astfel calibrat a poate privit a n nal ca si o camer a pinhole. Aceast a metod a folose ste dou a ecrane pe rol de planuri de imagini virtuale, iar centrul optic este estimat ca punctul de convergent a al razelor generate de perechile de puncte corespondente de pe aceste planuri. Avantajele acestei metode sunt c a (1) poate aplicat a pentru calibrarea oricarui tip de camer a cu un singur centru optic experimentele efectuate, rezultatele calibr si (2) poate elimina orice tip de distorsiuni. In arilor pentru camerele de perspectiv a respectiv omni-direct ionale au demonstrat ecacitatea acestei metode.

3.1

Introducere
ai multe tehnici au ap arut n ultimul deceniu capabile de a recupera complet informat iile

tridimensionale din mai multe imagini. Ele folosesc e camere calibrate e necalibrate iar proiect ia de perspectiv a serve ste ca model de imagistic a dominant. In cazul camerelor cu lentile acest model presupune c a razele de lumin a sunt proiectate direct pe elementele foto-sensibile printrun singur punct numit punct pinhole real al sistemului de perspectiv a. Cunoa sterea exact a a locat iei acestui punct (numit si centru optic) respectiv existent a unui plan de imagine f ar a distorsiuni reprezint a elementele necesare pentru o reconstruct ie 3D de succes. Metoda de calibrare dezvoltat a de noi folose ste dou a sabloane de calibrare (suprafet e planare) ca si planuri de imagini virtuale. Prin g asirea perechilor de puncte de pe aceste suprafet e planare care sunt proiectate pe aceeia si pixeli n planul imaginii reale, putem detecta razele optice n spat iul

14

3.2 Lucr ari anterioare

3D care sunt incidente pe planul de imagine al camerei. Astfel, pozit ia 3D a centrului optic va estimat a n cele din urm a ca punctul de convergent a al acestor raze. In mod suplimentar, metoda noastr a permite si o vizualizare a centrului optic respectiv generarea de imagini nedistorsionate.

3.2

Lucr ari anterioare

Contribut ia noastr a pot inclus a n categoria calibr arii geometrice a camerei. O calibrare geometric a complet a include problema proiect iei directe (pentru un punct din spat iu detecteaz a proiect ia din imagine) respectiv problema proiect iei inverse (pentru un anumit pixel din imagine calculeaz a vectorul razei vizuale ce trece prin acel pixel). In abordarea lor, Gremban et al. [5] au reu sit s a ofere o solut ie complet a pentru problema calibr arii geometrice a camerelor convent ionale. Metoda lor a fost bazat a pe metoda cu dou a planuri dezvoltat a de Martin et al. [6] dar a fost extins a pentru a include de asemenea o solut ie la problema proiect iei directe. Cu scopul de a generaliza reprezentare pentru orice tip de sistem de imagistica, Grossberg [7] a introdus un model nou care a exploatat faptul c a toate sistemele de imagistic a efectueaz a o mapare a razelor incidente din scen a pe elementele foto-sensibile de pe detectorul de imagine.

3.3

Calibrarea geometric a a camerelor de perspectiv a

In acest subcapitol am prezentat metoda noastr a de calibrare geometric a pentru cazul camerelor de perspectiv a, ce presupune detectarea locat iei centrului optic respectiv generarea unui plan de imagine f ar a distorsiuni. Centrul optic a fost determinat ca si intersect ie a razelor optice generate de puncte din spat iu care au aceea si proiect ie n planul de imagine. Aceste puncte din spat iu au fost extrase de pe suprafat a a dou a sabloane de calibrare virtuale generate n a sa fel nc at s a p astreze n mod identic modelul sabloanelor planare reale plasate la o anumit a distant a unul fat a de cel alalt. Pentru a detecta perechile de puncte corespondente am construit c ate un tabel de indexare punct 3D / pixel 2D pentru ecare sablon si apoi am extras punctele 3D corespunz atoare aceluia si pixel 2D. Ulterior, imaginea nedistorsionat a a fost generat a printr-o proiect ie invers a a imaginii captate de camer a pe unul din planurile virtuale. Metoda abordat a folose ste un proces de interpolare care corecteaz a imaginea printr-o integrare complet a a efectelor tuturor distorsiunilor.

15

 A CAMERELOR PE BAZA DETECTARII 3. CALIBRAREA INTERNA RAZELOR OPTICE

3.4

Calibrarea geometric a a camerelor omnidirect ionale

Pentru cazul camerelor omnidirect ionale am utilizat acela si principiu de detectare a razelor de lumin a convergente n planul de imagine. Modelul ales pentru sablonul de calibrare a fost ns a cilindric pentru a acoperi tot c ampul vizual al camerei. Abordarea pe care am ales-o pentru a genera acest sablon cilindric a fost s a rotim camera omnidirect ional a n jurul axei de rotat ie cu un pas de rotat ie de 15 grade si s a nregistr am imaginile unei bare de LED-uri pentru ecare din pozit iile intermediare. Detectarea perechilor de puncte corespondente respectiv a centrului optic a fost realizat a n acela si mod ca si pentru camerele de perspectiv a. O plasare eronat a a cilindrelor virtuale ns a poate mpiedica convergent a razelor de lumin a. O solut ie pentru eliminarea acestei probleme ce presupune estimarea si apoi compensarea unghiului de deviat ie a fost prezentat a ulterior.

3.5

Rezultatele experimentale

In acest subcapitol am prezentat rezultatele detect arii razelor optice respectiv a centrului optic at at pentru cazul camerelor de perspectiv a (vezi Figura 3.1) c at si pentru cazul camerelor omnidirect ionale (vezi Figura 3.2). De asemenea, am prezentat rezultatul procesului de proiect ie invers a si am conrmat eliminarea distorsiunilor generate de lentile (vezi Figura 3.3) precum si a distorsiunilor generate de oglinda hiperbolic a a camerei omnidirect ionale (vezi Figura3.2).

3.6

Rezumat si discut ii

In acest subcapitol am prezentat o metod a nou a de calibrare intern a a camerelor virtuale care pot emulate oric arui tip de camer a zic a ce p astreaz a un singur centru optic. Aceast a metod a elimin a distorsiunile geometrice din planul de imagine si estimeaz a locat ia centrului optic respectiv distant a focal a. Centrul optic a fost detectat ca ind punctul de intersect ie al tuturor razele convergente de lumin a iar distant a focal a a fost estimat a ulterior ca ind distant a dintre centrul optic si planul de imagine virtual. Distorsiunile din imagine au fost eliminate prin efectuarea unei retro-proiect ii pe ecranele virtuale construite astfel nc at s a p astreze n mod identic modelul sabloanelor reale. Acest model de camer a virtual a a fost utilizat n scopul calibr arii unei camere de perspectiv a respectiv a unei camere omnidirect ionale.

16

3.6 Rezumat si discut ii

Figura 3.1: Razele Optice Convergente pentru Camera Convent ional a - Centrul optic a fost detectat n urma estimarii punctului de convergent a al razelor optice.

Figura 3.2: Razele Optice Convergente pentru Camera Omnidirect ional a - Pentru a acoperi ntregul c amp vizual al camerei am ales un sablon de calibrare cilindric. Imaginea nedistorsionat a este obt inut a n urma unui proces de retro-proiect ie a imaginii 2D pe gridul cilindric.

17

 A CAMERELOR PE BAZA DETECTARII 3. CALIBRAREA INTERNA RAZELOR OPTICE

(a)

(b)

(c)

(d)

Figura 3.3: Eliminarea Distorsiunilor pentru cazul Camerelor Convent ionale - In urma efectu arii unui proces de retro-proiect ie a imaginii captate pe un grid planar rectangular am reu sit eliminarea deformat iilor generate de lentile.

18

Reconstruct ia 3D a mediului nconjur ator folosind camere omnidirect ionale calibrate

Abstract
Reconstruct ia 3D necesit a locat ia exact a a centrului optic si un plan de imagini f ar a distorsiuni. Utiliz and o camer a omnidirect ional a calibrat a prin metoda descris a n capitolul 3 am reu sit implementarea unui algoritm de reconstruct ie 3D pe baza ideii c a histogramele de culoare ale proiect iilor provenind de la dou a centre optice diferite vor coincide pe suprafat a obiectului a c arui distant a fat a de camer a vrem s-o estim am. Structura 3D a mediului nconjur ator a fost recuperat a n cele din urm a prin detectarea ad ancimii la care proiect iile din dou a locat ii distincte ale camerei pe un ecran planar au cel mai mare coecient de potrivire.

4.1

Introducere

Estimarea deplas arii relative a unei camere video pe baza a dou a sau mai multe imagini reprezint a una din problemele clasice ale domeniului computer vision [8, 9, 10, 11]. Astfel de algoritmi constituie adesea prima etap a n reconstituirea unui model 3D dens al mediului nconjur ator [12, 13, 14]. Prin utilizarea imaginilor panoramice, putem extrage datele 3D ce corespund unui c amp larg de vizualizare n felul acesta neind nevoie de fuziunea mai multor h art i locale. In acest capitol am descris metoda de generare a unei reprezent ari 3D a mediului nconjur ator prin utilizarea a dou a imagini omnidirect ionale achizit ionate de c atre un singur senzor de viziune catadioptric plasat consecutiv la dou a locat ii diferite. Acest senzor vizual a fost creat printr-o proiect ie invers a a unei imagini omnidirect ionale pe un ecran cilindric virtual gener and astfel o imagine panoramic a.

19

 4. RECONSTRUCT IA 3D A MEDIULUI INCONJURATOR FOLOSIND CAMERE OMNIDIRECT IONALE CALIBRATE

4.2

Lucr ari anterioare

Una dintre lucr arile init iale care au utilizat imaginile panoramice a fost sistemul stereo omnidirect ional dezvoltat de c atre Ishiguro [15]. Imaginile panoramice au fost create prin extragerea uneia din cele dou a fante verticale ale imaginii furnizate de camer a, care survola un c amp vizual de 360 . Unul dintre dezavantajele acestei metode a fost acumularea lent a a datelor (aproximativ 10 minute). Bing si Szeliski [16] la r andul lor au generat imagini cilindrice dintr-o secvent e de imagini luate n timp ce camera video a fost rotit a 360 fat a de axa vertical a si ulterior au generat datele 3D prin utilizarea unui set simplu de tehnici de computer vision: detectarea si trackingul tr as aturilor, algoritm de extragere a structurii din mi scare folosind 8 puncte respectiv algoritmul de multibaseline stereo.

4.3

Metoda noastr a

Abordarea noastr a s-a bazat pe ideea c a histogramele de culoare ale proiect iilor provenind din dou a centre optice diferite coincid atunci c and ecranul de proiect ie se a a pe suprafat a obiectului. Pentru a reconstrui structura 3D a mediului din jurul camerei omnidirect ionale am recuperat n prima etap a pozit ia relativ a a camerei corespunz atoare celor dou a imagini captate. Aceast a analiz a a fost realizat a printr-o estimare a geometriei epipolare a imaginilor panoramice cilindrice. In urma select arii unui grup de puncte 3D de pe suprafet ele cilindrelor am estimat matricea esent ial a folosind un algoritm liniar optimal [17] care a furnizat o acuratet e echivalent a cu cea a algoritmului de bundle-adjustment. Ulterior, pentru a extrage parametrii de mi scare (translat ia si rotat ia) din matricea esent ial a am utilizat o metod a bazat a pe operat ii matriciale care a fost dezvoltat a de Horn [18]. Dup a plasarea imaginilor cilindrice n acela si sistem de coordonate am continuat cu reconstruct ia 3D a mediului nconjur ator efectu and o comparat ie a histogramelor de culoare ale proiect iilor provenite din centrele optice ale celor dou a camere. Proiect ia a fost f acut a pe o suprafat a planar a dreptunghiular a a c arei distant a fat a de camer a a fost gradual incrementat a n interiorul mediului nconjur ator. De asemenea, pentru ecare distant a intermediar a, nclinarea vertical a respectiv orizontal a a fost alterat a pentru a detecta pozit ia care corespunde celui mai mare grad de potrivire a histogramelor proiect iilor. Continu and acest proces pentru distant e succesive de-a lungul unei direct ii de inspect ie am reu sit n nal s a alegem pozit ia pentru care potrivirea este maxim a - aceast a pozit ie corespunz and locat iei aproximative a obiectului din vecin atatea camerei aat pe direct ia de inspect ie aleas a.

20

4.4 Rezultate experimentale

4.4

Rezultate experimentale

Pentru ecare pozit ie intermediar a de pe direct ia de inspect ie am modicat nclinat ia ecranului de proiect ie at at n plan orizontal (de la -80 la 80 ) c at si n plan vertical (de la -5 la 15 ). Distant a de inspect ie a fost apoi incrementat a n mod gradual c atre interiorul mediului nconjur ator (vezi Figura 4.1a si Figura 4.1b). Pentru ecare pozitie intermediar a am calculat coecient ii de potrivire ai histogramelor de culoare corespunz atoare proiect iilor provenite din cele dou a centre optice (vezi Figura 4.2) si pentru ecare direct ie de inspect ie distant a inspectat a a fost cuprins a ntre 0.5 si 10 metri. In Figura 4.3 este prezentat a evolut ia coecientului de potrivire pentru o anumit a direct ie de inspect ie si dup a cum se poate observa la 7 metri de centrul optic am obt inut un coecient maxim ce corespunde locat iei obiectului detectat. Pe baza acestei metode, increment and de asemenea si unghiul de panoramare am putut genera n nal o hart a aproximativ a a mediului nconjur ator. Rezultate experimentale furnizate corespund unui unghi intermediar de panoramare de 60 (vezi Figura 4.4) respectiv 15 (vezi Figura 4.5).

(a)

(b)

Figura 4.1: Proiect iile pe ecrane planare ale c aror distant e fat a de centrul optic sunt incrementate gradual c atre interiorul mediului nconjur ator - (a) Proiect iile provenind de la primul centru optic; (b) Proiect iile provenind de la cel de-al doilea centru optic.

4.5

Rezumat si concluzii

In acest capitol am introdus o metod a nou a de extragere a structurii 3D a mediului nconjur ator prin utilizarea unei perechi de imagini omnidirect ionale. Utiliz and metoda de calibrare descris a n

21

 4. RECONSTRUCT IA 3D A MEDIULUI INCONJURATOR FOLOSIND CAMERE OMNIDIRECT IONALE CALIBRATE

Figura 4.2: Coecient ii de Potrivire ai Histogramelor de Culoare - Coecient ii de potrivire ai histogramelor de culoare corespunz and diferitelor unghiuri de nclinare vertical a respectiv orizontal a la o anumit a distant a fat a de centrul optic.

Figura 4.3: Cel mai Bun Coecient de Potrivire - La 7 metri de centrul optic am detectat cel mai bun coecient de potrivire al histogramelor de culoare. Aceast a distant a corespunde locat iei obiectului detectat

22

4.5 Rezumat si concluzii

Figura 4.4: Harta Mediului Inconjur ator - 60 - Harta mediului nconjur ator pentru un unghi de inspect ie panoramic a de 60 .

Figura 4.5: Harta Mediului Inconjur ator - 15 - Harta mediului nconjur ator pentru un unghi de inspect ie panoramic a de 15 .

23

 4. RECONSTRUCT IA 3D A MEDIULUI INCONJURATOR FOLOSIND CAMERE OMNIDIRECT IONALE CALIBRATE

sect iunea 3.4 am generat dou a camere virtuale omnidirect ionale cu planuri de imagine cilindrice care au fost apoi utilizate pentru a detecta distant a n ad ancime la care proiect iile pe un ecran planar au cel mai ridicat coecient de potrivire. Rezultatele obt inute pot folosite ca si punct de plecare pentru o activitate de cercetare suplimentar a de reconstruct ie complet a a unei h art i 3D dintr-o secvent a de imagini omnidirectionale care ar putea ad augate unei h art i universale [19] utile n cazul robot ilor mobili eterogeni.

24

Inregistrarea automat a a mai multor imagini de distant a pe baza corespondent elor 2D respectiv a corespondent ei dintre tr as aturile 2D / 3D
Abstract
Lucr arile anterioare care au implementat o nregistrare automat a a mai multor imagini de distant a au recurs la detectarea perechilor de puncte 3D corespondente cu scopul de a calcula orient arile relative. Corespondent ele 3D false au fost detectate prin vericarea confor mit a tii acestora cu parametrii modelului matematic ai orient arii calculat n spat iul 3D. In acest capitol am introdus o metod a nou a de detectare a corespondent elor 3D corecte care init ial elimin a corespondent ele false n spat iul 2D. Ulterior, corespondent ele 3D sunt detectate prin utilizarea corespondent ei de unu la unu ntre punctele 3D si proiect iile corespunz atoare din imagine furnizate de dispozitivul de scanare. Datorit a capacit a tii sale de-a detecta punctele 3D corespondente ntr-o manier a rapid a, metoda prezentat a este potrivit a pentru aplicat iile caracterizate de o cerere de reconstruct ie 3D rapid a.

5.1

Introducere

In ultimii ani modelele 3D ale unor obiecte reale au fost de mai multe ori folosite pentru scopuri cum ar de divertisment, educat ie si design. In general, aceste modele au fost reconstruite cu ajutorul uneia dintre metodele urm atoare prezentate n literatura de specialitate: metode care

25

 A MAI MULTOR IMAGINI DE DISTANT 5. INREGISTRAREA AUTOMATA A PE BAZA CORESPONDENT ELOR 2D RESPECTIV A CORESPONDENT EI DINTRE TRASATURILE 2D / 3D folosesc camera video [20, 21], metode ce folosesc telemetrul [22] si metode care utilizeaz a lumina structurat a [23]. Pentru a produce o suprafat a complet a a obiectului care urmeaz a s a e digitizat, m asurarea dintr-o singur a direct ie nu furnizeaz a date suciente si n consecint a mai multe m asur atori trebuie s a e nregistrate. In acest capitol am prezentat o metod a de nregistrare automat a a unui set de imagini de distant a obt inute prin scanarea unui obiect plasat pe o platform a rotativ a. Pentru a detecta corespondent ele 3D, acest algoritm estimeaz a init ial corespondent ele din planul imagine si apoi pe baza corespondent ei dintre punctele 3D si pixelii 2D va determina si perechile de puncte corespondente din spat iul 3D.

5.2

Lucr ari anterioare

In [24] a fost prezentat a o tehnic a de nregistrare automat a, care utiliza tr as aturile de imagine 2D mpreun a cu informat iile de scar a intrinseci pentru a g asi punctele 3D corespondente. Abord arile noastre sunt similare (ambele metode folosesc un scanner laser care a captat at at imagini de intensitate c at si imagini de distant a iar seturile de tr as aturi 2D corespondente sunt detectate cu ajutorul descriptorului SIFT [25]). Cu toate acestea, abord arile noastre difer a prin modul n care se face ltrarea suplimentar a a corespondent elor false. In [24], faza de nregistrare ltreaz a potrivirile false n spat iul 3D, n timp ce n cazul nostru noi elimin am potrivirile false n spat iul 2D. Ambele metode au folosit acela si algoritm - RANSAC [4] - pentru estimarea iterativ a a parametrilor modelului matematic din seturile de date extrase (corespondent ele tr as aturilor 2D respectiv 3D). O alt a lucrare similar a este cea descris a n [26] n care s-a efectuat urm arirea n 3D a capului unei persoane folosind de asemenea SIFT si urmat a tot de RANSAC. Cu toate acestea, RANSAC a sortat corespondent ele false tot n spat iul 3D.

5.3

Alinierea datelor de distant a pe baza imaginilor

Acest proces a fost demarat prin extragerea tr as aturilor 2D care sunt invariante la scalarea respectiv rotirea imaginii. Algoritmul nostru de aliniere vizeaz a cazurile n care obiectul care urmeaz aa digitizat poate supus unor pozit ii de scanare variate si n continuare s a si p astreze capacitatea de a detecta orientarea relativ a a imaginilor de distant a apropiate. Tr as aturile 2D au fost extrase folosind descriptorul SIFT iar corespondent ele false au fost eliminate folosind RANSAC. Folosind corespondent a 2D / 3D furnizat a de scanner ntre punctele 3D scanate si proiect ia lor n planul de imagine am putut determina apoi n mod direct setul de corespondent e 3D.

26

5.4 Rezultate experimentale

Orientarea relativ a (translat ie si rotat ie) dintre dou a pozit ii de scanare a fost determinat a n urma aplic arii metodei introduse n [18] care necesit a cel put in trei perechi de puncte 3D exprimate n sistemele de coordonate ale celor dou a imagini de distant a. Avantajul acestei solut ii este c a ea nu necesit a nici o iterat ie iar solut ia este furnizat a ntr-un singur pas.

5.4

Rezultate experimentale

Pentru a genera un model 3D de nalt a rezolut ie am folosit scanerul laser Vivid 910 fabricat de Konika-Minolta care pe l ang a datele de distant a mai furnizeaz a si imagini color ale scenei scanate. In experient ele efectuate obiectele de digitizat au fost plasate pe o platforma rotativ a si apoi scanate ntr-un proces secvent ial. In urma aplic arii metodei de nscriere n acela si sistem de coordonate a imaginilor de distant a am constatat c a orientarea relativ a a imaginilor al aturate era sucient de precis a pentru a permite o nregistrare reu sit a a unui num ar limitat de imagini. Pe m asur a ce num arul de nscrieri cre stea ns a erorile de nscriere se acumulau si modelul 3D nal nu mai corespundea originalului (vezi Figura 5.1b). Pentru a ajusta forma nal a a modelului digitizat am aplicat un proces suplimentar de ajustare integral a [27] care folose ste estim arile init iale ale setului de puncte corespondente 3D, ale coresponden telor 2D din planul de imagine si ale orient arilor relative ale pozit iilor de scanare. Ajustarea integral a va rana simultan locat ia punctelor 3D precum si parametrii orient arilor pozit iilor de scanare pe baza unui criteriu de optimalitate care minimizeaz a eroarea de reproiect ie ntre tr as aturile 2D observate respectiv cele anticipate ((vezi Figura 5.1d)).

5.5

Rezumat si discut ii

In acest capitol am introdus o metod a nou a de nscriere n mod automat n acela si sistem de coordonate a imaginilor de distant a pe baza imaginilor 2D care sunt captate n acela si timp cu imaginile de distant a (un fapt care confer a o corespondent a unu la unu ntre pixelii 2D si punctele 3D). Metoda prezentat a detecteaz a n mod robust perechi de tr as aturi corespondente 2D care sunt ulterior folosite pentru a extrage corespondent e 3D din sierele imaginilor de distant a. Aceste corespondent e 3D sunt apoi folosite pentru a estima locat ia relativ a a pozit iilor de scanare. Pe viitor intent ion am s a implement am procese suplimentare pentru a realiza o procedur a de reconstruct ie complet a: (1) o minimizare a erorilor de nscriere n faza de nregistrare local a prin aplicarea algoritmului ICP, precum si (2) o eliminare a punctelor redundante obt inute n urma nregistr arii imaginilor de distant a adiacente.

27

 A MAI MULTOR IMAGINI DE DISTANT 5. INREGISTRAREA AUTOMATA A PE BAZA CORESPONDENT ELOR 2D RESPECTIV A CORESPONDENT EI DINTRE TRASATURILE 2D / 3D

(a)

(b)

(c)

(d)

Figura 5.1: Inscriere Consecutiv a - (a) Secventa de 5 imagini de distant a scanate cu ajutorul unui scaner laser; (b) Inscrierea consecutiv a a imaginilor de distant a va contribui la o propagare a erorilor; (c) Secventa de 10 imagini de distant a scanate din locat ii consecutive; (d) Propagarea erorilor generat a de 28 o nscriere consecutiv a a imaginilor de distant a este minimizat a de un proces nal de ajustare integral a.

Integrarea reconstruct iei 3D cu vizualizarea pe ecrane auto-stereoscopice

Abstract
acest capitol am introdus un cadru euristic pentru a In sarea de date 3D pe ecrane autostereoscopice cu diferite rezolut ii si am exemplicat cu o aplicat ie de modelare si de vizualizare 3D care scaneaz a, nscrie si a seaz a obiectele reale pe un ecran 3D handheld ntr-un proces au experimentele efectuate am folosit a tomat. In sajul gCubik caracterizat de un c amp vizual de 360 , cu o a sare 3D n timp real chiar dac a la o rezolut ie mai mic a. O metod a de calcul a rezolut iei 3D a modelului digitizat pentru care gCubik ajunge la rezolut ia maxim a de a sare este de asemenea furnizat a.

6.1

Introducere

Pentru c a datele 3D reprezint a sursa de informat ii originar a, o aplicat ie n care un obiect este digitizat si apoi este transmis simultan unei variet a ti de a saje 3D care prezint a diferite rezolut ii poate considerat a ca apart in and unui mediu de a sare extrem. Intr-un astfel de mediu, a sajele 3D care prezint a rezolut ii care sunt mai mici dec at cele ale modelelor 3D vor trebui s a informeze expeditorul pentru a reduce rezolut ia modelului 3D, cu scopul de a satisface cerint ele de a sare. In acest capitol am introdus un cadru adaptiv de a sare a modelelor 3D pe a saje stereoscopice a c aror rezolut ie este mai mic a dec at cea a modelelor de a sat si am exemplicat cu un studiu de caz init ial n care un model 3D de nalt a rezolut ie urma s a e a sat pe gCubik (un a saj 3D cu o rezolut ie joas a). In plus, noutatea contribut iei noastre este reprezentat a si de realizarea unui sistem integrat de scanare, modelare si a sare a unui obiect 3D pe a sajul gCubik.

29

6. INTEGRAREA RECONSTRUCT IEI 3D CU VIZUALIZAREA PE ECRANE AUTO-STEREOSCOPICE

6.2

Descrierea sistemului nostru

Un sistem integrat de reconstruct ie si de a sare a modelelor 3D trebuie s a ia in considerare doi factori principali: (1) tipul de display care va a sa modelul 3D respectiv (2) tipul de aplicat ii care necesit a a sarea de modele 3D. Astfel, printr-o a sare a unei versiuni de nalt a rezolut ie a modelului 3D privitorul nu va simti nici o diferent a n comparat ie cu a sarea unui model 3D a c arui rezolut ie este identic a cu rezolut ia maxim a a dispozitivului de a sare. Aplicat iile pentru care timpul este un factor critic ar putea irosi timp pret ios ntr-un astfel de proces de rendering al unui model 3D de nalt a rezolut ie care n nal ar avea acela si efect vizual ca si n cazul a s arii unui model cu o rezolut ie mai sc azut a. Cazul de studiu pe care l-am implementat a inclus un scanner laser ca si dispozitiv de generare a modelului 3D de nalt a rezolut ie respectiv a sajul autostereoscopic gCubik care a fost folosit pe post de a saj 3D de rezolut ie joas a. Acest a saj de form a cubic a a fost construit folosind 6 matrici de lentile IP (Integral Photography) dispuse ecare pe un a saj LCD. Pe baza caracteristicilor a sajului am calculat init ial rezolut ia maxim a de a sare si apoi am realizat o reducere a complexit a tii modelului 3D. Modelul 3D astfel obt inut a fost apoi a sat n mod direct pe a sajul 3D. Pentru a estima rezolut ia maxim a de a sare am creat un model 3D generic sub forma unei prisme drepte care ocupa partea central a a a sajului si am estimat frecvent a spat ial a m asurat a la privitor. Frecvent a spat ial a maxim a dat a de limit arile matricilor de lentile IP a fost denit a ca si rezolut ia maxim a a acestui a saj. Inversul acestei frecvent e spat iale reprezint a distant a minim a dintre oricare dou a v arfuri ale modelului 3D care poate distins a de privitor. Pentru a calcula frecvent a spat ial a maxim a a trebuit s a compar am frecvent ele spat iale generate de (1) dimensiunea si aranjarea n plan a lentilelor (frecvent a Nyquist) respectiv (2) rezolut ia pixelilor din a sajul LCD (frecvent a spat ial a unghiular a). C and frecvent a spat ial a unghiular a este mai mare dec at frecvent a Nyquist privitorul va observa o imagine afectat a de aliasing. Prin urmare frecvent ele nalte trebuie s a e eliminate din a sajul LCD iar rezolut ia maxim a care va putea observat a va generat a de minimul dintre frecvent a Nyquist si frecvent a spat ial a unghiular a.

6.3

Rezultate experimentale

Folosind specicat iile de construct ie ale a sajului gCubik am reu sit calcularea rezolut iei maxime obt in and valoarea de 4.15 [mm]. Aceast a valoare a fost apoi conrmat a practic c and am constatat c a n urma a s arii prismei pentru diferite valori ale distant ei dintre v arfurile al aturate, distant a minim a

30

6.3 Rezultate experimentale

pentru care v arfurile puteau distinse a fost de 4.38 [mm] (vezi Figura 6.1) - corespunz atoare unui num ar de 560 de poligoane quad.

(a)

(b)

Figura 6.1: Conrmarea Rezolut iei Maxime de A sare a gCubik - (a) Modelul CG al unei prisme drepte peste care am suprapus o textur a sub forma unei table de sah si care avea lungimea muchiilor c asut elor de 4.38 [mm]; (b) Imaginea unei fet e a gCubik corespunz atoare modelului CG al aturat.

Dup a conrmarea rezolut iei maxime am continuat cu implementarea sistemului automat de scanare si vizualizare pe gCubik. Pentru exemplicare am digitizat o p apu s a din plu s (Figura 6.2a) iar dup a estimarea locat iei pozit iilor intermediare din care a avut loc scanarea (Figura 6.2b) am realizat o nscriere a suprafet elor poligonate (mesh) ntr-un model compact (Figura 6.2c). Faza de scanare a durat aproximativ 10 minute iar cea de nscriere a durat 1 minut. Fiindc a grupul de suprafet e nscrise a prezentat port iuni cu spat ii goale respectiv puncte redundante a trebuit s a aplic am un proces de conformare a suprafet ei care ne-a permis generarea unei suprafet e continue cu un num ar total de 116834 poligoane quad (Figura 6.2d). Folosind un software de procesare 3D [36] pentru a reduce rezolut ia a modelului 3D n conformitate cu cerint ele de a sare, am obt inut n nal un model potrivit (Figura 6.3a) pentru interact iunea n timp real pe gCubik (Figura 6.3b).

31

6. INTEGRAREA RECONSTRUCT IEI 3D CU VIZUALIZAREA PE ECRANE AUTO-STEREOSCOPICE

(a)

(b)

(c)

(d)

Figura 6.2: Digitizarea unei P apu si din Plu s - (a) Imagine de prim plan a obiectului de digitizat; (b) Norul de puncte obtinut n urma nscrierii n acelasi sistem de coordonate a imaginilor de distant a captate; (c)Inscrierea suprafet elor poligonate (mesh) ntr-un model compact; (d) Rezultatul procesului de conformare a suprafet ei.

32

6.4 Rezumat si discut ii

(a)

(b)

Figura 6.3: Vizualizarea Modelelor 3D Adaptate pentru gCubik

6.4

Rezumat si discut ii

Datorit a progresului n domeniul tehnologiilor de a sare 3D condit iile pentru distribuirea simultan a de cont inut 3D ntre dispozitive cu capacit a ti diferite n ceea ce prive ste viteza de a sare, precum si nivelul de detaliu au fost deja create. In aceast a lucrare de cercetare am introdus un cadru euristic pentru a sarea de date 3D pe a saje 3D cu rezolut ii diferite si am exemplicat cu o aplicat ie de modelare 3D automat a si vizualizare pe ecranul auto stereoscopic gCubik. In viitor, ne propunem s a test am mai multe tipuri de a saje 3D (viitoarele aplicat ii vor folosi ecrane 3D de rezolut ie mai mare) si de asemenea s a utiliz am mai multe scenarii realiste de interact iune care vor implica subiect ii umani pentru a testa ecient a si practicalitatea cadrului introdus.

33

Discut ii
Abstract
Concluziile tezei sunt discutate n acest capitol iar aplicat iile reale efectuate pe parcursul activit a tii de cercetare precum si apllicat iile potent iale si direct iile viitoare de cercetare sunt subliniate. De asemenea, este prezentat si un rezumat al contribut iilor aduse precum si publicat iile din conferint e internat ionale.

7.1

Concluzii

In aceast a lucrare am prezentat dou a metode de computer vision pentru modelarea 3D a mediilor nconjur atoare precum si a obiectelor reale. Aceste metode sunt potrivite pentru sistemele ultrarealiste care folosesc a saje 3D at at pentru prim-plan c at si pentru fundal. Init ial, am investigat o metod a de reconstruct ie care apart ine viziunii pasive care abordeaz a dou a probleme principale ale model arii 3D: (1) calibrarea intern a a camerei respectiv (2) reconstruct ia structurii 3D. Un accent deosebit a fost pus pe camerele omnidirect ionale care sunt capabile de captarea unui c amp vizual complet. Presupun and un centru optic unic si un dispozitiv video catadioptric aliniat corect, am introdus un model de camer a virtual a omnidirect ional a care este capabil a s a a seze imagini nedistorsionate pe un ecran cilindric virtual respectiv s a detecteze locat ia corect aa centrului optic. Camera virtual a omnidirect ional a calibrat a a fost folosit a ulterior pentru a recupera structura 3D a mediului nconjur ator printr-o potrivire a histogramele de culoare ale proiect iilor provenind de la dou a centre diferite. In a doua parte a activit a tii mele am introdus un algoritm nou de aliniere automat a a unui set de imagini de distant a obt inute prin scanarea unui obiect plasat pe o platform a rotativ a. Procesul

34

7.2 Contribut ii

de aliniere utilizeaz a informat iile de pozit ionare calculate din imaginile 2D care au o corespondent a de unu la unu cu valorile de ad ancime din imaginile de distant a. Cu scopul de a prezenta un exemplu din viat a real a a unui mediu ultra-realist, am prezentat n ultima parte a acestei teze o integrare a metodei de reconstruct ie 3D cu o vizualizare pe un ecran auto-stereoscopic. De si ecranul 3D a prezentat o rezolut ie mic a, a fost caracterizat de un c amp de vizibilitate de 360 si de un rendering n timp real al modelului 3D ndeplinind astfel cerint a de a induce sentimentul de prezent a pentru o comunicare natural a si realist a. Munca desf a surat a pe parcursul acestei activit a ti de cercetare se ntinde de la dezvoltarea de tehnici de modelare 3D p an a la aplicat iile integrate de scanare si a sare pe ecrane auto-stereoscopice respectiv la estimarea rezolut iei de a sare pentru a sajele 3D. Rezultatele obt inute preg atesc terenul pentru investigat ii suplimentare, o direct ie de cercetare potent ial a ind reprezentat a de extinderea tehnicilor de reconstruct ie 3D cu scopul de a genera modele 3D de o mai mare rezolut ie pentru reprezentarea mediului nconjur ator. Pentru a atinge acest obiectiv intent ionez s a folosesc un set de imagini de distant a captate cu o ret ea de camere si s a efectuez nregistrarea lor prin utilizarea metodei deja dezvoltate pentru reconstruct ia 3D a obiectele de mici dimensiuni. Aceea si ret ea de camere ar putea folosit a ulterior ntr-o congurat ie circular a cu scopul de a reconstrui modele 3D ale unor obiecte mici, dar ntrun mediu de exterior n care scanerele laser devin ineciente din cauza interferent elor cu lumina natural a.

7.2

Contribut ii

Contribut iile acestei teze sunt incluse n aceast a sect iune pentru o subliniere clar a a realiz arilor acestei activit a ti de cercetare: Prezentarea unui model de camer a pinhole virtual a care poate emulat a oric arui tip de camer a de perspectiv a respectiv catadioptric a care prezint a un singur centru optic precum si prezentarea unei metode de calibrare care permite a sarea de imagini nedistorsionate pe un ecran virtual respectiv determinarea cu precizie a centrului optic. Modelare 3D a unui mediu de interior folosind o camera virtual a omnidirect ional a calibrat a prin metoda dezvoltat a anterior. Scena este reconstruit a printr-o potrivire a proiect iilor provenind de la dou a centre optice diferite pe un ecran planar. Prin nclinarea si schimbarea pozit iei ecranului de proiect ie putem genera astfel o hart a detaliat a a mediului nconjur ator. Reconstruct ia automat a a modelului 3D al unui obiect real pe baza unei secvent e de imagini de distant a furnizate de c atre un scaner care prezint a si o camer a video ncorporat a. Aceast a

35

7. DISCUT II

metod a folose ste n primul r and eliminarea corespondent elor 2D false si apoi detecteaz a corespondent ele 3D pe baza corespondent ei de unu la unu ntre punctele 3D si proiect iile corespunz atoare 2D furnizate de dispozitivul de scanare. Integrarea metodei de reconstruct ie 3D cu vizualizare pe un ecran auto-stereoscopic. Am introdus o metod a automat a de modelare si vizualizare 3D care scaneaz a, nscrie si a seaz a obiectele reale pe un ecran 3D portabil ntr-un proces on-line.

7.3

Publicat ii

Rezultatele obt inute pe parcursul acestei activit a ti de cercetare au fost publicate n jurnale, conferint e internat ionale respectiv au fost depuse propuneri de patente. Lista cu cele mai reprezentative publicat ii este prezentat a n continuare:

7.3.1

Publicat ii n Jurnal

A Method for Reconstructing Structure from Omnidirectional View Sequence without Feature Matching Daniel Moldovan, Takahiro Miyashita and Hiroshi Ishiguro Journal of CVIM, July, 2003.

7.3.2

Patent

Method and apparatus for registering 3D range data Daniel Moldovan, Sumio Yano, Yoshida Shunsuke, Naomi Inoue Submitted to Japan Patent Oce, Registration Number: 2008-280774.

7.3.3

Publicat ii n Conferint e Internat ionale:

Analysis of resolution limitation of glasses-free 3-D tabletop display Daniel Moldovan, Shunsuke Yoshida, Masahiro Kawakita and Hiroshi Ando IS&T/SPIE Electronic Imaging 2011, Stereoscopic Displays and Applications XXII (Conference 7863), San Francisco, U.S.A, January 23-27, 2011 Online System for 3D Model Reconstruction and Visualization on gCubik AutoStereoscopic Display Daniel Moldovan, Roberto Lopez-Gulliver, Sumio Yano and Hiroshi Ando Proceedings of 3DSA, Tokyo, Japan, May 19-21, 2010

36

7.3 Publicat ii

Automatic Registration of Multiple Range Views based on Feature Matching and Feature-Depth Correspondences Daniel Moldovan, Sumio Yano, Naomi Inoue Proceedings of ICCP, Cluj-Napoca, Romania, August 27-29, 2009 A New Reliability Measure for Essential Matrices Suitable in Multiple View Calibration Jaume Verges-Llahi, Daniel Moldovan, Toshikazu Wada Proceedings of VISAPP, Funchal, Portugal, 22nd - 25th of January 2008. A Calibrated Pinhole Camera Model for Single Viewpoint Omnidirectional Imaging Systems Daniel Moldovan and Toshikazu Wada Proceedings of ICIP, Singapore, 24-27th October 2004. A Calibrated Pinhole Camera Model for Single Viewpoint Imaging Systems Daniel Moldovan, Yuichi Yoshioka and Toshikazu Wada Proceedings of MIRU, Hakodate, Japan, 23rd-25th July 2004. A Method for Reconstructing Structure from Omnidirectional View Sequence without Feature Matching Daniel Moldovan, Takahiro Miyashita and Hiroshi Ishiguro Proceedings of MVA, Nara, Japan, December 2002.

37

from Two Calibration Planes. Computer Graphics and Image Processing, pages 17:173 180, 1981. 15 [7] M.D. Grossberg and Shree K. Nayar. A General Imaging Model and a Method for Finding its Parameters. Proceedings of ICCV, 2001. 15 [8] P.A. Beardsley, P.H.S. Torr, and A. Zisserman. 3D model acquisition from extended image sequences. Proc. of the 4th European Conference on Computer Vision, pages 683695, 1996. 19 [9] O. Faugeras. Three-Dimensional Computer Vision: A Geometric Viewpoint. MIT Press, 1993. 19 [10] R. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000. 19 [11] M. Pollefeys, R. Koch, and L.V. Gool. Selfcalibration and metric reconstruction in spite of varying and unknown internal camera parameters. Proc. of the Intl Conference on Computer Vision (ICCV98), pages 9095, 1998. 19 [12] F. Oniga and S. Nedevschi. Processing Dense Stereo Data Using Elevation Maps: Road Surface, Trac Isle and Obstacle Detection. IEEE Transactions on Vehicular Technologies, 2010. 19 [13] I. Haller, C. Pantilie, F. Oniga, and S. Nedevschi. Real-Time Semi-Global Dense Stereo Solution with Improved Sub-Pixel Accuracy. Intelligent Vehicles Symposium, pages 369376, 2010. 19 [14] C. Pantilie and S. Nedevschi. Real-Time Obstacle Detection in Complex Scenarios Using Dense Stereo Vision and Optical Flow. Proc. of the IEEE Intelligent Trans-

Referint e
[1] Universal Media Research Center NICT. The Worlds Largest 200-inch Glasses-free 3D Display Has Been Successfully Developed. http://www.nict.go.jp/news/press-e.html, January 2011. 7 [2] Universal Media Research Center NICT. NiCT MultiSensory Interaction System. http://www.etcenter.org/2010/10/nict-multisensory-interaction-system/, October 2010. 7 [3] Hiroshi Ishiguro. Development of lowcost compact omnidirectional vision sensors and their applications. International Conference on Information Systems, Analysis and Synthesis, pages 433439, 1998. 12 [4] M.A. Fischler and R.C. Bolles. Random sample consensus: A paradigm for model tting with application to image analysis and automated cartography. Communications of the ACM, pages 24(6):381395, 1981. 12, 26 [5] Keith D. Gremban, Charles E. Torpe, and Takeo Kanade. Geometric Camera Calibration using Systems of Linear Equations. Proc. IEEE Int. Conf. on Robotics and Automation, pages 2:562567, 1988. 15 [6] H. A. Martins, J. R. Birk, and R. B. Kelly. Camera Models Based on Data

38

REFERINT E

portation Systems Conference, pages 439444, September 2010. 19 [15] H. Ishiguro, M. Yamamoto, and S. Tsuji. Omni-directional stereo. IEEE Trans. on Pattern Analysis and Machine Intelligence, pages 14:257262, 1992. 20 [16] S.B. Kang and R. Szeliski. 3-D Scene Data Recovery using Omnidirectional Multibaseline Stereo. Digital Equipment Corporation, Cambridge Research Lab, 1995. 20 [17] Kenichi Kanatani. Optimal Fundamental Matrix Computation: Algorithm and Reliability Analysis. 6th Symposium on Sensing via Image Information (SII 2000), pages 291298, June 2000. 20 [18] Berthold K.P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America, 1987. 20, 27 [19] Takemura K, Araki A., Ido J., Matsumoto Y., Takamatsu J., and Ogasawara T. Generating individual maps from Universal map for heterogeneous mobile robots. Robotics and Automation (ICRA), 2010 IEEE International Conference on, pages 3460 3465, 3-7 May 2010. 24 [20] NTT Data Sanyo System. Cyber modeler handy light. http://www.nttd-sanyo.co.jp, 2002. 26 [21] UZR Gmbh and Co. KG. imodeller 3D. http://imodeller.com/en, 2001. 26 [22] Leica Geosystems. HDS LLC. http://www.leica-geosystems.com, 2001. 26 [23] Konica Minolta. Vivid http://konicaminolta.jp, 2007. 26 910.

[24] Gerhard Heinrich Bendels, Patrick Degener, Roland Wahl, Marcel Kortgen, and Reinhard Klein. Image-based registration of 3D-range data using feature surface elements. Intl Symposium on Virtual Reality, Archaeology and Cultural Heritage, 2004. 26 [25] David G Lowe. Object recognition from local scale-invariant features. Proceedings of the International Conference on Computer Vision, pages 2:11501157, 1999. 26 [26] Gangqiang Zhao, Ling Chen, Jie Song, and Gencai Chen. Large head movement tracking using SIFT-based registration. Proceedings of the 15th International Conference on Multimedia, 2007. 26 [27] B. Triggs, P. McLauchlan, R. Hartley, and A. Fitzgibbon. Bundle Adjustment - A Modern Synthesis. Proceedings of the International Workshop on Vision Algorithms: Theory and Practice, 1999. 27 [28] ISDB-T. Digital Broadcasting Experts Group. http://www.dibeg.org, 2003. [29] R. Lopez-Gulliver, S. Yoshida, S. Yano, and N. Inoue. gCubik: A Cubic Autostereoscopic Display for Multiuser Interaction. ACM Siggraph, 11-15 Aug. 2008. [30] Y. Nimmagadda, K. Kumar, and YungHsiang Lu. Preference-Based Adaptation of Multimedia Presentation For Dierent Display Sizes. IEEE Intl Conference on Multimedia and Expo, 2009. [31] M. Waldner, A. Lex, M. Streit, and D. Schmalstieg. Design Considerations for Collaborative Information Workspaces in Multi-Display Environments. Proceedings of the CoVIS Workshop on Collaborative Visualization on Interactive Surfaces, 2009.

39

REFERINT E

[32] C. B. Burckhardt. Optimum parameters and resolution limitation of integral photography. J. Opt. Soc. Am., 58:7176, 1967. [33] T. Okoshi. Optimum design and depth resolution of lens-sheet and projectiontype three-dimensional displays. Appl. Opt., 10:22842291, 1971. [34] H. Hoshino, F. Okano, H. Isono, and I. Yuyama. Analysis of resolution limitation of integral photography. J. Opt. Soc. Am., 15:2059266, 1998. [35] X. Ju, T. Boyling, J. P. Siebert, N. McFarlane, J. Wu, and R Tillett. Inte-

gration of Range Images of Multi-View Stereo System. 17th International Conference on Pattern Recognition, pages 280283, 2004. [36] Meshlab. [online]. http://meshlab.sourcefourge.net/, 2005. 31 [37] H. Ishiguro, T. Miyashita, and S. Tsuji. T-Net for navigating a vision-guided robot in a real world. IEEE International Conference on Robotics and Automation, 1995. [38] NICT. Homepage http://www.nict.go.jp. on Web.

40