2009-Burlacu Adrian PHD PDF

Tez de doctorat
Algoritmi de procesare a imaginii pentru

aplicaii de urmrire a obiectelor n micare
Adrian Burlacu
2009
Comisia de doctorat pentru susinerea tezei:
prof. univ. dr. ing. FLORINA UNGUREANU preedinte

Universitatea Tehnic Gheorghe Asachi din Iai
prof. univ dr. ing. VASILE MANTA membru

Universitatea Tehnic Gheorghe Asachi din Iai (conductor tiinific)
prof.univ.dr.ing. NICOLAE PU membru

Universitatea Politehnica Bucureti
prof. univ. dr. ing. MIRCEA IVNESCU membru

Universitatea din Craiova
prof. univ. dr. ing. CORNELIU LAZR membru

Universitatea Tehnic Gheorghe Asachi din Iai
Meniuni
Aceast lucrare este rezultatul cercetrilor efectuate n perioada oct. 2005 feb.
2009 n domeniul tiina Calculatoarelor n cadrul Universitii Tehnice Gh. Asachi
Iai. Deosebite mulumiri se ndreapt spre grupul Siemens PSE Braov care n perioada
2005-2007 mi-a acordat un sprijin financiar important. Pe parcursul studiilor doctorale
am beneficiat de finanare UEFISCU n baza unui contract tip PNII-TD (2007-2008).
Finalizarea cercetrilor i publicarea rezultatele obinute nu ar fi putut fi realizate
fr sprijinul i ndrumarea regretatului prof. dr. ing. Dan Glea, coordonator iniial al
tezei de doctorat, i al prof. dr. ing. Vasile Manta, coordonatorul actual al tezei.
A dori sa mulumesc n mod deosebit d-lui prof. dr. ing. Corneliu Lazr, pentru
colaborarea fructuoas avut pe parcursul cercetrilor pentru elaborarea tezei de doctorat,
cercetri ce au condus la multiple rezultate publicate mpreun. Apreciez foarte mult
sprijinul didactic i moral, pasiunea si rbdarea de care a dat dovad n decursul tuturor
activitilor de cercetare, i nu numai.
De asemenea doresc s amintesc o parte din cadrele didactice, ce fac parte din
colectivul Universitii Tehnice Gh. Asachi Iai, care mi-au oferit suportul
informaional ori de cte ori a fost necesar. Printre acetia de numr prof. dr. ing. Doru
Pnescu, prof. dr. ing. Daniel Condurache, prof. dr. ing. Octavian Pstrvanu, prof. dr.
ing. Teohari Ganciu, prof. dr. ing. Mihaela Matcovschi, conf. dr. ing. Lavinia Ferariu,
efl. dr. ing. Florin Ostafi.
Trebuie s aduc mulumiri domnilor dr. Enric Cervera, Universitatea Jaume I i
prof. Francois Chaumette, Universitatea Rennes I, pentru posibilitile acordate prin
schimburi de experien n cadrul laboratoarelor de cercetare pe care le conduc. Att n
cadrul laboratorului de cercetare n robotic i inteligen artificial din Universitatea
Jaume I, Castellon Spania , ct i n cadrul laboratorului de cercetare n sisteme
servoing vizuale din cadrul Universitii Rennes I, am petrecut momente deosebite i
foarte productive cu privire la cunotinele acumulate.
Nu n ultimul rnd a dori s mulumesc familiei care m-a susinut cu maximum de
entuziasm pe tot parcursul studiilor doctorale, oferindu-mi suportul moral necesar. Le
urez succes totodat colegilor de generaie de la doctorat, i nu numai, mulumindu-le n
acelai timp pentru mediul deosebit creat.
Cuprins
Capitolul 1. Introducere
1.1. Sisteme servoing 2
1.2. Trasturi vizuale utilizate n proiectarea legilor de control bazate pe imagini 3
1.3. Legi de control bazate pe imagini 4
1.4. Rezumatul tezei 5
1.5. Diseminarea rezultatelor 7
Capitolul 2. Detecia i urmrirea punctelor de interes n aplicaii servoing

2.1. Introducere 12
2.2. Algoritmi de detecie a punctelor de interes folosind metode spaiale 13
2.2.1. Operator pentru detecia punctelor de interes 14
2.2.2. Detectorul Smith 15
2.2.3. Detectorul Harris 18
2.3 Algoritmi de detecie a punctelor de interes invariante la modificarea
factorului de scalare 20
2.3.1 Algoritmul de detecie SIFT 21
2.3.2 Algoritmul de detecie Harris-Laplace 24
2.4 Algoritmi de detecie a punctelor de interes folosind metode frecveniale 25
2.4.1 Modelul congruenei fazelor 26
2.4.2 Utilizarea congruenei fazelor n analiza bidimensional 28
2.5 Evaluarea performanelor algoritmilor de detecie 30
2.6 Algoritmi de urmrire a trsturilor vizuale 34
2.7 Sisteme servoing 41
2.8 Concluzii 45
Capitolul 3. Analiza indicilor de performan pentru algoritmi de detecie a
punctelor de interes
3.1 Introducere 48
3.2 Implementarea i testarea algoritmilor de detecie a punctelor de interes 48
3.2.1 Algoritmul Harris 49
3.2.2 Detectorul SIFT 51
3.2.3. Detectarea punctelor de interes prin congruena fazelor 54
3.3 Implementarea i testarea algoritmilor de urmrire a punctelor de interes 59
3.4 Criterii de evaluare a performanelor punctelor de interes n aplicaii servoing 61
3.4.1 Criteriu de evaluare a erorii de poziionare pentru algoritmii de detecie a 61
3.4.2 Criterii de evaluare a robusteii algoritmilor de detecie a punctelor de 62
interes
3.5 Rezultate experimentale 65
3.5.1 Analiza secvenelor de imagini cu dinamic controlat 65
3.5.2 Analiza robusteii punctelor de interes pentru aplicaii n sisteme servoing 68
3.6 Concluzii 74
Capitolul 4. Estimarea micrii obiectelor n secvene de imagini

4.1 Introducere 79
4.2 Urmrirea punctelor de interes invariante la scalri 79
4.2.1 Descriptorul SIFT 80
4.2.2 Implementare i testare 82
4.3 Estimarea micrii utiliznd filtrarea Kalman 83
4.3.1 Filtrarea Kalman 85
4.3.2 Algoritm de estimare a micrii 90
4.3.3 Implementare i testare 97
4.4 Concluzii 100
Capitolul 5. Aplicaii n sisteme servoing vizuale
5.1 Introducere 103
5.2 Arhitectura bazat pe imagini 104
5.2.1 Micarea camerei 105
5.2.2 Simulator 109
5.3 Tehnici de control bazate pe imagini 116
5.3.1 Regulator PI bazat pe imagini 117
5.3.2 Regulator predictiv bazat pe imagini 121
5.4 Concluzii 129
Capitolul 6 Concluzii
6.1 Contribuii 131
6.1.2 Analiza performanelor trsturilor vizuale tip punct de interes 131
6.1.3 Tehnici de urmrire a punctelor de interes 132
6.1.4 Estimarea micrii obiectelor 133
6.1.5 Aplicaii n sisteme servoing vizuale 133
6.2. Direcii viitoare de cercetare 134
Capitolul 1. Introducere
1.1 Sisteme servoing 1.4 Rezumatul tezei

1.2 Trsturi vizuale utilizate n proiectarea 1.5 Diseminarea rezultatelor
legilor de control bazate pe imagini
1.3 Legi de control bazate pe imagini
Procesarea imaginilor genereaz trsturi vizuale cu ajutorul crora pot fi dezvoltai

algoritmi de urmrire a obiectelor pe parcursul secvenelor de imagini. n aceast lucrare
sunt analizate principalele tehnici de detecie a trsturilor vizuale tip punct de interes i
includerea acestora n aplicaii servoing pentru controlul roboilor manipulatori.
Sistemele de conducere bazate pe imagine (visual servoing) au aprut la confluena dintre
multiple arii de cercetare precum robotic, teoria sistemelor, proiectarea aplicaiilor de
timp real, vedere computerizat. Proiectarea legilor de control bazate pe feedback vizual
necesit trsturi vizuale cu proprieti bine definite: stabilitate, robustee i acuratee. n
lucrarea de fa sunt propuse dou noi criterii de evaluare a performanelor trsturilor
vizuale pentru aplicaii servoing. O soluie pentru urmrirea obiectelor n secvene de
imagini cu perturbaii tip ocluzie de obiecte, modificare a scalei i a fluxului de lumin, o
constituie utilizarea algoritmilor de estimare a micrii. n aceast lucrare s-a propus un
nou algoritm de estimare a micrii obiectelor caracterizate prin puncte de interes,
algoritm bazat pe filtrarea Kalman. Proprietile trsturilor vizuale mpreun cu
algoritmii de estimare a micrii obiectelor sunt incluse n metodele de proiectare a
tehnicilor avansate de control bazate pe imagini. Pentru mbuntirea performanelor
2 Introducere
unei structuri de reglare ce utilizeaz trsturi vizuale, au fost utilizate tehnici avansate de
control precum controlul predictiv. A fost dezvoltat un predictor bazat pe imagini, iar n
urma implementrii, testrii i validrii, a fost proiectat un regulator predictiv bazat pe
puncte de interes. Arhitectura de control, ataat unei structuri tip camer montat pe
efector (eng. eye-in-hand ), conine regulatorul predictiv bazat pe imagini i un model
dinamic dezvoltat pentru un robot cu ase grade de libertate. Arhitectura a fost
implementat, testat i evaluat n raport cu o arhitectur clasic dezvoltat n jurul unui
regulator tip PI bazat pe imagini.
1.1 Sisteme Servoing
Senzorul vizual reprezint o modalitatea de a extrage informaii despre mediul de

lucru fr a intra n contact cu elementele ce l compun. Incluzndu-se n rndul tipurilor
de senzori clasici (inductivi, ultrasunete, etc.), vederea artificial este cea mai nou
metod de a genera referine pentru conducerea unui sistem automatizat. Aplicaiile ce
sunt construite pe baza tehnicilor utilizate n sistemele servoing acoper diferite arii de
cercetare precum:
- preluarea i depunerea obiectelor folosind roboi manipulatori;
- planificarea traiectoriei roboilor mobili;
- urmrirea obiectelor n micare;
- controlul vehiculelor autonome;
- generarea traiectoriei optime pentru aterizarea avioanelor.
n lucrarea de fa sunt considerate aplicaii ale sistemelor servoing n configuraia
denumit eye-in-hand compus dintr-un robot manipulator i o camer montat pe
efectorul acestuia. Proiectarea unei legi de control bazate pe feedback vizual conine
etape bine definite:
- modelarea senzorului vizual;
- detecia trsturilor vizuale ce caracterizeaz obiectele din scena de lucru;
- generarea unei comenzi optime de micare a camerei pentru a minimiza eroarea
dintre poziia prezent a trsturilor vizuale i o configuraie dorit.
Introducere 3
Asigurarea unei robustei ridicate a oricrui sistem servoing tip eye-in-hand necesit
n prealabil o analiz n profunzime a modelului dinamic ataat robotului manipulator,
precum i o analiz a stabilitii transformrii informaiilor din planul imaginii n spaiul
articulaiilor robotului.
1.2 Trsturi vizuale utilizate n proiectarea legilor de control bazate pe

imagini
Analiza i procesarea unei imagini conduc la extragerea trasaturilor vizuale ce pot fi

folosite pentru a caracteriza starea unui obiect n raport cu senzorul vizual. De-a lungul
timpului, diferite tipuri de trsturi vizuale au fost utilizate pentru a proiecta legi de
control dedicate sistemelor servoing. Astfel au fost considerate regiuni omogene,
contururi de obiecte, puncte de interes, momente ale imaginii sau funcia imagine n
totalitate.
Lucrarea de fa se refer la utilizarea trsturilor tip punct de interes n sistemele
servoing. De-alungul timpului acest tip de trsturi a fost analizat i evaluat (Forsyth i
Ponce, 2003), performanele fiind relevate att prin proprieti de descriere a obiectelor,
ct i prin calitatea informaiei coninute, necesar n special generrii fluxului optic din
secvene de imagini. n acelai timp, calitatea punctelor de interes se reflect i n
proprietile tip stabilitate i robustee a legilor de control proiectate pentru conducerea
roboilor manipulatori.
Trsturile tip punct de interes constituie un subiect de interes n cercetrile
ntreprinse asupra metodelor de preprocesare i procesare a imaginilor, fiind propuse
multiple tehnici de detecie spaiale sau frecveniale. O parte din aceste tehnici au fost
implementate, iar performanele analizate folosind imagini ce surprind etape din diferite
task-uri ale sistemelor servoing. Identificarea poziiei trsturilor punct de interes pe
parcursul unei secvene de imagini este o etap foarte important n reconstrucia
traiectoriei obiectelor. Modalitile de urmrire a trsturilor tip punct de interes difer n
funcie de proprietile secvenei de imagini analizate: perioada de eantionare,
modificarea fluxului luminos, modificri ale scalei. Au fost implementai i testai diferii
algoritmi de urmrire, rezultatele fiind utilizate pentru a decide ce algoritm poate fi
4 Introducere
folosit pentru reconstrucia traiectoriei efectorului unui robot manipulator ntr-o aplicaie
servoing.
1.3 Legi de control bazate pe imagini
Arhitectura de conducere bazat pe imagini a sistemelor robotizate prezint n

general rezultate satisfctoare: convergena ctre poziia dorit este asigurat, iar,
datorit buclei nchise utilizat n schema de control, sistemul este stabil i robust n
raport cu erorile de calibrare a camerei, erorile de calibrare a robotului, i erorile de
msurare a poziiei trsturilor vizuale din planul imaginii. Totui, exist situaii n care
stabilitatea sistemului servoing poate fi deficitar (Chaumette i Hutchinson, 2006).
Instabilitatea sistemului rezult din imposibilitatea pstrrii n mod continuu n planul
imaginii a trsturilor vizuale, fapt datorat fie calitii trsturilor considerate, fie
perturbaiilor asupra strii obiectelor (ocluzie, prsire a scenei de lucru) n planul
imaginii survenite n urma modificrii poziiei camerei.
Analiza performanelor trsturilor tip punct de interes a vizat pn n prezent
aplicaii de reconstrucie a traiectoriei, vedere stereoscopic, urmrire obiecte int. n
literatura de specialitate nu au fost dezvoltate pn n prezent criterii de evaluare a
performanelor trsturilor vizuale dedicate exclusiv aplicaiilor n sisteme servoing.
n prezenta lucrare sunt propuse dou criterii de evaluare a performanelor punctelor
de interes dezvoltate exclusiv pentru aplicaii n sisteme servoing. Se utilizeaz tehnici de
analiz a calitii trsturilor folosind descriptori vizuali bazai pe momente ale imaginii
i tehnici de inventariere a similitudinilor dezvoltate pe baza distanei Mahalanobis.
Un alt obiectiv realizat al acestei lucrri a fost dezvoltarea, implementarea i
testarea unui algoritm de estimare a micrii obiectelor caracterizate prin trsturi punct
de interes. Este propus o tehnic de estimare a micrii obiectelor dezvoltat pe nucleul
filtrului Kalman i incluznd proprieti de caracterizare a mulimii trsturilor punct de
interes prin izomorfism cu proprietile centrului de greutate ataat.
Lund n considerare restriciile ce pot s apar n proiectarea unui sistem servoing,
restricii de tip dinamic pentru robotul manipulator i cinetic pentru camera video,
proiectarea unei legi de control bazate pe feedback vizual trebuie realizat prin includerea
Introducere 5
tehnicilor avansate de conducere a sistemelor automatizate. Pentru a genera o traiectorie

referin a camerei este dezvoltat un algoritm predictiv de control bazat pe imagini. Un
predictor construit pe baza trsturilor tip punct de interes calculeaz estimri viitoare ale
traiectoriei trsturilor. Metoda propus utilizeaz proprietile matricei de interaciune
pentru a transforma traiectoriile predictate din planul imaginii pentru trsturile vizuale n
semnale de comand pentru camera video.
Principiile de proiectare a tehnicilor de control bazate pe feedback vizual au fost
utilizate pentru a dezvolta structuri de reglare ce conin att regulatoare PI bazate pe
imagini, ct i regulatoare predictive bazate pe imagini. A fost realizat o evaluare a
performanelor celor dou structuri de reglare, iar rezultatele experimentale au fost
prezentate i analizate.
1.4 Rezumatul tezei
Lucrarea este structurat dup cum urmeaz:

Capitolul 2, intitulat Detecia i urmrirea punctelor de interes n aplicaii
servoing, este dedicat descrierii analitice a principalelor metode de extragere a
trsturilor vizuale tip punct de interes. Sunt descrise metode bazate pe variaia funciei
imagine, pe proprieti de arie, pe analiza comportrii gradientului semnalului
bidimensional. Aceste trei metode fac parte din categoria celor spaiale. n plus, se
prezint i o metod de detecie a trsturilor tip punct de interes utiliznd analiza n
frecven, metoda congruenei fazelor. Pentru o robustee ridicat, metodele de detecie
trebuie s furnizeze rezultate satisfctoare i n cazul modificrii fluxului luminos i/sau
modificarea factorului de scalare. Sunt prezentate dou dintre tehnicile dezvoltate special
pentru detectarea trsturilor punctiforme invariante la scalri, ambele fcnd apel la
construirea spaiului scalrilor pentru un semnal bidimensional i transpunerea deteciei
trsturilor tip punct de interes n identificarea extremelor funciei imagine n acest
spaiu.
Evaluarea performanelor trsturilor vizuale reprezint o etap fundamental n
proiectarea legilor de control bazate pe feedback vizual. n capitolul 2 sunt descrise
6 Introducere
criteriile de evaluare a calitii trsturilor tip punct de interes prezente n literatura de

specialitate. Totodat se subliniaz faptul c nu exist raportri ale unor criterii de
evaluare a performanelor punctelor de interes dedicate aplicaiilor din sisteme servoing.
La finalul capitolului sunt descrise dou tehnici de urmrire a punctelor de interes, tehnici
utilizate n special pentru reconstrucia micrii obiectelor n secvene de imagini.
Capitolul 3, intitulat Analiza indicilor de performan pentru algoritmii de detecie
a punctelor de interes, prezint rezultatele implementrii i testrii algoritmilor de
extragere a trsturilor vizuale tip punct de interes. Fie c este analizat stabilitatea,
repetabilitatea sau acurateea, criteriile de evaluare a performanei utilizate n
caracterizarea algoritmului de detecie trebuie s conin proprieti specifice ale
aplicaiilor considerate. n cazul aplicaiilor servoing sunt propuse criterii noi de evaluare
a stabilitii i robusteii punctelor de interes. Pentru analiza stabilitii se utilizeaz
secvene de imagini cu dinamic controlat, n timp ce robusteea este evaluat prin
proprietile extrase din gradul de rspndire a mulimii punctelor de interes considerate
pentru descrierea obiectelor din scena de lucru. Cele dou criterii propuse devin astfel
modaliti de rejectare a trsturilor punct de interes ce pot induce perturbaii n
comportarea sistemelor servoing.
Capitolul 4, intitulat Estimarea micrii obiectelor n secvene de imagini,
prezint algoritmi de urmrire a trsturilor tip punct de interes ale cror performane nu
depind de dinamica scenei de lucru. Astfel, modificarea factorului de scalare,
juxtapunerea obiectelor sau prsirea parial a scenei de lucru sunt probleme ce trebuie
rezolvate de un algoritm robust de urmrire a trsturilor vizuale. Este propus spre
analiz un algoritm de estimare a micrii obiectelor dezvoltat de autor, algoritm construit
pe nucleul filtrului Kalman i pe proprietile mulimii trsturilor tip punct de interes
extrase. Algoritmul este implementat, testat i validat, iar rezultatele experimentale sunt
prezentate i analizate din punct de vedere al performanelor n raport cu abordarea bazat
pe metoda cross-correlation.
Capitolul 5 intitulat Aplicaii n sisteme servoing vizuale sintetizeaz metodele
de baz pentru proiectarea legilor de control bazate pe imagini. O prim lege de control
bazat pe feedback vizual utilizeaz legea de reglare PID pentru regulatorul bazat pe
imagini. Implementarea, validarea i testarea algoritmului de control bazat pe imagini a
Introducere 7
fost realizat folosind un toolbox Matlab dedicat sistemelor servoing. Analiza

performanelor trsturilor tip punct de interes n aplicaii servoing a fost realizat prin
dezvoltarea unei extensii a toolboxului dedicat sistemelor servoing al crei obiectiv
principal const n includerea imaginilor reale ca i semnale de intrare. Necesitatea
dezvoltrii unor arhitecturi de control robuste i stabile, care s poat include multiple
tipuri de restricii ce apar n sistemele servoing i s mbunteasc performanele n
timp real, a condus la utilizarea tehnicilor avansate de control precum controlul predictiv.
n capitolul 5 se propune un model al senzorului vizual care, mpreun cu o abordare de
analiz prin decuplare pe articulaii a robotului manipulator, a condus la proiectarea unui
predictor bazat pe imagini, nou n literatura de specialitate. A fost dezvoltat un regulator
predictiv ce utilizeaz predictorul propus pentru a estima traiectoria trsturilor n planul
imaginii. Regulatorul predictiv a fost implementat, testat i validat, performanele fiind
evaluate n raport cu un regulator tip PI bazat pe imagini.
1.5 Diseminarea rezultatelor
Aceast lucrare se bazeaz aproape n totalitate pe articole publicate sau acceptate

spre publicare. Articolele au fost publicate n reviste de specialitate (4) sau conferine
internaionale (12), rezultatele fiind apreciate prin indexare n baze de date: 3 ISI
Proceedings i 2 ISI INSPEC.
Capitolul 3 conine rezultate publicate n:

(Burlacu i Lazr, 2006 a): Burlacu A., Lazr C.: Performance Analysis of Point
Features Using Image Sequences with Controlled Motion, Scientific Bulletin of
Politehnica University of Timisoara, Trans. On Automatic Control and Computer
Science, Vol. 51 (56), No. 2, 2006, pp. 15-20, ISSN 1224-600X
(Burlacu i Lazr, 2006 b): Burlacu A., Lazr C.: Motion-Based Object Detection
and Tracking in Image Sequences, Proc. of 5th International Conference on
Advanced Engineering Design, Prague, 11-14 June 2006, (CD-ROM), ISBN: 80
86059 44 8 (Best Paper Award Student Competition).
8 Introducere
(Burlacu i Lazr, 2006 c): Burlacu A., Lazr C.: Recovering trajectories in image
sequences using point features, Buletinul Institului Politehnic din Iasi, Tomul LII
(LVI), Fasc. 7A, Secia Constructii de Masini, pp. 133-138, 2006, ISSN 1011-
2855.
(Lazr i Burlacu, 2006): Lazr C., Burlacu A.: Detection and Tracking of Feature
Points in Image Sequences, Proc. of 12th IEEE Conference on Methods and
Models in Automation and Robotics MMAR 2006, Midzyzdroje, 28-31 August
2006, ISBN 83 60140 93 6.
(Burlacu i Lazr, 2007): Burlacu A., Lazr C., Evaluation of Scale Invariant
Features for Visual Servoing Tasks, Proc. of 16th International Conference on
Control Systems and Computer Science, Bucuresti, 22-25 May, 2007, pp. 389-
394, ISBN 978-973-718-741-3.
(Boghiu, et. al., 2007): Boghiu B., Burlacu A., Lazr C., Image features detection
using phase congruency, Proc. of 9th International Symposium on Automatic
Control and Computer Science, Iasi, November 16-17, 2007, CD-ROM, ISSN
1843-665-X.
Rezultatele prezentate n capitolul 4 sunt publicate n:

(Burlacu, et al., 2007): Burlacu A., Copot C., Lazr C., SIFT Based Algorithm for
Point Feature Tracking, The Annals of Dunarea de Jos University of Galati,
Fascicle III, 2007 pp. 59-64, ISSN 1221-454X.
(Lazr i Burlacu, 2007 a): Lazr C., Burlacu A.: Performance Evaluation of Point
Feature Detectors for Eye-in-Hand Visual Servoing, Proc. of 5th IEEE
International Conference of Industrial Informatics, Vienna, vol.1, pp. 497-502,
July 23-26, 2007, ISBN 1-4244-0864-4.
(Lazr i Burlacu, 2007 b): Lazr C., Burlacu A.: Scale Invariant Features
Evaluation Using Image-Based Moments, Prep. of 4th IFAC Conference on
Management and Control of Production and Logistics, Sibiu, vol.1, pp. 109-115,
27-30 September, 2007, ISBN 978-973-739-481-1.
Introducere 9
(Burlacu i Lazr, 2009): Burlacu A., Lazar C., Visual feature tracking using
Kalman filter, submitted at the 17th International Conference on Control Systems
and Computer Science, Bucharest, May 26-29, 2009
Capitolul 5 este realizat plecnd de la rezultatele publicate n:
(Lazr i Burlacu, 2007 c): Lazr C., Burlacu A.: ARIMAX MIMO model for
image based visual servo control, Proc. of 9th International Symposium on
Automatic Control and Computer Science, Iasi, November 16-17, 2007, CD-
ROM, ISSN 1843-665-X.
(Burlacu i Lazr, 2008 a): Burlacu A., Lazr C., Image Features Detection using
Phase Congruency and Its Application in Visual Servoing, Proc. of IEEE 4th
International Conference on Intelligent Computer Communication and
Processing, Cluj Napoca, August 28-30, 2008, pp. 47 53, ISBN 978-1-4244-
2673-7.
(Burlacu i Lazr, 2008 b): Burlacu A., Lazar C., Image based predictive
controller for visual servoing systems, accepted at Buletinul institutului Politehnic
Iasi, Secia Automatic i Calculatoare, XLXIV (LVII), fasc.1-4, 2008, ISSN
1220-2169.
(Lazr i Burlacu, 2008 a): Lazr C., Burlacu A., Predictive control strategy for
image based visual servoing of robot manipulators, Proc. of 9th International
Conference on Automation and Information, Bucharest, June 24-26, pp 18, 91-97,
2008, ISBN 978-960-6766-77-0 (Invited Paper).
(Lazr i Burlacu, 2008 b): Lazr C., Burlacu A., Modeling of visual servo open-
loop for robot manipulators, Proc. of IEEE International Symposium on Industrial
Electronics, Cambridge, June 30-July 2, 2008, CD-ROM, ISBN 978-1-4244-
1666-0.
(Lazr i Burlacu, 2008 c): Lazr C., Burlacu A., Dynamic Simulation Model for
Image Based Visual Servo Control Systems, Proc. of 11th International
Conference on Optimization of Electrical and Electronic Equipment, Vol. III, pp.
285-290, Brasov, May 22-24, 2008, ISBN 978-973-131-031-2.
10 Introducere
Capitolul 2. Detecia i urmrirea punctelor de interes n aplicaii
servoing
2.1 Introducere 2.5 Evaluarea performanelor algoritmilor

de detecie
2.2 Algoritmi de detecie a punctelor de 2.6 Algoritmi de urmrire a trsturilor
interes folosind metode spaiale vizuale
2.3 Algoritmi de detecie a punctelor de 2.7 Sisteme servoing
interes invariante la modificarea
factorului de scalare
2.4 Algoritmi de detecie a punctelor de 2.8 Concluzii
interes folosind metode frecveniale
n acest capitol sunt prezentate principalele tehnici de procesare a imaginii pentru

detecia punctelor de interes ce vor fi folosite n prezenta tez de doctorat pentru aplicaii
n sisteme servoing vizuale. Punctele de interes fac parte din mulimea trsturilor vizuale
ce pot fi utilizate n sistemele servoing pentru a controla micarea unui robot manipulator.
Proprietile punctelor de interes influeneaz n mod direct proiectarea legii de control
bazat pe feedback vizual i de aceea se impune analiza performanelor acestora.
Proiectarea unei legi de control bazate pe feedback vizual se bazeaz pe utilizarea unor
trsturi vizuale a cror dinamic trebuie monitorizat pe parcursul secvenelor de
imagini. Pentru realizarea acest obiectiv au fost utilizate tehnici de urmrire care
mpreun cu diferite criterii de evaluare a performanelor punctelor de interes relev
calitile acestui tip de trsturi vizuale.
12 Detecia i urmrirea punctelor de interes n aplicaii servoing
2.1 Introducere
Senzorul vizual reprezint una dintre componentele fundamentale ale unui robot,
permind investigarea mediului de lucru fr a fi necesar contactul cu elementele
acestuia (Siciliano i Khatib, 2008). Sistemele servoing au fost dezvoltate utiliznd
tehnici din analiza i procesarea n timp real a imaginilor, robotic, teoria controlului i a
sistemelor, cu scopul de a conduce un robot manipulator folosind o lege de control bazat
pe feedback vizual (fig 2.1).
Obiect
f* + e Regulator bazat v*c
pe imagini
_
Amplif. putere
Robot + Camera
f Extragere Imagine
trsturi
Fig.2.1 Sistem servoing
Mediul de lucru, compus dintr-un robot manipulator i obiecte, este analizat

folosind un senzor vizual. Obiectele sunt caracterizate de trsturi vizuale f care sunt
comparate cu o configuraie dorit f * , eroarea rezultat fiind informaia utilizat pentru

generarea legii de control.
Pentru orice sistem de vedere artificial noiunea de trstur vizual este foarte
important. Avnd drept intrare o form de caracterizare a imaginii (spaial sau
frecvenial), algoritmii de procesare a imaginii extrag trsturi i genereaz n acelai
timp informaii despre proprietile acestora. Astfel, pentru trsturile vizuale se poate
considera urmtoarea clasificare: trsturi globale i trsturi locale. Trsturile globale
surprind caracteristici ale ntregului semnal bidimensional (imaginea), un exemplu
Detecia i urmrirea punctelor de interes n aplicaii servoing 13
elocvent fiind histograma. Trsturile locale conin informaii ce definesc proprietile

unei anumite zone a unui obiect dintr-o imagine.
Alegerea utilizrii uneia din cele dou categorii de trsturi depinde de tipul
aplicaiei considerate, trsturile globale reprezentnd o msur a ntregii imagini.
Necesitatea caracterizrii unui obiect dintr-o imagine a condus la dezvoltarea metodelor
de modelare a fundalului i a componentelor scenei de lucru. n general o metod
universal valabil este imposibil de proiectat, modelarea regsindu-se de multe ori inclus
n probleme de segmentare. Totui, utiliznd trsturi vizuale locale se pot construi
descriptori vizuali pentru caracterizarea exclusiv a obiectelor. Proprietile necesare
pentru ca trsturile vizuale detectate s genereze informaii utile sunt stabilitatea,
repetabilitatea, acurateea, invariana la modificri ale factorului de scalare.
O imagine monocrom, cu 256 niveluri de gri, este modelat cu ajutorul unei funcii
de dou variabile, definit astfel:
I : [ 0, N I ] [ 0, M I ] [ 0, 255] , (2.1)
unde N I M I reprezint rezoluia imaginii. Analiza proprietilor funciei imagine

conduce la trei mari categorii de trsturi vizuale:
i) Trsturi tip regiune omogen funcia imagine nu variaz pe nici o direcie;
ii) Trsturi tip muchie funcia imagine variaz pe o singur direcie;
iii) Trsturi tip punct de interes funcia imagine variaz pe dou direcii;
n cadrul acestei lucrri se face apel la ultima categorie de trsturi vizuale, iar
capitol de fa este dedicat descrierii algoritmilor de procesare a imaginii utilizai pentru
extragerea punctelor de interes, algoritmi ce vor fi folosii n celelalte capitole.
2.2 Algoritmi de detecie a punctelor de interes folosind metode spaiale
n aceast seciune sunt prezentai trei algoritmi de detecie a punctelor de interes,

fiecare reprezentnd o abordare diferit n analiza proprietilor funciei imagine. Sunt
analizate variaiile funciei imagine pe patru direcii (Shapiro, 2000), proprietile tip arie
a regiunilor de interes (Smith, 1997) i comportarea funciei de autocorelaie local
(Harris, 1988).
2.2.1 Operator pentru detecia punctelor de interes
Algoritmul de determinare a punctelor de interes descris n (Shapiro, 2000),

calculeaz variaia intensitii nivelurilor de gri vi dintr-o imagine de-alungul a patru
direcii (vertical, orizontal i cele dou diagonale), considernd o vecintate 3 3

centrat pe un poziie I ( x, y ) (fig.2.2).
x
I(x-1,y-1) I(x,y-1) I(x+1,y-1)
i=1
I(x-1,y) I(x,y) I(x+1,y)
I(x-1,y+1) I(x,y+1) I(x+1,y+1)

i=3 i=4
y i=2
Fig. 2.2. Vecintate 3 3
Variaiile vi , i = 1, 4 sunt calculate cu ajutorul formulelor :
(
v1 ( x , y ) = m ax I ( x + 1, y ) I ( x , y ) , I ( x 1, y ) I ( x , y ) )
v ( x , y ) = m ax ( I ( x , y 1 ) I ( x , y ) , I ( x , y + 1 ) I ( x , y ) )
2 (2.2)
v ( x , y ) = m ax ( I ( x 1, y + 1 ) I ( x , y ) , I ( x + 1, y 1 ) I ( x , y ) )
3
v ( x , y ) = m ax ( I ( x + 1, y + 1 ) I ( x , y ) , I ( x 1, y 1 ) I ( x , y ) )
4 .
Evalund cele patru variaii conform (2.2), urmtoarea etap reprezint determinarea
minimului mulimii {vi | i = 1, 4} . Dac valoarea minimului depete un anumit prag ales:
min{vi ( x, y ) | i = 1, 4;( x, y ) [ 0, N I ] [ 0, M I ]} (2.3)

i
atunci poziia ( x, y ) este declarat punct de interes. Valoarea parametrului poate fi
ajustat n raport cu distribuia zgomotului din imagine pentru a controla calitatea

punctelor de interes detectate.
Algoritmul nu conine elemente de preprocesare a imaginii precum filtrare sau

ajustare contrast. Pentru a obine informaii utile din rezultatele experimentale se
recomand o etap intermediar de preprocesare a imaginii. n plus, pentru a contribui la
creterea robusteii detectorului, este necesar i o etap de suprimare a non-maximului n
vecinti de dimensiune 7 7 .
2.2.2. Detectorul Smith
Smith a dezvoltat un algoritm de detectare a punctelor de interes (Smith, 1995),

pornind de la forma circular a unei vecinti 7 7 , prezentat n figura 2.3,
Fig. 2.3. Vecintate circular
iar centrul mtii l-a numit nucleu.

Algoritmul de detectare a punctelor de interes const n compararea intensitii
nivelului de gri, ataat fiecrui pixel din vecintatea circular, cu intensitatea nivelului de
gri ataat nucleului. Reunind ntr-o mulime pixelii ce au aproximativ aceeai intensitate
cu a nucleului, cardinalul acestei mulimi reprezint aria i este denumit n literatura de
specialitate Univalue Segment Assimilating Nucleus (USAN). n figura 2.4, mtile
circulare conin att zone USAN (negru) ct i zone care nu corespund din punct de
vedere al intensitii nucleului (alb), cazurile a, b, d, precum i un caz de includere
complet a mtii ntr-o zon omogen a imaginii, cazul c. Se observ c suprafaa
USAN atinge valoarea maxim cnd masca este suprapus pe o zon omogen (fig.2.4, c)
(nu apar variaii importante ale funciei imagine), scade la jumtate n momentul n care
avem o muchie (fig.2.4, b) (variaie pe o singur direcie a funciei imagine) i scade sub
jumtate n locaii tip punct de interes (fig.2.4, d) (variaii pe ambele direcii ale funciei
imagine). Pentru a calcula valoarea ariei USAN pentru o poziie generic din planul
imaginii se utilizeaz relaia (Smith, 1995):
G JJG 6

I ( r ) I ( r0 )
G JG
t

c(r , r0 ) = 100 e
, (2.4)
JG G
unde r0 reprezint poziia nucleului, r poziia unui pixel din interiorul mtii diferit de
nucleu, t diferena de intensitate setat, c valoarea comparaiei.
Fig. 2.4. Patru mti circulare plasate n diferite poziii in imagine.
Sumnd toate valorile pentru fiecare pixel din masc rezult modalitatea de calcul
a valorii USAN cu relaia:
JG G JG
n(r0 ) = c(r , r0 ) . (2.5)
r
Dup calcularea valorii funciei n (.), aceasta se compar cu o valoare teoretic notat
prin g , denumit prag geometric. Pentru ca un nucleu sa fie etichetat punct de interes
trebuie ca USAN-ul ataat s aib o valoare mai mic dect jumtate din maximul posibil
al mtii, 3700 i s fie un minim local. Utilizarea pragului geometric g implic
afectarea formei punctelor de interes detectate. Aceste puncte de interes sunt numite
generic coluri i, de exemplu, pentru o valoare mic a parametrului g forma va fi de
unghi ascuit. Un alt parametru care contribuie la mbuntirea performanelor
algoritmului de detecie este diferena de intensitate setat, t . Acest parametru se numete
prag de calitate i, n funcie de valoarea pe care o are algoritmul, va produce mai multe
sau mai puine puncte de interes. Alegerea valorilor celor 2 parametri g i t se realizeaz
n funcie de proprietile imaginii: zgomot, contrast, ocluzie ntre obiecte, iluminare, etc.
Un caz de singularitate al detectorului Smith l reprezint zonele tip umbr dintr-o
imagine, exemplificate n figura 2.5:
Fig. 2.5. Exemplu de rspunsuri false returnate de operatorul Smith
Rejectarea punctelor de interes false se realizeaz n dou etape:

se determin valoarea USAN maxim pentru toi pixelii de pe o zon 5 5
cu ajutorul formulei:
JG JG
JG g n(r0 ), n(r0 ) < g
R(r0 ) = JG (2.6)
0 , n(r0 ) g
se calculeaz poziia centrului de greutate al suprafeei USAN. Utiliznd

poziia centrului de greutate se determin distana dintre acesta i nucleul
mtii. Validarea punctului de interes se face pentru poziiile cu distane
seminificative fa de centrul de greutate (fig. 2.6).
a) b)
Fig. 2.6. Poziia nucleului fa de centrul de greutate al suprafeei USAN: a) n cazul unui col real; b) n
cazul unui col fals.
Suprafaa USAN trebuie s prezinte proprieti de uniformitate astfel nct

toi pixelii ce aparin mtii i se afl pe direcia dintre nucleu i centrul de
greutate trebuie s fac parte din suprafaa USAN. Aceast ultim condiie
este util n cazul imaginilor cu un nivel ridicat de zgomot.
2.2.3 Detectorul Harris
Algoritmul dezvoltat de Harris (Harris i Stephens, 1988) are ca obiectiv

identificarea unor puncte de interes cu anumite proprieti bine definite:
numr redus n comparaie cu trsturi tip muchie;
invarian la rotaie i mici fluctuaii de iluminare;
invarian la modificri liniare ale factorului de scalare;
invarian la transformri afine.
Principiul de detecie se bazeaz pe analiza proprietilor funciei de autocorelaie
local pentru o poziie generic ( x, y) .
Fie funcia de autocorelaie c definit de:
w(u , v) [ I (u + x, v + y ) I (u, v) ] ,
2
c( x, y, x, y ) = (2.7)
( u ,v )W ( x , y )
unde prin W ( x, y ) s-a notat o vecintate centrat n ( x, y ) iar prin w(u, v) nucleul
( u x )2 ( v y ) 2

2 2
gaussian e . Utiliznd dezvoltarea Taylor pn la ordinul 1, funcia
I (u + x, v + y ) se poate aproxima prin:
I (u + x, v + y ) I (u, v) + I x (u, v)x + I y (u, v)y
x (2.8)
= I (u , v) + I x (u, v) I y (u, v) ,
y
unde I x , I y sunt derivatele pariale ale funciei I ( x, y ) i pot fi calculate n discret prin:
I x = [ 1 0 1] I
(2.9)
I y = [ 1 0 1] I .
T
Din (2.7) i (2.8) rezult c funcia de autocorelaie poate fi transpus n forma:

2
x
c( x, y, x, y ) w(u, v) I x (u, v) I y (u, v) =
y
w(u , v) I x ( x, y ) 2 w(u, v) I ( x, y) I ( x, y) x
x y
(2.10)
= [ x y ] W W
.

W
w(u , v) I x ( x, y ) I y ( x, y ) w(u, v) I ( x, y) y
W
y
2
Se introduce notaia:
w(u , v) I x ( x, y ) 2 w(u, v) I ( x, y) I ( x, y)
x y
A( x, y ) = W W
. (2.11)

W
w(u , v) I x ( x, y ) I y ( x, y ) w(u, v) I ( x, y)
W
y
2
Aceast matrice se gsete ntr-o izomorfie cu funcia de autocorelaie, rezultnd astfel

posibilitatea evalurii proprietilor funciei c(.) prin proprietile matricei A.
Structurnd simbolic matricea A sub forma:
b c
A( x, y ) = (2.12)
c d
i fcnd apel la strnsa legtur ntre valorile proprii i direciile vectorilor proprii
ataai, rezult trei cazuri:
i) dac 1 , 2 (cele dou valori proprii ale lui A ) sunt mici, atunci funcia de
autocorelaie indic o regiune omogen.
ii) Dac 1 2 atunci trstura gsit este muchie;
iii) Dac 1 i 2 sunt mari atunci avem un punct de interes.

Evaluarea celor 3 cazuri se poate realiza prin ataarea unei funcii rspuns:
R ( A) = det( A) k [Tr ( A) ] ,
2
(2.13)
unde det( A) = 1 2 = bd c 2 ; Tr ( A) = 1 + 2 = b + d , iar k o constant cu valori
cuprinse ntre 0.04 i 0.06. Astfel, pentru R > 0 , avem o trstur tip punct de interes,
pentru R < 0 avem o muchie iar, dac | R | este o valoare mic rezult existena unei zone
omogene (figura 2.7).
Conform algoritmului propus de Harris, fiecrui punct de interes i se poate ataa o
valoare de col (cornerness value) pentru a putea controla calitatea trsturilor extrase:
Tr ( A) I x2 + I y2
cv = = 2
. (2.14)
det( A) I x2 I y2 I x I y
Comparnd cv din (2.14) cu o valoare de prag putem crete sau descrete numrul de
puncte de interes detectate.
2 regiunea
marginilor 4
2
1
regiunea
colurilor 0
-1
-2
-3
regiunea
regiune marginilor
omogen
1
Fig. 2.7. Principiul funciei de auto-corelaie
2.3 Algoritmi de detecie a punctelor de interes invariante la modificarea

factorului de scalare
n seciunea anterioar au fost prezentate principiile de funcionare a trei din cei mai
importani algoritmi de detecie a punctelor de interes. Aceti algoritmi i pstreaz
proprietile doar n cazul secvenelor de imagini cu factor de scalare 1 (distana dintre
planul de micare a obiectelor i camer este constant). Multe aplicaii, n special cele de
urmrire, conin analiza secvenelor de imagini cu factor de scalare variabil. n acest caz
este necesar modificarea principiului de detecie a punctelor de interes prin includerea
proprietii de invarian la scalri. Din multitudinea algoritmilor de detecie a punctelor
de interes invariante la scalri, ce au fost propui n ultimii ani, cele mai utilizate metode
sunt algoritmul SIFT (Scale Invariant Feature Transform) propus de (Lowe, 1999) i
algoritmul Harris-Laplace (Mokolajczyk, 2004).
2.3.1 Algoritmul de detecie SIFT
Extragerea punctelor de interes invariante la scalri se bazeaz pe identificarea

locaiilor stabile n raport cu principiul de construcie a spaiului scalrilor enunat n
(Lindberg, 1998). Spaiul scalrilor reprezint concatenarea rezultatelor unor filtrri
succesive asupra unei imagini cu un anumit nucleu. S-a demonstrat (Lindberg, 1998)
faptul c unicul nucleu ce poate fi folosit pentru generarea unui spaiu piramidal al
scalrilor este nucleul Gaussian:
( x2 + y2 )
1
G ( x, y , ) = e 2 2
. (2.15)
2 2
Unicitatea este consecina proprietilor nucleului Gaussian: liniaritate, separabilitate,
cauzalitate i structur de semigrup.
Fie aplicaia
L : A \3 \3 , (2.16)
definit ca produs de convoluie ntre funcia imagine (2.1) i nucleul Gaussian (2.15):
L ( x, y , ) = G ( x, y , ) I ( x, y ) . (2.17)
Aceast funcie genereaz o succesiune de filtrri ale imaginii, filtrri dependente de
parametrul . Considernd ca fiind funcia:
:[omin , omax ] [0, S 1] \ , (2.18)
definit prin:
o+ s
(o, s) = 0 2 S
. (2.19)
unde o reprezint una din octavele axei nivelului de scalare ( ), iar S numrul de
subniveluri ataat fiecrei octave. Prin s s-a notat indexul subnivelului din octava o .
Construcia spaiului scalrilor ataat unei imagini I ( x, y ) se realizeaz recursiv
prin filtrri succesive i modificri ale dimensiunilor imaginii. Alegerea parametrilor de
start descrisa n (Lowe, 2004) presupune impunerea unui numr de S = 5 niveluri pe
octav, octava maxim ( omax ) egal cu 4, iar cea minim ( omin ) cu -1. Din aceast ultim
iniializare rezult c, la nceputul algoritmului rezoluia imaginii se dubleaz:
No M o = 2 N I 2M I , (2.20)
unde N o M o reprezint rezoluia imaginii pe octav.

Algoritmul dezvolt recursiv filtrri ale imaginii pn n momentul ndeplinirii
condiiei s + 1 = S . n acest caz dimensiunea imaginii va deveni:
N M
N o +i M o +i = o +i 1 o +i 1 . (2.21)
2 2
Cnd o = omax spaiul scalrilor este complet i va avea o form piramidal. Din spaiul
scalrilor se genereaz spaiul diferenelor de filtrri Gaussiene (DoG) folosind relaia:
D( x, y, ) = L( x, y, k ) L( x, y, ) , (2.22)
1
unde k = 2 s . Spaiul scalrilor se utilizeaz n gsirea poziiilor P( x, y, ) n care
valoarea funciei D( P) este mai mare dect valorile tuturor celor 26 de vecini din cubul
3 3 3 centrat n P .
Fie:
= {P( x, y, ) | P ' V333 ( x, y, ), | D( P) |>| D( P ' ) |} (2.23)
mulimea extremelor locale ale funciei D(.) n spaiul scalrilor.

n continuare se dorete rafinarea mulimii impunnd criterii de stabilitate n
vecintatea fiecrui element . Metoda de rafinare const n determinarea punctelor
de extrem ale funciei D(.) n vecintatea punctelor .
Folosind dezvoltarea Taylor :
( x0 + x) ( x0 ) + ( x0 )T x + 12 xT H ( x0 )x (2.24)
pentru funcia D( x, y, ) i transformnd de fiecare dat originea n punctul , se poate

analiza offsetul fa de :
D( ) 1 T 2 D( )
T
D ( + ) = D( ) + + , (2.25)
2 2
unde :
= ( x, y, )T (2.26)
T
D D D D
= . (2.27)
x y
Pentru determinarea extremelor funciei D(.) (extreme notate ) se deriveaz (2.25) i se

egaleaz cu 0:
D
T
= 0, (2.28)

ecuaie echivalent cu:

D D D
x+ y+ =0, (2.29)
x y
din care rezult:
2 D D 2 D 2 D
2 x + + y +
x x xy x
2 D 2 D D 2 D
x+ 2 y+ + = 0. (2.30)
y x y y y
2 D 2 D 2 D D
x+ y+ +
x y 2
Ecuaia (2.30) poate fi rescris matricial prin:

2 D D
+ =0, (2.31)
2

iar offsetul unui punct este dat de relaia:
1
2 D D
= 2 . (2.32)

Calitatea punctelor de interes detectate cu ajutorul algoritmului descris, se regsete n
proprietile offsetului . Dac:

| x x |< 0.5; | y y |< 0.5; | |< 0.5 (2.33)
i:
| D ( ) |< 0.03 , (2.34)
atunci sunt ndeplinite condiiile de stabilitate pentru . Pentru eliminarea rspunsurilor

tip muchie se analizeaz proprietile valorilor proprii ale matricei Hessian:
Dxx Dxy
H = . (2.35)
Dyx Dyy
Valorile proprii ale matricei H sunt proporionale cu valoarea curburii principale a

funciei D(.) . Notnd cu L valoare proprie cu magnitudinea mai mare, cu S a doua
L
valoare proprie, iar cu r valoarea raportului , rezult:
S
Tr ( H ) ( + S ) = ( r + 1)
2 2
= L , (2.36)
Det ( H ) L S r
unde
Tr ( H ) = Dxx + Dyy
. (2.37)
Det ( H ) = Dxx Dyy Dxy 2
Inegalitatea
Tr ( H ) ( r + 1)
2
< (2.38)
Det ( H ) r
conduce la eliminarea punctelor de interes pentru care raportul curburilor principale

depete o valoare r.
Determinarea poziiilor punctelor de interes ce verific condiiile de stabilitate se
efectueaz folosind ecuaia:
= + (2.39)
unde prin s-a notat offsetul lui .
2.3.2 Algoritmul de detecie Harris-Laplace
Conform multiplelor evaluri efectuate asupra algoritmilor de detecie a punctelor

de interes (Schmid 2003, Tisamanyan 2006), algoritmul Harris prezint performane
foarte bune pentru imagini cu factor de scalare constant. Necesitatea dezvoltrii de
algoritmi fiabili i robuti, pentru extragerea punctelor de interes din secvene de imagini
cu factor de scalare variabil, a condus la combinarea detectorului Harris (prezentat n
2.1.3) i Laplacianul Gaussianului (LoG) descris n (Lindberg, 1998). Principiul const n
utilizarea operatorului Laplacian pentru stabilirea nivelului de scalare ataat punctelor de
interes extrase cu detectorul Harris. Astfel, ambii detectori utilizeaz aceleai poziii n
planul imaginii pentru diferite rezoluii, rezultnd astfel o invarian la schimbri
semnificative ale scalrii. Algoritmul conine o etap dedicat construirii unui spaiu al
scalrilor pentru valori ale parametrului arbitrar selectate:
n = k n 0 , (2.40)
unde k este factorul de scalare dintre niveluri succesive. Pentru fiecare nivel sunt extrase
puncte de interes prin stabilirea maximului local n vecintatea octoconectat a poziiei
( x, y ) . Calitatea punctelor de interes detectate este stabilit prin gsirea locaiilor de
maxim n raport cu parametrul :
F ( x, y , n ) > F ( x , y , l ) (2.41)
unde l {n 1, n + 1} i F ( x, y, n ) este mai mare dect o valoare de prag. Sunt rejectate

poziii pentru care Laplacianul nu reprezint extreme sau rspunsul este sub o valoare de
prag:
n 2 | Lxx ( x, y, n ) + Lyy ( x, y, n ) |> (2.42)
Iterativ, algoritmul Harris-Laplace se poate descrie astfel:

se caut maximele locale n raport cu parametrul ( k ) pentru poziia
( x, y )( k ) . Dac nu se detecteaz maxime locale poziia este rejectat;
se caut poziii ( x, y )( k +1) n planul imaginii, ct mai apropiate de ( x, y )( k ) ,
ce corespund punctelor de interes detectate cu Harris i au scala ( k +1) ;

Se reia primul pas dac k +1 k sau ( x, y )( k +1) ( x, y )( k ) ;
2.4 Algoritmi de detecie a punctelor de interes folosind metode frecveniale
n seciunile 2.2 i 2.3, detectarea unui punct de interes n domeniul spaial a constat
n analiza variaiei funciei imagine pe cele dou direcii ataate unei imagini. Modelul
energiei locale utilizeaz ca ipotez de lucru faptul c punctele de interes sunt localizate
n poziii din planul imaginii unde componentele transformatei Fourier sunt n faz
(Morrone i Owens, 1987). Aceast ipotez implic o analiz a congruenei fazelor,
congruen ce variaz de la valoarea 1 (indicnd un punct de interes) descresctor spre 0
(indicnd o poziie nesemnificativ). Adimensionalitatea congruenei fazelor conduce la
posibilitatea definirii unui prag pentru mbuntirea calitii punctelor de interes extrase.
2.4.1 Modelul congruenei fazelor
Componentele locale ale transformatei Fourier ataate unei poziii generale ( x, y )

au fiecare o amplitudine Am ( x, y ) i o faz m ( x, y ) . n figura 2.8 sunt reprezentate
componentele Fourier folosind vectori compleci sumarizai. Magnitudinea vectorului de
la origine pn la punctul de sfrit al componentelor Fourier reprezint energia local,
| E ( x) | , iar ( x) faza vectorului.
Fig. 2.8. Diagrama polar a componentelor seriei Fourier la o anumit locaie a semnalului
Calculul msurii congruenei fazelor PC1 se face cu (Morone i Burr, 1988):
| E ( x) |
PC1 = . (2.43)
Am ( x)
m
Dac toate componentele Fourier sunt n faz, atunci toi vectorii compleci ataai
vor fi aliniai iar valoarea lui PC1 va fi 1, altfel, dac nu exist congruen a fazelor,
valoarea va tinde la 0. Compararea msurii congruenei fazelor cu valori tip prag conduce
la detectarea muchiilor i/sau punctelor de interes.
Utilizarea undinelor pentru determinarea proprietilor frecveniale locale ale unui
semnal, conduce la pstrarea informaiilor despre faza componentelor. Este necesar
utilizarea de filtre liniare n faz precum undine non-ortogonale, care sunt n perechi tip
cuadratur simetric-antisimetric. Dac se noteaz cu un semnal unidimensional, iar
M ne i M no fiind wavelet-ul par-simetric (cosinus), respectiv impar-simetric (sinus) la o

scal n, atunci se poate afirma c rspunsurile fiecrei perechi de filtre formeaz un

vector de rspuns
en ( x ) , on ( x ) = I ( x ) M ne , I ( x ) M no . (2.44)
Amplitudinea transformatei la o anumit scal ataat undinei, este dat de

formula:
An ( x ) = en ( x ) + on ( x ) ,
2 2
(2.45)
iar faza este dat de formula:

n ( x ) = ata n2 ( en ( x ) , on ( x ) ) . (2.46)
Pentru fiecare punct component al semnalului, va rezulta un ir de vectori de

rspuns, numrul de vectori de rspuns fiind dat de numrul de scale folosite n
construirea wavelet-urilor. Aceti vectori de rspuns pot fi utilizai n acelai fel n care
vectorii componeni ai seriei Fourier sunt utilizai n calcularea congruenei fazelor. De
remarcat este faptul c se dorete obinerea de informaii n urma analizei unei plaje largi
de frecvene din semnal deoarece congruena fazelor prezint interes doar n cazul n care
mai muli termeni ai transformatei Fourier de frecven diferit sunt n faz. Avnd aceste
trei componente este posibil calcularea congruenei fazelor. Totui, exist nite
probleme ce pot aprea n calcularea congruenei fazelor:
calcularea congruenei fazelor devine nefavorabil dac toate componentele
seriei Fourier au amplitudinea foarte mic;
dac valoarea lui |E(x)| se afl n interiorul cercului de zgomot valoarea
congruenei fazelor i pierde semnificaia;
n cazul n care transformata Fourier este format dintr-un singur termen,

valoarea congruenei fazelor va fi ntotdeauna 1 An = E ( x ) .
n
Prima problem poate fi rezolvat prin adugarea la numitor a unei constante de
valoare foarte mic, , pentru a evita mprirea la o valoare nul:
E ( x)
PC1 ( x ) = , (2.47)
A ( x) +
n
n
unde:
E ( x) = F 2 ( x) + H 2 ( x) , (2.48)
F, H fiind proieciile pe axa real i axa imaginar a vectorului E ( x) (Fig.2.8).

Un caz aparte l reprezint calcularea congruenei fazelor n prezena zgomotului.
Dac semnalul este zgomot alb de tip gaussian, poziia vectorului de rspuns n cazul
aplicrii unor undine pereche n cuadratur la o anumit scal va forma o distribuie
gaussian 2D n planul complex. n acest caz este interesant de urmrit distribuia
magnitudinilor vectorilor de rspuns, ce vor forma o distribuie Rayleigh. Lund n
considerare zgomotul, (Kovesi, 1999) rezult:
E ( x ) T
PC1 ( x ) = , (2.49)
An ( x ) +
n
unde operatorul nseamn c valoarea este egal cu ea nsi dac este pozitiv i 0 n
caz contrar. Parametrul T reprezint un prag de limitare a zgomotului considerat i se
calculeaz ca o combinaie ntre media i dispersia distribuiei Rayleigh.
2.4.2 Utilizarea congruenei fazelor n analiza bidimensional
Metoda prezentat n 2.4.1 este valabil pentu cazul 1D. Se dorete aplicarea acestei
metode pentru a scoate n eviden trsturile prezente ntr-o imagine (un semnal discret
2D).
n cele ce urmeaz, se va prezenta modul n care informaiile prezentate pot fi
folosite n cazul analizei unui semnal 2D. Pentru calculul congruenei fazelor, este nevoie
de o pereche de filtre pentru defazarea semnalului cu 90 de grade, lucru realizat pentru
analiza semnalului 1D prin utilizarea filtrelor impare-simetrice. Deoarece nu se pot
construi filtre pare-simetrice, simetrice din punct de vedere rotativ, un semnal de tip
imagine poate fi analizat aplicndu-se filtrele uni-dimensionale pe mai multe direcii, iar
rspunsurile obinute s fie combinate ntr-un anumit fel. Trei aspecte trebuie avute n
considerare:
modelul filtrelor bi-dimensionale;
numrul direciilor luate n considerare;
modul n care rspunsurile obinute pe fiecare direcie
vor fi folosite n continuare.

Filtrele unidimensionale prezentate n capitolele anterioare pot fi adaptate pentru
cazurile 2D prin aplicarea unei funcii de distribuie perpendicular pe direcia filtrelor.
Astfel, convoluia cu un semnal 2D de tip imagine poate fi implementat prin realizarea
unei convoluii 1D cu funcia de distribuie, urmat de o convoluie 1D pe direcia
perpendicular pe cea a wavelet-urilor. Deoarece, informaiile despre faze sunt cele care
prezint interes, trebuie avut n vedere ca efectuarea convoluiei cu funcia de distribuie
s nu altereze informaiile despre faze din imagine.
Cel mai des ntlnit model de distribuie este cel Gaussian. Acesta are avantajul de a
scdea modularea n amplitudine a componentelor seriei Fourier dar, n acelai timp nu
afecteaz fazele, astfel nct informaiile despre faze, n punctele unde apar anumite
trsturi, vor rmne neschimbate. Dac, de exemplu, se folosete o funcie de distribuie
rectangular, anumite faze din semnal vor fi inversate deoarece funcia de transfer (o
funcie sinus) conine i valori negative. n acest caz, valoarea de congruen a fazelor
pentru anumite trsturi va fi eronat.
Un lucru important ce trebuie avut n considerare este faptul c toate posibilele
trsturi ce pot fi detectate pe anumite direcii au o pondere egal i toate posibilele
conjuncii de trsturi ce pot aprea ntr-un punct pe diferite orientri (de exemplu coluri
sau intersecii de tip T) sunt tratate n mod asemntor. Este important, de asemenea, ca
ponderarea valorii energiei ce este utilizat n calcularea valorii de congruen a fazelor
cu valoarea de distribuie a frecvenelor s fie fcut dup nsumarea valorilor energiilor
obinute pe toate direciile analizate. Deoarece se dorete ca valoarea final obinut
pentru congruena fazelor s fie o valoare normalizat, fiecare rspuns obinut pe o
anumit orientare va avea o influen proporional cu energia calculat pe acea direcie.
Pentru fiecare punct din imagine se calculeaz valoarea energiei, E(x), pentru
fiecare orientare, se compenseaz influena zgomotului, se pondereaz n funcie de plaja
de distribuie a frecvenelor i se nsumeaz energiile. Suma obinut este normalizat
prin mprirea acesteia la amplitudinea rspunsului fiecrui wavelet n punctul respectiv.
Ecuaia de calculare a congruenei fazelor pentru cazul 2D devine:
o n W0 ( x ) Ano ( x ) no ( x ) To
PC2 ( x ) = , (2.50)
o n Ano ( x ) +
unde o reprezint indexul orientrii.

Se observ din ecuaia (2.50), realizarea compensrii influenei zgomotului pentru
fiecare orientare n parte. Zgomotul identificat cu ajutorul undinei de scal minim poate
varia semnificativ de la o orientare la alta, datorit fenomenului de corelaie a zgomotului
de-a lungul liniilor de scanare ce poate aprea n procesul de digitizare a imaginii.
2.5 Evaluarea performanelor algoritmilor de detecie
Calitatea trsturilor vizuale, extrase dintr-o imagine achiziionat folosind o

camer montat pe efectorul unui robot manipulator, reprezint una din condiiile
necesare n asigurarea premiselor proiectrii unei legi de control bazate pe imagini care s
prezinte performane tip stabilitate, robustee, validitate n timp real. Multitudinea
aplicaiilor precum recunoaterea formelor (Marques de Sa, 2001), detectarea obiectelor
n micare (Forsyth i Ponce, 2003), analiza i descrierea scenelor (Ma, et al. 2005), etc.,
au constituit puncte de start n analiza performanelor trsturilor vizuale. Totui, n
literatura de specialitate nu exist criterii de evaluare a performanelor trsturilor vizuale
utilizate n sisteme servoing.
Trsturile tip puncte de interes, utilizate n special pentru aplicaii de estimare a
fluxului de micare (Shapiro, 2000), de modelarea vederii panoramice (Peer i Salina,
2002), visual servoing (Chaumette i Hutchinson, 2006), necesit proprieti tip
stabilitate, robustee, acuratee. n acest subcapitol sunt prezentate cele mai cunoscute
metode de evaluare a performanelor algoritmilor de detecie a trsturilor tip punct de
interes.
n general criteriile de performan msoar calitatea punctelor de interes pentru
aplicaii precum recunoaterea obiectelor sau reconstrucia 3D. Sunt aplicabile oricrui
tip de scen de lucru i nu necesit o modelare anterioar sau un nivel nalt de
caracterizare a trsturilor utilizate. Evaluarea algoritmilor de detecie a punctelor de
interes este concentrat n general n jurul urmtoarelor patru criterii:
1. stabilitate reprezint proprietatea unui punct de interes de a fi detectat pe
parcursul unei ntregi secvene de imagini;
2. repetabilitate reprezint compararea stabilitii punctelor de interes, dintr-o

anumit scen de lucru, prin modificarea parametrilor i condiiilor de achiziie a
imaginilor;
3. acuratee reprezint proprietatea unui punct de interes prin care poziia ataat
n planul imaginii este transpus prin parametrii intrinseci i extrinseci ai camerei
ct mai aproape de poziia 3D;
4. coninutul de informaie reprezint proprietatea de unicitate a vecintii unui
punct de interes;
Fa de cele patru criterii amintite anterior, mai poate fi considerat ca proprietate
ataat algoritmilor de detecie numrul de puncte de interes extrase, denumit rat de
detecie. O trecere n revist a criteriilor de evaluare a performanelor algoritmilor de
detecie, att pentru muchii ct i pentru puncte de interes este prezentat n (Schmid, et
al 2000). Tot n aceast lucrare sunt propuse noi abordri pentru repetabilitatea punctelor
de interes la diferite transformri aplicate scenei de lucru. Se definesc dou mulimi de
puncte de interes:
M 1 = { p1 | H1i p1 I i }
, (2.51)
M i = { pi | H i1 pi I1}
unde H ij reprezint transformarea homografic ntre imaginile I i i I j .
Msura invarianei punctelor de interes (i n acelai timp a stabilitii) trebuie s

in cont de condiiile de incertitudine ataate algoritmilor de detecie. Un punct de
interes invariant la transformri omogene nu este n general detectat ntr-o poziie fix
( pi ) , plauzibil fiind o vecintate de o anumit dimensiune . Schmid denumete acest
tip de msur -repetabilitate.

Perechile de puncte de interes ( p1 , pi ) ce corespund unei vecinti se definesc prin
mulimea:
Ri ( ) = {( p1 , pi ) | dist ( H1i p1 , pi ) < } . (2.52)
Rata de repetabilitate se definete utiliznd :
| Ri ( ) |
ri ( ) = , (2.53)
min(n1 , ni )
unde n1 = card{M 1}; ni = card {M i } .

Coninutul de informaie este descris printr-un vector de patru componente

dezvoltat conform ecuaiei:
Lx Lx + Ly Ly
L L L + 2L L L + L L L
V =
xx x x xy x y yy y y
, (2.54)
Lxx + Lyy

Lxx Lxx + 2 Lxy Lxy + Lyy Lyy
unde pentru poziia ( x, y ) , funcia Li1 ...in (( x, y ), ) reprezint convoluia imaginii I cu
nucleul derivatelor gaussiene Gi1 ...in (( x, y ), ) pentru ik {x, y} . De observat c V (1)
reprezint magnitudinea la ptrat a gradientului n timp ce V (3) este Laplacianul.
Distana dintre doi vectori de descriere a coninutului de informaie V1 i V2 este dat de

distana Mahalanobis:
d M (V2 ,V1 ) = ((V2 V1 )T C 1 (V2 V1 ))1/ 2 , (2.55)
unde matricea C reprezint matricea de covarian ataat incertitudinii descriptorilor

datorat zgomotului.
O alt abordare a evalurii performanelor algoritmilor de detecie a punctelor de
interes o regsim n (Tissainayagam i Sutler, 2004). Autorii propun urmtoarea
modalitatea de calcul a numrului de coluri stabile:
F n
SC = a (i, t ) , (2.56)
t =1 i =1
unde:
1, dac colul i a fost identificat n t cadre
a(i, t ) = , (2.57)
0, altfel
unde n reprezint numrul total de coluri iar F numrul total de cadre al secvenei de
imagini. Pentru fiecare cadru se poate identifica abaterea colurilor detectate folosind:
n
{b(i, t ) ([ x (t ) x (t 1)]
i i
2
+ [ yi (t ) yi (t 1)]2 )1/ 2 }
CDt = i =1
n
, (2.58)
b(i, t )
i =1
unde
1, dac colul i a fost identificat pentru d cadre

b(i, t ) = . (2.59)
0, altfel
Media abaterilor punctelor de interes (notat ), variana abaterii colurilor 2 i
procentajul de coluri stabile identificate cu succes, reprezint indicatori utili pentru
evaluarea performanelor algoritmilor de detecie. Aceti indicatori se pot calcula astfel:
media abaterilor punctelor de interes
F
1
(CD) =
F d
CD
t =d
t (2.60)
variana abaterii colurilor

F
1
2 (CD) =
F d
(CD CD)
t =d
t
2
(2.61)
procentajul de coluri stabile pentru cadrul t

SC
p= (2.62)
NI M I
Diferena ntre criteriile de evaluare a performanei algoritmilor de detecie a
punctelor de interes propuse n (Tissainayagam i Sutler, 2004) fa de (Schmid, 2004) l
reprezint necesitatea atarii unui algoritm de urmrire cu ajutorul cruia s fie
identificat fiecare corespondent pentru punctele de interes. Totodat ambele articole
propun criterii de evaluare a performanelor algoritmilor de detecie a punctelor de interes
fr a face legtura cu aplicaii concrete tip determinarea fluxului de micare, randare sau
sisteme servoing.
n (Martinez-Fonte, et al 2004), (Moreels i Perona, 2007) se prezint abordri
probabilistice de evaluare a performanelor algoritmilor de detecie. Folosind parametrii
de calibrare ai camerei si algoritmi de urmrire, se definesc:
nr_false_alarms
false_rate=
nr_attempted_matchesnr_database
(2.63)
nr_detections
detection_rate= .
nr_attempted_matches
Pentru generarea secvenelor de imagini sunt stocate diferite proiecii 2D ale obiectelor
3D.
Criteriile de evaluare a performanelor trsturilor vizuale descrise n acest

subcapitol, au fost folosite ndeosebi pentru dezvoltarea unor aplicaii de tipul
recunoatere de obiecte, construire flux de micare, reconstrucie 3D folosind nori de
puncte. Utilizarea evalurii performanelor punctelor de interes se regsete i n aplicaii
de dezvoltare a metodelor de calibrare a camerelor (Feng, et al, 2008).
2.6 Algoritmi de urmrire a trsturilor vizuale
Multitudinea aplicaiilor pentru care au fost dezvoltai algoritmi de urmrire a

obiectelor n secvene de imagini sunt prezente n domenii precum: animaie, robotic,
aeronautic, aplicaii militare, etc. Diferite categorii rezult din atitudinea cinematic i
dinamic a obiectelor urmrite fa de senzorul vizual.
n categoria de aplicaii pentru care algoritmii de urmrire sunt dezvoltai
considernd ipoteza de obiect dinamic se detaeaz aplicaiile de reconstrucie a
traiectoriei pentru autovehicule i roboi mobili. n (Betke, et al., 2000) se propune un
algoritm de urmrire bazat pe regiuni de interes. Marele dezavantaj l reprezint
posibilitatea intersectrii regiunilor cu aceleai proprieti, dar care caracterizeaz n
acelai timp att obiecte staionate ct i aflate n micare. Pentru mbuntirea acestui
algoritm s-a propus adugarea de informaii de tipul model 3D al zonei de cutare. O alt
modalitate de urmrire a obiectelor aflate n micare l constituie caracterizarea obiectului
prin mulimea vectorilor si de micare i construirea unei traiectorii non-influenabile de
apariia sau dispariia instantanee a trsturilor vizuale (Savier i Sayed, 2006). Totui,
perturbaia poate deveni important n cazul creterii sau scderii semnificative a
raportului dintre apariia i dispariia trsturilor vizuale (de exemplu analiza traiectoriilor
autovehiculelor n intersecii).
Utiliznd o transformare de tip rang, transformare non-parametric, se ataeaz o
valoare n funcie de numrul de pixeli vecini dintr-o fereastr de dimensiuni reduse, al
cror nivel de gri este mult mai sczut dect al centrului ferestrei (Anderson, et al 2007).
Dei teoretic metoda prezint proprieti de invarian la schimbri ale fluxului luminos,
n practic s-au observat erori de urmrire n cazul umbririi scenei de lucru i o

modificare substanial a rangurilor ataate.
Dezvoltarea de algoritmi pentru reconstituirea traiectoriei obiectelor n secvene de
imagini este un proces foarte important pentru utilizarea vederii artificiale n sisteme de
control a roboilor. Proiectarea legilor de reglare bazate pe feedback vizual necesit n
principal stabilirea corespondenelor ntre poziiile trsturilor vizuale din cadre succesive
(Chaumette i Hutchinson, 2006). Un algoritm de detecie robust a trsturilor vizuale ce
descriu obiectul mpreun cu o metod de urmrire, cu performane ale timpilor de rulare
foarte bune, constituie premisele proiectrii unui sistem performant de control bazat pe
imagini.
Tehnicile de urmrire dedicate aplicaiilor servoing pot fi mprite n dou mari
categorii (Marchand i Chaumette, 2005): bazate pe trsturi sau pe model. n cazul
urmririi bazate pe trsturi vizuale primitivele considerate pentru descrierea obiectelor
sunt de natur geometric (coluri, centroizi, contur, regiuni de interes, etc.). Cea de a
doua tehnic este derivat din cunotine de tipul model 3D al obiectelor din scena de
lucru. Pentru cea de a doua tehnic avantajele se constituie ntr-o robustee de nivel nalt
pentru scene de lucru complexe plus o putere mare de predicie n cazul micrilor
afectate de ocluzia dintre obiecte. Dezavantajul tehnicilor de urmrire bazate pe model
3D l reprezint timpul necesar procesrii informaiilor i identificrii obiectelor n scena
de lucru.
Dintre metodele de urmrire propuse n literatura de specialitate, dou sunt de
departe cele mai utilizate: metoda bazat pe regiuni de interes i metoda bazat pe
proprieti ale gradientului funciei imagine. Obiectivul metodelor de estimare a micrii
bazate pe zone de interes este de a considera un model al obiectului int utiliznd
informaii tip intensitate bidimensional, grupate n vecintatea poziiei unei trsturi
vizuale, i de a calcula locaia ntr-un cadru nou prin comparaia noilor date extrase cu
modelul considerat. Aceast vecintate care descrie proprietile unei trsturi vizuale se
numete zona de interes. Datele sunt comparate n mod uzual prin utilizarea unui model
parametric simplu de micare tip deplasare afin (translaie sau rotaie), iar optimalitatea
determinrii noii locaii rezult din metodele de corelaie discrete. Metodele de estimare a
micrii bazate pe zone de interes sunt n general simple, eficiente i cu un nivel sczut al
efortului computaional.
O problem fundamental a algoritmilor de urmrire bazai pe zone de interes este
criteriul de selecie a acestor zone. Una din abordrile prezente n literatura de specialitate
o reprezint setarea pe parcursul ntregii secvene de imagini a zonei de interes ca fiind
aceeai cu cea extras n primul cadru. Avantajul acestei abordri este faptul ca la fiecare
etap algoritmul de urmrire folosete ca date primare informaii nemodificate de
dinamica procesului de achiziie. Totui, inadaptabilitatea la schimbri a zonei de interes
reprezint un dezavantaj major. Din aceast cauz pot s apar situaii precum
imposibilitatea urmririi obiectului dup o transformare ce conduce la ieirea din cadru a
unei pari din obiect.
Alternativa metodei de selecie a zonei de interes bazat pe primul cadru al
secvenei de imagini, este utilizarea informaiilor extrase din cadrul t-1 pentru cadrul t.
Dezavantajul acestei abordri este c algoritmul tinde s se ndeprteze n timp de
modelul original al obiectului pentru c nu exist certitudinea calculului fr erori a noii
locaii a obiectului.
Cross-correlation este un algoritm de urmrire a locaiilor zonelor de interes
utiliznd similariti ale nivelurilor de gri. Utilizarea metodei pentru algoritmi de
urmrire a micrii este motivat prin nglobarea sumei ptratelor distanelor:
d I2* , I (x, y ) = I * ( x, y ) I ( x + x, y + y ) ,
2
(2.64)
x, y
unde I ( x + x, y + y ) este un cadru al secvenei de imagini iar I * ( x, y ) este cadrul

referin. Prin x, y s-au notat variaiile poziiei dintre cadrul de referin i cadrul
curent n direciile x i y. Suma este calculat dup toi pixelii din zona de interes.
Dezvoltnd (2.64) rezult:
d I2* , I (x, y ) = I *2 ( x, y ) 2 I * ( x, y ) I ( x + x, y + y ) + I 2 ( x + x, y + y ) , (2.65)
x, y
Deoarece n ecuaia (2.65) termenul I * ( x, y ) este constant iar termenul I 2 ( x + x, y + y )

este aproximativ constant rezult c:
s (x, y ) = I * ( x, y )I ( x + x, y + y ) . (2.66)
x, y
este o msur a similaritii dintre zona de interes i cadrul curent.

Exist dezavantaje n utilizarea ecuaiei (2.66) pentru estimarea micrii cum ar fi:
ecuaia (2.66) rezult din presupunerea c energia imaginii este aproximativ
constant. Dac energia I 2
( x, y ) variaz cu poziia, estimarea micrii
prin ecuaia (2.65) poate conduce la inexactiti;

dimensiunea ferestrei s (x, y ) depinde de dimensiunea zonei de interes.
Apar erori la estimri ale micrii cnd avem de-a face cu schimbri de
scal;
ecuaia (2.66) nu este invariant la schimbri de amplitudine n funcia
imagine cauzate de schimbri ale fluxului luminos pe parcursul secvenei de
imagini.
Pentru mbuntirea estimrii micrii via cross-correlation au fost propuse diferite
modaliti de calcul a coeficientului de corelaie precum:
c(x, y ) =
x, y
[ I * ( x, y ) I * ][ I ( x + x, y + y ) I ]
(2.67)
x, y
[ I * ( x, y ) I * ]2 x , y [ I ( x + x, y + y ) I ]2
unde I * este media aritmetica a nivelurilor de gri din zona de interes, iar I este media
aritmetic a zonei de cutare.
Aceast metod de urmrire poate fi folosit n condiia n care se presupune c
distana de deplasare este relativ mic n comparaie cu dimensiunile obiectului din
imagine. Fiind determinat un punct de interes Pi din imaginea I1, se caut vecinul care se
aseamn cel mai mult din imaginea I2 (fig.2.9). Primul pas este de a determina trsturile
vizuale de interes (de ex: colurile) din imaginea I1 achiziionat la momentul t. Al doilea
pas l constituie realizarea corespondenelor ntre punctele de interes detectate n
imaginea I1 i punctele corespunztoare din imaginea I 2 achiziionat la momentul t+t.
Cutarea se realizeaz ntr-o vecintate centrat n pixelul Pi de coordonate (xi, yi), (Pi
fiind pe rnd, fiecare col detectat n imaginea I1), mrimea acestei vecinti fiind
corelat cu amplitudinea micrii. Se caut n imaginea I2 cea mai bun aproximare a
colului Pi din imaginea I1. Pentru realizarea acestei operaii se utilizeaz o matrice
(masc) de comparaie care are ca element central intensitatea pixelului Pi, iar celelalte
elemente reprezint intensitile vecinilor (dimensiunea acestei matrice este stabilit n
prealabil de utilizator).
Punct de interes (xi,yi) Cea mai buna
Vecinatate
de cautare

xi,,yi
masc
Imaginea I1 Imaginea I2
Punct
initial
Punct
(xi,yi)
final
Vector de micare (xf,yf)
Fig. 2.9 Estimarea vectorilor de micare
Primul pas este de a determina trsturile vizuale de interes (de ex: colurile) din
imaginea I1 achiziionat la momentul t. Al doilea pas l constituie realizarea
corespondenelor ntre punctele de interes detectate n imaginea I1 i punctele
corespunztoare din imaginea I 2 achiziionat la momentul t+t. Cutarea se realizeaz

ntr-o vecintate centrat n pixelul Pi de coordonate (xi, yi), (Pi fiind pe rnd, fiecare col
detectat n imaginea I1), mrimea acestei vecinti fiind corelat cu amplitudinea
micrii. Se caut n imaginea I2, cea mai bun aproximare a colului Pi din imaginea I1.
Pentru realizarea acestei operaii se utilizeaz o matrice (masc) de comparaie care are ca
element central intensitatea pixelului Pi, iar celelalte elemente reprezint intensitile
vecinilor (dimensiunea acestei matrice este stabilit n prealabil de utilizator).
n construcia vectorului de micare, punctul de coordonate (xi, yi) este considerat ca
fiind iniial (coada vectorului de micare), iar punctul de coordonate (xf, yf) determinat n
imaginea I2, care aproximeaz cel mai bine colul Pi, este considerat final (vrful
vectorului de micare). Masca de comparaie este deplasat prin vecintatea de cutare
din imaginea I2, reinndu-se pixelul pentru care vecintatea acestuia aproximeaz cel
mai bine masca de comparaie. Fiecare pereche de pixeli astfel gsit este memorat ntr-
un vector numit vector de micare. n figura 2.10, este evideniat modul de determinare a
vectorilor de micare. Se consider dou cadre succesive I (t0 ) , I (t1 ) i poziia unei
trsturi bidimensionale x(t0 ) . Dac prin aplicarea algoritmului de detecie a
corespondenilor rezult perechea ( x(t0 ); x(t1 )) atunci vectorul de micare va avea
originea in x(t0 ) i vrful n proiecia d ( x) a lui x(t1 ) pe cadrul I (t0 ) .
t0
x(t0)
t1 d(x)
t x(t1) I(t0)
I(t1)
y
JJJJJJJJJG
Fig.2.10 Vectorul de micare x(t0 ) d ( x )
Spre deosebire de Cross-corelation, algoritmul Gradient Vector Matcher nu face o

cutare pixel cu pixel n imaginea I2, ci ncearc s gseasc colul corespondent dintr-o
mulime mult mai mic de pixeli. Astfel, primul pas este de a determina colurile, att din
imaginea I1 ct i din imaginea I2 , folosind unul din operatorii de detecie a trsturilor
vizuale de interes. Gradient Vector Matcher a fost dezvoltat n principal pentru trsturi
extrase via detectorul Harris. Pentru fiecare col detectat n imaginea I1 se testeaz care
col dintre cele detectate n imaginea I2 l aproximeaz cel mai bine realizndu-se astfel
perechi de coluri corespondente (fig. 2.11).
Fig. 2.11. Cutarea colului corespondent n cazul GVM

Aceast tehnic de urmrire folosete ct mai multe informaii posibile rezultate n

urma procesului de detecie a colurilor. n acest scop, sunt folosite i comparate trei
atribute: I (intensitatea nivelului de gri), Ix (valoarea variaiei funciei intensitate de-a
lungul axei x), Iy (valoarea variaiei funciei intensitate de-a lungul axei y). Ix i Iy sunt
calculate prin extragerea rdcinii ptrate a gradienilor filtrai < Ix2> si < Iy2> pentru
fiecare pixel n parte, i calculnd media pe o masc de suprafa 3x3. Un vector este
construit cu cele trei componente, (I, Ix, Iy) i comparat cu vectorul echivalent colului
curent (figura 2.12).
Fig. 2.12. Gradient Vector Matcher (GVM)
Comparnd doi vectori, se calculeaz valoarea m(v,w) ntre punctul curent si fiecare
punct candidat, conform relaiei:
vw
m ( v, w ) = . (2.68)
v w
Deoarece schimbrile liniare ce apar n I duc la schimbri att n Ix i Iy, aceast

metod nu este sensibil la schimbri liniare a condiiilor de iluminare. Pixelul candidat,
care are cea mai mic valoare m(v,w), este considerat ca fiind colul corespondent, atta
timp ct m este mai mic dect o valoare de prag predefinit.
Utilizarea trsturilor bidimensionale (Lazr i Burlacu, 2007a) pentru
caracterizarea obiectelor conduce la algoritmi rapizi i robuti pentru scene de lucru cu o
complexitate medie. innd cont de principala caracteristic a trsturilor bidimensionale
(aceea de variaie pe dou direcii a funciei imagine) se pot genera vectori de micare
att pe baza proprietilor tip vecintate ct i pe baza proprietilor tip structur a
trsturii vizuale. Avantajul tehnicii de urmrire a obiectelor utiliznd trsturi vizuale (n
special trsturi bidimensionale) l reprezint simplitatea i fidelitatea de reconstituire a
micrii n secvene cu obiecte bine definite (fr ocluzii).
2.7 Sisteme servoing
Senzorul vizual reprezint una dintre componentele fundamentale ale unui robot,
permind investigarea mediului de lucru fr a fi necesar contactul cu elementele
acestuia (Siciliano i Khatib, 2008). Visual servoing reprezint o fuziune a rezultatelor
obinute din cercetri ale mai multor domenii cum ar fi analiza i procesarea in timp real
a imaginilor, robotic, teoria controlului si a sistemelor, proiectarea aplicaiilor in timp
real. Aparute la nceputul anilor 80, sistemele servoing au determinat un interes major
printre cercettori, cele mai importante centre fiind Institute of Computer Science and
Applied Mathematics, Christian-Albrechts-University of Kiel, Germania, INRIA
Institut National de Recherche en Informatique et en Automatique, din University of
Rennes, Frana, Robotic Institute, Carnegie-Mellon University, Pittsburgh, USA,
Department of Electrical and Computer Engineering, University of Illinois sau CSIRO
Division of Manufacturing Technology, Kenmore, Australia.
n (Weiss, 1984) se face pentru prima dat o descriere complet a celor dou
arhitecturi fundamentale ale sistemelor servoing: arhitectura bazat pe poziie i
arhitectura bazat pe imagine. Fiecare din cele dou arhitecturi prezint avantaje i
dezavantaje pentru procesele de timp real (Hutchinson, et al 1996).
Arhitectura bazat pe poziie se constituie n calcularea unei erori reprezentate n
sistemul Cartezian si necesit att un model al obiectului ( de obicei de tip CAD), ct si o
camer perfect calibrat pentru a obine o estimare a poziiei si orientrii obiectului
(Mezouar i Chaumette, 2002).
Avndu-se drept unul din scopurile principale stabilitatea global a sistemelor
servoing, s-a constatat faptul c arhitectura bazat pe poziie sufer limitri masive din
punct de vedere al robusteii si descrierii matematice a modelelor necesare
implementrilor fizice. Astfel, au fost create aa numitele metode hibride, pentru a se
compensa deficientele iniiale (Andreff, et al 2002), (Kyrki, et al 2004), (Schramm, et al,
2004).
n cazul celei de-a doua arhitecturi, bazat pe imagine, se evit folosirea unui model
al obiectului prin msurarea unui semnal eroare n planul imaginii, semnal mapat direct n
comenzile elementului de execuie al robotului (Spong, et al 2006).
Ambele arhitecturi folosesc trsturi vizuale ce pot fi privite drept mrimi de

caracterizare a proprietilor obiectelor n planul imaginii. Dac pentru arhitectura bazat
pe poziie trsturile sunt folosite pentru a caracteriza poziii prin corelarea planului
imaginii cu spaiul tridimensional, n cazul arhitecturii bazate pe imagine aceste trsturi
conduc la formarea matricei Jacobian, matrice ce reprezint maparea ntre vitezele
obiectelor proiectate n planul imaginii i mediul de lucru al robotului. Singularitile care
pot s apar n cazul matricei Jacobian, plus imposibilitatea controlului direct asupra
vitezelor dezvoltate de robot n spaiul tridimensional, conduc la dificulti n proiectarea
regulatorului.
Creterea numrului de grade de libertate ale roboilor inclui n sisteme servoing
(Drummond i Cipolla, 2002), plus complexitatea mrit a obiectelor din scena de lucru
(Fujimotto, 2003), au condus la necesitatea implementrii de noi metode pentru
proiectarea legii de control. Astfel, una din soluiile propuse vizeaz controlul predictiv
(Gangloff, 2003) avnd scopul de a crete viteza de rspuns a sistemului servoing.
Tehnicile de conducere a roboilor trebuie s ofere capabilitatea de a modifica
automat poziii si traiectorii, i de a se adapta variaiilor de task-uri sau ale spaiilor de
lucru. Senzorii bazai pe vederea artificial permit obinerea flexibilitii dorite, iar
introducerea lor n structurile de conducere a roboilor a dat natere la sistemele de
urmrire vizuale, numite sisteme servoing. Aceste sisteme sunt capabile s msoare
poziiile relative dintre efectorul robotului si obiectele din spaiul de lucru. Prelucrarea i
interpretarea informaiilor din imagini 2D pentru estimarea poziiilor necesit extragerea
trsturilor din imagini care sunt corelai cu modelele obiectelor. Erorile dintre poziiile
dorite si cele msurate sunt exprimate in funcie de descriptorii f, rezultnd arhitectura
sistemului servoing bazat pe imagini din Fig. 2.1. Descriptorii includ componente
structurale ale imaginii cum ar fi puncte, linii si arii, dar si parametrii cantitativi ataai.
n figura 2.13 este prezentat sistemul servoing utilizat pe parcursul elaborrii tezei de
doctorat n testarea algoritmilor, sistem compus dintr-un robot manipulator ABB IRB
1400 i o camer monocrom drept senzor vizual. Structurile de control bazate pe imagini
necesit o atenie deosebit acordat algoritmilor de conducere care trebuie s depind de
relaiile dintre poziiile relative si descriptori. n sistemele servoing, rolul vederii
artificiale este de a efectua msurtori care afecteaz dinamica ntregului sistem.
Fig.2.13 Sistem sevoing bazat pe imagini
Regulatorul utilizat n acest caz folosete un feedback vizual, numindu-se regulator

bazat pe imagini i trebuie s asigure stabilitatea si o comportare adecvat n regim
tranzitoriu. n literatura de specialitate nu exist nc metode de analiz i sintez a
regulatoarelor bazate pe imagini bine definite in raport cu termenii din teoria controlului
automat, iar proiectarea acestor regulatoare se face utiliznd strategii ad-hoc.
Controlul vizual bazat pe imagini (eng. Image based visual servo control)
utilizeaz ca intrare o eroare, determinat prin msurri n planul imaginii, pentru a
poziiona efectorul unui robot manipulator:
e (t ) = f (t ) f * . (2.69)
Parametrii din ecuaia (2.69) sunt definii astfel: vectorul f (t ) = (u , v) reprezint

un set de poziii curente ale trsturilor vizuale i f* conine poziiile dorite pentru
ndeplinirea task+ului. Viteza camerei va fi notat cu vc . Matricea Jacobian a imaginii
J f k 6 realizeaz legtura ntre f i vc (Chaumette i Hutchinson, 2006)
f = J f vc , (2.70)
unde:
u uv 2 + u2
0 v
Jf =
z z (2.71)
v v 2
2
uv
0 u
z z
pentru o singur trstur.
n ecuaia (2.71) s-a notat prin distana focal a camerei i prin z distana
raportat la a treia ax de coordonate a sistemului ataat camerei (eng. depth axis).
Utiliznd (2.69-2.71) rezult imediat c relaia dintre viteza camerei i variaia n timp a
erorii de poziionare poate fi exprimat prin :
e = J f vc . (2.72)
Considernd vc ca semnal de intrare pentru sistemul de comand a robotului, cel

mai simplu mod de a utiliza controlul bazat pe imagine este reducerea erorii cu un factor
exponenial folosind legea de control:
vc = J f 1e . (2.73)
Dac matricea Jacobian nu este ptratic, atunci pentru inversarea ei se utilizeaz o
form de inversare generalizat J f + = ( J f T J f )

1
J f T , avnd condiia necesar ca rangul
lui J f , calculat pentru un numr de cel puin 4 trsturi, s fie 6. Din succesiunea de
ecuaii anterioare rezult c acurateea legii de control bazat pe imagine depinde de

calitatea erorii generat de poziionarea trsturilor punctiforme i determinarea
corespondenilor n cadre succesive. Totodat, privind n ansamblu structura de reglare
reprezentat n figura 2.1, se ridic ntrebri asupra potenialelor probleme de stabilitate i
robustee (Chaumette, 1998), (Mezouar i Chaumette, 2002). Proiectarea legii de control
(2.73) necesit, n mod exclusiv, performane bine stabilite ataate trsturilor vizuale
utilizate: repetabilitate, robustee, acuratee. Cum s-a observat i n subcapitolul 2.5, nu
exist criterii de performan dedicate exclusiv analizei proprietilor trsturilor vizuale
utilizate n sistemele servoing. Multitudinea de trsturi vizuale propuse pentru
proiectarea legii de control bazate pe imagini (Mansard, et al. 2007), cum ar fi puncte de
interes (Hutchinson, 1996), contur (Marchand i Chaumette, 2004), momente ale imaginii
(Tahri i Chaumette, 2004), conduce la ideea gsirii unor criterii de evaluare a
performanelor uniform valabile.
2.8 Concluzii
n acest capitol au fost prezentate metode de detecie a punctelor de interes, trsturi

vizuale recomandate pentru utilizarea n proiectarea legilor de control bazate pe imagini
prin prisma performanelor ataate. Au fost descrise metode de detecie spaiale i
frecveniale, invariante la transformri n plan, dar i la variaia factorului de scalare.
Multitudinea aplicaiilor ce utilizeaz trsturi vizuale tip punct de interes (reconstituirea
traiectoriei obiectelor n secvene de imagini, reconstrucia 3D a obiectelor, etc.) au
condus la dezvoltarea de criterii de evaluare a performanelor acestui tip de trsturi
vizuale. Totui, pentru aplicaii mai complexe, cum este cazul sistemelor servoing,
criteriile de performan existente pentru evaluarea calitii punctelor de interes nu sunt
suficiente pentru a analiza utilitatea acestora n proiectarea legilor de control. Rezult
necesitatea dezvoltrii unor criterii de evaluare a performanelor dedicate sistemelor
servoing, care s poat decide asupra proprietilor tip repetabilitate, robustee, acuratee,
necesare trsturilor vizuale utilizate n proiectarea legilor de control bazate pe feedback
vizual. Legile de control a roboilor, bazate pe feedback vizual, utilizeaz ca informaie
de baz modificarea poziiei trsturilor vizuale n planul imaginii. Este necesar astfel
introducerea metodelor de urmrire a trsturilor vizuale n secvene de imagini pentru
stabilirea corespondenelor ntre cadre succesive. Dintre metodele de urmrire existente
n literatura de specialitate au fost descrise metoda bazat pe zone de interes i metoda
bazat pe proprieti de gradient.
Capitolul 3. Analiza indicilor de performan pentru algoritmi de detecie
a punctelor de interes
3.1 Introducere 3.4 Criterii de evaluare a performanelor

punctelor de interes n aplicaii
servoing
3.2 Implementarea i testarea algoritmilor 3.5 Rezultate experimentale
de detecie a punctelor de interes
3.3 Implementarea i testarea algoritmilor 3.6 Concluzii
de urmrire a punctelor de interes
Dezvoltarea aplicaiilor ce utilizeaz trsturi vizuale este direct influenat de

performanele algoritmilor de detecie. Fie c este vorba de stabilitate, repetabilitate sau
acuratee, criteriile de performan utilizate trebuie s includ, n analiza algoritmilor de
detecie, proprieti specifice ale aplicaiilor considerate. Utilizarea trsturilor
bidimensionale n diferite tipuri de aplicaii precum generarea de informaii asupra
structurilor 3D din probleme de micare (Cooke i Whotmough, 2005), recunoaterea
obiectelor ntr-o scen de lucru (Amit, 2002), urmrirea traiectoriei obiectelor n secvene
de imagini (Shapiro 2000), controlul roboilor manipulatori n task-uri tip servoing (Song,
et al, 2006), au necesitat n prealabil analiza performanelor diferiilor algoritmi de
extragere. O trstur tip punct poate fi folosit pentru a descrie un obiect dac ea este
iterat la fiecare aplicare a algoritmului de extragere. Astfel, utiliznd secvene de
imagini achiziionate pentru aceeai scen de lucru, s-au propus criterii precum
48 Analiza indicilor de performan pentru algoritmi de detecie a punctelor de interes
stabilitate, acuratee, robustee. Dup cum s-a descris i n subcapitolul 2.5 nu exist
multe criterii de evaluare a performanelor algoritmilor de detecie a trsturilor vizuale
pentru visual servoing. n aceast seciune sunt prezentate criterii noi de stabilitate a
punctelor de interes rezultate n urma analizei secvenelor de imagini cu dinamic
controlat (Burlacu and Lazr, 2006 a) i criterii noi de robustee a trsturilor
bidimensionale utilizabile n aplicaii servoing (Lazr i Burlacu, 2007 a), (Lazr i
Burlacu, 2007 b).
3.1 Introducere
Performanele sistemelor de control bazate pe feedback vizual dedicate roboilor

manipulatori sunt strns legate de performanele trsturilor vizuale utilizate. Proiectarea
legii de reglare pe baza punctelor de interes necesit n prealabil stabilirea calitii
acestora. Evaluarea calitii punctelor de interes ce caracterizeaz obiectele din planul
imaginii asigur premisele dezvoltrii unei strategii de control robuste.
Diferitele tehnici de procesare a imaginii pentru extragerea punctelor de interes nu
au fost evaluate pn n prezent exclusiv pentru aplicaii servoing. Secvenele de imagini
ce surprind un task prestabilit pot fi utilizate ca date de intrare pentru algoritmii de
evaluare a punctelor de interes, dedicate sistemelor servoing. Astfel, considernd o
configuraie de start a punctelor de interes se dorete generarea unei traiectorii n planul
imaginii care s includ la un moment dat poziiile punctelor de interes din configuraia
dorit.
3.2 Implementarea i testarea algoritmilor de detecie a punctelor de

interes
Dezvoltarea algoritmilor de detecie a punctelor de interes a fost realizat folosind

Image Processing Toolbox din mediul de programare Matlab 7.1. Implementarea i
testarea algoritmilor dezvoltai are drept scop validarea performanelor analitice descrise
Analiza indicilor de performan pentru algoritmi de detecie a punctelor de interes 49
n seciunea 2.5. n continuare sunt prezentate metodele de implementare i rezultatele

experimentale pentru algoritmul Harris , SIFT i metoda congruenei fazelor.
3.2.1 Algoritmul Harris
Algoritmul se bazeaz pe utilizarea proprietilor funciei de autocorelaie, dup

cum a fost descris n seciunea 2.2.3. Implementarea este compus din dou etape: o
prim etap n care sunt calculate valorile funciilor de autocorelaie pentru fiecare pixel
din imagine; o a doua etap n care se determin valoarea de maxim local a acestei funcii
intr-o vecintate definit de utilizator. Deoarece aceast metod de detecie a punctelor
de interes este foarte sensibil la zgomot, trebuie parcurs o etap de preprocesare a
imaginilor considerate.
Primul pas al acestui algoritm, dup citirea imaginii, este cel n care imaginea color
este transformat n imagine grayscale (imagine n nuane de gri), rezultnd un tablou
imagine (matrice m n ) compus din nuane de gri. Pentru a realiza acest lucru, o variant
este utilizarea funciei liniare rgb2gray din toolbox-ul de Image Processing al software-
ului Matlab. Utiliznd imaginea grayscale algoritmul parcurge urmtoarele etape:
Intrri: A(x,y) - imaginea grayscale, pragul

Ieiri: trsturile (puncte de interes) obiectului din imagine
pentru fiecare pixel din imaginea A

- se calculeaz Ix intensitatea gradientului pe x
- se calculeaz Iy intensitatea gradientului pe y
- se calculeaz I2x, I2y, Ixy
- se calculez valoarea cv cu ajutorul formulei 2.14:
 + 
cv =
 2
- se caut valoarea cv care este mai mic dect valoarea pragului

- pozitiile (x,y) pentru fiecare cv< sunt stocate ntr-o matrice
- afiarea rezultatelor
sfrit
Calcularea intensitii gradientului se realizeaz prin implementarea ecuaiilor (2.9)

folosind funcia conv2 din mediul de lucru Matlab. Cele dou mti sunt folosite pentru a
calcula variaia intensitii, iar filtrul Gaussian se folosete pentru a elimina zgomotul.
Algoritmul calculeaz valoarea cv (2.14) pentru fiecare pixel i o compar cu o valoare
de prag, valoare stabilit de utilizator. Dac valoarea cv-ului este sub acest prag atunci
pixelul este numit punct de interes. Cu ct valoarea cv-ului este mai mic cu att punctul
de interes este mai bine definit. Numrul punctelor de interes detectate se modific
neliniar n raport cu parametrul . O prim serie de imagini analizate au fost achiziionate
folosind arhitectura eye-to-hand. Aceste imagini (Fig.3.1) surprind transformri tip
translaie n planul imaginii a unui efector i a unei piese rectangulare.
Fig.3.1 Rezultate detectare puncte de interes folosind algoritmul Harris, efector-obiect scena nr.1
n figura 3.2 sunt surprinse patru stagii dintr-o aplicaie de prindere a unei piese
rectangulare folosind un bra manipulator ABB. Efectorul robotului manipulator dezvolt
att micri de rotaie ct si de translaie. Punctele de interes detectate caracterizeaz att
efectorul ct i piesa rectangular.
Fig. 3.2 Rezultate detectare puncte de interes folosind algoritmul Harris, efector-obiect scena nr.2
Arhitectura eye-to-hand permite achiziionarea de secvene de imagini fr scalare

i n acelai timp fr fluctuaii neliniare ale iluminrii. Dac sunt considerate spre
analiz secvene de imagini achiziionate prin arhitectura eye-in-hand se observ

modificri ale factorului de scalare i neliniariti ale fluxului de iluminare (Fig.3.3).
Fig.3.3 Rezultate detectare puncte de interes folosind algoritmul Harris, obiect rectangular nr.1
Din rezultatele experimentale rezult faptul c a fost realizat identificarea

punctelor de interes din punct de vedere a poziiilor din planul imaginii asociate vizual cu
zone n care funcia imagine variaz pe dou dimensiuni.
3.2.2 Detectorul SIFT
Acest algoritm a fost implementat urmrind paii descrii n capitolul anterior n

seciunea 2.3.1, i este format din dou etape:
1. Detectarea extremelor n spaiul scalrilor;
2. Localizarea trsturilor.
Primul pas l reprezint crearea spaiului scalrilor, prin construirea unei structuri
piramidale conform relaiei (2.17), apoi sunt filtrate respectivele imagini cu un nucleu
Gaussian de pondere (2.15). Iniial valoarea parametrului este egal cu 1.5, aceasta
variind conform relaiei (2.19). Dup realizarea piramidei se construiete spaiul DoG
fcnd scderea a dou imagini succesive ce aparin aceleiai octave.
Filtrarea unei imagini se poate realiza prin utilizarea funciei imfilter, n timp ce
masca filtrului este generat cu fspecial. n implementarea considerat, nucleul utilizat
pentru operaia de filtrare a fost creat ntr-o funcie separat.
Intrri: I(x,y)- imaginea, ord- marimea nucleului Gaussian

- ordinul de filtrare al Gaussianului
Ieiri: A(x,y)- imaginea filtrat
pentru fiecare pixel din fereastra Gaussianului

- se calculeaz nucleul gaussian cu ajutorul formulei 2.15:
1 ( x2 + y 2 ) / 2 2
G ( x, y , ) = e
2 2
- se filtreaz imaginea cu nucleul calculat la pasul anterior

sfrit
Odat construit spaiul DoG se determin extremele din acest spaiu. Pentru fiecare
octav se iau toate punctele (pixelii) pe rnd i se compar valoarea nivelului de gri a
acestor puncte cu valoarea fiecrui vecin din cei 26 de vecini, cum este artat n figura
2.8. Dac valoarea nivelului de gri a punctului este mai mare sau mai mic dect valoarea
fiecrui din cei 8 vecini ai si de pe acelai nivel, se trece mai departe i se compar cu
valoarea celor 9 vecini corespunztori de pe nivelul anterior, n caz contrar punctul
respectiv nu este punct de extrem. Dac valoare punctului este mai mare sau mai mic i
dect valoarea celor 9 vecini de pe nivelul anterior, se compar valoarea punctului cu
valoare celor 9 vecini de pe nivelul urmtor i, dac aceast valoare este mai mare dect a
celor 9 vecini, atunci punctul respectiv devine punct de extrem, n caz contrar punctul nu
prezint nici un interes, adic nu este punct de extrem.
Intrri: I(x,y)- imaginea, spaiul scalrii L(x,y,)

Ieiri: coordonatele punctelor de extrem (xp,yp)
pentru toi pixelii din spaiul scalrilor

- se aleg acei pixeli care verific inegalitatea:
L(x,y,)>L(xt,yt,t), unde
xt - aparine {x-1, x, x+1}
yt - aparine {y-1, y, y+1}
t - aparine {-1, , +1}, cu condiia ca
(x,y,) (xt,yt,t)
sfrit
Dup detectarea extremelor, pentru o mai bun stabilitate a punctelor de extrem se

impun cteva condiii, i anume: valoarea nivelului de gri a punctului de interes trebuie
s fie mai mic dect valoarea unui prag, valoarea acestui prag fiind stabilit de
utilizator, dac aceasta valoare nu este setat, ea este implicit egal cu 3. Punctele de
extrem care ndeplinesc aceast condiie sunt numite trsturi punctiforme sau puncte de
interes.
Testarea algoritmului de detecie a punctelor de interes invariante la scalri a fost
realizat utiliznd secvene de imagini achiziionate folosind arhitectura eye-in-hand, i
care surprind evoluia poziiei unui obiect (att circular ct si rectangular) n planul
imaginii ntr-o aplicaie tip prindere.
a) b) c)
d) e) f)
Fig. 3.4 Detecia punctelor de interes invariante la scalri folosind algoritmul SIFT, obiect circular
Fig. 3.5 Detecia punctelor de interes invariante la scalri folosind algoritmul SIFT, obiect rectangular
n urma analizei rezultatelor experimentale se observ faptul c poziiile punctelor

de interes invariante la scalri, extrase cu algoritmul SIFT, sunt centroizi ale unor zone
circulare de mici dimensiuni n raport cu aria obiectelor analizate.
3.2.3. Detectarea punctelor de interes prin congruena fazelor
Metoda de detecie a trsturilor tip punct de interes utiliznd analiza n frecven,

prezentat n seciunea 2.4, a fost implementat pentru analiza unei imagini grayscale.
Forma pseudocod a implementrii realizat n Matlab este urmtoarea:
Iniializarea parametrilor folosii.

Se aplic transformata Fourier imaginii.
Pentru fiecare orientare:
1. se calculeaz unghiul filtrului;
2. se iniializeaz Wavelet-ul;
3. se iniializeaz acumulatorii pentru filtrele pare / impare, amplitudine, energie;
4. se determin informaiile specifice filtrelor pentru orientarea curent;
5. pentru fiecare scal:
se construiete filtrul;
se realizeaz convoluia dintre transformata Fourier a imaginii
i filtrele pare / impare;
se salveaz rezultatele convoluiei;
se calculeaz Wavelet-ul pentru scala urmtoare;
6. se calculeaz amplitudinea maxim pe toate scalele folosite;
7. se calculeaz media ptratic a rspunsului obinut la utilizarea filtrului cu cea
mai mic scal pentru estimarea zgomotului;
8. se calculeaz media ponderat a rspunsului obinut;
9. se calculeaz valoarea energiei;
10. are loc compensarea zgomotului estimat;
11. se calculeaz funcia de ponderare pentru orientarea curent;
12. se aplic funcia de ponderare;
13. se actualizeaz valorile acumulatorilor pentru amplitudine i energie total;
14. se actualizeaz matricea orientrilor unde energia curent este mai mare dect
energia maxim gsit pn n acest moment sub o alt orientare;
se normalizeaz matricea energiei totale cu matricea amplitudinilor totale;
se convertete matricea orientrilor n grade.
Testarea algoritmului descris a fost realizat folosind att imagini sintetice ct i

imagini reale. Imaginile sintetice constituie o colecie de figuri geometrice n plan (figura
3.6 a) reprezentate prin nivel de gri 255 pe un fundal uniform cu nivel de gri 0. n urma
analizei pe baza metodei congruenei fazelor au fost obinute rezultatele din figura 3.6 b.
Fig.3.6.a) Imagine sintetic.b) Rezultatul obinut aplicnd algoritmul de calculare a congruenei fazelor.
Pentru a se pune mai bine n eviden valorile obinute prin aplicarea algoritmului
de calculare a congruenei fazelor pe imaginea din figura 3.6, s-a utilizat funcia Matlab
imagesc. Aceasta realizeaz o auto-scalare a valorilor prezente n imagine. Valorii
minime prezente n imagine i corespunde culoarea albastr iar valorii maxime i
corespunde culoarea roie, celelalte valori fiind reprezentate cu nuane formate din
combinarea celor 2 culori (figura 3.7).
Fig. 3.7. Reprezentarea cu ajutorul culorilor a intervalului [0 255] (cazul uint8 pentru reprezentarea
imaginilor n Matlab).
Se observ c punctelor din imaginea original (figura 3.6 a), unde vizual se
evideniaz o trstur de tip muchie sau col, le corespund valori mari de congruen a
fazelor (figura 3.6 b). Dac se dorete gsirea muchiilor ntr-o imagine, este de ajuns
aplicarea unei valori de prag pe imaginea cu valorile obinute pentru congruena fazelor.
Dac se dorete extragerea colurilor, o post-procesare mai avansat a imaginii
congruenelor fazelor este necesar. Se poate utiliza ca informaie suplimentar imaginea

orientrilor (fiecare pixel are valoarea n grade a orientrii sub care a fost obinut
valoarea maxim a energiei locale) (figura 3.8).
Fig. 3.8. Imaginea orientrilor pentru care energia local este maxim (6 orientri au fost luate n
considerare).
Se observ c n vecintatea punctelor corespunztoare colurilor are loc o variaie

puternic a orientrilor. Pentru gsirea trsturilor de tip muchie, respectiv col, se
folosesc urmtoarele msuri:
a = (PC ( ) cos( )) ,
2
b = 2 (PC ( ) cos( )) (PC ( )sin ( )),

c = (PC ( )sin ( )) ,
2
1
c + a + b 2 + (a c ) ,
2
M =
2
1
m = c + a b 2 + (a c ) ,
2
2
unde PC ( ) reprezint valoarea de congruen a fazelor pentru orientarea .
Aplicnd o valoare de prag pe matricea M se pot determina trsturile de tip
muchie (figura 3.9), iar aplicnd valoarea de tip prag pe matricea m se pot determina
trsturile de tip punct de interes (figura 3.10).
Fig. 3.9. Colurile detectate n cazul unei imagini sintetice.
Fig. 3.10. Muchiile detectate n cazul unei imagini sintetice.
n al doilea caz considerat, algoritmul a fost testat avnd ca intrare o imagine

grayscale real. Imaginea red apuctorul robotului IRB2400, robot ce face parte din
celula de fabricaie din cadrul laboratorului de robotic al facultii (figura 3.11 a). Pentru
captarea imaginii s-a folosit sistemul Optim Master al celulei de fabricaie. Sistemul
Optim Master asigur un fundal relativ constant i o iluminare relativ uniform.
Rezultatul obinut n urma aplicrii metodei de calcul a congruenei fazelor este
reprezentat n figura 3.11 b).
Fig. 3.11. a)Apuctorul robotului IRB2400 b) Rezultatul obinut aplicnd algoritmul de calculare a
congruenelor fazelor.
Fig. 3.12 a) Reprezentarea punctelor de interes detectate b) Reprezentarea muchiilor detectate.
Setarea unui prag asupra valorilor obinute prin aplicarea algoritmului de calcul a
congruenei fazelor conduce la posibilitatea caracterizrii obiectelor prin trsturi vizuale
de diferite tipuri. Rezultatele obinute pe imaginile reale pentru detecia trsturilor tip
punct de interes sunt ilustrate n figura 3.12 a), iar trsturile vizuale tip muchie sunt
reprezentate n figura 3.12 b). n urma testrii efectuate a rezultat faptul c performanele
algoritmului de detecie a puntelor de interes pe baza algoritmului de calcul a congruenei
fazelor sunt bune (Boghiu, et al., 2007) , totui nivelul computaional necesar procesrii
n timp real este unul ridicat.
3.3 Implementarea i testarea algoritmilor de urmrire a punctelor de

interes
Utiliznd metoda cross-correlation mpreun cu detectorul Harris a fost dezvoltat un

algoritm pentru estimarea micrii trsturilor bidimensionale ce caracterizeaz un obiect
n scena de lucru observat cu ajutorul unei arhitecturi eye-to-hand.
Intrri: masca de comparaie, vecintatea de cutare,

( xt , yt ) - coordonatele punctului de interes din cadrul t
Ieiri: ( xt +1 , yt +1 ) - coordonatele punctului de interes n cadrul t+1
pentru fiecare col din imaginea model

- masca de comparaie parcurge vecintatea de cutare
- se face corelarea dintre masc i vecintate folosind funcia normxcorr2
- se determin poziiile n care exist corelare
- se salveaz coordonatele punctelor de interes din cadrul t+1, ( xt +1 , yt +1 )
- se afieaz rezultatele
sfrit
Pentru cadrul t0 dintr-o secven de imagini au fost extrase poziiile punctelor de

interes cu ajutorul detectorulului Harris. Pentru fiecare poziie a fost definit o vecintate
3 3 n I (t0 ) i s-a considerat o fereastr de cutare 70 70 n I (t1 ) . Utiliznd ecuaia
(2.67) se caut, dac exist, zona de coresponden a vecintii considerate. Se reine

centrul acelei zone. Implementarea i testarea (Burlacu i Lazr, 2006c) a fost realizat in
mediul Matlab, iar pentru testare s-au considerat secvene de imagini ce prezint o
aplicaie de prindere utiliznd efectorul unui robot ABB IRB2400.
ntreaga scen de lucru este caracterizat prin puncte de interes extrase cu ajutorul
detectorului Harris (figura 3.2), dar pentru estimarea micrii sunt de interes doar vectorii
de micare ataai efectorului (figura 3.13). Rezultatele experimentale obinute relev
performane bune ale algoritmului de reconstrucie a traiectoriei dezvoltat cu ajutorul
metodei bazate pe vecinti, att pentru transformri tip rotaie ct i pentru transformri
tip translaie.
Algoritmul de determinare a vectorilor de micare folosind Gradient Vector
Matcher a fost implementat i testat pe secvene de imagini ce reprezint succesiuni dintr-
o aplicaie tip prindere obiect n efectorul unui robot manipulator. n figura 3.14 sunt
prezentate 5 cadre ale secvenei de imagini i trsturile extrase prin detectorul Harris, iar
n figura 3.15 vectorii de micare:
Fig. 3.13. Vectori de micare generai cu ajutorul metodei cross-correlation
(a) (b) (c) (d) (e)

Fig.3.14 Cadre extrase din secvena de imagini ce descriu aplicaia de prindere
Fig.3.15 Vectori de micare reconstituii prin metoda Gradient Vector Matcher

Comparnd performanele celor dou metode de determinare a vectorilor de

micare (Burlacu i Lazr, 2006b) se poate concluziona faptul c, pentru secvene de
imagini achiziionate cu arhitectura eye-to-hand, comportarea metodei bazat pe zone de
interes este mai performant dect metoda bazat pe proprieti de gradient.
3.4 Criterii de evaluare a performanelor punctelor de interes n aplicaii

servoing
n aceast seciune sunt prezentate dou criterii noi de evaluare a performanelor

trsturilor tip punct de interes dezvoltate pentru aplicaii servoing.
3.4.1 Criteriu de evaluare a erorii de poziionare pentru algoritmii de detecie a

Vom considera ca ipotez primar de analiz secvenele de imagini n care distana

dintre planul de lucru i centrul camerei este constant, iar unghiul dintre planul de lucru
i planul imaginii este de 0 grade.
Analizele de stabilitate a algoritmilor de detecie a punctelor de interes realizate
pn n prezent au utilizat doar imagini statice, singurele variaii provenind de la erorile
de achiziionare a camerei de luat vederi sau simulri tip transformri geometrice a
imaginii. n lucrarea de fa o nou abordare este propus. Astfel, considernd drept
informaie cunoscut apriori micarea obiectelor n scen i avnd constant distana
parcurs ntre dou cadre, putem introduce analiza stabilitii pe secvene de imagini cu
dinamic controlat.
Fie un punct de interes descris de poziia P = (u, v) n planul imaginii. Presupunem
c modificrile survenite asupra poziiei P sunt cauzate de o transformare omogen:
T ( P) = P . (3.1)
Dac notm prin (uc , vc ) coordonatele centrului imaginii, atunci coordonatele lui P pot
fi calculate utiliznd:
u * u + ru cos 1 sin 0 u uc
*
v = v + rv + sin cos 1 0 v vc (3.2)
1 0 0 0 1
1
unde [ru rv ]T reprezint vectorul translaie, iar unghiul de rotaie al camerei n jurul
axei z .
Incluznd ecuaia (3.1) n (2.58) rezult noua form de evaluare a erorii de
poziionare:
n
{b(i, t ) ([u *
i (t ) ui (t 1)]2 + [ y*i (t ) vi (t 1)]2 )1/ 2 }
CDt = i =1
n
(3.4)
b(i, t )
i =1
Avnd n vedere faptul c se evit utilizarea algoritmilor de coresponden a

punctelor de interes ntre cadre succesive, este necesar definirea unei vecinti de
cutare. Setarea unei anumite dimensiuni a vecintii va conduce la modificarea calitii
punctelor de interes identificate n secvene de imagini. Din ecuaia (3.4) rezult
posibilitatea calculrii urmtorilor indicatori de performan:
media abaterilor punctelor de interes
F
1
(CD) =
F d
CD ;
t =d
t (3.5)
variana abaterii colurilor

F
1
2 (CD) =
F d
(CD CD)
t =d
t
2
; (3.6)
procentajul de coluri stabile pentru cadrul t

SC
p= . (3.7)
NI M I
3.4.2 Criterii de evaluare a robusteii algoritmilor de detecie a punctelor de interes
Pentru a evalua robusteea algoritmilor de detecie a punctelor de interes, dou

criterii sunt introduse: rata de repetabilitate i gradul de rspndire. Primul criteriu este
derivat din criteriul de repetabilitate propus n (Schmid, et al., 2000) pentru a arta cum
schimbrile condiiilor de achiziie a imaginilor influeneaz detecia trsturilor

punctiforme. Al doilea criteriu este unul nou i permite o analiz a rspndirii trsturilor
punctiforme raportate la o configuraie dorit, dintr-o secven de imagini. Utiliznd
criteriul de repetabilitate se poate stabili gradul de dependen a trsturilor punctiforme
de condiiile achiziionrii imaginilor precum: rotaia imaginii, variaii ale iluminrii,
scalri i schimbri ale poziiei camerei fa de scena de lucru. n cazul unui algoritm de
detecie trsturile punctiforme fi sunt considerate a fi repetabile pe parcursul unei
secvene de imagini dac conin la fiecare cadru trsturile punctiforme f d ce

caracterizeaz dispunerea dorit a obiectelor din scen. Pentru a evalua rata de
repetabilitate, trsturile punctiforme ale unui obiect dintr-o imagine sunt caracterizate
prin utilizarea descriptorilor invariani bazai pe momente ale imaginii (Chaumette,
2004). Prin includerea momentelor funciei imagine n descrierea obiectelor n scena de
lucru se evit utilizarea algoritmilor de urmrire tip punct la punct.
Folosind forma funciei imagine din (2.1) orice obiect poate fi descris ca o mulime
de n trsturi punctiforme. Cele n trsturi punctiforme ce caracterizeaz complet
obiectul sunt extrase cu ajutorul unui algoritm de detecie prezentat n capitolul 2 i vor
forma o mulime notat cu A. Se transform o imagine I ntr-o imagine binar G astfel:
1, I ( x, y ) A
G ( x, y ) = . (3.8)
0, I ( x, y ) A
Pentru imaginea binar G momentul de ordin p+q este definit prin:
MI NI
m pq = x p y q G ( x, y ) . (3.9)
i =1 j =1
Centroidul mulimii trsturilor punctiforme poate fi obinut utiliznd urmtoarele relaii:

m10 m
xc = , yc = 01 . (3.10)
m00 m00
Cunoscnd coordonatele centroidului, imaginea binar G poate fi caracterizat de
mulimea ordonat:
d (k ) = { ( x x ) + ( y y ) }, k = 1, n ,
k c
2
k c
2
(3.11)
care reprezint distanele euclidiene dintre centroid i toate cele n tsturi punctiforme ale
mulimii A.
Utiliznd d ( k ) pot fi estimate, momentul de ordin r :
1 n
d ( k )
r
mr = (3.12)
n k =1
i momentul de ordin r centrat :
1 n
d ( k ) m1 .
r
r = (3.13)
n k =1
Pentru descrierea trsturilor punctiforme sunt utilizai urmtorii descriptori bazai pe
momentul m1 i pe momentele r , cu r = 2,3, 4 (Sonka et al, 2000):
( )
1/ 2
3 4
F1 = 1 , F2 = , F3 = . (3.14)
( 2 ) ( 2 )
3/ 2 2
m1
Cu ajutorul descriptorilor Fi , i = 1,3 , s-a definit un nou mod de a calcula rata de

repetabilitate pentru un cadru j dintr-o secven de imagini avnd cadrul final N
(configuraia dorit):
Fi j
Ri j = , i = 1,3, j = 1, N . (3.15)
FiN
Descriptorii Fj sunt calculai utiliznd trsturile punctiforme ale cadrelor j = 1, N i
relaia (3.14).
Rata de repetabilitate Ri j permite analiza entitilor ce influeneaz achiziia
imaginii, precum parametrii camerei, poziia relativ a camerei fa de scen sau

condiiile de iluminare, pentru fiecare descriptor Fi care reprezint o mulime de trsturi
punctiforme ale obiectelor. Pentru evaluarea global a descriptorilor Fi i-am grupat pe

acetia n vectorul descriptor:
T
j = F1 j , F2 j , F3 j . (3.16)
Pentru analiza convergenei vectorilor descriptori ctre d n raport cu diferite condiii

de achiziionare a imaginilor, am utilizat distana Mahalanobis:
1/ 2
d M j ( j , d ) = ( j d ) C 1 ( j d )
T
. (3.17)

Vectorul d conine descriptorii FiN ai trsturilor punctiforme dorite f d din ultimul
cadru. Matricea de covarian C capteaz variabilitatea vectorilor descriptori j
datorat condiiilor de achiziionare i este definit prin:
{
C = E ( j d )( j d )
T
}, (3.18)
unde prin E{i} se nelege valoarea ateptat a argumentului. Dezvoltnd produsul
( d )( j d ) , matricea de covarian poate fi aproximat prin:

T
j
N
1
C=
N

j =1
j j
T
d d T . (3.19)
Distana Mahalanobis este fundamental pentru analiza gradului de rspndire a

trsturilor punctiforme dintr-o secven de imagini, grad raportat la cadru final i n
diferite condiii de achiziionare .
3.5 Rezultate experimentale
Algoritmii de evaluare a performanelor punctelor de interes descrise n 3.4.1 i

3.4.2 au fost implementai i testai folosind imagini ce surprind schimbri n scene de
lucru compuse din elementele unei celule de fabricaie.
3.5.1 Analiza secvenelor de imagini cu dinamic controlat
Algoritmii de extragere a punctelor de interes descrii n seciunea 2.2 au fost

implementai, iar performanele lor au fost analizate folosind secvene de imagini cu
dinamic controlat i criteriile de stabilitate introduse n seciunea 3.4.1. Mediul de lucru
s-a constituit din efectorul unui robot manipulator tip ABB 2400 i o pies rectangular.
Pentru a achiziiona imaginile s-a folosit sistemul de vedere artificial OptiMaster. Acest
sistem de vedere artificial permite achiziionarea de imagini monocrome cu rezoluia
640 480 . Pentru a crea secvene de imagini cu dinamic controlat s-a considerat un
algoritm simplu prin care primului cadru al secvenei de imagini i corespunde o poziie
central n planul imaginii ansamblului efector-pies. Din aceast poziie s-au realizat
translaii orizontale, stnga i dreapta, de 6.1 cm pentru nc 8 cadre. Analiznd translaia
de 6.1 cm prin prisma parametrilor intrinseci ai camerei (Forsyth i Ponce, 2005) a
rezultat o translaie de 22 pixeli n planul imaginii pentru fiecare cadru. S-au realizat
detectri ale trsturilor tip punct, iar rezultatele sunt evideniate n figura 3.16:
160
140
puncte de interes
120 Harris
100
Smith
80
60 IPO
40
20
0
4 3 2 1 0 1 2 3 4
cadru
Fig. 3.16. Numr de puncte de interes detectate pe cadru.
Parametrii alei pentru detecia iniial din cadrul central al fiecrui algoritm au
fost: cornerness value=1000 pentru detectorul Harris, pragul de cantitate=29 pentru
Detectorul Smith i variaia minim=26 pentru Interest Point Operator.
Din punct de vedere al numrului de puncte de interes detectate pe cadru detectorul
Harris prezint o medie de 75 trsturi pe cnd detectorul Smith i detectorul Interest
Point Operator au media n jurul valorii de 110. Cum pentru aplicaii de timp real este
necesar un minim de trsturi ce pot descrie complet obiectul, rezult c detectorul Harris
prezint cele mai bune performane.
n figura 3.17 sunt prezentate rezultatele obinute pentru cadrul central i pentru al
treilea cadru din stnga. Al doilea experiment a fost realizat pentru determinarea
numrului de puncte de interes stabile, ecuaia 2.56, al fiecrui algoritm pe fiecare cadru.
Rezultatele sunt relevate de graficul din figura 3.18. Pentru o mai bun interpretare a
rezultatelor prezentate n figura 3.18 se poate analiza procentajul de coluri stabile pe
fiecare cadru, figura 3.19. Din ultimele date experimentale reprezentate n figura
anterioar rezult un grad de stabilitate de aproximativ 81.5% (Harris), mult superior
performanelor celorlali doi algoritmi (32% Interest Point Operator i 27 % Smith).
a) b) c)
d) e) f)
Fig.3.17 Puncte de interes extrase pentru cadrul central a) Harris, b) IPO, c) Smith i pentru cadrul al treilea
din stnga d) Harris, e)IPO, f) Smith.
120
105 Harris
Nr. Coluri stabile
90
Smith
75
60 IPO
45
30
15
0
4 3 2 1 0 1 2 3 4
cadru
Fig. 3.18. Numr coluri stabile pe cadru
100
90
80 Harris
coluri stabile %
70
60
Smith
50
40
30 IPO
20
10
0
4 3 2 1 0 1 2 3 4
cadru
Fig. 3.19 Procentaj coluri stabile pe cadru

Ultimul experiment a constat n determinarea erorii de poziionare pentru fiecare a

algoritm de extragere a colurilor. Ca ipotez de lucru au fost considerate doar acele
puncte de interes ce definesc partea superioar a efectorului, acele puncte de interes ce au
y-ul mai mic dect 250. Experimentele realizate au condus la concluzia c singurul
algoritm a crui stabilitate permite analiza erorii de poziionare, fr a fi necesar un
proces de urmrire n prealabil, este detectorul Harris. n figura 3.20 este prezentat
eroare de poziie pentru fiecare din cele 8 cadre:
Harris
1,4
eroare de poziionare
1,2
1
0,8
0,6
0,4
0,2
0
4 3 2 1 0 1 2 3 4
cadru
Figura 3.20 . Eroare de poziie
Pentru fiecare translaie se calculeaz media i variana erorii de poziie: left=0.85,

2left=0.075 i right=0.8, 2right=0.135.
3.5.2 Analiza robusteii punctelor de interes pentru aplicaii n sisteme servoing
Controlul manipulatoarelor bazat pe vedere artificial este utilizat preponderent n

conducerea acestora spre configuraii de prindere a obiectelor, configuraii ce pot fi
definite utiliznd trsturile vizuale (Burlacu i Lazr, 2007), (Lazr i Burlacu 2007 a),
(Lazr i Burlacu, 2007b). Fie:
f = ( u, v )
T
(3.20)
coordonatele din planul imaginii ale unei trsturi bidimensionale i
f = ( u, v )
T
(3.21)
vitezele corespunztoare.
Algoritmii de control bazai pe imagini (eng. Imaged based visual servo control)
utilizeaz ca intrare o eroare, determinat prin msurri n planul imaginii, pentru a
poziiona efectorul unui robot manipulator:
e (t ) = f (t ) f * . (3.22)
O prim evaluare de performane s-a realizat pentru algoritmii Harris i SIFT. Cei doi
detectori au fost angrenai n extragerea trsturilor dintr-o secven de imagini
achiziionate cu o camer montat pe efectorul unui manipulator ntr-o aplicaie de
prindere a unui obiect rectangular (figura 3.21).
Fig.3.21 Spaiul de lucru, analiz Harris vs SIFT
Cele 8 cadre analizate au fost mparite n dou: primele patru constituind schimbri
de poziie a camerei n raport cu scena de lucru, iar celelalte patru conin rotaia imaginii
pentru a se atinge poziia dorit a camerei. Trsturile detectate de fiecare din cei doi
algoritmi sunt prezentate n figurile 3.22, 3.23. Cadrul numrul 8 reprezint poziia dorit
a camerei pentru a putea efectua operaia de prindere a obiectului de ctre efectorul
robotului manipulator. Utiliznd criteriile de robustee i stabilitate prezentate n
seciunea 3.4, performanele celor doi algoritmi sunt stabilite folosind urmtoarele grafice
din figurile 3.24, 3.25.
a) rotaia imaginii cadrele (8,7,6,5)
b) schimbarea poziiei camerei cadrele (4,3,2,1)

Figura 3.22. Secvena de imagini i trsturi extrase cu detectorul Harris
a) rotaia imaginii cadrele (8,7,6,5)
b) schimbarea poziiei camerei cadrele (4,3,2,1)

Figura 3.23. Secvena de imagini i trsturi extrase cu detectorul SIFT
Harris Sift Harris Sift

1,4 1
1,3
1,2 0.9
1,1
1
0,9 0.8
robustee
Stability
0,8
0,7 0.7
0,6
0,5 0.6
0,4
0,3 0.5
0,2
0,1
0 0.4
1 2 3 4 5 6 7 1 2 3 4 5 6 7 8
Frames cadru
a) b)
Figura 3.24: a) stabilitatea algoritmilor Harris i SIFT; b) Robusteea algoritmilor Harris i SIFT
Eroare de pozitionare(Harris)
450 450
Eroare de pozitionare (Sift)

400 400
350 350
300 300
250 250
200 200
150 150
100 100
50 50
0 0
1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8
cadru cadru
a) b)
Figura 3.25: Eroarea de poziie a) Harris b) SIFT
Cum analiza rezultatelor primului experiment n baza criteriilor de stabilitate i

robustee scot n evidena performane mai bune ale detectorului SIFT dect pentru
detectorul Harris (Lazr i Burlacu, 2007), pentru a analiza performanele trsturilor
punctiforme n aplicaii servoing se va folosi algoritmul SIFT pentru a detecta poziii de
interes n planul imaginii. O secven de imagini a fost achiziionat, secven ce prezint
un sistem servoing compus dintr-un robot ABB cu 6 grade de libertate ce are o camer
montat pe efector (Figura 3.26).
Fig.3.26 Spaiul de lucru- analiz SIFT

Task-ul pe care sistemul servoing l are de ndeplinit este de a prinde n efectorul
robotului un obiect circular (banda scotch). Secvena de imagini este compus din 24 de
cadre, fiecare cadru avnd dimensiunea de 640x480, cadrele fiind obinute prin
eantionarea semnalului vizual la o perioad de o secund. Ultimul cadru reprezint
poziionarea dorit a camerei fa de obiect. Analiza performanelor a fost realizat
printr-o raportare invers, iar cadrul al 24-lea a reprezentat referina sistemului. Au fost
considerate condiii diferite de achiziionare a cadrelor pe parcursul ntregii secvene.

Astfel sunt prezente modificri n planul imaginii datorate transformrilor afine ale
obiectului (translaie i rotaie), schimbrii poziiei camerei fa de obiect i diferite stagii
de scalare.
O prima iteraie a reprezentat-o descompunerea secvenei de imagini n trei pri:
primele 8 cadre conin schimbri ale poziiei camerei fa de obiect, cadrele de la 9 pn
la 16 capteaz o micare de rotaie a obiectului n planul imaginii, iar ultimele 8 cadre
reprezint atingerea poziiei finale a camerei (de apucare a obiectului de ctre efector). n
figura 3.27 sunt afiate 6 cadre : primul cadru a), al 5-lea b), al 8-lea c), al 12-lea d), al
16-lea e) i cadrul numrul 24 f). Poziia dorit a camerei este atins n cadrul 24.
a) b) c)
d) e) f)
Figura 3.27: Cadre ale secvenei de imagini cu trsturi punctiforme obinute cu detectorul SIFT.
Dup cum a fost prezentat n seciunea 2.2.1, algoritmul SIFT conine diferii
parametri ce trebuiesc acordai pentru o comportare optim a detectorului de trsturi
punctiforme. Pentru aceast aplicaie au fost considerate urmtoarele valori:
= 1.4, r = 10, = 5 . Utiliznd criteriile prezentate n seciunea 3.4 putem analiza
performanele punctelor de interes din punct de vedere a stabilitii i a gradului de
rspndire. Se calculeaz descriptorii bazai pe momente ale imaginii folosind (3.14) i
apoi pentru fiecare descriptor se determin rata de repetabilitate (3.15) n cele trei stagii
raportat la cadrul final. Pentru primele 8 cadre (schimbarea poziiei camerei fa de
obiect) rezultatele sunt prezentate n figura 3.28. Rata de repetabilitate este descris de
graficul din figura 3.28 a) iar gradul de dispersie bazat pe distana Mahalanobis n figura
3.28 b).
rat de F1 F2 F3 distana
repetabilitate Mahalanobis
1.4 2.5
1.2
2
1
0.8 1.5
0.6 1
0.4
0.5 frames
0.2
0 0
1 2 3 4 5 6 7 8 frames 1 2 3 4 5 6 7 8
a) b)
Fig. 3.28 Schimbarea poziiei camerei fa de scena de lucru a) rata de repetabilitate, b) distana
Mahalanobis
Dac se consider limitele de stabilitate ale ratei de repetabilitate cuprinse n

intervalul [0.8,1.2], se observ c distanele Mahalanobis sunt mai mari pentru trsturile
tip punct situate n afara zonei precizate. Prin prisma acestui rezultat se poate concluziona
c mulimea trsturilor tip punct extrase cu ajutorul algoritmului SIFT n cadrele 1, 3, 4,
5 au calitate redus pentru aplicaiile tip servoing. ncepnd cu cadrul numarul 9 i pn
la cadrul 16 este cuprins micarea de rotaie realizat de obiect n planul imaginii. Pentru
aceast etap ratele de repetabilitate ale descriptorilor bazai pe momente sunt prezentate
n figura 3.29 a) iar gradul de dispersie n figura 3.29 b). Cadrele pentru care a fost
obinut o rat de repetabilitate n limita de stabilitate sunt 9, 12-16, n timp ce cadrele 10
i 11 prezint din punct de vedere al detectrii cu algoritmul SIFT trsturi tip punct cu o
rat de repetabiliate situat n afara intervalului de stabilitate. Aceast concluzie este mai
bine accentuat de reprezentarea grafic a distanelor Mahalanobis figura 3.29 b).
Ultimele 8 cadre ale secvenei de imagini analizate surprind modificri ale axei z pentru
ipoteza de paralelism ntre planul imaginii i planul scenei de lucru. Rata de repetabilitate
reprezentat n figura 3.30 a) prezint un grad de robustee ridicat pentru cadrele 19-24,
rezultat confirmat i de comportarea distanei Mahalanobis (figura 3.30 b)
rat de F1 F2 F3 distana
1.5
2.5
1 2
1.5
0.5
1
0 0.5
cadru
9 10 11 12 13 14 15 16
0
-0.5
cadru 9 10 11 12 13 14 15 16
a) b)
Fig. 3.29: Rotaia imaginii a) rata de repetabilitate, b) distana Mahalanobis.
rat distan
F1 F2 F3
1,1 2,5
1,05 2
1 1,5
0,95 1
0,9 0,5 cadru

cadru
0,85 0
17 18 19 20 21 22 23 24 17 18 19 20 21 22 23 24
a) b)
Fig. 3.30: Schimbarea scalei a) rata de repetabilitate, b) distana Mahalanobis
n concluzie, criteriile de evaluare a performanelor algoritmilor de detecie a

punctelor de interes propuse n acest capitol sunt utile n relevarea stabilitii i robusteii
trsturilor extrase.
3.6 Concluzii
n acest capitol au fost prezentate i analizate rezultatele obinute n urma

implementrii algoritmilor de detecie a trsturilor tip punct de interes. Pentru studierea
calitii trsturilor detectate au fost propuse dou noi criterii de evaluare a
performanelor pentru aplicaii tip servoing. Astfel, au fost testate, n baza noilor criterii,
stabilitatea punctelor de interes n secvene de imagini cu dinamic controlat i
robusteea acestora n secvene de imagini cu perturbaii tip modificare flux luminos sau
modificare a factorului de scalare. Dezvoltarea criteriului de robustee are la baz
construirea descriptorilor bazai pe momente ale imaginii pentru caracterizarea mulimii
punctelor de interes. n plus, diferenele dintre descriptori au fost relevate prin utilizarea
distanei Mahalanobis. Studiul calitii punctelor de interes a relevat performane ridicate
pentru detectorul Harris (n cazul secvenelor de imagini cu factor de scalare 1) i SIFT
(n cazul secvenelor de imagini cu factor de scalare variabil). A fost realizat, n acelai
timp i un studiu comparativ privind performanele algoritmilor de urmrire bazai pe
cross-correlation i gradient vector matcher. Rezultatele au demonstrat o comportare mai
bun pentru metoda cross-correlation n cadrul secvenelor de imagini achiziionate
pentru o aplicaie servoing.
Capitolul 4. Estimarea micrii obiectelor n secvene de imagini
4.1 Introducere 4.3 Estimarea micrii utiliznd filtrarea

Kalman
4.2 Urmrirea punctelor de interes 4.4 Concluzii
invariante la scalri
Detectarea i urmrirea trsturilor vizuale ale unui obiect reprezint unul dintre
obiectivele fundamentale de cercetare al ultimilor ani n domeniul vederii computerizate.
Fie c sunt considerate aplicaii de identificare a obiectelor prin proprieti de micare
(Shapiro, 2000) sau aplicaii de reconstituire a traiectoriei (Forsyth i Ponce, 2003),
metoda de estimare a fluxului optic reprezint o etap fundamental n proiectarea
algoritmilor de procesare a secvenelor de imagini sau a semnalelor video.
Estimarea micrii face parte din categoria metodelor de urmrire a trsturilor
vizuale, fiind semnificativ n rezolvarea problemelor ce rezult din juxtapunerea
obiectelor sau prsirea parial a scenei de lucru. O clasificare a metodelor de estimare a
micrii se refer la modul n care sunt considerate ipotezele de lucru: micare n planul
imaginii (micare 2-D) sau micare n spaiul cartezian (micare 3-D).
Algoritmii dezvoltai pentru estimarea micrii se bazeaz pe calcularea unei
posibile stri a sistemului obiecte fundal n funcie de informaiile dobndite apriori. n
proiectarea algoritmilor de reconstrucie a micrii obiectelor n secvene de imagini,
metodele de estimare sunt utilizate pentru aproximarea poziiei unor trsturi vizuale de
interes. Ipoteza anterior prezentat definete aa numita problem a corespondenelor.
Estimarea micrii poate fi privit ca o problem retrograd sau antegrad, n funcie de
78 Estimarea obiectelor n secvene de imagini
modul n care vectorul de micare este definit de la momentul t la momentul t + t sau

de la t t la t. Estimarea antegrad prezint performane mai bune pentru compensarea
micrii, aceasta realizndu-se prin elemente predictive ataate fiecrui cadru.
Dezvoltarea unui algoritm de reconstrucie a micrii ce include o etap de
estimare, necesit formularea unor condiii suplimentare rezultate din natura cmpului de
micare. Succesul unui astfel de algoritm rezult din gsirea unei soluii continue i unice
a secvenei de imagini analizate. n construirea unui algoritm de reconstrucie a micrii
se pot ntlni situaii care influeneaz cele dou proprieti fundamentale ale soluiilor
propuse: existen i unicitate. Astfel, nu exist soluie pentru reconstituirea micrii dac
nu poate fi gsit o coresponden pentru trsturile vizuale derivate din analiza
fundalului. Aceast situaie este denumit problema ocluziei i se refer la
acoperirea/neacoperirea unei suprafee dintr-un obiect n micare datorat ocluziei cu un
obiect static. Dac coordonatele deplasrii (sau vitezei) fiecrui pixel sunt considerate
variabile independente, atunci numrul necunoscutelor va fi dublu fa de cel al
observaiilor. Aceast situaie conduce la aa numita problem a aperturii.
Algoritmii de estimare a micrii din literatura de specialitate se mpart n mai
multe categorii n funcie de metoda considerat: pe zone de interes (Hu, et. al., 2004), pe
proprietile funciei gradient (Ray i Acton, 2004) sau pe estimatori de stare (Funk,
2003). Caracterizarea obiectelor n planul imaginii se realizeaz prin detectarea unor
trsturi vizuale care pot fi tip regiune, contur sau trsturi bidimensionale (coluri i/sau
centroizi). Abordrile considerate sunt dezvoltate n jurul unor modele ce surprind
dinamica scenei de lucru prin proiecia informaiilor n planul imaginii. n (Li i Jilkov,
2003) sunt prezentate cele mai importante moduri de proiectare a modelelor pentru
analiza micrii obiectelor n secvene de imagini, algoritmii fiind dezvoltai n principal
pentru scene de lucru cu factor de scalare zero. Aceast ipotez presupune ca distan
dintre camera i planul de lucru este constant pe parcursul ntregului algoritm. Pentru
descrierea obiectelor n secvene de imagini n care factorul de scalare nu este nul, au fost
propui diferii algoritmi de detecie a trsturilor invariante la scalri (Lowe, 2004),
(Schmid, 2003). Au fost construii descriptori vizuali care mpreun cu minimizarea unei
norme au condus la dezvoltarea unor metode de recunoatere a obiectelor n secvene de
imagini.
Estimarea obiectelor n secvene de imagini 79
n acest capitol este propus un algoritm de estimare a micrii n condiii de

scalabilitate nenul. Metoda este derivat din algoritmul de filtrare Kalman pentru
urmrirea trsturilor vizuale, n care se include ca parametru de modelare nivelul de
scalare a cadrului curent fa de un cadru anterior. Se consider faptul c micarea n
planul imaginii pentru factor de scalare nenul poate fi modelat ca o micare ntr-un
spaiu tridimensional, n care planul imaginii reprezint primele dou dimensiuni iar a
treia dimensiune este nivelul de scalare intre cadre consecutive. Capitolul este organizat
dup cum urmeaz: n subcapitolul 4.1 sunt prezentate trei dintre metodele principale de
estimare a micrii, una bazat pe zone de interes, a doua pe proprietile funciei
gradient, iar a treia utilizeaz un descriptor dezvoltat pe proprieti tip magnitudine i
orientare. Subcapitolul 4.2 este structurat n dou pri, n prima sunt descrise principiile
de baz ale algoritmului Kalman, n timp ce n partea a doua este propus un algoritm de
estimare a micrii pentru secvene de imagini cu factor de scalare variabil. Algoritmul
propus combin procedura de estimare Kalman cu informaii obinute din trsturile
vizuale i cu parametrii de descriere a scalabilitii. Subcapitolul 4.3 este dedicat
rezultatelor experimentale, iar concluziile se regsesc n subcapitolul 4.4.
4.1 Introducere
Dezvoltarea algoritmilor de estimare a micrii n secvene de imagini se realizeaz

prin considerarea mai multor ipoteze de lucru: fundal staionar, modificri ale
dimensiunilor obiectului urmrit, ocluzie sau prsire temporar a scenei de lucru,
modificri ale vitezei obiectului urmrit (Burlacu i Lazr, 2009).
n subcapitolul 4.2 sunt descrise dou metode de estimare a micrii: una ce
utilizeaz proprietile anumitor zone de interes din imagine, iar a doua face apel la
proprietile tip gradient ale funciei imagine.
4.2 Urmrirea punctelor de interes invariante la scalri
n aceast seciune este prezentat un algoritm de urmrire pentru trsturile vizuale

extrase prin detectorul SIFT. Totodat sunt prezentate i rezultate experimentale obinute
n urma implementrii i testrii algoritmului pentru o aplicaie tip servoing.
4.2.1 Descriptorul SIFT
Extragerea i urmrirea punctelor de interes invariante la scalri, propus n (Lowe,

2004), reprezint o succesiune de patru etape. Primele dou (detectarea extremelor n
spaiul scalrilor i localizarea punctelor de interes) au fost descrise n seciunea 2.3.1. n
continuare se descrie modalitatea de determinare a dou proprieti, magnitudinea i
orientarea fiecrui punct de interes i construirea descriptorului ataat.
Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei orientri i
a unei magnitudini bazate pe proprietile funciei imagine. Scala trsturilor, calculat
conform seciunii 2.3.1, este folosit pentru a selecta nivelul de filtrare a imaginii cu
nucleul Gaussian. Magnitudinea gradientului, M, i orientarea, , sunt calculate folosind
diferena pixelilor:
M ( x, y ) = ( Lx +1, y Lx 1, y ) 2 + ( Lx , y +1 Lx , y 1 ) 2 , (4.1)
(x,y) = tan-1((Lx,y+1 Lx,y-1) / (Lx+1,y Lx-1,y)) . (4.2)
Histograma orientrilor este format din gradientul orientrilor tuturor punctelor din
interiorul ferestrei circulare n jurul punctului de interes. Aceast histogram a
orientrilor conine 8 indici, acoperind cele 3600 ale orientrii (figura 4.1 (a)).
magnit.
0 45 90 135 180 225 270 315 orientare

c1 c2 c3 c4 c5 c6 c7 c8
(a) (b)
Figura 4.1 (a) Histograma orientrilor; (b) Orientri fundamentale
Pn acum se cunosc locaia, scala i orientarea fiecrei trsturi, urmtorul pas este
alctuirea descriptorului pentru regiunea local a imaginii. Pentru o mai bun stabilitate a
punctelor detectate i pentru performane mai bune, magnitudinea i orientarea se
calculeaz pentru ntreaga vecintatea de 16x16 din jurul fiecrei trsturi, nu numai
pentru trstura n sine. n figura 4.2 sunt prezentate trsturile unui obiect detectate cu
ajutorul detectorului SIFT:
Figura 4.2 Trsturile obiectului detectate cu SIFT
Prima dat se calculeaz magnitudinile i orientrile punctelor din vecintatea de

16x16 a fiecrei trsturi (figura 4.3 (a)) i, folosind scala punctului de interes, se
selecteaz nivelul Gaussianului pentru filtrarea imaginii.
(a) (b)
Figura 4.3 Vecintatea de 16x16 a trsturii (a) Orientarea i magnitudinea celor 256 de pixeli din
vecintate; (b) Descriptorul trsturii
Pentru eficien, gradienii sunt calculai pentru toate nivelurile, piramidei aa cum
s-a descris n seciunea 2.2.1. Vecintatea de 16x16 din jurul fiecrei trsturi este
mprit n blocuri de 4x4, iar la rndul lor, aceste blocuri alctuiesc fiecare cte o
histogram (figura 4.3 (b)).
Orientrile unei histograme sunt divizate n b indici (figura 4.1 (a)) i apoi se
calculeaz magnitudinea indicilor cu ajutorul urmtoarei formule:
hr (l , m ) (k ) =
x , yr ( l , m )
M ( x, y )(1 | ( x, y ) ck | / k ) , (4.3)
360
unde ck este orientarea fiecrui indice, k este o constant egal cu , iar (x,y) sunt
2b
coordonatele pixelilor din subregiunea r (l , m) .
Descriptorul este format dintr-un vector de 128 de componente care conine valorile
tuturor orientrilor histogramei. Lungimea vectorului este bn2, unde b este numrul
orientrilor n histogram, aici b=8, iar n este limea blocului, n timp ce parametrul
k =22.5. n final trsturile vectorului sunt normalizate pentru a reduce efectele
schimbrii de iluminare.
4.2.2 Implementare i testare
Una din cele mai importante probleme evideniate n aplicaiile ce deriv din
procesarea de imagini este aceea a urmririi i recunoaterii trsturilor ntr-o secven de
imagini, chiar dac imaginile din secven sunt achiziionate la scale diferite, chiar dac
imaginile sunt rotite. Aceast problem poate fi rezolvat folosind distana Euclidean.
Astfel, se compar vectorul (descriptorul) pentru imaginea model cu vectorul pentru
imaginea din secven.
Punctele de interes sau trsturile pentru care aceast distan este mai mic dect
un prag impus de utilizator sunt punctele care pot fi urmrite cu succes n secvena de
imagini. Acest prag, ce poate fi denumit distan limit, trebuie s fie ct mai mic
pentru a asigura convergena algoritmului.
Secvena de imagini, pentru care a fost testat algoritmul de urmrire bazat pe
descriptor tip magnitudine i orientare, este prezentat n figura 4.4. Secvena de imagini
este compus din 12 cadre achiziionate la momente de timp diferite, fiecare cadru
conine un obiect circular (banda de scotch) surprins la valori diferite ale factorului de
scalare. Imaginea model reprezint configuraia dorit, iar ultimul cadru reprezint
punctul de start al algoritmului. Folosind o configuraie eye-in-hand se analizeaz
performanele algoritmului de urmrire descris n 4.2.1. n primul pas se detecteaz

trsturile obiectului din imaginea model folosind algoritmul prezentat n capitolul 2
(subcapitolul 2.3.1). n pasul al doilea se detecteaz trsturile obiectului din urmtorul
cadru, iar pentru fiecare trstur a imaginii model se identific corespondentul. Dup
cum a fost prezentat, fiecare trstur este caracterizat de o vecintate pe baza creia se
formeaz un descriptor. Pentru a urmri obiectul n secvena de imagini, se compar
fiecare descriptor din imaginea model cu fiecare descriptor din cadrele ce compun
secvena analizat. Dup cum se poate observa n Fig. 4.4 numrul trsturilor detectate
n imaginea model rmne constant pe ntreaga secven de imagini, chiar dac scala
variaz.
imaginea model -(1) (3) (5)
(7) (9) (12)

Fig. 4.4 Urmrirea trsturilor cu SIFT
n urma experimentelor efectuate s-a artat c trsturile obiectului din imaginea

model sunt corect urmrite n secvena de imagini (Fig. 4.4). Cu puncte roii sunt indicate
trsturile obiectului, iar cu verde este indicat corespondentul su din imaginea model.
Dup cum se observ, aceast coresponden s-a realizat corect (Fig. 4.4), chiar dac
factorul de scalare este variabil.
Pentru o mai bun relevare a modalitii de urmrire se pot transpune informaiile

obinute din planul imaginii n spaiul tridimensional simulndu-se n acest mod micarea
camerei (Fig. 4.5).
Fig. 4.5 Micarea camerei n spaiul 3D
Performanele sunt analizate comparnd trsturile obiectului din imaginea model,

cu cele ale obiectului din secvena de imagini. Aplicnd detectorul SIFT ntregii secvene
de imagini, se detecteaz trsturile obiectului pentru fiecare imagine din secven. Dup
ct se vede n Fig. 4.4 i Fig. 4.5 rezultatele experimentale arat o bun coresponden a
trsturilor, astfel obiectul putnd fi urmrit cu succes n decursul unei secvene de
imagini. Totodat, aceste rezultate arat o bun stabilitate a trsturilor n raport cu
variaia scalei, adic aceste trsturi detectate cu algoritmul SIFT sunt invariante la
scalare.
4.3 Estimarea micrii utiliznd filtrarea Kalman
n aceast seciune este descris un nou algoritm de estimare a micrii obiectelor n

scena de lucru, obiectele fiind caracterizate prin trsturi vizuale tip punct de interes.
4.3.1 Filtrarea Kalman
Filtrul Kalman reprezint un set de ecuaii matematice pe baza crora se pot

dezvolta algoritmi de tip predicie-corecie ce minimizeaz eroarea estimat n anumite
restricii. Domenii vaste de aplicaii au utilizat filtrarea Kalman, printre acestea
numrndu-se navigaia autonoma, arie de cercetare n care au fost realizate cele mai
multe investigaii i raportri tiinifice.
Pentru a proiecta estimarea intr-un mod optim este necesar construirea unui funcii
de cost pentru estimri incorecte. Aceast funcie cost trebuie s aib dou proprieti: s
fie nenegativ i, n acelai timp, s fie descresctoare din punct de vedere a erorii de
estimare.
Algoritmul bazat pe filtrare Kalman conduce la estimarea strii x n
pentru un
sistem discret descris de o ecuaie stohastic liniar:
xk = Ax k 1 + Buk + wk 1 , (4.4)
cu msurtorile z n
:
zk = Hxk + vk . (4.5)
Cele dou variabile aleatoare wk i vk modeleaz zgomotul ce apare n proces i n

msurtori. Se presupune c aceste dou variabile aleatoare sunt independente una fa de
cealalt i au o distribuie normal de probabilitate:
p( w) N (0, Q)
(4.6)
p(v) N (0, R)
n practic, matricea de covarian Q a procesului i matricea de covarian R a
zgomotului din etap de msurare se pot modifica la fiecare iteraie sau msurtoare.
Totui pentru algoritmii angrenai n aplicaii ce implic procesare de imagine aceste
matrice se consider a fi constante.
Matricea A de dimensiune n n genereaz informaii ale strii sistemului pentru pasul
k raportat la pasul k-1, fiind denumit matricea de tranziie a strii. Se definesc xk n
starea estimat apriori la pasul k, considernd informaii anterioare pasului k, i xk n
starea estimat aposteriori la pasul k cunoscnd msurtorile zk . Astfel, rezult erorile

estimate n mod apriori i aposteriori, notate:
ek = xk xk ,
(4.7)
ek = xk xk ,
i matricele de covarian a erorii definite apriori i aposteriori:

Pk = E[ek ekT ] ,
(4.8)
Pk = E[ek ek T ] .
Filtrarea Kalman estimeaz starea unui proces utiliznd un algoritm bazat pe reacie
negativ, construit din date obinute n urma unor msurtori. Astfel, ecuaiile filtrului se
mpart n dou categorii: ecuaii de corecie n timp i ecuaii de corecie cu ajutorul
msurtorilor. Ecuaiile de corecie n timp sunt responsabile pentru proiectarea n avans
a strii curente, rezultnd astfel o estimare apriori. Ecuaiile de corecie prin msurare
sunt utilizate n reacia negativ rezultnd nglobarea ultimei msurtori efectuate asupra
procesului n estimarea apriori, pentru a se obine o mbuntire regsit n estimarea
aposteriori. Se poate considera faptul c ecuaiile de corectare n timp sunt similare unor
ecuaii tip predictor, iar ecuaiile de corecie prin msurare pot fi privite ca ecuaii tip
corector.
Ecuaiile dedicate pentru corecie n timp sunt:
xk = Axk 1 + Buk ,
(4.9)
Pk = APk 1 AT + Q ,
iar prin efectuarea msurtorilor zk se genereaz starea estimat aposteriori prin

nglobarea msurtorilor n ecuaia:
xk = xk + K k ( zk Hxk ) . (4.10)

Din (4.10) rezult necesitatea dezvoltrii unei metode de calcul pentru x k i a
matricei K k pentru a minimiza o msur a erorii. Se formeaz matricea de covarian din
(4.13):
Pk = E[( xk xk )( xk xk )T ] . (4.11)
nlocuind (4.5) i (4.10) n (4.11) rezult :
Pk = E{[( xk xk ) K k ( H ( xk xk ) + v k )T ]
(4.12)
[( xk xk ) K k ( H ( xk xk ) + v k )T ]T } .
Folosind estimarea aposteriori pentru matricea de covarian a erorii:
Pk = ( I K k H ) PK , (4.13)
se rescrie ecuaia (4.12):
Pk = ( I K k H ) Pk ( I K k H )T + K k RK kT . (4.14)
Ecuaia (4.14) reprezint expresia general de updatare a matricii de covarian a erorii.
Alegerea matricei K k trebuie realizat astfel nct s se obin o minimizare a urmei lui
Pk , deoarece termenii primei diagonale reprezint estimarea variantei erorii lui xk .

Prelucrnd (4.14) se obine:
P = Pk K k HPk Pk HK kT + K k ( HP H T + R) K kT . (4.15)
Dou formule de difereniere matricial prezentate n (Brown i Hwang 1992):
d [trace( M 1M 2 )]
= M 2T ( M 1M 2 ptratic) (4.16)
dM 1
d [trace( M 1M 3 M 1T )]
= 2M 1M 3 ( M 3 simetric) (4.17)
dM 1
mpreun cu proprietatea : trace( Pk H T K kT ) = trace( K k HPk ) conduc la:
K k = Pk H T ( HPk H T + R ) 1 (4.18)
Soluia obinut n (4.18) se numete amplificarea Kalman.
Combinnd toate informaiile se pot descrie recursiv etapele buclei de updatare prin
metoda Kalman:
Iniializare: Se introduc matricile A, B, H, R, Q, precum i x0 i P0 .
Etapa 1: Se predicteaz folosind ecuaia (4.14) starea xk .

Etapa 2: Se calculeaz matricea de amplificare Kalman cu ecuaia (4.19).
Etapa 3: Se corecteaz xk cu msurtorile zk utiliznd ecuaia (4.10).
Etapa 4: Se predicteaz aposteriori matricea de covarian (4.13).
Abordarea Kalman considerat pn n acest moment estimeaz starea unui vector
pentru un model liniar al unui sistem dinamic. Totui, dac sistemul este neliniar se poate
adapta procedura Kalman printr-o etap de liniarizare. Algoritmul rezultat poart numele
de filtru Kalman extins (Welch i Bishop, 2001). O astfel de extensie este posibil dac se
ine cont de faptul c filtrul Kalman este descris prin ecuaii cu diferene finite pentru
cazul sistemelor discrete.
Dezvoltarea algoritmului extins Kalman are ca punct de start considerarea unui

sistem dinamic neliniar descris de urmtorul model al strilor:
xk = a( xk 1 , uk , wk 1 ) ,
(4.19)
zk = h( xk vk ) ,
unde, a i h sunt funcii neliniare, iar, ca i n cazul filtrului Kalman standard, wk i vk

modeleaz zgomotul procesului, respectiv zgomotul de msur fiind considerate variabile
aleatoare independente de distribuie Gaussian i medie 0. n practic nu se cunosc
valorile zgomotului wk i vk la fiecare moment de timp. Totui se poate aproxima
vectorul stare precum i vectorul de msurtori fr a lua n considerare zgomotul prin:
xk = a( xk 1 , uk , 0) ,
(4.20)
zk = h( xk , 0) .
innd cont de ecuaiile (4.20) rezult noile ecuaii ce descriu liniarizarea modelului
(4.19):
xk x k + A( x k 1 xk 1 ) + Wwk 1 , (4.21)
zk zk + H ( x k xk ) + Vvk , (4.22)
unde xk i zk sunt starea actual i vectorul de msurtori. Matricea A reprezint
matricea Jacobian a derivatelor pariale n raport cu x :

ai
A(i, j ) = ( xk 1 , uk , 0) . (4.23)
x j
Prin W s-a notat matricea Jacobian a derivatelor pariale n raport cu w :

a i
W (i, j ) = ( xk 1 , uk , 0) . (4.24)
w j
Derivnd parial funcia h n raport cu vectorul x i apoi n raport cu v rezult modul de

calcul pentru matricele H i V :
h i
H (i, j ) = ( xk 1 , 0) ,
x j
(4.25)
h
V (i, j ) = i ( xk 1 , 0) .
v j
Eroarea de estimare se poate calcula cu ecuaia:

exk xk xk , (4.26)
iar eroarea de msurare cu relaia:

e zk z k z k . (4.27)
Dezvoltnd ecuaiile (4.26 - 4.27) rezult:

exk A( xk 1 xk 1 ) + k ,
(4.28)
ezk Hexk + k ,
unde prin k i k au fost notate noile variabile aleatoare independente de medie 0,

pentru modelarea zgomotelor de proces i de msur. Matricele de covarian a celor
doua variabile aleatoare sunt WQW T i VRV T . Ecuaiile (4.28) sunt liniare i prezint
proprieti similare cu cele ale ecuaiilor de baz (4.4) i (4.5). Utiliznd ecuaiile (4.28),
estimarea aposteriori a strii pentru procesul neliniar se calculeaz prin:
xk = xk + ek , (4.29)
unde ek este estimarea erorii de predicie:
ek = K k ezk . (4.30)
Substituind (4.30) n (4.29) i innd cont de ecuaia (4.27), rezult ecuaia de estimare a
strii pentru extinderea filtrului Kalman:
xk = xk + K k ( zk zk ) . (4.31)
Atand subscriptul k matricelor jacobian A, W , H , V , deoarece aceste matrici sunt

variante n timp, algoritmul de calcul pentru filtrul Kalman extins se poate descrie n
urmtoarele dou etape:
Etapa 1: ecuaiile de predicie n timp :

xk = a ( xk 1 , uk , 0)
(4.32)
Pk = Ak Pk 1 AkT + Wk Qk 1WkT
Etapa 2: ecuaiile de corecie prin msurtori:
K k = Pk H kT ( H k Pk H kT + Vk RkVkT ) 1
xk = xk + K k ( zk h( xk , 0)) (4.33)
Pk = ( I K k H k ) Pk
4.3.2 Algoritm de estimare a micrii
Estimarea micrii poate fi descris ca fiind procesul de determinare a locaiei unui

ansamblu de trsturi vizuale pe parcursul unei secvene de imagini. Aplicaiile variaz
de la a urmri trsturile ce descriu un obiect, pn la a decide prezena sau absena n
cazul ocluziei ntre entiti.
Ideal, un algoritm de estimare a micrii trebuie sa fie capabil s localizeze un
obiect (sau ansamblul de trsturi ce descriu obiectul) la orice moment de timp.
Perturbaiile ce afecteaz sistemul considerat (obiect fundal) conduc la diferite erori ce
trebuie minimizate pentru a dezvolta un algoritm de estimare a micrii fiabil. Abordarea
via filtrare Kalman (Funk, 2003) este aplicabil att n ipoteze de lucru staionare ct i
nonstaionare. Algoritmul presupune o modelare dinamic a sistemului care s includ i
aproximri ale zgomotelor ce afecteaz, att sistemul ct i msurtorile efectuate asupra
sistemului.
n funcie de ipotezele de lucru asupra modelului de reprezentare n timp a
modificrilor survenite asupra strii sistemului, descrierea micrii obiectului n planul
imaginii variaz n complexitate.
O prim ipotez o reprezint viteza constant de deplasare a trsturilor vizuale n
planul imaginii. Notnd cu f = [ f x , f y ]T poziia trsturilor n planul imaginii i cu
f
v = [vx , v y ]T viteza acestora, rezult o reprezentare a strii sistemului de forma x = .
v
n acest caz matricea de interaciune devine (Forsyth i Ponce, 2003):
1 0 t 0
0 1 0 t
A= , (4.34)
0 0 1 0

0 0 0 1
unde t reprezint perioada aferent analizei cadrelor consecutive n secvena de
imagini, perioad ce dicteaz ecuaia de micare:
fi = fi 1 + (t )vi 1 , (vi = vi 1 ) (4.35)
De observat este i faptul c, n etap efecturii msurtorilor doar componenta
poziie este necesar de analizat. Astfel, n cazul ipotezei vitez constant matricea
msurtorilor devine:
1 0 0 0
H = . (4.36)
0 1 0 0
Modelul de reprezentare pentru ipoteza acceleraie constant asociaz strii
sistemului un vector cu 6 componente compus din poziia, viteza i acceleraia trsturilor
vizuale x = [ f v a ] , cu a = [ax , a y ]T . n acest caz ecuaiile de micare (4.35) devin:

T
fi = fi 1 + (t )vi 1
vi = vi 1 + (t )ai 1 , (4.37)
ai = ai 1
iar matricea de interaciune este:

1 0 t 0 0 0
0 1 0 t 0 0

0 0 1 0 t 0
A= (4.38)
0 0 0 1 0 t
0 0 0 0 1 0

0 0 0 0 0 1
Ansamblul de trsturi vizuale utilizate pentru descrierea obiectului trebuie alese
astfel nct s nu introduc la rndul lor perturbaii n analiza sistemului. Astfel
proprietile fundamentale ale trsturilor extrase sunt stabilitatea i robusteea. n
literatura de specialitate sunt prezentate aplicaii de estimare a micrii obiectelor descrise
att prin contur (Rhody, 2006; Li, Chaumette i Tahri, 2005) ct i prin trsturi
bidimensionale (coluri, centroizi). Utilizarea trsturilor bidimensionale n estimarea
micrii prezint att avantaje cat i dezavantaje. Avantajul principal este scderea
timpului de procesare, avnd n vedere numrul sensibil mai mic de trsturi
bidimensionale aferente unui obiect n comparaie cu numrul de muchii ce compun
conturul. Dezavantajul major l constituie faptul c algoritmul de extragere a trsturilor
bidimensionale va introduce un timp mai lung de procesare dect algoritmii de extragere
a conturului. n acelai timp se dorete ca trsturile selectate sa nu introduc la rndul lor
alte perturbaii, tip zgomot, asupra strii sistemului. n concluzie, performanele
algoritmului de detecie a trsturilor bidimensionale (Lazr i Burlacu, 2006)
influeneaz n mod direct estimarea strii sistemului.
n acest subcapitol este dezvoltat un algoritm de estimare a micrii a obiectelor n

secvene de imagini cu factor de scalare variabil. Algoritmul este compus din etape
succesive ce permit analiza secvenelor de imagini cu transformri liniare ntre cadre
consecutive. Micarea obiectelor poate fi analizat n funcie de atitudinea cinematic fa
de camer i invers. Situaiile ce pot fi ntlnite sunt: obiecte mobile camer static,
obiecte statice camer mobil, obiecte mobile camer mobil. Algoritmul propus este
dedicat secvenelor de imagini n care obiectele sunt statice, iar camera este mobil. Se
consider n acelai timp ipoteza de paralelism ntre planul imaginii i scena de lucru.
Proiectarea unui model al obiectului const n extragerea unor trsturi
bidimensionale caracteristice. Trsturile bidimensionale utilizate n prezentul algoritm
de estimare a micrii sunt extrase cu ajutorul detectorului Harris (Harris i Stephens,
1988) i reprezint coluri ale obiectului. Aplicarea detectorului de trsturi
bidimensionale pe primele m cadre conduce la obinerea unor locaii de interes ce nu
variaz n planul imaginii. Aceste locaii aparin fundalului i vor fi anulate prin diferene
succesive: I (k + 1) I (k ) .
n spaiul euclidian camera dezvolt o micare caracterizat de schimbri liniare ale
nlimii i orientrii fa de scena de lucru. Aceti parametri, notai i , vor constitui
date de intrare pentru algoritmul de estimare a micrii. Dezvoltarea algoritmului de
estimare a micrii utilizeaz o proprietate fundamental: modificarea factorului de
scalare i orientarea camerei se regsesc n mod liniar n atitudinea cinematic a
trsturilor bidimensionale fa de un punct fix invariant. Pentru modificarea factorului
de scalare acest punct este centrul de greutate, notat prin G = [ xG , yG ] , al ansamblului de
trsturi bidimensionale M = { f i | fi = [ f xi , f yi ]} . Determinarea coordonatelor centrului
de greutate se realizeaz cu ajutorul ecuaiilor:

n n
f xi f yi
xG = i =1
; yG = i =1
. (4.39)
n n
Algoritmul dezvoltat propune o izomorfie ntre estimarea micrii obiectului i
estimarea micrii centrului de greutate n raport cu datele extrase din micarea camerei.
Astfel, pentru cadrele identate de la k > m , algoritmul face apel la procedura

Kalman pentru a predicta apriori starea centrului de greutate n cadrul k+1: G k+1 = AGk .
n Fig. 4.6 este reprezentat o configuraie de trsturi bidimensionale { fi k | i = 1, n}
i centrul lor de greutate Gk = [ xGk , yGk ] .

Modificrile de poziionare i orientare a camerei n spaiul tridimensional sunt
dictate de o comand cu structur vectorial alctuit din 6 componente i avnd forma
din ecuaia (4.34):
T
r = vx vy vz 0 0 z (4.40)
unde vx , v y , vz reprezint vitezele de deplasare pe direciile x, y, z , iar z este viteza
unghiular. O modificare n valorile semnalului de comand ataat micrii camerei este

echivalent cu o schimbare n atitudinea cinematic a trsturilor bidimensionale fa de
centrul de greutate (modificare a factorului de scalare) sau fa de centrul imaginii
(modificare a orientrii).
f1k
f 2k
f5k Gk
f3k
f 4k
Fig.4.6 Configuraie trsturi bidimensionale
Definiia 1: Factorul de scalare reprezint valoarea raportului dintre distana camer

scen de lucru la momentul (k+1) i distana camer scen de lucru la momentul (k).
Definiia 2: Numim orientare a camerei o funcie : [0, 2 ), = (t ) care verific
= z .
Valorile distanelor menionate in definiia 1 se deduc din proprietile vitezei pe
direcia z. Dac notm cu lk distana dintre camer i scena de lucru la momentul k atunci
lk +1 = vzk +1 it . n figura 4.7 sunt reprezentate poziiile unei trsturi generice la momentul
k i a centrului de greutate pentru ansamblul de trsturi din care face parte. Totodat,
este reprezentat i poziia estimat a centrului de greutate prin procedura Kalman, G k+1
i transformarea poziiei trsturii n raport cu aceast estimare, notat F1 , folosind

relaia:
F1 = G k+1 + (Gk f1k ) . (4.41)
f1k
F1
Gk
G k+1
Fig. 4.7 Poziie estimat a trsturii bidimensionale n raport cu estimarea apriori a poziiei centrului
de greutate
Includerea factorului de scalare n configuraia poziiei trsturilor

bidimensionale raportat la centrul de greutate se regsete prin necesitatea ndeplinirii a
dou condiii pentru estimarea notat F2 : de direcie i modul. Condiia de direcie se
transpune n apartenena lui F2 la dreapta G k+1 F1 (figura 4.8).

F2
f1k
F1
Gk G k+1
Fig. 4.8. Poziii estimate ale trsturii bidimensionale in raport cu factorul
Scriind ecuaia dreptei prin dou puncte i impunnd ca F2 s verifice aceast

ecuaie, condiia de direcie se regsete n ecuaia:
F2x xk+1 F2y yk+1
= . (4.42)
F1x xk+1 F1 y yk+1
Condiia de modul reprezint egalitatea urmtoarelor dou rapoarte:
( F2x xk+1 ) 2 + ( F2y yk+1 ) 2 1
= 2. (4.43)
x 2 y
( F1 xk +1 ) + ( F1 yk +1 ) 2

Ecuaiile (4.42) i (4.43) formeaz un sistem n necunoscutele F2x , F2y . Soluia sistemului,
innd cont i de faptul c lungimea unui segment este ntotdeauna un numr pozitiv, va
fi:
F2x = xk+1 (1 ) + F1k
(4.44)
F2y = yk+1 (1 ) + F1 y
Micarea de rotaie a camerei n jurul axei z cu unghiul se regsete printr-o
transformare omogen raportat la centrul imaginii, Fig. 4.9. Folosind proprietile
vectorilor liberi i notnd prin:
cos(2 ) sin(2 ) 0
L = sin(2 ) cos(2 ) 0
0 0 1
tensorul de rotaie, poziia trsturii bidimensionale (figura 4.9) se calculeaz cu ajutorul

ecuaiei:
fi k +1 F2
= + ( L I 3 ) G k +1 F2

(4.45)
0 0
fi k +1
F2
k
f1
Centrul imaginii
G k
G k+1
Fig.4.9 Poziie estimat a trsturii bidimensionale in raport cu factorul
n etapa urmtoare, algoritmul compar valorile estimate a poziiilor trsturilor

bidimensionale cu msurtorile efectuate via detectorul Harris la momentul k+1. Se
verific, n vecintatea de dimensiune 7x7 a poziiilor estimate apriori pentru trsturile
bidimensionale fi ,k , dac exist poziii ale msurtorilor. Dac n toate vecintile exist
poziii ale trsturilor bidimensionale extrase la momentul k+1 se reitereaz algoritmul de

estimare folosind drept informaii de calcul aceste poziii, iar dac numrul este mai mare
sau mic se reitereaz algoritmul de estimare folosind poziiile estimate.
Estimarea micrii este un proces ce poate fi realizat online, dar aplicaiile sunt
exclusiv axate pe urmrirea conturului, cat i offline prin analiza secvenelor de imagini
compuse din cadre achiziionate la anumite intervale de timp. Pentru un interval t = 1 s
1 0 1 0
0 1 0 1
matricea de tranziie a sistemului devine, n virtutea ecuaiei (4.34): A = ,
0 0 1 0

0 0 0 1
iar matricea de tranziie a msurtorilor prezent doar n corecia poziiei este definit
1 0 0 0
prin: H = .
0 1 0 0
4.3.3 Implementare i testare
Algoritmul de estimare a micrii obiectelor n secvene de imagini cu factor de

scalare nenul dezvoltat n prezentul subcapitol, a fost implementat i testat utiliznd
software-ul Matlab i un mediu de lucru compus din obiecte fixe i un robot ABB
IRB2400 avnd o camer montat pe efector (Fig. 4.10). Imaginile achiziionate sunt
monocrome i prezint o rezoluie de 640x480. Implementarea i testarea algoritmului de
estimare a micrii a fost realizat folosind o unitate de calcul compus din procesor cu
frecven de lucru 2.4 Ghz, memorie RAM 1GB, memorie video dedicat 128 MB.
Fig.4.10. Configuraie spaiu de lucru.
Algoritmul de estimare a micrii dezvoltat a fost evaluat prin comparaie cu

algoritmul de estimare a micrii bazat pe cross-correlation. n seciunea rezultate
experimentale ne vom referi la algoritmul de estimare a micrii propus prin acronimul

KME (Kalman Motion Estimator).
Cu ajutorul camerei montate pe efector a fost achiziionat o prim secven de
imagini compus din 6 cadre achiziionate la o frecven de 1[ s 1 ] . Cadrele surprind
modificri survenite n planul imaginii n concordan cu modificri ale poziiei i
orientrii camerei n spaiul tridimensional. Considernd primul cadru achiziionat drept
poziie de start a camerei se genereaz un semnal de comand pentru micarea camerei de
tipul :
rk = [ vx 0 0 0]
T
0 vz
unde vx = 10 mm / s iar vz = 15 mm / s . Acest semnal de comand se transpune n planul
imaginii printr-un vector de micare vxp v yp = [16 31][ px / s ] , unde px reprezint o
prescurtare a unitii fundamentale pixel.

n figura 4.11 este reprezentat succesiunea de 5 estimri din secvena de imagini i
poziiile reale ale trsturilor extrase cu ajutorul procedurii dezvoltate pe baza
algoritmului Harris.
Fig.4.11. Traiectorii cross-correlatio i traiectorii KME.
Traiectoriile trsturilor bidimensionale via cross-correlation sunt simbolizate cu

rou, n timp ce estimrile via KME sunt reprezentate prin culoarea verde. Performanele
obinute pentru algoritmul propus sunt bune, eroarea de predicie nu depete pragul de
10 pixeli. n plus un dezavantaj al algoritmului cross-correlation l constituie ajustarea
periodic necesar asupra dimensiunii ferestrei de cutare. Dac, presupunnd ca ipotez
de lucru, obiectul n poziia de start se afl n aproprierea uneia din limitele imaginii
atunci dimensiunea ferestrei de cutare va fi mic (aproximativ 30x30 pixeli). Odat cu
deplasarea obiectului n planul imaginii dimensiunea ferestrei de cutare trebuie
modificat ajungnd n prezentul experiment i pn la 70x70.
Estimarea de micare a centrului de greutate (verde) urmrete cu fidelitate
traiectoria real (rou) (figura 4.12). Analiznd rezultatele cu privire la traiectoria
centrului de greutate se poate concluziona faptul c, pentru secvena considerat, ambii
algoritmi au obinut performane bune.
Fig.4.12 Estimarea micrii centrului de greutate
A doua secven de imagini achiziionat, compus tot din 6 cadre, surprinde

ocluzia parial a obiectului. Testul condus a constat n evaluarea traiectoriei estimat de
cei doi algoritmi. Algoritmul KME estimeaz cu fidelitate traiectoria, n timp ce cross-
correlation prezint deficiene n urmrirea obiectului n zona de ocluzie, (Fig.4.13),
interpretnd greit drept coluri zone de confluen obiect umbr.
Eroarea survenit n estimarea via cross-correlation se regsete i n traiectoria
centrului de greutate, dup cum este ilustrat i n figura 4.14. n cazul acesta, rezultatele
obinute via KME sunt superioare celor obinute prin utilizarea metodei bazate pe cross-
correlation.
Fig. 4.13 Estimarea traiectoriei KME (verde) i cross-correlation (rou)
Fig. 4.14 Traiectorie centru de greutate KME (verde) i cross-correlation (rou)
4.4 Concluzii
n acest capitol a fost propus un algoritm de estimare a micrii obiectelor n

secvene de imagini cu scalabilitate nenul. Fiecare obiect este caracterizat de o mulime
de trsturi vizuale. Pentru algoritmul propus au fost alese trsturi bidimensionale
(coluri) detectate cu ajutorul unei proceduri dezvoltate pe baza principiului propus n
(Harris i Stephens, 1988). Algoritmul propune o tehnic de estimare a micrii utiliznd
proprieti ale unor locaii invariante din planul imaginii. Dintre aceste locaii fac parte
centrul de greutate al mulimii trsturilor ce caracterizeaz obiectul si centrul imaginii.
Folosind ca ipotez de lucru paralelismul dintre planul imaginii i scena de lucru, se
utilizeaz procedura bazat pe filtrare Kalman pentru a estima micarea centrului de
greutate. Datele de intrare considerate reprezint micare n spaiul tridimensional al
camerei. Doi parametri caracterizeaz aceast micare, nlimea fa de scena de lucru i
rotaia n jurul axei perpendiculare pe scena de lucru. Aceste informaii sunt transpuse n
modelri de micare a mulimii de trsturi vizuale ce caracterizeaz obiectul. Pentru
validarea algoritmului au fost considerate secvene de imagini ce surprind modificri ale
unei scene de lucru monitorizate cu ajutorul unei camere montate pe efectorul unui robot
manipulator. Rezultatele experimentale au scos n evidena performanele algoritmului
propus ca fiind bune n ipotezele de lucru menionate anterior.
Capitolul 5. Aplicaii n sisteme servoing vizuale
5.1 Introducere 5.3 Tehnici de control bazate pe imagini

5.2 Arhitectura bazat pe imagini 5.4 Concluzii
Sistemele servoing vizuale reprezint o fuziune a rezultatelor obinute din cercetri

ale mai multor domenii, cum ar fi analiza i procesarea in timp real a imaginilor, robotic,
teoria controlului si a sistemelor, proiectarea aplicaiilor in timp real. n (Weiss, 1984) se
face pentru prima dat o descriere complet a celor dou arhitecturi fundamentale ale
sistemelor servoing vizuale: arhitectura bazat pe poziie i arhitectura bazat pe imagine.
Fiecare din cele dou arhitecturi prezint avantaje i dezavantaje pentru procesele de timp
real (Hutchinson, et al. 1996).
5.1 Introducere
Arhitectura bazat pe poziie are drept principiu de funcionare minimizarea unei

erori reprezentate n sistemul Cartezian i necesit att un model al obiectului (de obicei
de tip CAD), ct i o camer perfect calibrat pentru a obine o estimare a poziiei si
orientrii obiectului (Mezouar i Chaumette, 2002). Arhitectura bazat pe imagine
(Fig.5.1) evit folosirea unui model al obiectului prin msurarea unui semnal eroare n
planul imaginii, semnal mapat direct n comenzile elementului de execuie al robotului
(Spong, et al 2006).
104 Aplicaii n sisteme servoing
Obiect
f* + e Regulator bazat v*c
pe imagini
_
Amplif. putere
Robot + Camera
f Extragere Imagine
trsturi
Fig.5.1 Arhitectur bazat pe imagine
Considernd ca obiectiv principal stabilitatea global a sistemelor servoing vizuale,

s-a constatat faptul c arhitectura bazat pe poziie sufer limitri masive din punct de
vedere a robusteii i descrierii matematice a modelelor necesare implementrilor fizice.
Astfel, aa numitele metode hibride, au fost create pentru a se compensa deficientele
iniiale (Andreff, et al 2002), (Kyrki, et al 2004), (Schramm, et al, 2004).
Dezvoltarea unei arhitecturi de control a roboilor manipulatori bazat pe imagini
presupune parcurgea a dou etape: planificarea micrii camerei n raport cu o sarcin
definit utiliznd trsturile vizuale din planul imaginii i transformarea traiectoriei
camerei n semnal de referin pentru articulaiile robotului. n acest capitol sunt analizate
separat cele dou etape, n subcapitolul 5.2 micarea camerei pentru secvene de imagini
reale, n timp ce modelarea sistemului robot mpreun cu senzorul vizual reprezint
obiectivul principal al subcapitolului 5.3. Sunt prezentate modaliti de proiectare a
legilor de control bazate pe feedback vizual tip P sau PI, ct i tehnici avansate precum
regulator predictiv bazat pe imagini.
5.2 Arhitectura de control bazat pe imagini
n aceast seciune sunt analizate micri ale camerei n raport cu diferite

transformri ale trsturilor n planul imaginii, transformri generate n urma aplicrii
unei viteze calculate pe baza unei legi de control proporionale. Obiectivul principal al
oricrui sistem de control bazat pe imagini este de genera o traiectorie a camerei video
Aplicaii n sisteme servoing 105
pentru a minimiza o eroare de poziionare a trsturilor vizuale curente fa de o

configuraie dorit, eroare definit prin:
e(t ) = f (t ) f * , (5.1)
unde f (t ) sunt poziiile trsturilor la un moment t iar f * reprezint configuraia dorit.

Ecuaia (5.1) reprezint formularea general a semnalului de intrare n regulatorul
proiectat pe baza modelelor de micare a trsturilor vizuale n planul imaginii.
Implementarea, testarea i validarea diferitelor regulatoare analizate a fost realizat prin
utilizarea unui simulator dedicat sistemelor servoing vizuale. Simulatorul a fost dezvoltat
prin crearea unei extensii ataate unui toolbox Matlab existent in literatura de specialitate
(Cervera, 2002). Extensia const n includerea imaginilor reale ca i semnale de referin
(Burlacu i Lazr, 2008a), rezultatele obinute descriind micarea camerei n spaiul
cartezian pentru ndeplinirea unor task-uri bine definite.
5.2.1 Micarea camerei
Semnalul f utilizat n ecuaia (5.1) conine msurtori efectuate asupra imaginii

(de exemplu coordonatele unor puncte de interes, sau parametri ai unor curbe n planul
imaginii). Aceste msurtori sunt folosite pentru crearea unui vector de n componente
(trsturi vizuale), msurtorile fiind influenate de parametrii intrinseci ai camerei.
Arhitecturile ce definesc sistemele servoing vizuale difer n funcie de modalitatea de
proiectare a vectorului f . Arhitectura bazat pe imagine (fig. 5.1) (eng. Image based
Visual Servoing) conine n f un set de trsturi vizuale care sunt imediat valabile din
imagine. Vectorul de referin a buclei nchise, f * , este comparat cu vectorul valorilor

curente, f , obinut cu ajutorul unui sistem de vedere artificial compus dintr-o camer
video i un bloc de extragere a trsturilor vizuale. Regulatorul bazat pe imagini
analizeaz eroarea e(t ) i genereaz semnalul de control vc* , vector de dimensiune 6 1
reprezentnd semnalele ce compun viteza camerei. Modelarea n bucl deschis a unui
sistem servoing vizual poate fi descris printr-un sistem multivariabil care primete ca
semnale de intrare componentele vectorului vc* i genereaz ca semnale de ieire
componentele vectorului de trsturi vizuale f .

Pentru proiectarea clasic a unui regulator bazat pe imagini se consider

v c = (vc , c ) , vectorul vitez spaial compus din vitezele liniare ale originii sistemului
de coordonate ataat camerei i vitezele unghiulare ale aceluiai sistem.

Pornind de la:
f = f ( q, t ) , (5.2)
unde q reprezint vectorul coordonatelor generalizate, rezult c
f f
f = q + . (5.3)
q t
f
Termenul poate fi descompus sub forma:
q
f f r
= , (5.4)
q r q
r
unde reprezint o modalitate de descriere a jacobianului robotului.
q
Relaia dintre f i v este dat de ecuaia:
c
f = L f vc , (5.5)
unde prin L f \ k 6 a fost notat matricea de interaciune a vectorului trsturilor f .
Termenul Jacobian al trsturilor este de asemenea utilizat n literatura de specialitate

pentru L f . Din (5.1) i (5.5) rezult relaia dintre viteza camerei i variaia n timp a
erorii:
e = Le vc , (5.6)
unde Le = L f . Pentru a asigura o comportare exponenial negativ a erorii (de exemplu
e = e ) i considernd vc semnalul de intrare n controllerul robotului se obine :
vc = L+e e , (5.7)
unde L+e \ 6k reprezint pseudo-inversa Moore-Penrose a matricei Le , calculat prin:
L+e = ( LTe Le ) 1 LeT , (5.8)

cnd Le este de rang minim 6. n sistemele servoing reale sunt necunoscute att Le ct i
L+e . De aceea sunt necesare aproximri sau estimri a uneia din cele dou matrice (se
noteaz cu L+e aproximarea lui L+e ). Utiliznd aceast notaie legea de control devine :
vc = L+e e . (5.9)
Prin nchiderea buclei de control i presupunnd c robotul poate realiza comanda vc

rezult:
e = Le L+e e . (5.10)
Ecuaia (5.10) caracterizeaz comportarea real a sistemelor de control bazate pe
feedback vizual, reprezentnd totodat baza de analiz a stabilitii sistemului considerat
folosind teoria Lyapunov.
Un punct P = ( X , Y , Z ) n spaiul cartezian va fi proiectat n planul imaginii ntr-o
poziie exprimat n pixeli:
X
u= + cu ,
Z (5.11)
Y
v = + cv ,
Z
unde (cu , cv , , ) reprezint parametrii intrinseci ai camerei. Astfel (cu , cv ) sunt
coordonatele centrului imaginii, este distana focal iar reprezint raportul

dimensiunilor unui pixel.
Viteza unui punct n spaiul cartezian poate fi corelat cu viteza unei camere
v c = (vc , c ) prin relaia:
X = vx y Z + zY

P = vc c P Y = v y z X + x Z (5.12)

Z = vz xY + y X .
Dac se noteaz ( xP , yP ) proiecia n perspectiv a lui P i innd cont de relaia:
X
xP = Z
(5.13)
y = Y
P Z
rezult c:
vx vx
x P = Z + x p Z + x p y px (1 + x p )v y + y p z
2
(5.14)
y = v y + y v y + (1 + y 2 ) x y x
P Z
p
Z
p x p p y p z
relaie ce poate fi restrns prin:

xP
y = L( xP , yP , z ) v c . (5.15)
P
Parametrul Z reprezint a treia coordonat a punctului P raportat la sistemul
ataat camerei, iar matricea de interaciune L( xP , yP , z ) este dat de:
1 xp
0 xp yp (1 + x 2p ) yp
Z Z
L( xP , yP , z ) = . (5.16)
1 yp
0 1+ y 2
p xp yp xp
Z Z
Folosind acelai raionament se identific relaia dintre proiecia n planul imaginii i
viteza camerei.
u
v = L(u ,v , z ) vc , (5.17)

unde:
u uv 2 + v2
0 v
L(u ,v , z ) =
z z . (5.18)
v + v2
2
uv
0 u
z z
5.2.2 Simulator
n literatura de specialitate sunt propuse diferite medii de simulare a arhitecturilor

servoing. Un toolbox pentru mediul Matlab (Visual Servoing Toolbox) a fost dezvoltat la
Universitatea Jaume I sub ndrumarea prof. Eric Cervera (Cervera, 2003). Facilitile pe
care le nglobeaz acest toolbox permit simularea i analiza performanelor diferitelor
legi de reglare dezvoltate pentru sisteme servoing vizuale. Principalele arhitecturi ale
sistemelor de control bazate pe feedback vizual sunt incluse n scheme Simulink. Image
based Visual Servoing (IBVS) (fig.5.2) se prezint ca o schem Simulink ce permite

utilizatorului s proiecteze legi de control utiliznd o mulime de trsturi punctiforme
din planul imaginii pentru a controla deplasarea n spaiu a unei camere n spaiul 3D,
fr a lua n considerare modelul dinamic al robotului.
Fig. 5.2 Schema Simulink IBVS (model dinamic al robotului egal cu 1)
Poziia i orientarea dorite pentru a considera finalizat deplasare camerei sunt

cunoscute, ns doar trsturile vizuale ce compun configuraia dorit f * sunt utilizate n
legea de control. Cunoscnd poziia iniial a camerei (pentru care se ataeaz un sistem
de coordonate), se determin parametrii micrii de rototranslaie necesari minimizrii
diferenei dintre poziia la un moment t i poziia dorit. Aceti parametri sunt calculai
folosind informaii obinute pe baza trsturilor vizuale extrase la momentul t, notate cu
f , i cele dorite plus proprietile matricei Jacobian calculat la fiecare iteraie. Matricea
de interaciune conine coordonate ale punctelor n spaiul 3D obinute din coordonatele
trsturilor vizuale din planul imaginii i parametrii intrinseci ai camerei.
Trsturile vizuale utilizate reprezint coordonate sintetice n planul imaginii
alese de utilizator. Prima etap reprezint setarea unei poziii i orientri de start a
camerei. A doua etap const n alegerea numrului de vrfuri ale unui poligon ce va
simboliza conturul unui obiect virtual. Folosind o interfa dedicat, denumit vsbrowser,
utilizatorul seteaz configuraia dorit raportat la camer a poligonului ales. Din aceste
informaii simulatorul descris de schema Simulink (fig.5.2) calculeaz componentele
vitezei necesare minimizrii erorii dintre configuraia dorit i configuraia curent.

Algoritmul de proiectare a legii de control urmeaz paii descrii n seciunea 5.2.1,
avnd finalizare n ecuaia 5.9.
Prin extinderea acestui Toolbox s-a permis introducerea imaginilor reale ca intrri
n algoritmul de proiectare a legii de control, proiectarea unui model ataat camerei i
ulterior introducerea unui model al dinamicii robotului. Pornind de la schema 5.2 s-a
renunat la utilizarea trsturilor vizuale sintetice n proiectarea legilor de control bazate
pe feedback vizual, cutndu-se o metoda de preanaliz a secvenelor de imagini
achiziionate ntr-un task servoing. Schema de proiectare se prezint ca n figura 5.3,
unde prin RbI s-a notat regulatorul bazat pe imagini (eng. Image based Controller).
Blocul denumit Extragere Trsturi are rolul de a analiza proprietile imaginilor reale i
de a detecta puncte de interes pentru caracterizarea obiectelor ce formeaz scena de lucru.
Utilizarea blocului dedicat extragerii trsturilor tip punct de interes este necesar n
etapa de iniializare a componentelor structurilor vectoriale f * i f .
Extragere f*
vc Tcb (k )
Trsturi f Frame
RbI
L+ Motion
Tcb(0)
z*
Jacobian Depth
x0
x cf (k ) Tbc (k )
f(k)
Image x Inv.
xbf (0)
x
x of (0) Tob (0)
Inv. Pr.
f(0)
Extragere
Trsturi
Fig. 5.3 Simulator pentru arhitectura bazat pe imagine
Considerm cazul camerei montate pe efector, cunoscut n literatura de

specialitate drept eye-in-hand. Utiliznd un algoritm dezvoltat pe baza detectorului
Harris, sunt extrase trsturile vizuale tip punct de interes ale obiectului. Cele n trsturi
detectate reprezint colurile obiectelor din scena de lucru i compun configuraia dorit
coninut ntr-o matrice n 2 , notat f * . Pornind de la o poziie cunoscut a camerei, se
determin cu ajutorul unui algoritm bazat pe cross-correlation corespondenii trsturilor
vizuale ce vor compune matricea notat prin f.
Informaiile cunoscute sunt: matricea de transformare omogen ce caracterizeaz
poziia i orientarea dorite pentru camer, parametrii intrinseci ai camerei i distana z *
dintre poziia dorit i planul imaginii. Aceast abordare este considerat doar pentru 2D
servo control. Obiectivul principal este determinarea matricei de transformare omogen a
poziiei de start a camerei. Sunt patru parametri ce trebuie calculai: unghiul de rotaie
n planul imaginii, x i y ce caracterizeaz translaia n planul imaginii i distana z
dintre poziia de start a camerei i scena de lucru.
Pentru determinarea valorii parametrului putem folosi ecuaia:
f * (1,:) f (1,:)
= a cos( ), (5.19)
f * (1,:) f (1,:)
unde f*(1,:) reprezint prima linie a matricei f*.

Calcularea translaiei trsturilor vizuale n planul imaginii se bazeaz pe
proprietile centrului de greutate a mulimii trsturilor. Poziiile centrelor de greutate
pentru mulimea de trsturi vizuale ce caracterizeaz poziia de start ct i pentru
mulimea ce caracterizeaz poziia dorit sunt calculate prin:
n n n n
*
f * (:,1)
*
f * (:,2) f (:,1) f (:,2)
xG = i =1
; yG = i =1
; xG = i =1
; yG = i =1
. (5.20)
n n n n
Parametrii x i y rezult prin rezolvarea unor ecuaii algebrice simple:
x = xG * xG ; y = y G * y G . (5.21)
Distana z dintre poziia de start a camerei i scena de lucru poate fi calculat din
informaiile cunoscute utiliznd:
( f (1,1) xG ) 2 + ( f (1,2) y G ) 2
z = z +*
z* . (5.22)
* 2 * 2
( f (1,1) xG ) + ( f (1,2) y G )
* *
Folosind cei patru parametri calculai anterior putem determina matricea de transformare
omogen a camerei ce caracterizeaz poziia de start.
Pentru a determina un model al senzorului vizual, se ataeaz bazei robotului,

camerei i respectiv obiectului, sisteme de coordonate Rb , Rc , Ro . Transformrile
omogene ntre sistemele de coordonate sunt date de matricele Tcb i Tob (fig. 5.4).
Rc
Tcb
Ro
Rb Tob
Fig. 5.4 Sisteme de coordinate ale robotului, camerei i obiectului

Calcularea poziiei i orientrii camerei xc , dependent de viteza vc , se realizeaz
prin blocul denumit Frame Motion, (Fig. 5.5).
Tcb (0)
vc(k)
O x I Tcb (k )
Fig. 5.5 Blocul Frame Motion

Construcia acestui bloc face apel la un operator O de transformare a semnalului
vc n matrice omogen dup cum urmeaz:
0 z y vx
0 x v y
O(vc ) = z . (5.23)
y x 0 vz

0 0 0 0
Etapele ulterioare aplicrii operatorului O reprezint o nmulire i o integrare

(blocul I din fig.5.5), rezultatul este adunat la Tcb (0) i astfel se obine Tcb (k ) . Inversa
matricei Tcb (k ) este calculat, iar rezultatul Tbc (k ) este nmulit cu vectorul de coordonate
omogene xob , rezultnd vectorul x cf de coordonate ale obiectului raportat la sistemul de
coordonate al camerei. Informaia din x cf reprezint semnal de intrare n blocul Image,
bloc ce conine parametrii intrinseci ai camerei ( px , p y ) i coordonatele centrului
imaginii (u0 , v0 ) . Blocul Image calculeaz, folosind metoda proieciei n perspectiv,

coordonatele exprimate n pixeli ale punctelor de interes:
xi y
f xi = px + u0 ; f yi = i p y + v0 . (5.24)
zi zi
Astfel modelarea senzorului vizual este ncheiat, semnalul de intrare vc (k ) este
transformat n puncte de interes f (k ) .

Analiza performanelor simulatorului propus pentru arhitectura de control bazat
pe imagini s-a realizat prin analiza traiectoriilor camerei video pentru transformri
fundamentale ale poziiei unui obiect n planul imaginii.
a) b) c)
d) e)
f) g)
Fig. 5.6 Transformare tip rotaie a) poziie de start; b) poziie dorit; c) estimarea traiectoriei; d) traiectoria
trsturilor pentru legea proporional; e) traiectoria camerei; f) eroarea n planul imaginii; g)
comportament viteze unghiulare i liniare.
a) b) c)
d) e)
f) g)
Fig. 5.7 Transformare tip scalare a) poziie de start; b) poziie dorit; c) estimarea traiectoriei; d) traiectoria
trsturilor pentru legea proporional; e) traiectoria camerei; f) eroarea n planul imaginii; g)
Pentru a achiziiona secvene de imagini ce surprind ndeplinirea a diferite task-

uri servoing, a fost utilizat o configuraie tip eye-in-hand construit dintr-un robot cu
ase grade de libertate IRB2400 ce are ataat o camer video pe efector i o scen de
lucru cu obiecte rectangulare. Secvena de imagini achiziionat surprinde ndeplinirea
unui task de prindere a obiectului rectangular n efector. Imaginile ce formeaz secvena
de imagini sunt monocrome cu o rezoluie de 640x480. Sunt analizate transformri tip
rotaie (figura 5.5), translaie (figura 5.6) i modificare a factorului de scalare (figura 5.7)
pentru ndeplinirea task-ului i atingerea configuraiei dorite. Legea de control proiectat

i considerat pentru realizarea simulrilor este una de tip proporional, avnd parametrul
de amplificare egal cu 0.25.
a) b) c)
d) e)
f) g)
Fig. 5.8 Transformare tip translaie a) poziie de start; b) poziie dorit; c) estimarea traiectoriei; d)
traiectoria trsturilor pentru legea proporional; e) traiectoria camerei; f) eroarea n planul imaginii; g)
Rezultatele experimentale surprind micarea camerei n decursul a 30 s de

simulare, observnd o ndeplinire a task-ului dorit (regim staionar) dup o perioad de
timp de aproximativ 20s. Imaginile ce ilustreaz poziia de start i poziia de stop a
obiectului sunt prezentate n (fig. 5.6 a-b, 5.7 a-b, 5.8 a-b). O traiectorie ipotetic
calculat pe baza unui algoritm dezvoltat prin metoda cross-correlation este evideniat n
(fig. 5.6 c, 5.7 c, 5.8 c). Comportarea sistemului servoing vizual fr model dinamic al
robotului este descris prin analiza a patru indicatori. Traiectoriile trsturilor vizuale
(fig.5.6 d, 5.7 d, 5.8 d) scot n eviden ndeplinirea task-ului de atingere a configuraiei
dorite (simbolizat prin puncte roii), plecnd de la o configuraie de start (simbolizat
prin puncte galbene). Eroare poziiei trsturilor la un moment t n raport cu
corespondentul din configuraia dorit (fig. 5.6 f, 5.7 f, 5.8 f) ilustreaz o comportare tip
element de ordinul I. Eroarea conine dou valori pentru fiecare trstur fiind calculate
diferenele dintre cele dou componente ale trsturii la momentul t i corespondentul din
configuraia dorit. Realizarea traiectoriilor trsturilor n planul imaginii este derivat
din traiectoria camerei n spaiul Cartezian, (fig. 5.6 e, 5.7 e, 5.8 e), traiectorie generat
pe baza semnalului de comand vc* , a crui structur este reprezentat n (fig. 5.6 g, 5.7 g,
5.8 g).
5.3 Tehnici de control bazate pe imagini
Arhitecturile de conducere a roboilor manipulatori pot fi proiectate folosind att

regulatoare PID bazate pe imagini, ct i tehnici avansate de control (de exemplu abordri
predictive). Utiliznd tehnici bazate pe metoda Lyapunov (Dixon, et.al, 2003a) s-a
propus construirea unei metode de aproximare a informaiilor legate de distane
necunoscute pentru o singur camer, n timp ce tehnici adaptive au fost dezvoltate n
(Dixon, et al, 2003b) pentru a estima distanele fa de planul camerei. O alt abordare
este propus n (Fujimoto, 2003), unde un regulator al poziiei mpreun cu un traductor
la nivelul articulaiilor robotului, formeaz sistemul de reglare.
n aceast seciune se propune un model pentru roboi manipulatori cu 6 grade de
libertate utilizai n sisteme servoing (Lazr i Burlacu, 2008b), simulrile fiind realizate
pe o structur de control cu regulator PI bazat pe imagini i o arhitectur ce conine un
regulator predictiv bazat pe imagini.
5.3.1 Regulator PI bazat pe imagini
Modelul unui sistem servoing vizual n bucl deschis este compus din dou pri:
prima include dinamica robotului, denumit VCMD (eng. Virtual Cartesian Motion
Device) (Hashimoto i Naritsugu, 1998) iar a doua parte conine dinamica indus de
camera video i procesul de achiziie a imaginii. Reprezentarea buclei nchise, cu cele
dou pri componente ale buclei deschise i regulatorul bazat pe imagini, este ilustrat n
figura 5.9. Semnalul de intrare n VCMD este viteza de referin vc* exprimat n spaiul
Cartezian, deci este necesar o conversie n spaiul articulaiilor pentru a putea fi aplicat
celor ase niveluri de control al vitezei articulaiilor robotului. Aceast transformare este
realizat folosind inversa matricei Jacobian J r1 ataat robotului, rezultnd vectorul
vitez de referin pentru fiecare articulaie vq* . Fiecrei articulaii i este ataat o bucl
de reglare a vitezei, bucl ce conine un regulator C care asigur performanele impuse.

Transformarea vitezei articulaiei vq n spaiul Cartezian este realizat prin aplicarea
Jacobianului robotului J r . Din viteza camerei vc , poziia camerei xc poate fi obinut

utiliznd integrarea numeric.
VCMD model
v*q1 + vq1
C1
_
e vc* vc* v*q vq vc
f* + RbI ZOH J r1 Jr
_
v*q 6 + vq 6
C6
_
H(s)
Model Robot
xo Obiect
i
f Extragere
i ( xc , xo )
trsturi
Model Camer
Model sistem de vedere
artificial
Fig. 5.9. Sistem servoing vizual
Regulatoarele de vitez Ci , i = 1, 6 pot fi proiectate astfel nct s fie asigurat

decuplarea fiecrei articulaii, lucru valabil pentru marea majoritate a roboilor industriali.
Modelul VCMD este neliniar, fapt datorat structurii Jacobianului robotului i dependenei
dinamicii robotului de poziia xq a articulaiilor. Matricea Jacobian este dependent de
poziia obiectului n raport cu robotul i de variaia lui xq . Presupunnd, ca ipotez de
lucru, nonexistena singularitilor lui J r n spaiul de lucru a robotului, rezult
modificri lente pentru J r n raport cu xq i se poate admite faptul ca deplasarea
robotului pe o perioad de eantionare este mult redus. Deci J r este constant ntre dou
eantioane consecutive, presupunere valid n aplicaiile reale dac robotul nu se gsete
n spaiul de lucru ntr-o zon de singularitate. Modelul dinamicii robotului este neliniar
datorit efectelor generate de fore precum Coriolis, centrifug i gravitaional. Cnd
robotul i modific configuraia cu vitez mare atunci neliniaritile devin semnificative.
n cazul sistemelor servoing vizuale vitezele articulaiilor sunt controlate
individual, regulatoarele buclelor de reglare, C1 C6 , (Fig. 5.9), sunt astfel proiectate
pentru a elimina efectele neliniare generate de perturbaiile de ncrcare. O singur
comportare neliniar mai apare, aceea a matricei de inerie. Ineria articulaiilor variaz
limitat n raport cu poziia xq a robotului i astfel matricea de inerie poate fi considerat
constant n jurul unei poziii date pentru robot. Mai mult, se poate liniariza modelul
VCMD ntr-o vecintate a lui xq pentru care modelul dinamicii robotului i J r sunt
considerate constante. n baza tuturor acestor ipoteze, regulatorul de vitez ataat

robotului poate fi modelat folosind o matrice de transfer H ( s ) valid n jurul poziiei
curente xq a robotului:
vq = H ( s ) vq* . (5.25)
Matricea de transfer H ( s) poate fi obinut utiliznd metode de identificare

(Cuvillon, et.al., 2006). Astfel, pentru fiecare articulaie, un semnal pseudo-aleator binar
avnd o dimensiune maxim i o amplitudine optim pentru a fi n vecintatea poziiei de
lucru, este aplicat ca vitez de referin vq* , iar ieirea este achiziionat n multiple seturi
de date. Unul din aceste seturi este utilizat pentru determinarea modelului i estimarea
parametrilor, iar celelalte seturi de date pentru validare.
Dac regulatoarele de vitez Ci , i = 1, 6 din bucla intern sunt proiectate pentru a
controla viteza camerei vc , viteza de rototranslaie poate fi controlat pentru a obine un

model diagonal liniar pentru sistemul cu ase grade de libertate (Fujimoto, 2003). n acest
caz este valabil presupunerea c fiecare articulaie este decuplat pentru o frecven mai
mic dect frecvena de tiere a buclei interne. Perioada de eantionare a buclei interne
este aleas de obicei din intervalul 0.21[ms] i frecvena de tiere este 150300 [rad/s]
(Fujimoto i Himura, 2001). Cum regulatorul de vitez este de obicei unul tip
proporional cu Ci ( s) = K v , bucla intern a sistemului poate fi modelat n regiunea
frecvenelor mai mici dect frecvena de tiere, fapt exprimat prin:
kv
vc ( s ) = H 0 ( s ) vc* ( s ) = I 6 vc* ( s ) . (5.26)
s + kv
Din modelul (5.26) rezult necesitatea poziionrii blocului ZOH din figura 5.9 dup
regulatorul RbI, pentru a utiliza semnalul vs* ( s ) ca i intrare a buclei interne, astfel
rezultnd modelul linearizat pentru VCMD din figura 5.10:
vc* ( z ) vc* ( s) v*q ( s) vq ( s) vc ( s) vc ( z )

1
ZOH J r H(s) Jr
Fig. 5.10. Model liniarizat pentru VCMD
caracterizat prin :
G ( z ) = (1 z 1 ) Z ( H 0 ( s ) / s ) (5.27)
Testarea i analiza modelului de decuplare propus pentru robot s-a realizat

folosind schema de simulare 5.2 la care au fost adugate dou blocuri: primul reprezint
modelul din ecuaia 5.27, iar al doilea este un regulator discret tip PI. Structura
simulatorului este ilustrat n figura 5.11.
Fig. 5.11 Simulator cu model dinamic al robotului inclus

n figura 5.12 sunt reprezentate comportrile a patru elemente definitorii pentru

sistemul servoing vizual cu model dinamic al robotului inclus. Traiectoriile trsturilor
vizuale ilustrate n (fig. 5.12 a) subliniaz atingerea configuraiei dorite simbolizat prin
puncte roii, plecnd de la o configuraie de start, simbolizat prin puncte verzi. Pentru o
analiz n profunzime a traiectoriilor trsturilor n planul imaginii au fost ilustrate erorile
de poziie (fig. 5.12 c) ale fiecrei trsturi n raport cu corespondentul din configuraia
dorit. Astfel se observ o comportare dinamic de tipul element de ordin II cu ntrziere,
fapt datorat includerii modelului VCMD.
a) b)
c) d)
Fig. 5.12 Comportarea sistemului servoing cu model dinamic al robotului manipulator inclus pentru un
regulator PI: a) traiectoria trsturilor n planul imaginii, b) traiectoria camerei n spaiul Cartezian, c)
eroarea n planul imaginii, d) componentele vectorului vitez al camerei
Pentru aducerea trsturilor n configuraie dorit camera urmeaz o traiectorie

ilustrat n (fig.5.12 b), traiectorie generat de semnalul vc* a crui structur, de pe
parcursul simulrii, este prezentat n (fig.5.12.d).
5.3.2 Regulator predictiv bazat pe imagini
Creterea numrului de grade de libertate ale roboilor inclui n sisteme servoing

(Drummond i Cipolla, 2002) plus complexitatea mrit a obiectelor din scena de lucru
(Fujimotto, 2003) au condus la necesitatea implementrii de noi metode pentru
proiectarea legii de control. Astfel una din soluiile propuse vizeaz controlul predictiv
(Gangloff, 2003) avnd scopul de a crete viteza de rspuns a sistemului servoing.
Includerea strategiilor de control predictiv n sistemele servoing a fost explorat
prin utilizarea modelelor de tip ARIMAX multivariabil (Lazr i Burlacu, 2007c) ce
permit implementarea tehnicilor avansate de proiectare a regulatoarelor predictive bazate
pe imagini (Burlacu i Lazr, 2008b). n (Sauvee, et al, 2006) o structur de reglare
bazat pe imagine ce conine un regulator predictiv neliniar este propus, considerndu-se
un model dinamic pentru articulaii i restricii provenite din limitri ale cuplului i
vizibilitii proieciei n perspectiv.
n figura 5.13 este prezentat structura de control bazat pe trsturi vizuale,
observndu-se dou bucle: una intern pentru reglarea vitezei camerei i una extern ce
implementeaz algoritmul de reglare bazat pe imagini. Bucla intern de tip VCMD este
privit ca un sistem analog, deoarece perioada de eantionare este foarte mic (de obicei
1 ms).
bucl intern
e(k) ec(k) vc* (k ) vc* + vc* q* vc vc(k)
f* + 1
L RPbI ZOH kV J rc Robot
+ _ +
_ _ T
Regulator q
de vitez Jrc
f(k)
i ( xc , xo )
xo(k)
senzor vizual
Fig. 5.13 Structur de control bazat pe imagini

n aceast seciune se propune utilizarea MBPC n controlul sistemelor servoing

pentru un bra manipulator cu 6 grade de libertate ce are o camer video montat pe
efector (configuraie eye-in-hand). Sistemul are ca task principal preluarea unui obiect
imobil caracterizat prin trsturi vizuale tip punct de interes. Principala dificultate n
proiectarea unei strategii predictive este construirea unui predictor performant. Din acest
motiv a fost dezvoltat un nou predictor bazat pe imagini, ce permite calcularea evoluiilor
viitoare ale trsturilor vizuale pe un orizont H p . Modelul considerat pentru regulatorul
bazat pe imagini este reprezentat n figura 5.14 i este compus dintr-un model discret al
buclei interne VCMD plus un model al senzorului vizual.
VCMD SV
vc* (k ) vc* ( s ) vc(s) vc(k) ( ui (k ), vi (k ), zi (k ) )
EOZ I 6G( s) L
T f (k +1) f (k )
T
I 6G ( z 1 )
Fig. 5.14 Modelul sistemului pentru calculul prediciilor
Se consider c la fiecare perioad de eantionare, senzorul vizual compus din

camer video i un bloc de extragere a trsturilor vizuale, genereaz coordonatele
(ui (k ), vi (k )) trsturilor n planul imaginii. Componenta zi (k ) , care reprezint a treia
coordonat a trsturilor n spaiul Cartezian, raportndu-se la sistemul camerei, va fi
extras din proprieti de micare generate de vc (k 1) . Folosind forma discret a ecuaiei
(5.5) i innd cont de modelul discret al buclei interne rezult:
f (k + 1) = f (k ) + TLk G ( z 1 )vc* (k ) , (5.28)
care reprezint predicia pe un pas a evoluiei trsturilor vizuale. Recursiv se obin
predictorii pentru urmtorii pai :
f (k + 2) = f (k + 1) + TLk +1G ( z 1 )vc* (k + 1)

f (k + i ) = f (k + i 1) + TLk +i 1G ( z 1 )vc* (k + i 1) (5.29)

f (k + H p ) = f (k + H p 1) + TLk + H p 1G ( z 1 )vc* (k + H p 1) .
Predictorul general f (k + i ) este calculat utiliznd prediciile evoluiilor trsturilor n

pasul anterior f (k + i 1) , din care sunt extrase i informaiile necesare calculului
Jacobianului imaginii Lk +i 1 i a comenzii viitoare vc* (k + i 1) . Algoritmul de predicie
este iniializat cu trsturile f (.) la pasul k ce sunt obinute din senzorul vizual utiliznd
un detector de trsturi vizuale adecvat.
Controlul erorii trsturilor n planul imaginii exprimate n coordonatele spaiului
Cartezian, este dat de:
ec (k + i ) = L+ ( f d f (k + i )), i = 1, H p . (5.30)
Funcia cost ce trebuie minimizat este definit ca o form ptratic compus din erori
exprimate n spaiul Cartezian i un vector de intrri tip trstur pe un orizont de control
Hc :
H
1 p 1 H c 1
J = ecT (k + i )Qec (k + i ) + vc*T (k + i ) Rvc* (k + i ) , (5.31)
2 i =1 2 i =0
unde Q i R reprezint matrice tip pondere, pozitiv definite i simetrice. Limitele
imaginii introduc restricii de vizibilitate pentru a asigura existena n planul imaginii n
permanen a trsturilor. Aceast restricie e sintetizat:
(ui (k ), vi (k )) [u min , v min ; u max , v max ] (5.32)
i inclus n funcia cost pentru a garanta validitatea fizic a soluiei a strategiei
predictive.
Implementarea, testarea i validarea predictorului propus n ecuaia (5.29) au fost
realizate prin dezvoltarea unor rutine Matlab care s ndeplineasc obiective diferite
precum calcularea matricei de interaciune, transformarea prin proiecia n perspectiv a
punctelor din spaiul Cartezian n planul imaginii, modelarea micrii camerei prin
determinarea matricei de transformare omogen ataate. Pentru determinarea orientrii
camerei obinute dup aplicarea unei viteze de rotaie a fost utilizat reprezentarea roll ,
pitch , yaw , reprezentare ce genereaz o matrice de rotaie (Siciliano, et al., 2009)
via ecuaia:
c c c s s s c c s c + s s

R = s c
b
c s s s + c c s s c c s . (5.33)
s c s c c

Dezvoltnd ecuaia (5.28) , forma utilizat n implementare este dat de ecuaia :
2 + kvT 1 T 2 kv
f (k + 1) = f (k ) f (k 1) + Lk vc (k ) (5.34)
1 + kvT 1 + kvT 1 + k vT
Cei doi parametri au fost setai pe valorile kv = 160; T = 1 .

Estimarea traiectoriei punctelor de interes n planul imaginii pentru un sistem
servoing al crui VCMD este modelat via ecuaia (5.27) este analizat pentru fiecare tip
de micare. n figura 5.15 se prezint rezultatele n urma aplicrii unei viteze de translaie
pe direcia x n spaiul cartezian, transformat n translaie pe direcia y n planul
imaginii.
a c e
b d f
Fig.5.15 Estimarea micrii trsturilor pe baza modificrii valorilor componentelor vectorului vitez a)
grafic de modificare a componentei vx , b) traiectorii puncte de interes pentru modificarea componentei
vx , c) grafic de modificare a componentei v y , d) traiectorii puncte de interes pentru modificarea
componentei v y , e) grafic de modificare a componentei vz , f) traiectorii puncte de interes pentru
modificarea componentei vz .
Eficiena predictorului este evideniat i prin combinarea semnalelor ce compun

viteza camerei i interpretarea traiectoriilor rezultate din planul imaginii. n figura 5.16 b)
este prezentat diagrama traiectoriilor punctelor de interes n planul imaginii pentru o
vitez a camerei compus 5.16 a).
a) b)
Fig. 5.16 a) grafic modificare componente vitez camer, b) traiectorii puncte de interes
Dinamica robotului inclus n modelul ataat pentru VCMD se regsete n

traiectoriile de micare ale punctelor de interes n planul imaginii, putndu-se estima cu
acuratee poziia la fiecare iteraie n funcie de viteza camerei, considerat drept semnal
de referin. n concluzie, predictorul propus poate fi utilizat n estimarea micrii
trsturilor obiectelor, micare datorat modificrii poziiei i orientrii camerei video.
Analiza calitii structurii de control cu regulator predictiv bazat pe imagini,
descris n figura 5.13, a fost realizat prin dezvoltarea unui program n mediul Matlab
care necesit drept date de intrare poziiile de start a punctelor de interes i poziiile ce
formeaz configuraia dorit, reprezentate n spaiul cartezian. Modelul de proiecie n
perspectiv a fost realizat pentru o imagine cu rezoluia 512 512 . Iterativ, se
minimizeaz funcia cost dat de ecuaia (5.31), salvndu-se viteza optim la fiecare pas
k . n funcie de orizontul de predicie i orizontul comenzii, complexitatea funciei de
cost variaz.
Testele realizate au vizat evaluarea performanelor abordrii predictive n raport
cu modaliti clasice de control (PI). Au fost analizate transformri fundamentale precum
translaie, modificare factorului de scalare, rotaie, rezultatele experimentale fiind
prezentate n figurile 5.17, 5.19, 5.21, pentru regulatorul PI bazat pe imagini, i n figurile
5.18, 5.20, 5.22, pentru regulatorul predictiv bazat pe imagini.
a) b)
c) d)
Fig. 5.17 Regulator PI: Translaie pe direcia x a) traiectorie puncte de interes; b) eroare n planul
imaginii; c) comportare componente vitez camer; d) traiectorie camer.
a) b)
c)
Fig. 5.18 Regulator Predictiv: translaie pe direcia x a) traiectorie puncte de interes; b) eroare n planul
imaginii; c) comportare componente vitez camer;
a) b)
c) d)
Fig. 5.19 Regulator PI: modificare factor scalare a) traiectorie puncte de interes; b) eroare n planul
imaginii; c) comportare componente vitez camer; d) traiectorie camer.
a) b)
c)
Fig. 5.20 Regulator Predictiv: modificare factor de scalare a) traiectorie puncte de interes; b) eroare n
planul imaginii; c) comportare componente vitez camer;
a) b)
c) d)
Fig. 5.21 Regulator PI: Rotaie axa z a) traiectorie puncte de interes; b) eroare n planul imaginii; c)
comportare componente vitez camer; d) traiectorie camer.
a) b)
c)
Fig. 5.22 Regulator Predictiv: rotaie axa z : a) traiectorie puncte de interes; b) eroare n planul imaginii; c)
comportare componente vitez camer;
Parametrii de acord pentru regulatorul PI bazat pe imagini au fost setai pe

valorile Kp = 0.1; Ki = 0.01 . Pentru regulatorul predictiv bazat pe imagini au fost alese
orizontul de predicie hp = 9 , iar orizontul comenzii hc = 1 . Din figurile 5.18 b), 5.20 b),
5.22 b) se pot evalua rezultatele obinute prin utilizarea tehnicii de control predictive
bazate pe model. Convergena ctre configuraiile dorite sunt evidente (dup cum este
evideniat i n fig. 5.18 a), 5.20 a), 5.22 a) ) i se poate concluziona faptul c sistemul
servoing vizual cu regulator predictiv bazat pe imagini este mai rapid prin comparaie cu
un regulator tip PI bazat pe imagini. Eroarea n planul imaginii se apropie de 0
aproximativ dup 8 pai iterativi, fiecare pas fiind evaluat n medie dup 11 sec. Din
figurile 5.18 c), 5.20 c), 5.22 c) se poate observa evoluia structurii semnalului de
comand tip vitez pentru camer. Pe parcursul experimentelor s-a observat un efort
computaional mai ridicat pentru abordarea predictiv i n acelai timp a fost scoas n
eviden necesitate dezvoltrii unor metode de identificarea restriciilor variabile pentru
funcia cost pentru a asigura o comportare optim a algoritmului.
5.4 Concluzii
n acest capitol au fost analizate performanele unei arhitecturi de control bazat

pe imagini format dintr-un robot cu 6 grade de libertate avnd o camer montat pe
efectorul robotului (tip eye-in-hand). A fost prezentat un algoritm de reconstrucie a
traiectoriei camerei video folosind informaii corelate cu micarea trsturilor tip punct
de interes n secvene de imagini. Implementarea, testarea i validare algoritmului de
reconstrucie a traiectoriei camerei a fost realizat prin dezvoltarea unui simulator pentru
sisteme servoing vizuale. Simulatorul reprezint o extensie ataat toolbox-ului dedicat
sistemelor servoing, extensie ce permite includerea imaginilor reale drept semnal de
intrare. Analiza micrii camerei a fost realizat fr a fi considerat modelul n bucl
deschis a arhitecturii servoing. Modelarea buclei deschise a sistemului servoing vizual a
fost realizat n dou etape: prima reprezint proiectarea unui model al dinamicii
robotului, iar a doua un model pentru senzorul vizual. Pentru a asigura comportarea
dorit a unui sistem servoing sunt necesare tehnici avansate de control bazate pe imagini.
A fost dezvoltat un predictor pentru estimarea micrii trsturilor tip punct de interes n
planul imaginii pentru viteze prescrise ale camerei video. Predictorul, dezvoltat pe baza
modelului n bucl deschis a sistemului servoing vizual, a fost implementat, testat i
validat iar rezultatele experimentale au relevat performane foarte bune, n special pentru
acurateea traiectoriilor punctelor de interes n planul imaginii. n final au fost evaluate
performanele a dou structuri de reglare bazate pe imagini una coninnd un regulator PI
bazat pe imagini cealalt un regulator predictiv bazat pe imagini. Experimentele au
constat n evidenierea comportrii celor dou structuri pentru transformri fundamentale
precum translaie, rotaie, modificare factor scalare. Structura ce conine regulatorul
predictiv bazat pe imagini a relevat performane mult mai bune dect abordarea clasic cu
regulator PI bazat pe imagini.
Capitolul 6. Concluzii
6.1 Contribuii 6.2 Direcii viitoare de cercetare
n acest capitol se prezint contribuiile principale pe care prezenta tez de

doctorat le propune n domeniul algoritmilor de procesare a imaginii cu aplicabilitate n
aplicaii de urmrire a obiectelor n micare.
6.1 Contribuii
Contribuiile aduse se ncadreaz n urmtoarele arii de cercetare:

1. Evaluarea performanelor trsturilor vizuale tip punct de interes;
2. Algoritmi de urmrire a punctelor de interes;
3. Estimarea micrii obiectelor;
4. Aplicaii n sisteme servoing vizuale.
6.1.1 Evaluarea performanelor trsturilor vizuale tip punct de interes
Criteriile de performan msoar calitatea punctelor de interes pentru aplicaii

precum recunoaterea obiectelor sau reconstrucia 3D. Sunt aplicabile oricrui tip de
scen de lucru i nu necesit o modelare anterioar sau un nivel nalt de caracterizare a
132 Concluzii
trsturilor utilizate. Pentru prezenta lucrare trsturile vizuale utilizate pentru

caracterizarea obiectelor sunt punctele de interes.
- A fost dezvoltat un criteriu de evaluare a performanei tip stabilitate pentru
trsturile tip punct de interes folosind secvene de imagini cu dinamic
controlabil.
- A fost dezvoltat un nou criteriu de evaluare a performanelor tip robustee i
rat de repetabilitate pentru trsturile tip punct de interes folosind
momente ale imaginii i distana Mahalanobis .
Criteriile de evaluare a performanelor trsturilor tip punct de interes, prezentate n
capitolul 3, au fost dezvoltate pentru a fi utilizate n special n aplicaii ale sistemelor
servoing vizuale. Aceste contribuii fac apel la tehnici de descriere a mulimii punctelor
de interes folosind momente ale imaginii, tehnic ce permite evidenierea proprietilor
trsturilor vizuale fr a fi necesar o etap de urmrire la nivel individual. Tot n acest
capitol sunt evaluate dou tehnici de reconstrucie a vectorilor de micare pentru obiecte
caracterizate prin puncte de interes.
6.1.2 Algoritmi de urmrire a punctelor de interes
Reconstrucia fluxului optic pentru o secven de imagini poate fi realizat prin

mai multe metode.
- Dou tehnici, una bazat pe regiuni de interes i o alta ce utilizeaz
proprietile derivatei funciei imagine, au fost implementate, testate i
evaluate pentru secvene de imagini ce surprind etape din aplicaii servoing.
Astfel, considernd puncte de interes drept trsturi vizuale de caracterizare
a obiectelor, au fost dezvoltate rutine de identificare a vectorilor de micare
pentru cadre consecutive dintr-o secven de imagini (capitolul 3).
- Pentru secvenele de imagini n care factorul de scalare variaz, a fost
dezvoltat i implementat un algoritm de reconstrucie a micrii ce are la
baz ataarea unui descriptor fiecrui punct de interes. Descriptorul
surprinde proprieti tip magnitudine si orientare analizate n spaiul
scalrilor construit pentru o imaginea dat.
Concluzii 133
6.1.3 Estimarea micrii obiectelor
- Un nou algoritm de estimare a micrii obiectelor n secvene de imagini

este prezentat n capitolul 4. Algoritmul propus este dezvoltat folosind
filtrul Kalman i proprietile centrului de greutate a mulimii trsturilor tip
punct de interes ce caracterizeaz obiectele din imagini. Algoritmul a fost
implementat, testat i validat, iar rezultatele experimentale au fost analizate
din punct de vedere al performanelor n raport cu abordarea bazat pe
cross-correlation.
6.1.4 Aplicaii n sisteme servoing vizuale
Aplicaiile n domeniul sistemelor servoing vizuale considerate au vizat diferite

metode pentru proiectarea legilor de control bazate pe imagini (capitolul 5).
- O prim contribuie este dezvoltarea unui algoritm de reconstrucie a
micrii camerei pe parcursul unui task servoing, cnd sunt date ca
informaii de intrare imaginea de strat a obiectului i imaginea configuraiei
dorite a obiectului. Algoritmul este construit pentru o arhitectur tip eye-in-
hand, modelul dinamic al robotului fiind considerat egal cu 1.
Implementarea, validarea i testarea algoritmului de reconstrucie a micrii
camerei a fost realizat utiliznd un toolbox Matlab dedicat sistemelor
servoing, pentru care a fost dezvoltat o extensie prin includerea imaginilor
reale n schemele de lucru.
- Necesitatea dezvoltrii unor arhitecturi de control robuste i stabile, care s
poat include multiple tipuri de restricii ce apar n sistemele servoing i sa
mbunteasc performanele n timp real, a condus la utilizarea tehnicilor
avansate de control precum controlul predictiv. n capitolul 5 a fost propus
un model al senzorului vizual care mpreun cu o abordare de analiz prin
decuplare pe articulaii a robotului manipulator a condus la proiectarea unui
predictor bazat pe imagini nou n literatura de specialitate. Predictorul,
dezvoltat pe baza modelului n bucl deschis a sistemului servoing vizual,
134 Concluzii
a fost implementat, testat i validat iar rezultatele experimentale au relevat

performane foarte n special pentru acurateea traiectoriilor punctelor de
interes n planul imaginii.
- A treia contribuie a reprezentat evaluarea performanele a dou structuri de
reglare bazate pe imagini una coninnd un regulator PI bazat pe imagini
cealalt un regulator predictiv bazat pe imagini. Experimentele au constat n
evidenierea comportrii celor dou structuri pentru transformri
fundamentale precum translaie, rotaie, modificare factor scalare. Structura
ce conine regulatorul predictiv bazat pe imagini a relevat performane mult
mai bune dect abordare clasic cu regulator PI bazat pe imagini.
6.2 Direcii viitoare de cercetare
Mulimea trsturilor vizuale utilizat n aplicaii ale sistemelor servoing vizuale

conine pe lng puncte de interes i momente ale imaginii (Chaumette, 2004) sau funcia
imagine n totalitate (Collewet, 2008). Ca direcii viitoare de cercetare vor fi analizate
performanele diferitelor tipuri de trsturi vizuale aplicabile n proiectarea legilor de
control bazate pe imagini.
O alt direcie de cercetare va fi investigarea i a altor domenii de aplicabilitate
pentru algoritmii de control bazai pe imagini. Sunt vizate domenii precum planificarea
traiectoriei roboilor mobili sau controlul vehiculelor autonome.
Bibliografie
Amit Y., 2002, 2D Object Detection and Recognition Models, Algorithms and Networks,
Ed. M.I.T
Andreff, N., B. Espiau, R. Horaud, 2002, Visual Servoing from Lines, International
Journal Of Robotics Research, 21, no. 8, pp 679-700.
Anderson J., Lee D., Eduards B., Archibald J. and Greco C., 2007, Real-Time feature
tracking on an embedded vision sensor for small vision guided unmanned
vehicles, Proc. of the IEEE International Symposium on Computational
Intelligence in Robotics and Automation, pp 55-60.
Betke M., Hariteoghe E., Davis L., 2000, Real time multiple vehicle detection and
tracking from a moving vehicle, In Journal of Machine Vision and Applications,
vol. 12, pp 69-83.
Boghiu B., Burlacu A., Lazr C., 2007, Image features detection using phase congruency,
Proc. of 9th International Symposium on Automatic Control and Computer
Science, Iasi, November 16-17, CD-ROM, ISSN 1843-665-X.
Brown R. i Hwang P., 1992, Introduction to random signals and applied Kalman
filtering, Second Edition, Ed. John Wiley and Sons, 512 pp, ISBN 0-47152-573-1.
Burlacu A. i Lazr C. 2006a, Performance Analysis of Point Features Using Image
Sequences with Controlled Motion, Scientific Bulletin of Politehnica University of
Timisoara, Trans. On Automatic Control and Computer Science, Vol. 51 (56),
No. 2, 2006, pp. 15-20, ISSN 1224-600X
Burlacu A. i Lazr C., 2006b, Motion-Based Object Detection and Tracking in Image
Sequences, Proc. of 5th International Conference on Advanced Engineering
Design, Prague, 11-14 June, (CD-ROM), ISBN: 80 86059 44 8 (Best Paper
Award Student Competition).
Burlacu A. i Lazr C., 2006c, Recovering trajectories in image sequences using point
features, Buletinul Institului Politehnic din Iasi, Tomul LII (LVI), Fasc. 7A,
Secia Constructii de Masini, pp. 133-138, ISSN 1011-2855.
Burlacu A. i Lazr C., 2007, Evaluation of Scale Invariant Features for Visual Servoing
Tasks, Proc. of 16th International Conference on Control Systems and Computer
Science, Bucuresti, 22-25 May, pp. 389-394, ISBN 978-973-718-741-3
Burlacu A., Copot C. i Lazr C., 2007, SIFT Based Algorithm for Point Feature
Tracking, The Annals of Dunarea de Jos University of Galati, Fascicle III, pp.
59-64, ISSN 1221-454X.
Burlacu A. i Lazr C., 2008, Image Features Detection using Phase Congruency and Its
Application in Visual Servoing, Proc. of IEEE 4th International Conference on
Intelligent Computer Communication and Processing, Cluj Napoca, August 28-
30, pp. 47 53, ISBN 978-1-4244-2673-7.
Burlacu A. i Lazr C., 2008b, Image based predictive controller for visual servoing
systems, accepted at Buletinul institutului Politehnic Iasi, Secia Automatic i
Calculatoare, XLXIV (LVII), fasc.1-4, ISSN 1220-2169.
Burlacu A. i Lazr C., 2009, Visual feature tracking using Kalman filter, submitted at
the 17th International Conference on Control Systems and Computer Science,
Bucharest, May 26-29.
Cervera E., Visual Servoing Toolbox, 2003, Jaume I University, Castello,
http://sourceforge.net/projects/vstoolbox/
Chaumette F., 2004. Image Moments: A General and Useful Set of Features for Visual
Servoing, IEEE Transaction on Robotics, 20, (4), pp. 713 723.
Chaumette F. i Hutchinson S., 2006, Visual Servo Control Part I: Basic Approaches,
IEEE Robotics & Automation Magazine, 13, (4), pp. 82-90.
Collewet C., Marchand E. i Chaumette F., 2008, Visual servoing set free from image
processing, IEEE Int. Conference on robotics and Automation, Pasadena, USA,
pp.81-86.
Cooke T. i Whotmough R., 2005, Evaluation of Corner Detectors for Structure from
Motion Problems, Proceedings of Digital image computing: Techniques and
Applications, pp.535-542 , ISBN: 0-7695-2774-4.
Cuvillon L., Laroche E., Garnier H, Gangloff J. i de Mathelin M., 2006, Continuous-
time model identification of robot flexibilities for fast visual servoing, Proc. of
14th IFAC Symposium on System Identification, SYSID2006, Newcastle,
Australia, pp. 1264-1269
Dixon W.E., Y. Fang, D. M. Dawson, i T. J. Flynn, 2003 a, Range Identification for
Perspective Vision Systems, IEEE Transactions on Automatic Control, Vol. 48,
No. 12, pp. 2232-2238.
Dixon W. E., Y. Fang, D. M. Dawson, i J. Chen, 2003 b, Adaptive Range Identification
for Exponential Visual Servo Control, IEEE Int. Symp. on Intel. Control,
Houston, Texas, pp. 46-51.
Drummond, T. i R. Cipolla, 2002, Real-Time Visual Tracking of Complex Structure,
IEEE Trans. On Pattern Analysis and Machine Intelligence, 24, 7, pp. 932-946.
Feng X., Cao M., Wang H i Collier M, 2008, The comparison of Camera Calibration
Methods Based on Structured Light Measurements, Proceedings of CISP, Vol 2,
pp 155-161.
Forsyth D. i Ponce J., 2003, Computer Vision A Modern Approach, Ed. Prentice Hall.
Fuijimoto H., 2003, Visual Servoing of 6 DOF Manipulator by Multirate Control with
Depth Identification, Proc of the 42nd IEEE Conference on Decision and Control,
Maui, Hawaii U.S.A, pp. 5408-5413.
Fujimoto H. i Kimura H., 2001, Visual servoing based on intersample disturbance
rejection by mutirate sampling control time delay compensation and
experimental verification, Proc. of 40nd IEEE Conference on Decision and
Control, Orlando, Florida, pp. 334-339.
Funk N., 2003, A study of the Kalman Filter applied to Visual Tracking, project for
CMPUT.
Gangloff J.A., Mathelin M.F., 2003, High speed visual servoing of a 6 DOF manipulator
using multivariable predictive control, Advances Robotics, vol. 21, no. 10, pp.
993-1021.
Harris C. i Stephens M., 1988, A combined corner and edge detector, in Proc. 4th Alrey
Vision Conference, Manchester, pp.147-151.
Hashimoto K. i T. Noritsugu, 1998, Performance and sensitivity in visual servoing,
Proc. of IEEE Int. Conference on Robotics and Automation, pp. 2321-2326.
Hu W., Tan T., Wang L. i Maybank S., 2004, A survey on Visual Surveilance of Object
Motion and Behaviors, IEEE Transactions on Szstem, Man and Cybernetics
Part C: Applications and Reviews, vol. 34, No. 3, pp 334-352.
Hutchinson, S., G. Hager i P.Corke, 1996, A tutorial on visual servo control, IEEE
Transactions on Robotics and Automation, 12, 5, pp. 651 670.
Kovesi P.D, 1999, Image features from phase congruency, Videre: Journal of Computer
Vision Research , vol.1, pp.1-26.
Kyrki, V., Kragic, D. i Christensen, H., 2004, New shortest-path approaches to visual
servoing, Proc of 2004 IEEE/RSJ International Conference on Intelligent Robots
and Systems, Sendai, Japan.
Lazr C. i Burlacu A., 2006, Detection and Tracking of Feature Points in Image
Sequences, Proc. of 12th IEEE Conference on Methods and Models in Automation
and Robotics MMAR 2006, Midzyzdroje, 28-31 August, ISBN 83 60140 93 6.
Lazr C. i Burlacu A., 2007, Performance Evaluation of Point Feature Detectors for
Eye-in-Hand Visual Servoing, Proc. of 5th IEEE International Conference of
Industrial Informatics, Vienna, vol.1, pp. 497-502, July 23-26, ISBN 1-4244-
0864-4.
Lazr C. i Burlacu A., 2007b. : Scale Invariant Features Evaluation Using Image-Based
Moments, Prep. of 4th IFAC Conference on Management and Control of
Production and Logistics, Sibiu, vol.1, pp. 109-115, 27-30 September, ISBN 978-
973-739-481-1.
Lazr C. i Burlacu A., 2007c, ARIMAX MIMO model for image based visual servo
control, Proc. of 9th International Symposium on Automatic Control and
Computer Science, Iasi, November 16-17, CD-ROM, ISSN 1843-665-X.
Lazr C. i Burlacu A., 2008a, Predictive control strategy for image based visual servoing
of robot manipulators, Proc. of 9th International Conference on Automation and
Information, Bucharest, June 24-26, pp 18, 91-97, ISBN 978-960-6766-77-0
(Invited Paper).
Lazr C. i Burlacu A., 2008b, Modeling of visual servo open-loop for robot manipulators,
Proc. of IEEE International Symposium on Industrial Electronics, Cambridge,
June 30-July 2, CD-ROM, ISBN 978-1-4244-1666-0.
Lazr C. i Burlacu A., 2008c, Dynamic Simulation Model for Image Based Visual Servo
Control Systems, Proc. of 11th International Conference on Optimization of
Electrical and Electronic Equipment, Vol. III, pp. 285-290, Brasov, May 22-24,
ISBN 978-973-131-031-2
Li R. i Jilkov P Vesselin, 2005, Survey of Maneuvering Target Tracking, Part V:
Multiple Model Methods, IEEE Transactions on Aerospace and Electronics
Szstems, Vol 41, No.4, pp. 1255 1321.
Li P., Tahri O. i Chaumette F., 2005, A shape tracking algorithm for visual servoing, In
IEEE Int. Conf. on Robotics and Automation, ICRA'05, pp 2858-2863, Barcelona,
Spania.
Lindeberg T., 1998, Feature detection with automatic scale detection, International
Journal of Computer Vision, 30(20):79-116.
Lowe D.G., 2004, Distinctive image features from scale-invariant keypoints,
International Journal of Computer Vision, 60, (2), pp. 91-110.
Ma Y., Soatto S., Kosecko J. i Sasky S.S., 2005, An invitation to 3-D Vision from
Images to Geometric Models, 552 pp, Springer, ISBN 978-0-387-00893-6.
Marchand E. i Chaumette F., 2005, Feature tracking for visual servoing purpose, In
Journal of Robotics and Autonomous Systems, vol. 52, pp.53-70.
Marques de Sa J.P, 2001, Pattern Recognition concepts, Methods and Applications, 318
pp., Springer 2001, ISBN 3540422978.
Martinez-Fonte L., Gautama S. i Philips W., 2004, An empirical study on corner
detection to extract building in very high resolution satellite images, IEEE-
Proceedings of ProRISC, Veldhoven, pp.288-29.
Mezouar, Y. i Chaumette, F., 2002, Path Planning for Robust Image-based Control,
IEEE Transactions on Robotics and Automation, 18, 4, pp 534-549.
Morrels P. i Perona P., 2007, Evaluation of Features Detectors and Descriptors Based on
3D Objects, International Journal of computer Vision, Vol.73(3), pp. 263-284.
Morrone M.C. i Owens R.A., 1987, Feature Detection from Local Energy, Pattern
recognition Letters 6, pp.303-313, 1987.
Morrone M.C. i Burr D.C., 1988, Feature Detection in Human Vision: A phase-
dependent Energy Model, Proc.R.Soc.Lond.B., vol.235, pp.221-245.
Murakami T., Oda N., Miyasaka Y. i Ohnishi K., 1995, A motion control strategy based
on equivalent mass matrix in multidegree of freedom manipulator, IEEE Trans.
on Industrial Electronics, 42, 2, pp. 259-265.
Peer P. i Salina F., 2002, Panoramic Depth Imaging: Single standard Camera approach,
International Journal of Computer Vision, Vol 47, pp. 149-160.
Ray N. i Acton S., 2004, Motion Gradient Vector Flow: An external force for Tracking
Rolling Leukocytes with Shape and Size Constrained. Active Conturs, IEEE
Transactions on Medical Imaging, Vol 23, No.12, pp 1466 1478.
Sauvee M., Poignet P., Dombre E. i Courtial E., Image based visual servoing through
nonlinear model predictive control, Proc. of the 4th IEEE Conferenceon Decision
and Control, San Diego, December 2006, pp.1776-1781.
Savier N. and Sayed T., 2006, A feature-based algorithm for vehicles in intersections,
Proc. of the 3rd Canadian Conference on Computer and Robot Vision (CVR06),
pp 59-65.
Schmid C., R. Mohr and C. Bauckhage, 2000, Evaluation of interest point detectors, Intl
Journal Computer Vision, 37, (2), pp. 151-172.
Schramm, F., Morel, G., Micaelli, A., Lottin, A., 2004, Extended-2D Visual Servoing,
Proc. of IEEE International Conference on Robotics and Automation, New
Orleans, vol.1, pp. 267-273.
Shapiro L. i Stockman G. 2000, Computer Vision, Ed. Prentice Hall.
Sicilliano B. i Katib O., 2008, Handbook of Robotics, Ed. Springer, ISBN 978-3-540-
23957-4
Smith S.M. and J.M. Brady (1997), "SUSAN - A new approach to low level image
processing", International Journal of Computer Vision, vol.23(1), pp.45-78.
Spong M.W., Hutchinson S. i Vidyasagar, 2006, Robot Modelling and Control, Ed. John
Willey and Sons.
Tahri O. i Chaumette F., 2005. Point-based and Region-based Image Moments for
Visual Servoing of Planar Objects, IEEE Transaction on Robotics, 21, (6), pp.
1116-1127.
Tissainayagam P. i Suter D., 2004 Assessing the performance of corner detectors for
point feature tracking applications, Image and Vision Computing, 22, (8), pp. 663-
679.
Weiss L. E., 1984, Dynamic Visual Servo Control of Robots: An Adaptive Image-Based
Approach, Phd. Thesis, Carnegi-Mellon University, Pittsburgh .

2009-Burlacu Adrian PHD PDF

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

2009-Burlacu Adrian PHD PDF

Încărcat de

Drepturi de autor:

Formate disponibile

Tez de doctorat

Algoritmi de procesare a imaginii pentru

prof. univ. dr. ing. FLORINA UNGUREANU preedinte

prof. univ dr. ing. VASILE MANTA membru

prof.univ.dr.ing. NICOLAE PU membru

prof. univ. dr. ing. MIRCEA IVNESCU membru

prof. univ. dr. ing. CORNELIU LAZR membru

Capitolul 2. Detecia i urmrirea punctelor de interes n aplicaii servoing

Capitolul 4. Estimarea micrii obiectelor n secvene de imagini

1.1 Sisteme servoing 1.4 Rezumatul tezei

Procesarea imaginilor genereaz trsturi vizuale cu ajutorul crora pot fi dezvoltai

1.1 Sisteme Servoing

Senzorul vizual reprezint o modalitatea de a extrage informaii despre mediul de

1.2 Trsturi vizuale utilizate n proiectarea legilor de control bazate pe

Analiza i procesarea unei imagini conduc la extragerea trasaturilor vizuale ce pot fi

1.3 Legi de control bazate pe imagini

Arhitectura de conducere bazat pe imagini a sistemelor robotizate prezint n

tehnicilor avansate de conducere a sistemelor automatizate. Pentru a genera o traiectorie

1.4 Rezumatul tezei

Lucrarea este structurat dup cum urmeaz:

criteriile de evaluare a calitii trsturilor tip punct de interes prezente n literatura de

fost realizat folosind un toolbox Matlab dedicat sistemelor servoing. Analiza

1.5 Diseminarea rezultatelor

Aceast lucrare se bazeaz aproape n totalitate pe articole publicate sau acceptate

Capitolul 3 conine rezultate publicate n:

Rezultatele prezentate n capitolul 4 sunt publicate n:

2.1 Introducere 2.5 Evaluarea performanelor algoritmilor

n acest capitol sunt prezentate principalele tehnici de procesare a imaginii pentru

Mediul de lucru, compus dintr-un robot manipulator i obiecte, este analizat

comparate cu o configuraie dorit f * , eroarea rezultat fiind informaia utilizat pentru

elocvent fiind histograma. Trsturile locale conin informaii ce definesc proprietile

unde N I M I reprezint rezoluia imaginii. Analiza proprietilor funciei imagine

2.2 Algoritmi de detecie a punctelor de interes folosind metode spaiale

n aceast seciune sunt prezentai trei algoritmi de detecie a punctelor de interes,

2.2.1 Operator pentru detecia punctelor de interes

Algoritmul de determinare a punctelor de interes descris n (Shapiro, 2000),

direcii (vertical, orizontal i cele dou diagonale), considernd o vecintate 3 3

I(x-1,y+1) I(x,y+1) I(x+1,y+1)

Fig. 2.2. Vecintate 3 3

Variaiile vi , i = 1, 4 sunt calculate cu ajutorul formulelor :

min{vi ( x, y ) | i = 1, 4;( x, y ) [ 0, N I ] [ 0, M I ]} (2.3)

atunci poziia ( x, y ) este declarat punct de interes. Valoarea parametrului poate fi

ajustat n raport cu distribuia zgomotului din imagine pentru a controla calitatea

Algoritmul nu conine elemente de preprocesare a imaginii precum filtrare sau

2.2.2. Detectorul Smith

Smith a dezvoltat un algoritm de detectare a punctelor de interes (Smith, 1995),

Fig. 2.3. Vecintate circular

iar centrul mtii l-a numit nucleu.

nucleu, t diferena de intensitate setat, c valoarea comparaiei.

Fig. 2.4. Patru mti circulare plasate n diferite poziii in imagine.

Fig. 2.5. Exemplu de rspunsuri false returnate de operatorul Smith

Rejectarea punctelor de interes false se realizeaz n dou etape:

se calculeaz poziia centrului de greutate al suprafeei USAN. Utiliznd

Suprafaa USAN trebuie s prezinte proprieti de uniformitate astfel nct

2.2.3 Detectorul Harris

Algoritmul dezvoltat de Harris (Harris i Stephens, 1988) are ca obiectiv

Din (2.7) i (2.8) rezult c funcia de autocorelaie poate fi transpus n forma:

Aceast matrice se gsete ntr-o izomorfie cu funcia de autocorelaie, rezultnd astfel

iii) Dac 1 i 2 sunt mari atunci avem un punct de interes.

unde det( A) = 1 2 = bd c 2 ; Tr ( A) = 1 + 2 = b + d , iar k o constant cu valori

2.3 Algoritmi de detecie a punctelor de interes invariante la modificarea

2.3.1 Algoritmul de detecie SIFT

Extragerea punctelor de interes invariante la scalri se bazeaz pe identificarea