Introducere

Scopul acestui curs este de a studia metodele de estimare a mişcării în

secvenţe de imagini 2D cu aplicaţii în imagistica medicală şi vederea
artificială, în vederea propunerii de soluţii pentru luarea în considerare a
discontinuităţilor în câmpul de mişcare şi de soluţii de implementare în timp
real, aplicabile în algoritmii de estimare de mişcare. Se vor căuta soluţii
pentru a propune metode de estimare a mişcării care să fie cât mai eficiente,
adică să ofere o estimare cât mai precisă a mişcării reale, într-un timp cât
mai scurt.
Unul din motivele care justifică interesul cercetătorilor pentru
estimarea şi compensarea mişcării în secvenţe de imagini este aria foarte
largă de aplicaţii a acesteia. Astfel, estimarea mişcării se aplică cu succes în
domenii precum meteorologia, televiziunea analogică şi digitală, video-
conferinţele sau aplicaţiile militare de urmărire a ţintelor. Unul din
domeniile în care estimarea mişcării s-a dovedit foarte utilă este medicina.
Posibilitatea de a cuantifica şi de a analiza în timp real funcţionarea in vivo a
inimii, reprezintă o veritabilă provocare. Analiza temporală a imaginilor
medicale permite accesul la parametri cantitativi şi calitativi ai fiziologiei
organelor şi a disfuncţionalităţii acestora. În medicină, caracterul dinamic al
unor organe este fundamental, în mod special în domeniul cardiovascular.
Studierea bolilor cardiovasculare este justificată de faptul că reprezintă una
din principalele cauze ale mortalităţii în ţările industrializate, iar una din cele
mai periculoase boli este ateroscleroza.
În prezent, există mai multe metode care sunt utile în diagnosticul şi
tratamentul bolilor cardiovasculare, metode care sunt bazate pe prelucrarea
şi analiza imaginilor medicale şi mai ales a unor secvenţe de astfel de
imagini. Aceste imagini pot fi obţinute prin diverse modalităţi
complementare de imagistică medicală. Principalele moduri de investigare a
corpului uman sunt: tomografia cu raze X, ecografia cu ultrasunete (US),

11
imagistica cu rezonanţă magnetică nucleară (RMN) şi tomografia prin
emisie de pozitroni (TEP). De exemplu, ecografia endovasculară permite
vizualizarea interiorului vaselor sanguine cu ajutorul ultrasunetelor.
Ecografia endovasculară oferă posibilitatea unei analize cantitative şi
calitative a secţiunilor vasculare, analiză care este utilă pentru cunoaşterea
proprietăţilor biomecanice a vaselor sanguine. Aceste proprietăţi pot fi
studiate prin analiza variaţiei în timp a secţiunii arteriale. Estimarea mişcării
pulsatile a peretelui este utilă deoarece în urma acestei analize se pot extrage
informaţii referitoare la proprietăţile biomecanice, ca de exemplu
elasticitatea locală sau globală a vasului sanguin. Această elasticitate este
alterată în cazul existenţei unei afecţiuni de tip ateroscleroză sau stenoză
(îngustarea secţiunii arteriale). O astfel de afecţiune are un efect direct
asupra elasticităţii şi deci a comportamentului hemodinamic al vasului.
Consecinţa cea mai gravă a stenozei vasculare este infarctul miocardic.
Cunoaşterea şi posibilitatea de cuantificare a acestor fenomene are o dublă
utilitate: pe de o parte pentru cunoştinţele fiziopatologice pe care le oferă, iar
pe de altă parte pentru cunoaşterea comportamentului vaselor sanguine pe
parcursul tehnicilor chirurgicale. În acest scop, în prealabil trebuie studiat
comportamentul unei artere normale, pentru a avea o referinţă cu care va fi
comparat comportamentul biomecanic al arterelor afectate de plăci de
ateroscleroză.
În acest scop, în prima parte a cursului (capitolele 1 şi 2) sunt
prezentate diferenţele dintre mişcarea reală (ce animă scenele reale 3D),
mişcarea aparentă (observabilă într-o secvenţă temporală de imagini, pe baza
variaţiei spaţio-temporale a intensităţii luminoase) şi mişcarea care poate fi
estimată pornind de la mişcarea aparentă. Sunt prezentate de asemenea,
ipotezele care trebuie făcute pentru ca mişcarea estimată să reprezinte o
bună aproximare a mişcării reale. În această parte sunt descrise metodele
diferenţiale şi în mod particular metoda lui Horn şi Schunck, precum şi
soluţiile de eliminare a dezavantajelor acestor metode. În detaliu sunt
descrise metodele de potrivire: modelele mişcării, criteriile de potrivire,

12
strategiile de căutare şi dimensiunea optimă a blocului şi a ferestrei de
căutare. Aceste metode s-au impus în practică, fiind metodele utilizate în
unele standarde de compresie, cum ar fi MPEG-1 şi MPEG-2. Sunt
prezentate şi câteva metode avansate de potrivire a blocurilor, pentru
micşorarea timpului de calcul sau pentru mărirea preciziei acestor metode:
accelerarea procesului de căutare, metode multirezoluţie sau potrivirea de
blocuri deformabile. Dintre aceste metode face parte algoritmul de eliminare
succesivă pentru care sunt prezentate şi detalii de implementare ale
autorului. În finalul primului capitol, sunt descrise aplicaţii ale metodelor
clasice de estimare a mişcării în imagistica medicală. Astfel, sunt descrise
aplicaţii ale metodelor de potrivire a blocurilor în ecografia de tip B şi în
ecografia endovasculară, arătându-se cum se pot obţine informaţii referitoare
la elasticitatea vaselor sanguine sau cum se poate construi o ”hartă” a
elasticităţii acestora, informaţii care pot fi utilizate pentru diagnosticarea
anumitor boli. În capitolul 2 este prezentat un protocol de evaluare a
metodelor de estimare a mişcării, care este utilizat în continuare pentru
validarea şi compararea metodelor care sunt descrise în partea a II-a şi a III-
a a cărţii.
În cea de-a doua parte a cursului (capitolele 3 şi 4) sunt prezentate
metode de estimare a mişcării prin abordarea Markoviană Maximum A
Posteriori (MAP), care elimină unele din dezavantajele metodelor clasice de
estimare a mişcării. Studierea acestor metode este justificată de cel puţin
două motive:
 pe de o parte aceste metode permit încorporarea informaţiilor de care se
dispune a priori referitor la câmpul de deplasare, putându-se introduce
astfel noţiunea de discontinuitate în câmpul de deplasare;
 pe de altă parte se are în vedere similitudinea care există între
vecinătăţile în sens Markov şi arhitectura fizică a reţelelor neuronale
celulare, descrise în partea a treia a acestei cărţi.
Astfel, sunt prezentate noţiunile de bază referitoare la câmpurile
Markov şi principiile estimării clasice maximum a posteriori (MAP) a

13
mişcării. Pornindu-se de la aceste principii, este introdusă estimarea MAP a
mişcării cu luarea în considerare a discontinuităţilor din câmpul de mişcare,
prin introducerea noţiunii de câmp de linii sau proces de linie. Sunt descrise
şi câteva din modelele cele mai utilizate pentru energia ataşată datelor,
pentru câmpul de mişcare şi pentru câmpul de linii. Sunt prezentate metode
stohastice şi deterministe de minimizare a energiei MAP, insistându-se
asupra metodelor deterministe şi îndeosebi asupra algoritmului ICM şi a
decălirii simulate în câmp mediu (MFA). Algoritmul MFA este printre cei
mai paralelizabili şi se pretează cel mai bine în vederea implementării pe
reţele neuronale în general şi pe reţele neuronale celulare în particular. În
cazul acestui algoritm sunt prezentate detalii de implementare, atât pentru
varianta monorezoluţie cât şi multirezoluţie. În finalul celei de-a doua părţi,
sunt prezentate rezultate experimentale, obţinute utilizând metodele
markoviene de estimare a mişcării combinate cu algoritmii ICM şi MFA
implementaţi de autor şi aplicaţi în imagistica medicală.
În partea a III-a a cursului (capitolele 5, 6 şi 7) sunt prezentate câteva
aplicaţii ale reţelelor neuronale celulare (RNC) în interpolarea imaginilor şi
compensarea mişcării. Este descrisă structura reţelelor neuronale celulare
subliniindu-se structura lor de reţea de procesoare analogice neliniare
identice, numite ”celule”. Aceste celule sunt dispuse regulat, într-o structură
bidimensională sau multidimensională şi care interacţionează între ele la
nivel local, rezultatul prelucrării fiind influenţat de seturi de operatori
(template-uri). Graţie acestei structuri bidimensionale, se poate realiza o
corespondenţă între fiecare celulă şi un pixel al unei imagini. Astfel, reţelele
neuronale celulare pot fi utilizate cu succes în prelucrări de imagini care
necesită calcul paralel şi o putere mare de calcul. Sunt prezentate şi câteva
aplicaţii uzuale cu reţele neuronale celulare invariante, cu operatori liniari de
dimensiune 3×3, aceştia fiind operatorii care pot fi implementaţi direct pe
structurile fizice (hardware) existente în prezent. Sunt expuse metodele de
concepere şi proiectare a aplicaţiilor cu reţele neuronale celulare, fiind
prezentat mediul de simulare şi dezvoltare a aplicaţiilor cu RNC

14
”CadetWin”, acest mediu asigurând compatibilitatea cu structurile hardware
existente. Este descrisă şi arhitectura fizică a reţelelor neuronale celulare şi
conceptul general de maşină universală RNC, respectiv varianta de chip-
RNC care este utilizată pentru validarea experimentală a unora dintre
aplicaţiile care sunt elaborate.
În capitolul 6 sunt descrise principiile şi rezultatele experimentale ale
câtorva aplicaţii care sunt propuse pentru micşorarea timpului de calcul al
interpolării imaginilor, utilizând reţele neuronale celulare. Sunt prezentate
aplicaţii ale interpolării cu RNC în restaurarea imaginilor şi în mărirea
rezoluţiei imaginilor. Operatorii care sunt utilizaţi la interpolare sunt numai
operatori liniari, de dimensiune 3×3, astfel fiind posibilă implementarea
imediată a acestui procedeu pe un chip-RNC existent. Sunt prezentate şi
rezultatele verificării experimentale a acestor metode de interpolare în urma
implementării acestora pe circuite RNC reale.
În capitolul 7 este prezentat un algoritm de compensare a mişcării,
care prezintă toate avantajele oferite de calculul paralel permis de utilizarea
reţelelor neuronale celulare. Acest algoritm este conceput ca o succesiune de
etape elementare, complet compatibile cu structurile hardware existente,
utilizându-se doar seturi de operatori (template-uri) liniari de dimensiune
33, ceea ce face posibilă implementarea hardware directă a acestui
algoritm. Performanţele algoritmilor propuşi sunt testate pe imagini
medicale tomografice X.
Estimarea şi compensarea mişcării rămân un domeniu deschis
datorită problemei sub-determinate a estimării de mişcare. Deşi relativ
simple, metodele clasice de estimare a mişcării, îndeosebi cele de potrivire a
blocurilor, îşi pot găsi în continuare aplicaţii din cele mai diverse, un
exemplu fiind aplicaţiile propuse în domeniul imagisticii medicale.
Unul din obiectivele viitoare ale cercetării deschise pote fi de a
elabora un algoritm de estimare şi compensare a mişcării care să fie
implementabil integral cu RNC. Un astfel de algoritm poate să constituie o
alternativă la algoritmii de estimare a mişcării utilizând reţele neuronale

15
celulare, dar care nu au fost implementaţi fizic sau au fost implementaţi doar
parţial. Rezultatele cercetării efectuate până în prezent şi descrise în acest
curs, vor putea fi aplicate cu succes în acest scop. Algoritmii propuşi pentru
interpolarea spaţială a imaginilor şi pentru compensarea mişcării cu ajutorul
reţelelor neuronale celulare vor putea fi încorporaţi cu succes într-un
algoritm de estimare a mişcării, avându-se în vedere că aproape în orice
astfel de algoritm intervine şi operaţia de interpolare sau de compensare a
mişcării. De asemenea, algoritmul de compensare a mişcării poate fi privit
ca un algoritm de interpolare 3D sau 2D+t, pentru mărirea rezoluţiei
spaţiale a unui volum 3D (compus din secţiuni 2D), prin crearea unor
secţiuni 2D intermediare. Majoritatea algoritmilor de estimare a mişcării se
pot scrie ca o minimizare a unei funcţii de cost sau de energie. În acest scop
este posibilă găsirea unor seturi de operatori RNC care să aibă ca rezultat
efectul dorit. Se remarcă că metoda lui Horn şi Schunck şi metodele
Markoviene bazate pe vecinătăţi de ordinul 1 (V8) sunt similare cu
arhitectura reţelelor neuronale celulare. În urma studiului efectuat până în
prezent, se pare că decălirea în câmp mediu este metoda de minimizare cea
mai potrivită pentru implementarea pe reţele neuronale celulare. Problema
alegerii unei metode de minimizare care să se poată adapta pentru reţelele
neuronale celulare, rămâne o problemă deschisă.
Obiectivul acestor cercetări este de a obţine un algoritm de estimare
şi compensare a mişcării în timp real care să poată fi utilizat în aparatura de
imagistică medicală care necesită prelucrarea informaţiei de mişcare în
secvenţe temporale de imagini sau a unor volume 3D. Utilitatea unui astfel
de algoritm este evidentă în medicină, în diagnosticarea organelor în
mişcare, în mod special în cazul inimii. Aria de aplicaţii a acestor metode nu
este limitată numai la medicină, algoritmii implementaţi până în prezent
putând fi utilizaţi şi în alte aplicaţii cum ar fi vederea artificială,
videoconferinţele, televiziunea digitală de înaltă definiţie şi orice aplicaţie ce
implică interpolarea spaţială sau temporală a imaginilor sau compensarea
mişcării.

16